当前位置：首页 > news >正文

SQL数据处理流程

news 来源：原创 2025/7/4 22:07:36

一、数据处理

1、数据清洗

对空值处理：删除/填充为0

-- 用 0 填充 NULL
SELECT COALESCE(sales, 0) AS sales FROM orders;-- 删除含 NULL 的记录
DELETE FROM users WHERE email IS NULL;

COALESCE(bonus, 0) 相当于IF(bonus IS NULL, 0, bonus)，当数据为null值，就返回0，否则返回本身

去重复值：删除（查找重复记录，删除重复值）

-- 查找重复记录
SELECT name, COUNT(*) FROM products GROUP BY name HAVING COUNT(*) > 1;-- 删除重复记录（保留最小 ID）
DELETE FROM products WHERE id NOT IN (SELECT MIN(id) FROM products GROUP BY name);

去字符串空格

-- 去除字符串空格
SELECT TRIM(name) FROM customers;

trim（name）去除字符串name首尾空格

处理异常值：筛选掉/替换异常值

-- 过滤年龄小于 0 或大于 120 的记录
SELECT * FROM users WHERE age BETWEEN 0 AND 120;-- 过滤金额为负数的记录
SELECT * FROM orders WHERE amount >= 0;

-- 将异常年龄替换为 NULL
UPDATE users 
SET age = NULL 
WHERE age < 0 OR age > 120;-- 使用 CASE 表达式替换异常值
SELECT name,CASE WHEN age < 0 THEN NULLWHEN age > 120 THEN 120ELSE ageEND AS valid_age
FROM users;

2、数据转换

（1）数据格式转换

字符串转换为数值

-- 字符串转数值
SELECT CAST(revenue AS DECIMAL(10,2)) FROM sales;

cast：CAST(expression AS target_type [length])

expression：要转换的值（如列名、常量或表达式）
target_type：目标数据类型（如 INTEGER、VARCHAR、DATE 等）
length：可选参数，用于指定长度（如 VARCHAR(50)）
用于不同格式之间的转换

数值与字符串相互转换：

-- 字符串转整数
SELECT CAST('123' AS INTEGER);  -- 结果：123-- 整数转字符串
SELECT CAST(123 AS VARCHAR(10));  -- 结果：'123'-- 浮点数（保留两位小数）
SELECT CAST(3.14159 AS DECIMAL(10,2));  -- 结果：3.14-- 浮点数转字符串
SELECT CAST(CAST(3.14159 AS DECIMAL(10,2)) AS VARCHAR);  -- 结果："3.14"

CAST(3.14159 AS DECIMAL(10,2)) ，在计算机中浮点数是用二进制储存的，所以要先用DECIMAL(10,2)转换为十进制表示的数据，2代表保留两位小数

日期和字符串相互转换：

-- 字符串转日期（格式需匹配）
SELECT CAST('2023-01-01' AS DATE);  -- 结果：2023-01-01-- 日期转字符串（按指定格式）
SELECT CAST(CURRENT_DATE AS VARCHAR(10));  -- 结果：'2023-01-01'

（2）统一日期格式

-- 日期格式化
SELECT DATE_FORMAT(order_date, '%Y-%m') AS month FROM orders;

（3）字符串拼接

-- 字符串拼接
SELECT CONCAT(first_name, ' ', last_name) AS full_name FROM users;

二、数据集成

1、表连接：内连接、左连接、右连接

2、子查询

3、联合查询 union

三、高级数据转换

1、聚合与分组、窗口函数

2、数据透视（case when新增列）

四、性能优化

（1）减少子查询，多使用表连接

（2）避免SELECT *，表明要查询的列

（3）大数据量时使用LIMIT offset进行分页

（4）创建索引，避免全表查询（索引就相当于目录）

SQL数据处理流程

一、数据处理 1、数据清洗对空值处理：删除/填充为0 -- 用 0 填充 NULL SELECT COALESCE(sales, 0) AS sales FROM orders;-- 删除含 NULL 的记录 DELETE FROM users WHERE email IS NULL; COALESCE(bonus, 0) 相当于IF(bonus IS NULL, 0, bonus)，当…...

编程日记 2025/7/4 22:07:36

Mysql差异备份与恢复

1.练习差异备份差异备份：备份完全备份后，新产生的数据。在192.168.88.50主机完成差异备份步骤一：练习差异备份//周一完全备份 mysql> select * from test.one; --------------------- | name | age | sex | ------------------…...

编程日记 2025/7/1 1:31:32

目标检测 Lite-DETR（2023）详细解读

文章目录迭代高级特征跨尺度融合高效的低层次特征跨尺度融合KDA：Key-aware Deformable Attention 论文翻译： CVPR 2023 | Lite DETR：计算量减少60%！高效交错多尺度编码器-CSDN博客 DINO团队的 （Lightweight Transfo…...

编程日记 2025/7/4 20:55:09

【Java学习方法】类变量

类变量引出关键字：static 又名：静态变量，静态字段，类字段（字段又名属性，成员方法），类属性是什么？ 供该（同一个类）的所有对象共享的变量 &am…...

编程日记 2025/6/27 22:55:41

智能手表为什么需要做 EN 18031 认证？

EN 18031 是欧盟针对电磁兼容性（EMC）中人体暴露于电磁场的安全要求制定的标准，全称为《Electromagnetic compatibility (EMC) - Standards for protective measures against electromagnetic fields with regard to human exposure》&#x…...

编程日记 2025/7/3 5:02:39

什么是 Agent 的 Message

Messages 2.4.1 概述什么是 Agent 的 Message？ 当你和朋友聊天、在网上搜索信息或是对手机语音助手说“帮我查一下天气”时，其实你都在向某个“代理者(Agent)”发送一条“信息(Message)”。这里的“代理者”既可以是一个人，也可以是一个能执…...

编程日记 2025/7/4 8:59:05

如何用JAVA手写一个Tomcat

一、初步理解Tomcat Tomcat是什么？ Tomcat 是一个开源的轻量级 Java Web 应用服务器，核心功能是运行 Servlet/JSP。 Tomcat的核心功能？ Servlet 容器：负责加载、实例化、调用和销毁 Servlet。 HTTP 服务器：监听端口…...

编程日记 2025/7/4 20:19:05

WebRTC与RTSP|RTMP的技术对比：低延迟与稳定性如何决定音视频直播的未来

引言音视频直播技术已经深刻影响了我们的生活方式，尤其是在教育、医疗、安防、娱乐等行业中，音视频技术成为了行业发展的重要推动力。近年来，WebRTC作为一种开源的实时通信技术，成为了音视频领域的重要选择，它使得浏览…...

编程日记 2025/7/4 21:30:38

COMPUTEX 2025 | 广和通创新解决方案共筑AI交互新纪元

5月20日至23日，广和通携多领域创新解决方案亮相2025年台北国际电脑展（COMPUTEX 2025），台北南港展览馆#K0727a展位。此次展会，广和通围绕“Advancing Connectivity Intelligent Future”为主题，设置四大核心…...

编程日记 2025/7/4 21:30:37

COMPUTEX 2025 | 广和通率先发布基于MediaTek T930 平台的5G模组FG390

5月19日，全球领先的无线通信模组和AI解决方案提供商广和通率先发布基于MediaTek T930平台的5G模组FG390系列。FG390系列模组为以5G固定无线接入（Fixed Wireless Access，FWA）为代表的MBB终端产品而设计，将在CPE&#xf…...

编程日记 2025/7/4 20:32:52

Power Integrations 汽车电源管理方案：为汽车应用增加系统价值

在新能源汽车产业蓬勃发展的当下，高效的电源管理方案成为提升汽车性能与可靠性的关键。近期，Power Integrations 举办线上交流会，介绍了基于其 1700V InnoSwitch3-AQ 反激式开关 IC 的五款全新参考设计，旨在为 800V 纯电动汽车提供…...

编程日记 2025/7/1 12:39:30

汽车转向系统行业2025数据分析报告

汽车转向系统市场概况 2024年全球汽车转向系统市场规模约为2769.4亿元，预计到2031年将增长至3296.3亿元，年均复合增长率（CAGR）为2.5%。这一增长主要得益于汽车行业的持续发展以及转向系统技术的不断进步。市场驱动因素汽车转…...

编程日记 2025/7/4 22:05:27

Tiny C 编译器中，如何实现宏展开和头文件包含的预处理逻辑？

首先，预处理的主要功能包括宏展开、头文件包含、条件编译等。用户的问题主要集中在宏展开和头文件包含，所以需要分别考虑这两个部分。关于宏展开，首先需要解析#define指令。编译器在预处理阶段需要维护一个符号表，用来存储宏的名…...

编程日记 2025/7/1 17:26:25

谈谈 Kotlin 中的构造方法，有哪些注意事项？

在 Kotlin 中，构造方法分为主构造方法（Primary Constructor）和次构造方法（Secondary Constructor）。 1 主构造方法主构造方法是类的核心构造方法，直接在类头声明，位于类名之后。 1.1 基本语…...

编程日记 2025/7/4 21:54:27

Elasticsearch常用命令

以下是 Elasticsearch 查看集群状态配置和索引完整操作流程的详细命令：一、查看集群状态与配置 1. 集群健康状态 curl -X GET "localhost:9200/_cluster/health?pretty" 关键参数： level=indices：显示每个索引的健康状态 level=shards：显示每个分片的详细状…...

编程日记 2025/7/4 22:05:27

深入解读RTP协议：RFC 3550的技术分析与应用

引言实时传输协议（RTP），作为一项重要的技术规范，在多媒体通信中扮演着至关重要的角色。尤其在音视频传输中，RTP为媒体流提供了端到端的传输机制，能够支持高质量、低延迟的音视频数据流传输。随着互联网及…...

编程日记 2025/7/4 21:58:43

使用 electron-builder 打包与发布 Electron 应用

基于 electron-vite-vue 项目结构本文将基于 electron-vite-vue 脚手架，详细介绍如何使用 electron-builder 实现： ✅ 多平台打包（Windows / macOS / Linux）✅ 自动更新发布配置✅ 常用构建脚本与输出结构 📁 项目结…...

编程日记 2025/7/4 21:25:06

命令行删除node_modules

文章目录前言一、linux二、windows 前言最近公司在重构项目，使用的monorepo，这就导致多个项目有多个node_modules。所以在主项目的package.json中写一个清除所有项目的node_modules。第一次研究命令行的代码，记录一下。但我感觉我写的不太…...

编程日记 2025/7/1 16:45:44

1、在App.vue文件中使用 <script setup lang"ts"> import Dashboard from ./views/dashboard/index.vue import { NConfigProvider, NGlobalStyle, darkTheme } from naive-ui import { useThemeStore } from "./store/theme"; // 获取存储的主题类…...

编程日记 2025/7/1 1:17:07

开源Vue表单设计器FcDesigner中组件联动的配置教程

在用FcDesigner表单开发中，经常需要实现组件之间的联动行为，例如当某个输入框的值满足特定条件时，动态显示或隐藏其他组件。FormCreate 提供了强大的组件联动功能，通过 control 配置项实现组件的加载、显示、禁用和必填等状态控制…...

编程日记 2025/7/4 20:05:59

使用 Shadcn UI 构建 Java 桌面应用

许多桌面应用程序，如 Slack、Notion、Microsoft Teams 和 Linear，都采用基于 Web 的用户界面。这已成为现代软件开发中的常见做法，开发者可以借助熟悉的 Web 技术构建应用，从而简化开发流程。在本篇文章中，我们将向您…...

编程日记 2025/7/3 14:07:49

25_05_19Linux实战篇、第一章_01若依前后端部署之路(后端)

Linux_实战篇欢迎来到Linux的世界，看笔记好好学多敲多打，每个人都是大神！ 题目：若依前后端动静分离(后端 ) 版本号: 1.0,0 作者: 老王要学习日期: 2025.05.20 适用环境: Rocky9.5 文档说明本文围绕 Linux 实战展开&#x…...

编程日记 2025/7/3 12:02:26

Python慕课学习记录

中国大学MOOC（慕课）观看记录： Python123课后相应的练习、考试记录...

编程日记 2025/7/2 17:59:17

2025年渗透测试面试题总结-快手[实习]安全工程师（题目+回答）

网络安全领域各种资源，学习文档，以及工具分享、前沿信息分享、POC、EXP分享。不定期分享各种好玩的项目及好用的工具，欢迎关注。目录快手[实习]安全工程师一面问题分析与详细回答 1. 自我介绍 4. 项目问题与解决 7. 防止SQL注入&…...

编程日记 2025/7/1 19:35:26

【iOS（swift）笔记-10】利用类的继承来实现不同地区语言的显示

XCode项目原生开发有自带的可区分语言的功能体系，建议采用原生开发，此处利用类的继承来实现不同地区语言的显示是为了方便，而且在unity游戏开发中采用此法也挺灵活适用。 // 定义一个语言控制类 class LanguageController { // 根据系统切换…...

编程日记 2025/7/1 18:13:01

C语言中的弱符号 attribute((weak)) 的使用方法

以下是一个脱离 CallStack.h 的极简 C 语言示例，通过弱符号覆盖和运行时检查两个场景，展示 __attribute__((weak)) 的核心用法： 一、代码实现 1. 弱符号定义与覆盖（weak_demo.c） // weak_demo.c #include <st…...

编程日记 2025/7/2 17:20:58

禁止window安全中心乱删文件

将文件/文件夹添加到 Defender 排除列表如果你确定文件安全，可以将其添加到排除列表，防止 Defender 误删： Windows 安全中心 → “病毒和威胁防护” → “管理设置”。下拉找到 “排除项” → “添加或删除排除项”。点击 “ 添加排除…...

编程日记 2025/7/1 3:47:15

【JavaScript异步编程终极指南】从回调地狱到Async/Await的实战突围

目录 🌍 前言：技术背景与价值💔 当前技术痛点🛠 解决方案概述👥 目标读者说明🔍 一、技术原理剖析🧠 核心作用讲解🧩 关键技术模块说明⚖️ 技术选型对比 💻 二、实战演示…...

编程日记 2025/7/1 8:38:48

【算法专题十五】BFS解决最短路问题

文章目录 1.最短路问题简介（边权为1的最短路问题）2.迷宫中离入口最近的出口2.1 题目2.2 思路2.3 代码 3.最小基因变化3.1 题目3.2 思路3.3 代码 4.单词接龙4.1 题目4.2 思路4.3 代码 5.为高尔夫比赛砍树5.1 题目5.2 思路5.3 代码 1.最短路问题简介&#…...

编程日记 2025/6/27 23:00:20

upload-labs通关笔记-第16关文件上传之exif_imagetype绕过（图片马）

目录一、exif_imagetype 二、开启exif模块 1、phpstudy设置勾选php_exif模块 2、php.ini文件配置开启php_exif模块三、源码分析四、图片马 1、图片马概念 2、图片马制作五、渗透实战 1、上传图片马 2、利用文件包含访问图片马 （1）jpg …...

编程日记 2025/6/27 23:35:55

力扣-两数之和

1.题目描述 2.题目链接 LCR 006. 两数之和 II - 输入有序数组 - 力扣（LeetCode） 3.题目代码 class Solution {public int[] twoSum(int[] numbers, int target) {int[]retnew int[2];int left0,rightnumbers.length-1;while(left<right){if(numbe…...

编程日记 2025/7/2 14:20:54

什么是大数据？

大数据的详细定义大数据是来自计算机、移动设备和机器传感器的海量数据（数万亿字节）。企业利用这些数据推动决策、改进流程和政策，并打造以客户为中心的产品、服务和体验。大数据之所以被定义为 “大”，不仅在于其体量&#xff…...

编程日记 2025/7/3 5:15:08

25_05_19Linux实战篇、第一章_02若依前后端部署之路(前端)

Linux_实战篇欢迎来到Linux的世界，看笔记好好学多敲多打，每个人都是大神！ 题目：若依前后端动静分离(前端) 版本号: 1.0,0 作者: 老王要学习日期: 2025.05.21 适用环境: Rocky9.5 文档说明环境准备硬件要求服务器&…...

编程日记 2025/7/1 23:30:01

SuperVINS：应对挑战性成像条件的实时视觉-惯性SLAM框架【全流程配置与测试！！！】【2025最新版！！！！】

一、项目背景及意义 SuperVINS是一个改进的视觉-惯性SLAM（同时定位与地图构建）框架，旨在解决在挑战性成像条件下的定位和地图构建问题。该项目基于经典的VINS-Fusion框架，但通过引入深度学习方法进行了显著改进。视觉-惯性导航系…...

编程日记 2025/6/27 14:20:34

【后端】【UV】【Django】 `uv` 管理的项目中搭建一个 Django 项目

🚀 一步步搭建 Django 项目（适用于 uv pyproject.toml 项目结构） 🧱 第 1 步：初始化一个 uv 项目（如果还没建好） uv init django-project # 创建项目，类似npm create vue⚙️ 第 …...

编程日记 2025/7/4 5:15:59

sqlsugar查看表结构并导出word文档

前提 SqlSugar 5.1.4 MiniWord 0.9.2 使用 using MiniSoftware; using SqlSugar;namespace ConsoleApp5 {internal class Program{/// <summary>/// 导出数据库表结构和字段信息/// https://www.donet5.com/Home/Doc?typeId1203/// </summary>/// <param n…...

编程日记 2025/7/2 12:24:15

【机器学习】支持向量机（SVM）

目录一、支持向量机基本概念 1.1 定义 1.2 支持向量：距离超平面最近的样本点，决定了超平面的位置。二、线性支持向量机 2.1 硬间隔支持向量机 2.2 软间隔支持向量机三、非线性支持向量机 3.1 核函数 3.2 常用核函数 3.2.1 线性核&#xff1a…...

编程日记 2025/7/3 10:56:30

[Java实战]Spring Boot整合MinIO：分布式文件存储与管理实战（三十）

[Java实战]Spring Boot整合MinIO：分布式文件存储与管理实战（三十） 一、MinIO简介与核心原理 MinIO 是一款高性能、开源的分布式对象存储系统，兼容 Amazon S3 API，适用于存储图片、视频、日志等非结构化数据。其核心特…...

编程日记 2025/6/27 23:30:39

SpringBoot微服务编写Dockerfile流程及问题汇总

背景跟 Docker 磕了两天，将一个包含 N 个微服务的应用部署包改造，使其能够生成 Docker 镜像，并在 Docker 容器中运行。几年前玩过 Docker，隐约记得几个命令「Dockerfile 命令：黑卡饮料、山楂果费、哦SUV，…...

编程日记 2025/7/2 1:20:00

PostgreSQL使用

一、PostgreSQL语法 PostgreSQL表、模式、库三者之间的关系库 -> 模式 -> 表、视图、函数等等对象。在postgresql的交互式终端psql中，“\”开头的命令称为元命令（类似mysql的show语句），用于快速管理数据库。常见元命令&…...

编程日记 2025/7/3 3:55:51

现代化SQLite的构建之旅——解析开源项目Limbo

现代化SQLite的构建之旅——解析开源项目Limbo 在当今飞速发展的技术世界中，轻量级且功能强大的数据库已成为开发者的得力助手。当我们谈论轻量级数据库时，SQLite无疑是一个举足轻重的名字。然而，随着技术的进步，我们对数据库的需…...

编程日记 2025/7/4 1:59:58

MySQL 主从复制搭建全流程：基于 Docker 与 Harbor 仓库

一、引言在数据库管理中，MySQL 主从复制是一种非常重要的技术，它可以实现数据的备份、读写分离，减轻主数据库的压力。本文将详细介绍如何使用 Docker 和 Harbor 仓库来搭建 MySQL 主从复制环境，适合刚接触数据库和 Docker 的新手…...

编程日记 2025/7/1 18:13:06

网页表格转换为markdown

网页表格到Markdown：一键转换，复制即用！ 在日常工作中，我们经常需要从网页上复制表格数据，并将其转换成Markdown格式，以便在文档、邮件或论坛中使用。然而，手动转换不仅耗时，还容易…...

编程日记 2025/7/2 7:50:26

MySQL字符串拼接方法全解析

目录常用字符串处理函数方法一：CONCAT基础拼接方法二：CONCAT_WS带分隔符拼接方法三：GROUP_CONCAT分组拼接方法四：算术运算符拼接（仅限数字） 常用字符串处理函数方法一：CONCAT基础拼接…...

编程日记 2025/7/2 12:15:26

零基础教程：用 Docker + pgloader 将 MySQL 数据库迁移到 PostgreSQL

在日常开发中，可能会遇到从 MySQL 迁移到 PostgreSQL 的需求。你也许是： 正在准备从传统架构转向云原生；想使用 PostgreSQL 更强的事务与 JSON 支持；想统一团队数据库技术栈；纯粹为了尝试学习不同的数据库系统。别担…...

编程日记 2025/7/1 23:53:42

影刀Fun叉鸟-2048

文章目录仅为自动化演示，实际2048判定逻辑需要更加严谨参考代码 # 使用提醒: # 1. xbot包提供软件自动化、数据表格、Excel、日志、AI等功能 # 2. package包提供访问当前应用数据的功能，如获取元素、访问全局变量、获取资源文件等功能 # 3. 当此模块作…...

编程日记 2025/7/2 13:37:22

uni-app（2）：页面

1 页面简介 uni-app项目中，一个页面就是一个符合Vue SFC规范的 vue 文件。在 uni-app js 引擎版中，后缀名是.vue文件或.nvue文件。这些页面均全平台支持，差异在于当 uni-app 发行到App平台时，.vue文件会使用webview进行渲染&…...

编程日记 2025/6/27 22:58:36

【spring】spring学习系列之十一：spring的事件监听

系列文章目录文章目录系列文章目录前言一、使用二、整体流程三、EventListenerMethodProcessor和DefaultEventListenerFactory1.EventListenerMethodProcessor2.DefaultEventListenerFactory3.ApplicationListenerDetector4.initApplicationEventMulticaster5.registerListen…...

编程日记 2025/6/27 22:59:33

代码随想录打卡|Day45 图论（孤岛的总面积、沉没孤岛、水流问题、建造最大岛屿）

图论part03 孤岛的总面积代码随想录链接题目链接视频讲解链接思路：既然某个网格在边界上的岛屿不是孤岛，那么就把非孤岛的所有岛屿变成海洋，最后再次统计还剩余的岛屿占据的网格总数即可。 dfs： import java.util.Scanner…...

编程日记 2025/7/2 16:36:44

AI人工智能——Matplotlib绘制各种数据可视化图表的基础方法

一、绘制图像基础 import matplotlib.pyplot as plt# 1、创建画布 plt.figure(figsize(20, 8), dpi100) # 2、绘制图像 x [1, 2, 3, 4, 5, 6] y [3, 5, 4, 3, 6, 1] plt.plot(x, y) # 3、显示图像 plt.show() 二、图像保存 import matplotlib.pyplot as plt# 1、创建画布 p…...

编程日记 2025/6/27 23:28:58

一、数据处理

二、数据集成

三、高级数据转换

四、性能优化

相关文章：