当前位置：首页 > news >正文

MySQL 处理重复数据：保留一条与两条的实现方案

news 来源：原创 2025/8/2 20:28:25

在数据库管理中，处理重复数据是一项常见的任务。本文将详细介绍如何在 MySQL 数据库里，针对 test 表中 fd 和 fe 字段存在的重复数据进行处理，分别实现保留一条和两条数据的操作。

表结构与需求概述

假设 test 表包含三个字段：id（作为主键）、fd 和 fe。其中，fd 和 fe 字段存在重复值，我们的目标是分别保留每组重复数据中的一条和两条记录，同时删除其余的重复数据。

保留每组重复数据中的一条记录

思路

我们可以使用子查询结合 MIN(id) 函数，按 fd 和 fe 字段分组，找出每组中 id 最小的记录，然后删除 id 不在这些最小 id 范围内的记录。

SQL 代码

DELETE 
FROMtest 
WHEREid NOT IN (SELECTid FROM( SELECT min( id ) id FROM `test` GROUP BY fd, fe HAVING count( id ) > 1 ORDER BY id ) a );

代码解释

子查询：SELECT min( id ) id FROM test GROUP BY fd, fe HAVING count( id ) > 1 按 fd 和 fe 分组，找出每组中 id 最小的记录，并且只考虑重复记录数大于 1 的组。
外层查询：DELETE FROM test WHERE id NOT IN (...) 删除 id 不在子查询结果中的记录，从而保留每组中的一条记录。

保留每组重复数据中的两条记录

思路

为了保留每组中的两条记录，我们可以分别找出每组中 id 最小和最大的记录，然后使用 UNION 操作符将它们合并，最后删除 id 不在合并结果中的记录。

SQL 代码

DELETE 
FROMtest 
WHEREid NOT IN (SELECTid FROM( SELECTid FROMtest WHEREid IN (SELECTid FROM( SELECT min( id ) id FROM `test` GROUP BY fd, fe HAVING count( id ) > 2 ORDER BY id ) a UNION SELECTid FROM( SELECT max( id ) id FROM `test` GROUP BY fd, fe HAVING count( id ) > 2 ORDER BY id ) b )) c);

代码解释

子查询 a：SELECT min( id ) id FROM test GROUP BY fd, fe HAVING count( id ) > 2 找出每组中 id 最小的记录，只考虑重复记录数大于 2 的组。
子查询 b：SELECT max( id ) id FROM test GROUP BY fd, fe HAVING count( id ) > 2 找出每组中 id 最大的记录，同样只考虑重复记录数大于 2 的组。
UNION 操作：将子查询 a 和 b 的结果合并，得到每组中 id 最小和最大的记录。
外层查询：DELETE FROM test WHERE id NOT IN (...) 删除 id 不在合并结果中的记录，从而保留每组中的两条记录。

MySQL 处理重复数据：保留一条与两条的实现方案

在数据库管理中，处理重复数据是一项常见的任务。本文将详细介绍如何在 MySQL 数据库里，针对 test 表中 fd 和 fe 字段存在的重复数据进行处理，分别实现保留一条和两条数据的操作。表结构与需求概述假设 test 表包含三个字段：id…...

编程日记 2025/8/2 20:28:25

Go红队开发—CLI框架(一)

CLI开发框架命令行工具开发，主要是介绍开发用到的包，集成了一个框架，只要学会了基本每个人都能开发安全工具了。该文章先学flags包，是比较经典的一个包，相比后面要学习的集成框架这个比较自由比较细化点&#xff0…...

编程日记 2025/8/2 11:13:39

deque

deque概念双端数组，可以对头端进行插入删除操作 deque和vector差别(就像数据结构中的栈和队列) vector对于头部的插入删除效率低，而deque则相对高效 vector和deque都支持随机访问，但是vector的随机访问效率低，而deque则相对高效…...

编程日记 2025/8/2 11:13:37

【Oracle资源损坏类故障】：详细了解坏块

目录 1、物理坏块与逻辑坏块 1.1、物理坏块 1.2、逻辑坏块 2、两个坏块相关的参数 2.1、db_block_checksum 2.2、db_block_checking 3、检测坏块 3.1、告警日志 3.2、RMAN 3.3、ANALYZE 3.4、数据字典 3.5、DBVERIFY 4、修复坏块 4.1、RMAN修复 4.2、DBMS_REPA…...

编程日记 2025/7/31 14:34:03

数据分析处理库-Pandas

1.1 Pandas概述核心概念： Pandas 是基于 NumPy 的数据分析库，核心数据结构：Series（一维）和 DataFrame（二维）。应用场景：数据清洗、转换、统计分析、时间序列处理。特点&#x…...

编程日记 2025/7/29 16:14:35

阿里云平台Vue项目打包发布

目录： 1、vue项目打包2、通过ngixn发布vue的打包文件 1、vue项目打包在你的vue项目下执行npm run build命令进行打包。 2、通过ngixn发布vue的打包文件直接将打包的dist文件拷贝到nginx目录下即可。修改nginx.conf的配置文件的相关配置，如端口或者ro…...

编程日记 2025/7/28 1:20:54

2025/03/19 Cursor使用方法(Java方向,适合Java后端把家从idea搬家到cursor)

Cursor介绍官网:Cursor - The AI Code Editor 中文教程网:学习 Cursor ，拥抱 AI 编程 | Cursor 101 Cursor 是一款专为程序员打造的集成开发环境（IDE），它结合了大语言模型的能力，旨在提高开发效率. 与传统的 IDE&…...

编程日记 2025/7/28 14:14:02

平台与架构：深度解析与开发实践

平台与架构：深度解析与开发实践 1. 什么是平台与架构？ 平台（Platform）：指操作系统或运行环境，例如 linux、windows、darwin（macOS）、android 等。架构（Architecture&…...

编程日记 2025/7/30 1:22:34

xss-labs第八、九关卡以及XSS GAME的Ok,Boomer关卡

第八关靶场代码 <!DOCTYPE html><html> <head> <meta http-equiv"content-type" content"text/html;charsetutf-8"> <script> window.alert function() { confirm("完成的不错&#…...

编程日记 2025/8/1 1:43:52

electron框架（1.0）认识electron和基础创建

----什么是electron框架中文网地址（https://electronjs.p2hp.com/docs/latest/tutorial/quick-start） ----electron流程模型 ----项目搭建 --起步（需下载）： node -v npm -v--创建初始文件： mkdir my-e…...

编程日记 2025/8/2 19:34:42

考OCP认证要交哪些费用?

考OCP认证要交哪些费用? 考OCP认证，指的是Oracle数据库管理员中级认证 Oracle Certified Professional，这是Oracle非常有名的一个认证，对于个人帮助巨大。 OCP认证要交不少钱，些费用因考试版本、培训机构和地区差异而有所不同&a…...

编程日记 2025/7/28 9:23:37

基于漂浮式海上风电场系统的浮式风力发电机matlab仿真

目录 1.课题概述 2.系统仿真结果 3.核心程序与模型 4.系统原理简介 5.完整工程文件 1.课题概述基于漂浮式海上风电场系统的浮式风力发电机matlab仿真，通过MATLAB数值仿真对浮式风力发电机的性能做模拟与仿真。 2.系统仿真结果 3.核心程序与模型版本&#x…...

编程日记 2025/8/1 12:57:39

Jupyter Notebook 常用命令（自用）

最近有点忘记了一些常见命令，这里就记录一下，懒得找了。文章目录一、文件操作命令1. %cd 工作目录2. %pwd 显示路径3. !ls 列出文件4. !cp 复制文件5. !mv 移动或重命名6. !rm 删除二、代码调试1. %time 时间2. %timeit 平均时长3. %debug 调试4. %ru…...

编程日记 2025/7/18 23:21:48

RabbitMQ 详细原理解析

RabbitMQ 是一个基于 AMQP（Advanced Message Queuing Protocol） 协议的开源消息代理中间件，广泛用于分布式系统中的异步通信、服务解耦、流量削峰等场景。其核心设计围绕生产者、消费者、队列、交换机和虚拟主机等组件，结合 AMQP …...

编程日记 2025/7/28 1:01:29

HTTP状态码全解析

1. 状态码分类类别范围含义1xx100-199信息性：请求被接收，需进一步处理（临时响应）2xx200-299成功：请求被正确处理3xx300-399重定向：需后续操作完成请求（如跳转到新URL）4xx400-499客…...

编程日记 2025/7/31 17:13:56

从零实现本地文生图部署（Stable Diffusion）

1. 依赖安装文件打包下载地址（Stable Diffusion） # git ： 用于下载源码 https://git-scm.com/downloads/win # Python 作为基础编译环境 https://www.python.org/downloads/ # Nvidia 驱动，用于编译使用GPU显卡硬件 https://ww…...

编程日记 2025/7/28 23:11:40

手撕算法——链表

算法基础——链表-CSDN博客一、排队顺序题⽬来源：洛⾕题⽬链接：B3630 排队顺序 - 洛谷难度系数：★ 1. 题目描述 2. 算法原理本题相当于告诉了我们每⼀个点的后继，使⽤静态链表的存储⽅式能够很好的还原这个队列。数组中 [1,…...

编程日记 2025/7/26 4:02:45

css-grid布局

文章目录 1、布局2、网格轨道3、间距Gap4、网格线5、网格别名当一个 HTML 元素将 display 属性设置为 grid 或 inline-grid 后，它就变成了一个网格容器，这个元素的所有直系子元素将成为网格元素。 1、布局启用grid布局类似与flex布局，不过g…...

编程日记 2025/7/29 1:26:03

1.企业级AD活动目录核心解析：架构、组件与集成实践

在当今数字化时代，企业级网络环境日益复杂，高效、安全的资源管理和用户认证成为企业 IT 运营的关键。AD（Active Directory）活动目录作为微软 Windows 系列服务器中的重要目录服务，为企业级网络管理提供了强大的解决方案…...

编程日记 2025/8/1 1:28:25

哈尔滨工业大学DeepSeek公开课人工智能：大模型原理技术与应用-从GPT到DeepSeek｜附视频下载方法

导读INTRODUCTION 今天继续哈尔滨工业大学车万翔教授带来了一场主题为“DeepSeek 技术前沿与应用”的报告。本报告深入探讨了大语言模型在自然语言处理（NLP）领域的核心地位及其发展历程，从基础概念出发，延伸至语言模型在机器翻…...

编程日记 2025/7/31 4:24:23

ChatGPT vs DeepSeek vs Copilot vs Claude：谁将问鼎AI王座？

李升伟整理 2025年的人工智能领域创新涌动，ChatGPT、DeepSeek、Copilot和Claude四大模型各领风骚。这些AI系统各具特色，分别专注于编程、创意写作、技术推理和AI伦理等不同领域。本文将深入解析这些AI模型的功能特性及其优势领域。核心AI模型解析 C…...

编程日记 2025/7/31 19:47:21

【嵌入式Linux】基于ArmLinux的智能垃圾分类系统项目

目录 1. 功能需求2. Python基础2.1 特点2.2 Python基础知识2.3 dict嵌套简单说明 3. C语言调用Python3.1 搭建编译环境3.2 直接调用python语句3.3 调用无参python函数3.4 调用有参python函数 4. 阿里云垃圾识别方案4.1 接入阿里云4.2 C语言调用阿里云Python接口 5. 香橙派使用摄…...

编程日记 2025/8/2 11:13:37

Vue3中router最佳封装落地

文章目录前言一、拆分路由文件夹？二、main.ts中注册路由总结前言 router在使用过程中如果我们直接在一个文件的一个数组中配置，最后路由越来越多会导致不易管理，我们可以将一个页面的路由配置在一个数组中最后统一导入，这样就会…...

编程日记 2025/7/29 3:39:37

[Linux] make自动化构建

目录一.什么是make 二.Makefile结构 2.1 典型结构 2.2 变量 1. 普通变量（User-Defined Variables） 2. 自动变量（Automatic Variables） 3. 预定义变量（Built-in Variables） 4. 函数变量&#xff0…...

编程日记 2025/8/1 14:42:57

comments: true edit_url: https://github.com/doocs/leetcode/edit/main/lcof2/%E5%89%91%E6%8C%87%20Offer%20II%20113.%20%E8%AF%BE%E7%A8%8B%E9%A1%BA%E5%BA%8F/README.md 剑指 Offer II 113. 课程顺序题目描述现在总共有 numCourses 门课需要选，记为 0 到 n…...

编程日记 2025/8/2 13:41:10

蓝桥杯小球反弹

问题描述有一个长方形，长为 343720 单位长度，宽为 233333 单位长度。在其内部左上角顶点有一小球（无视其体积），其初速度方向如图所示，且保持运动速率不变。分解到长宽两个方向上的速率之比为&#xff1…...

编程日记 2025/7/23 15:30:11

Python 监听模式（Observer Pattern）

1. 监听模式技术方案监听模式（Observer Pattern）是一种行为设计模式，允许对象（称为“观察者”或“监听者”）在另一个对象（称为“被观察者”或“主题”）的状态发生变化时接收通知。这种模式的核…...

编程日记 2025/7/30 1:02:33

蓝桥备赛（25）算法篇【差分】

一、差分前缀和和差分的核心思想是预处理 ， 可以在暴力枚举的过程中 ， 快速给出查询结果 ， 从而优化时间复杂度。最经典的用空间替换时间的做法。学完差分之后 ， 大家会发现 ， 前缀和与差分是一对互逆的运算二、一…...

编程日记 2025/7/31 6:08:56

Linux|fork命令及其使用的写时拷贝技术

fork复制进程 fork通过以下步骤来复制进程： 分配新的进程控制块：内核为新进程分配一个新的进程控制块（PCB），用于存储进程的相关信息，如进程 ID、状态、寄存器值、内存指针等。复制进程地址空间&#xff1…...

编程日记 2025/8/2 7:24:41

sgpt 终端使用指南

1. 什么是 sgpt？ sgpt 是一个基于 OpenAI API 的命令行工具，允许用户在终端中与 AI 进行交互，支持自然语言对话、代码生成、Shell 命令生成等功能。本文将介绍 sgpt 的安装方法、基本用法、配置文件路径及修改方式，并提供完整的配…...

编程日记 2025/8/1 22:58:59

python如何提取html中所有的图片链接

在Python中，你可以使用BeautifulSoup库来解析HTML内容，并提取其中所有的图片链接（即<img>标签的src属性）。以下是一个示例代码，展示了如何做到这一点： 首先，确保你已经安装了BeautifulSo…...

编程日记 2025/8/2 9:07:06

第十一章 | 智能合约主网部署与验证详解

📚 第十一章 | 智能合约主网部署与验证详解 ——让你的合约真正上线、公开、透明！ ✅ 本章导读前面我们写了各种合约，ERC20、NFT、DAO…… 但只在本地测试或测试网上部署运行，项目还没“上链”！ 主网上线部署&#…...

编程日记 2025/7/31 20:27:37

一文读懂Python之json模块（33）

一、json模块介绍 json模块的功能是将序列化的json数据从文件里读取出来或者存入文件。json是一种轻量级的数据交换格式，在大部分语言中，它被理解为数组（array）。 json模块序列化与反序列化的过程分别是 encoding和 decoding。e…...

编程日记 2025/8/1 13:18:52

TextView、AppCompatTextView和MaterialTextView该用哪一个？Android UI 组件发展史与演进对照表

在 Android 开发中，UI 组件一直在不断演进，从最初的原生组件，到 Support Library（AppCompat 兼容库），再到如今的 Material Design 组件。这篇文章将梳理 Android UI 组件的发展历史，并提供详细的…...

编程日记 2025/8/2 16:40:39

三层网络（服务器1 和服务器2 在不同网段）

服务器1 和服务器2 在不同网段，并且通过三层交换机实现通信 1. 网络拓扑假设网络拓扑如下： 服务器1： mac0：IP 地址 192.168.1.10/24，网关 192.168.1.1 mac1：IP 地址 10.0.1.10/24，网关 10.0…...

编程日记 2025/7/28 7:46:17

23种设计模式-创建型模式-工厂方法

文章目录简介场景问题1. 直接依赖具体实现2. 违反开闭原则3. 条件分支泛滥4. 代码重复风险解决根本问题完整类图完整代码说明核心优势代码优化静态配置表动态策略总结简介工厂方法是一种创建型设计模式，它提供了在父类中创建对象的接口，但允许子类…...

编程日记 2025/7/28 5:14:38

el-table单元格编辑，动态增删行，回车/上下左右箭头切换单元格

🤵 作者：coderYYY 🧑 个人简介：前端程序媛，目前主攻web前端，后端辅助，其他技术知识也会偶尔分享🍀欢迎和我一起交流！🚀（评论和私信一般会回！！） 👉 个人专栏推荐：《前端项目教程以及代码》基于 Element UI 实现表格单元格编辑与键盘导航功能 Element UI …...

编程日记 2025/7/30 1:20:46

基于springboot的新闻推荐系统（045）

摘要随着信息互联网购物的飞速发展，国内放开了自媒体的政策，一般企业都开始开发属于自己内容分发平台的网站。本文介绍了新闻推荐系统的开发全过程。通过分析企业对于新闻推荐系统的需求，创建了一个计算机管理新闻推荐系统的方案。文章介绍了…...

编程日记 2025/7/30 1:17:36

解决Selenium滑动页面到指定元素,点击失效的问题

White graces：个人主页 🙉专栏推荐:Java入门知识🙉 🐹今日诗词:君失臣兮龙为鱼，权归臣兮鼠变虎🐹 ⛳️点赞 ☀️收藏⭐️关注💬卑微小博主🙏 ⛳️点赞 ☀️收藏⭐️关注&#x1f4…...

编程日记 2025/7/29 15:28:38

医学图像白血病分割数据集labelme格式245张5类别

数据集格式：labelme格式(不包含mask文件，仅仅包含jpg图片和对应的json文件) 图片数量(jpg文件个数)：245 标注数量(json文件个数)：245 标注类别数：5 标注类别名称:["basophil Leukemia","Lymphocyte…...

编程日记 2025/7/28 4:15:09

深度学习Python编程：从入门到工程实践

第一章 Python语言概述与生态体系 1.3 Python在工业界的应用场景 # 示例：使用FastAPI构建RESTful接口 from fastapi import FastAPI from pydantic import BaseModelapp = FastAPI()class Item(BaseModel):name: strprice: float@app.post("/items/") async def cr…...

编程日记 2025/7/29 4:56:12

DHCPv6 Stateless Vs Stateful Vs Stateless Stateful

DHCPv6常见配置模式在 IPv6 网络中，DHCPv6 的 Stateless（无状态）、Stateful（有状态）和 Stateless + Stateful（混合模式）是三种常见的配置模式。它们的主要区别在于客户端如何获取 IPv6 地址和其他网络配置信息（如 DNS 服务器）。 Stateless（无状态）模式 Statele…...

编程日记 2025/6/28 2:07:17

Redis Cluster 详解

Redis Cluster 详解 1. 为什么需要 Redis Cluster？ Redis 作为一个高性能的内存数据库，在单机模式下可能会遇到以下问题： 单机容量受限：Redis 是基于内存存储的，单机的内存资源有限，单实例的 Redis 只能…...

编程日记 2025/8/2 19:03:58

Spring(8)——MyBatis入门(2)

一、Mybatis的xml配置文件 Mybatis的开发有两种方式： 注解xml 上一篇博客介绍了用注解的方式操作数据库，这一篇介绍通过xml配置文件的方式操作数据库。 1.1 xml配置文件规则在Mybatis中使用XML映射文件方式开发，需要符合一定的规范&…...

编程日记 2025/7/23 15:29:06

解析DeepSeek的技术内核：混合专家架构如何重塑AI效能

解析DeepSeek的技术内核：混合专家架构如何重塑AI效能在当今大型语言模型（LLM）竞争激烈的赛道上，中国AI企业DeepSeek凭借其独特的技术路线脱颖而出。其核心优势之一，便是对混合专家（Mixture of Experts&…...

编程日记 2025/7/26 11:43:47

Android在kts中简单使用AIDL

Android在kts中简单使用AIDL AIDL相信做Android都有所了解，跨进程通信会经常使用，这里就不展开讲解原理跨进程通信的方式了，最近项目换成kts的方式，于是把aidl也换成了统一的方式，其中遇到了很多问题，这里…...

编程日记 2025/7/28 12:15:39

【C++】类和对象（匿名对象）

匿名对象用类型(实参) 定义出来的对象叫做匿名对象，相比之前我们定义的类型对象名(实参) 定义出来叫有名对象匿名对象生命周期只在当前一行，一般临时定义一个对象当前用一下即可，就可以定义匿名对象。 class A { public:A(int a 0):_a…...

编程日记 2025/7/28 23:03:20

Spring boot 3.4 后 SDK 升级，暨 UI API/MCP 计划

PS 写这篇文章后看到 A Deep Dive Into MCP and the Future of AI Tooling | Andreessen HorowitzWe explore what MCP is, how it changes the way AI interacts with tools, what developers are already building, and the challenges that still need solving. https://a1…...

编程日记 2025/7/27 8:36:22