当前位置：首页 > news >正文

AI数据分析：用DeepSeek做数据清洗

news 来源：原创 2025/9/12 14:44:05

在当今数据驱动的时代，数据分析已成为企业和个人决策的重要工具。随着人工智能技术的快速发展，AI 驱动的数据分析工具正在改变我们处理和分析数据的方式。本文将着重介绍如何使用 DeepSeek 进行数据清洗。

数据清洗是数据分析的基础，其目的是确保数据的准确性、完整性和一致性。常见的数据问题包括：

缺失值：数据中的某些字段为空。
重复值：数据中存在重复记录。
异常值：数据中存在明显偏离正常范围的数值。
不一致性：数据格式或单位不统一。

如果不进行数据清洗，这些问题会导致分析结果偏差，甚至误导决策。

以下是一个使用 DeepSeek 清洗销售数据的实际案例。

假设我们有一个销售数据表

订单ID	商品ID	商品名	销量	销售额（元）
1001	101	商品A	10	500
1002	102	商品B	5	250
1003	103	商品C	20	1000
1004	101	商品A	15	750
1005	104	商品D	100	5000
1006	105	商品E	1	500
1007	102	商品B	8	400
1008	103	商品C	25	1250
1009	106	商品F	0	0
1010	101	商品A	12	600
1011	104	商品D	30	1500
1012	105	商品E	2	100
1013	107	商品G	50	2500
1014	108	商品H	200	10000
1015	102	商品B	6	300
1016	103	商品C	18	900
1017	109	商品I	0	0
1018	101	商品A	9	450
1019	104	商品D	40	2000
1020	105	商品E	3	150
1021	107	商品G	60
1022	108	商品H	150	7500
1023	102	商品B	7	350
1024	103	商品C	22	1100
1025	109	商品I	1	50
1026	101	商品A	11	550
1027	104	商品D	35	1750
1028	105	商品E	4	200
1029	107	商品G	55	2750
1029	107	商品G	55	2750
1030	108	商品H	180	9000

接下来我们用PromptIDE-提示词开发工具帮我们生成一个数据清洗的提示词。

生成的提示词如下：


# 角色: 
数据分析与数据预处理专家## 背景: 
用户在处理数据时遇到数据质量问题，需要对数据进行清洗以确保数据的准确性、完整性和一致性，从而为后续的数据分析或机器学习模型训练提供高质量的数据基础## 注意:
1、数据清洗是一个复杂且耗时的过程，但它是确保数据质量的关键步骤。
2、通过有效的数据清洗，可以显著提高数据分析的准确性和可靠性。## 技能:
1、熟悉数据清洗的常用技术和工具。
2、具备强大的数据处理和分析能力。
3、能够识别和处理数据中的异常值和缺失值。
4、能够设计和实施数据清洗流程。## 目标:
1、识别并处理数据中的异常值。
2、填补或删除数据中的缺失值。
3、标准化数据格式，确保数据一致性。
4、去除重复数据。
5、验证数据清洗后的质量。## 约束:
1、确保数据清洗过程不会引入新的错误。
2、遵守数据隐私和安全的相关规定。
3、在数据清洗过程中保持数据的原始结构和含义。## 输出:
1、清洗后的数据应以结构化表格形式输出。
2、数据清洗报告，包括详细记录清洗过程、问题发现及解决方法。
3、建议的进一步数据预处理步骤。## 工作流:
1、接收并分析用户提供的数据集和清洗规则。
2、识别数据中的异常值和缺失值。
3、根据清洗规则处理异常值和缺失值。
4、标准化数据格式，去除重复数据。
5、验证数据清洗后的质量，生成清洗报告。## 初始化：
Initialization: 在第一次对话中，请直接输出以下：欢迎使用数据清洗服务。请提供您需要清洗的数据文件，我将按照数据隐私和安全原则，为您进行高效、透明的数据清洗。您可以上传数据文件，告诉我您关注的数据质量问题，我将为您提供专业的解决方案。

接下来我们将这个提示词发给大模型看看效果。

数据清洗报告

1. 数据问题识别

通过初步分析，发现以下数据质量问题：

重复值：订单ID为 1029 的记录出现重复。
缺失值：订单ID为 1021 的记录中，销售额（元） 缺失。
异常值：
- 销量 为 0，但 销售额（元） 也为 0（订单ID：1009 和 1017），可能是无效记录。
- 销量 和 销售额（元） 的比例异常（例如：订单ID：1006，销量为 1，销售额为 500，可能存在输入错误）。

2. 数据清洗过程

2.1 删除重复值

删除订单ID为 1029 的重复记录。

2.2 填充缺失值

对于订单ID为 1021 的缺失值，根据商品G的平均单价进行填充：

商品G的销售额 = 销量 × 单价
计算商品G的平均单价：(2500 + 2750) / (50 + 60) ≈ 48.18
订单ID 1021 的销售额 = 60 × 48.18 ≈ 2891 元

填充后：

订单ID	商品ID	商品名	销量	销售额（元）
1021	107	商品G	60	2891

2.3 标准化异常值处理

销量为 0 的记录：
- 删除订单ID为 1009 和 1017 的记录，因为其销量和销售额均为 0，属于无效数据。
比例异常记录：
- 对于订单ID 1006（销量为 1，销售额为 500），根据商品E的平均单价分析：
  - 商品E的平均单价 = (500 + 100 + 150 + 200) / (1 + 2 + 3 + 4) = 950 / 10 = 95 元
  - 修正订单ID 1006 的销售额为 1 × 95 = 95 元。

修正后：

订单ID	商品ID	商品名	销量	销售额（元）
1006	105	商品E	1	95

3. 数据清洗结果

清洗后的数据集如下：

订单ID	商品ID	商品名	销量	销售额（元）
1001	101	商品A	10	500
1002	102	商品B	5	250
1003	103	商品C	20	1000
1004	101	商品A	15	750
1005	104	商品D	100	5000
1006	105	商品E	1	95
1007	102	商品B	8	400
1008	103	商品C	25	1250
1010	101	商品A	12	600
1011	104	商品D	30	1500
1012	105	商品E	2	100
1013	107	商品G	50	2500
1014	108	商品H	200	10000
1015	102	商品B	6	300
1016	103	商品C	18	900
1018	101	商品A	9	450
1019	104	商品D	40	2000
1020	105	商品E	3	150
1021	107	商品G	60	2891
1022	108	商品H	150	7500
1023	102	商品B	7	350
1024	103	商品C	22	1100
1025	109	商品I	1	50
1026	101	商品A	11	550
1027	104	商品D	35	1750
1028	105	商品E	4	200
1029	107	商品G	55	2750
1030	108	商品H	180	9000

4. 下一步建议

数据验证：对清洗后的数据进行统计分析，确保数据分布合理，无异常值。
特征工程：如果需要构建机器学习模型，建议进一步对数据进行特征提取和标准化。
数据监控：建议建立数据质量监控机制，定期检查数据中的异常情况。

总之，我们借助PromptIDE+deepseek就可以轻松帮我们完成数据清洗了。

AI数据分析：用DeepSeek做数据清洗

在当今数据驱动的时代，数据分析已成为企业和个人决策的重要工具。随着人工智能技术的快速发展，AI 驱动的数据分析工具正在改变我们处理和分析数据的方式。本文将着重介绍如何使用 DeepSeek 进行数据清洗。数据清洗是数据分析的基础，其目的是…...

编程日记 2025/9/12 14:44:05

使用串口工具实现tcp与udp收发

1、使用串口工具实现tcp收发 2、使用串口工具实现udp收发...

编程日记 2025/8/16 10:45:07

onlyoffice 服务搭建及配置 - 前端 office 文件预览解决方案

文章目录 1. 安装1.1 环境要求1.2 安装步骤1.3 常用配置1.3.1 安装目录/config/default.json1.3.2 安装目录/config/local.json1.3.3 安装目录/nginx/conf1.3.4 配置生效 2. 网站嵌入2.1 代码示例2.2 最终效果 3. 常见问题3.1 数据库配置错误导致加载不出来 1. 安装写文章时使…...

编程日记 2025/9/12 7:45:02

PostgreSQL的基本使用

参考视频：零基础入门PostgreSQL教程文章目录一、PostgreSQL是什么？二、基本使用1.下载2.操作一、PostgreSQL是什么？ PostgreSQL 是一个免费的对象-关系数据库服务器，在灵活的BSD许可证下发行。二、基本使用 1.下载 2.操作 …...

编程日记 2025/9/12 14:42:40

【AI深度学习基础】NumPy完全指南入门篇：核心功能与工程实践（含完整代码）

NumPy系列文章入门篇进阶篇终极篇一、NumPy简介 NumPy（Numerical Python）是Python中科学计算的核心库，提供了高性能的多维数组对象和各种用于数组操作的函数。它是Python数据分析和科学计算的基础，被广泛应用于机器学习、数据…...

编程日记 2025/9/8 1:43:23

武汉大学生命科学学院与谱度众合（武汉）生命科技有限公司举行校企联培座谈会

2025年2月21日下午，武汉大学生命科学学院与谱度众合（武汉）生命科技有限公司（以下简称“谱度众合”）在学院学术厅举行校企联培专业学位研究生合作交流会。武汉大学生命科学学院副院长刘星教授、生命科学学院周宇教授、产…...

编程日记 2025/9/8 6:33:23

老的API <canvas id"{{canvasId}}" canvas-id"{{canvasId}}" style"opacity: 0;" class"canvas"/> startDraw() {const { canvasId } this.dataconst query this.createSelectorQuery()query.select(#${canvasId}).bounding…...

编程日记 2025/9/12 0:22:44

MR-图解

1、不是所有的MR都适合combine 1.1、map端统计出了不同班级的每个学生的年龄如：(class1, 14)表示class1班的一个学生的年龄是14岁。第一个map任务： class1 14 class1 15 class1 16 class2 10第二个map任务： class1 16 class2 10 class…...

编程日记 2025/9/9 4:23:59

[深度学习] 大模型学习2-提示词工程指北

在文章大语言模型基础知识里，提示词工程（Prompt Engineering）作为大语言模型（Large Language Model，LLM）应用构建的一种方式被简要提及，本文将着重对该技术进行介绍。提示词工程就是在和LLM聊…...

编程日记 2025/9/12 14:42:41

VSCode离线安装插件

最近在其他电脑设备上部署vscode环境出现问题，在vscode里直接安装插件失败，软件提示如下：（此前已经用此方法安装过中文插件） 这里我们选择手动下载，会自动在浏览器中跳转到该插件的下载链接并自动下载插件&…...

编程日记 2025/9/10 19:57:09

python-leetcode-删除并获得点数

740. 删除并获得点数 - 力扣（LeetCode） 解法 1：动态规划（O(n) 时间，O(n) 空间） class Solution:def deleteAndEarn(self, nums: List[int]) -> int:if not nums:return 0# 统计每个数的贡献points Cou…...

编程日记 2025/9/7 20:43:04

Spring Boot 流式响应豆包大模型对话能力

当Spring Boot遇见豆包大模型：一场流式响应的"魔法吟唱"仪式一、前言：关于流式响应的奇妙比喻想象一下你正在火锅店点单，如果服务员必须等所有菜品都备齐才一次性端上来，你可能会饿得把菜单都啃了。而流式响应就像贴…...

编程日记 2025/9/9 15:20:01

STM32G431RBT6——（1）芯片命名规则

相信很多新手入门STM学的芯片，是STM32F103C8T6，假如刷到个项目换个芯片类型，就会感到好难啊，看不懂，就无从下手，不知所云。其实没什么难的，对于一个个不同的芯片的区别，就像是学习包…...

编程日记 2025/9/12 10:12:04

React进阶之前端业务Hooks库（三）

前端业务Hooks库 hooks 方法localStorage和sessionStorager区别packages/hooks/src/useLocalStorageStatepackages/hooks/src/useSessionStorageStatepackages/hooks/src/createUseStorageState模块Hooks在不同场景下的应用Hooks陷阱前提例子useLatest和useMemoizedFn其他功能的…...

编程日记 2025/9/11 9:39:48

卷积神经网络梯度下降方向与参数更新方向的一致性论述

梯度下降是一种常用的优化算法，用于最小化损失函数，在机器学习和深度学习领域有着广泛的应用。分别对梯度下降、梯度方向以及参数更新采用负梯度方向的原因进行论述。 1.梯度下降它的基本思想是通过迭代的方式来更新模型的参数，使得损失函数…...

编程日记 2025/9/11 9:09:37

python 视频网站爬虫教程，爬虫入门教程（付安装包）

文章目录前言1. 环境准备Python安装选择Python开发环境安装必要库 2. 了解目标网站3. 发送请求获取页面内容4. 解析页面内容，提取视频链接5. 下载视频6. 处理反爬机制7. 完整代码示例注意事项前言以下为你生成一份 Python 视频网站爬虫教程，以爬取简…...

编程日记 2025/9/9 12:03:21

Is Noise Conditioning Necessary for Denoising Generative Models?论文阅读笔记

很吸引人的一个标题，很吸引人的一个作者，来读一读明神的新作，讲的是怎么把去噪领域的一些有意思的思想，特别是blind denoising和noise-level estimation的思想，应用到denoising diffusion模型中，从而去掉de…...

编程日记 2025/9/7 21:38:34

BIO、NIO、AIO、Netty从简单理解到使用

Java编程中BIO、NIO、AIO是三种不同的I/O（输入/输出）模型，它们代表了不同的I/O处理方式。 Netty就是基于Java的NIO（New Input/Output）类库编写的一个高性能、异步事件驱动的网络应用程序框架，用于快速开发可…...

编程日记 2025/9/8 10:57:32

MapReduce编程模型

MapReduce编程模型理解MapReduce编程模型独立完成一个MapReduce程序并运行成功了解MapReduce工程流程掌握并描述出shuffle全过程（面试）独立编写课堂及作业中的MR程序理解并解决数据倾斜 1. MapReduce编程模型 Hadoop架构图 Hadoop由HDFS分布式存储、M…...

编程日记 2025/9/9 3:27:18

开源｜Documind协同文档（接入deepseek-r1、支持实时聊天）

Documind 🚀 项目介绍 Documind 一个支持实时聊天和接入deepseek-r1模型AI助手的协同文档编辑项目前端：NextJS React TailwindCSS ShadcnUl Tiptap Zustand后端：NextJS Convex Liveblocks Clerk项目预览：Documind 预览…...

编程日记 2025/9/7 22:59:46

【问题记录】Go项目Docker中的consul访问主机8080端口被拒绝

【问题记录】Go项目Docker中的consul访问主机8080端口被拒绝问题展示解决办法问题展示在使用docker中的consul服务的时候，通过命令行注册相应的服务（比如cloudwego项目的demo_proto以及user服务）失败。解决办法经过分析，是…...

编程日记 2025/9/10 6:12:42

`maturin`是什么：matu rus in python

maturin是什么 maturin 是一个用于构建和发布 Rust 编写的 Python 绑定库的工具。它简化了将 Rust 代码集成到 Python 项目中的过程，支持创建不同类型的 Python 包，如纯 Python 包、包含 **Rust (系统编程语言)**扩展模块的包等。以下为你详细介绍 maturin 的相关信息并举例…...

编程日记 2025/9/7 6:14:12

Ubuntu 下 nginx-1.24.0 源码分析 - ngx_file_t

ngx_file_t 定义在 src/core/ngx_core.h typedef struct ngx_file_s ngx_file_t;ngx_file_s 定义在 src/core/ngx_file.h struct ngx_file_s {ngx_fd_t fd;ngx_str_t name;ngx_file_info_t info;off_t …...

编程日记 2025/9/9 1:49:26

【HarmonyOS Next】鸿蒙应用公钥和证书MD5指纹的获取

【HarmonyOS Next】鸿蒙应用公钥和证书MD5指纹的获取一、问题背景政府的icp备案时，或者某些三方SDK以来的管理后台，都需要配置鸿蒙应用的公钥和证书MD5指纹二、解决方案专有名词解释： 华为AppGallery Connect简称 AGC平台&#xff0…...

编程日记 2025/9/8 13:29:24

登录次数限制

文章目录一、应用场景与设计目的1. 应用场景2. 设计目的二、功能设计1. 登录限制规则2. 解锁机制3. 适用维度三、技术实现1. 数据存储2. 逻辑流程3. 实现代码示例4. 动态锁定时间四、安全增强与扩展1. 防止用户名枚举2. 加入验证码3. 监控与报警4. 分布式支持五、设计思考…...

编程日记 2025/9/10 12:29:54

两台互通的服务器使用Docker部署一主两从MySQL8.0.35

文章目录 1. 使用Docker Overlay网络（需Swarm模式）在服务器1（172.25.0.19）上：在服务器2（172.25.0.20）上：创建 overlay 网络（172.25.0.19）： 2. 部署…...

编程日记 2025/9/10 11:02:26

使用Semantic Kernel：对DeepSeek添加自定义插件

SemanticKernel介绍 Semantic Kernel是一个SDK，它将OpenAI、Azure OpenAI等大型语言模型与C#、Python和Java等传统编程语言集成在一起。Semantic Kernel通过允许您定义插件来实现这一点。为什么需要添加插件？ 大语言模型虽然具有强大的自然语言理解和…...

编程日记 2025/9/7 13:25:17

DeepSeek + 自由职业发现新大陆，从 0 到 1 全流程跑通商业 IP

DeepSeek 自由职业发现新大陆，从 0 到 1 全流程跑通商业 IP 商业定位1. 商业定位分析提示词2. 私域引流策略提示词3. 变现模型计算器提示词4. 对标账号分析提示词5. 商业IP人设打造提示词6. 内容选题策略提示词7. 用户人群链分析提示词8. 内容布局与转化路径设计提…...

编程日记 2025/9/7 14:44:46

mysql数据迁移到SQLserver: 构建数据迁移脚本

文章目录引言转换方法将 MySQL 脚本转换为 SQL Server 脚本主要修改点I 迁移案例菜单数据迁移迁移脚本1迁移脚本2I MySQL中将INT类型转换为字符串的方法‌CAST函数‌（标准SQL）‌CONVERT函数‌（MySQL特有）‌隐式转换‌（上下文触发）‌修改表结构‌（永久转换）保留前导零用…...

编程日记 2025/9/11 0:02:36

【Python在校课堂笔记】Python第1节课【课下总结】

2025 - 02 - 28 - 第 63 篇 Author: 郑龙浩 / 仟濹【Python在校课堂笔记】 Python第1节课【课下总结】 2025-02-27上课写这篇笔记不仅仅为了写作业，也是想总结一下本节课的内容加深印象，同时发布博客方便复习。一 print() 的多种使用 1 直接打印…...

编程日记 2025/9/12 7:14:48

3分钟idea接入deepseek

DeepSeek简介 DeepSeek 是杭州深度求索人工智能基础技术研究有限公司开发的一系列大语言模型，背后是知名量化资管巨头幻方量化3。它专注于开发先进的大语言模型和相关技术，拥有多个版本的模型，如 DeepSeek-LLM、DeepSeek-V2、DeepSeek-V3 等&…...

编程日记 2025/9/9 6:29:06

【论文学习】DeepSeek-R1 总结

文章目录 Abstract1. Introduction2. Approach2.1. Overview2.2. DeepSeek-R1-Zero: Reinforcement Learning on the Base Model2.3. DeepSeek-R1: Reinforcement Learning with Cold Start2.4. Distillation: Empower Small Models with Reasoning Capability 3. Experiment3.…...

编程日记 2025/9/10 14:01:18