当前位置：首页 > news >正文

【数据挖掘】数据预处理——以鸢尾花数据集为例

news 来源：原创 2025/8/5 19:02:29

数据预处理——以鸢尾花数据集为例

- - 一、实验手册
  - - （一）实验目的
    - （二）实验原理
    - （三）实验环境
    - （四）实验步骤
    - （五）实验报告要求
  - 二、案例代码（以鸢尾花数据集为例）

一、实验手册

（一）实验目的

熟悉数据挖掘预处理的各种方法，包括数据清理、集成、变换和归约等。
能够识别数据中存在的噪声、缺失值、不一致性等问题，并运用合适的算法和技术进行处理。
掌握至少一种编程语言（如Python）及其相关库来实现数据挖掘预处理操作。
提高数据质量，为后续的数据挖掘任务奠定良好基础。

（二）实验原理

数据清理：通过填充缺失值（如使用均值、中位数、最可能的值等）、平滑噪声数据（如分箱、回归、离群点分析）、识别和删除离群点以及解决数据不一致性来改善数据质量。
数据集成：将多个数据源的数据合并成一个一致的数据存储，需处理实体识别、冗余和相关分析、元组重复以及数据值冲突等问题。
数据变换：对数据进行平滑、聚集、规范化、离散化等操作，将数据转换为适合挖掘的形式。
数据归约：采用维归约（如属性子集选择、主成分分析）、数量归约（如参数模型、非参数模型）和数据压缩等策略，得到数据集的压缩表示，同时保持分析结果的准确性。

（三）实验环境

建议使用Python语言，并安装以下常用库：

pandas：用于数据的读取、处理和分析。
numpy：提供数值计算功能。
scikit-learn：包含丰富的数据预处理和机器学习工具。

（四）实验步骤

数据加载：使用pandas库读取数据集，例如读取CSV文件：

import pandas as pd
data = pd.read_csv('your_data.csv')

数据探索：
- 查看数据的基本信息，如形状、列名、数据类型等：

print(data.shape)
print(data.columns)
print(data.dtypes)

- 查看数据的前几行和后几行：

print(data.head())
print(data.tail())

- 统计数据的描述性信息：

print(data.describe())

数据清理：
- 缺失值处理：
  - 查看缺失值的分布情况：

print(data.isnull().sum())

  - 使用均值填充数值型变量的缺失值：

data['numeric_column'] = data['numeric_column'].fillna(data['numeric_column'].mean())

  - 使用众数填充分类型变量的缺失值：

data['categorical_column'] = data['categorical_column'].fillna(data['categorical_column'].mode()[0])

- **噪声数据处理**：- 采用分箱法进行数据平滑，例如等宽分箱：

import numpy as np
data['column_to_smooth'] = pd.cut(data['column_to_smooth'], bins=5)

  - 使用`scikit-learn`的`IsolationForest`检测并删除离群点：

from sklearn.ensemble import IsolationForest
clf = IsolationForest(contamination=0.1)
outliers = clf.fit_predict(data[['column_to_check_outliers']])
data = data[outliers == 1]

数据集成（假设从多个CSV文件集成数据）：

data1 = pd.read_csv('data1.csv')
data2 = pd.read_csv('data2.csv')
combined_data = pd.concat([data1, data2], axis=0)  # 按行合并

数据变换：
- 规范化：使用scikit-learn的MinMaxScaler将数据缩放到[0, 1]区间：

from sklearn.preprocessing import MinMaxScaler
scaler = MinMaxScaler()
data[['column_to_normalize']] = scaler.fit_transform(data[['column_to_normalize']])

- **离散化**：将数值型变量转换为分类型变量，例如根据数值范围进行划分：

data['age_group'] = pd.cut(data['age'], bins=[0, 18, 30, 50, 100], labels=['Child', 'Young Adult', 'Middle - Aged', 'Senior'])

数据归约：
- 属性子集选择：选择部分重要的属性：

selected_data = data[['important_column1', 'important_column2']]

- **主成分分析（PCA）降维**：

from sklearn.decomposition import PCA
pca = PCA(n_components=0.95)  # 保留95%的方差
reduced_data = pca.fit_transform(data.drop('target_column', axis=1))

（五）实验报告要求

实验目的和原理的阐述。
详细描述实验步骤，包括使用的方法和代码。
展示数据预处理前后的对比结果，如数据的统计信息、缺失值数量变化等。
分析预处理过程中遇到的问题及解决方法。
总结数据挖掘预处理对后续数据挖掘任务的影响。

二、案例代码（以鸢尾花数据集为例）

import pandas as pd
import numpy as np
from sklearn.preprocessing import MinMaxScaler, StandardScaler
from sklearn.impute import SimpleImputer
from sklearn.decomposition import PCA
from sklearn.ensemble import IsolationForest# 1. 数据加载
data = pd.read_csv('https://archive.ics.uci.edu/ml/machine-learning-databases/iris/iris.data',header=None, names=['sepal_length', 'sepal_width', 'petal_length', 'petal_width', 'class'])# 2. 数据探索
print("数据形状:", data.shape)
print("列名:", data.columns)
print("数据类型:", data.dtypes)
print("前5行数据:\n", data.head())
print("描述性统计信息:\n", data.describe())# 3. 数据清理
# 3.1 缺失值处理（假设无缺失值，这里仅为示例）
# 如果有缺失值，例如对sepal_length列进行均值填充
imputer = SimpleImputer(strategy='mean')
data['sepal_length'] = imputer.fit_transform(data[['sepal_length']])# 3.2 噪声数据处理
# 使用IsolationForest检测离群点
clf = IsolationForest(contamination=0.05)
outliers = clf.fit_predict(data[['sepal_length', 'sepal_width', 'petal_length', 'petal_width']])
data = data[outliers == 1]# 4. 数据变换
# 4.1 规范化
scaler = MinMaxScaler()
data[['sepal_length', 'sepal_width', 'petal_length', 'petal_width']] = scaler.fit_transform(data[['sepal_length', 'sepal_width', 'petal_length', 'petal_width']])# 4.2 离散化（这里对petal_length进行离散化示例）
data['petal_length_group'] = pd.cut(data['petal_length'], bins=3, labels=['short','medium', 'long'])# 5. 数据归约
# 主成分分析降维
pca = PCA(n_components=2)
reduced_features = pca.fit_transform(data[['sepal_length', 'sepal_width', 'petal_length', 'petal_width']])
reduced_data = pd.DataFrame(reduced_features, columns=['PC1', 'PC2'])
reduced_data['class'] = data['class']print("预处理后的数据:\n", reduced_data.head())

这个案例代码展示了对鸢尾花数据集进行数据挖掘预处理的常见操作，包括数据加载、探索、清理、变换和归约等步骤。

【数据挖掘】数据预处理——以鸢尾花数据集为例

数据预处理——以鸢尾花数据集为例一、实验手册（一）实验目的（二）实验原理（三）实验环境（四）实验步骤（五）实验报告要求二、案例代码（以鸢尾花数据…...

编程日记 2025/8/5 19:02:29

根据文件名称查询文件所在位置

在 Linux 中，根据文件名称查询文件所在位置主要通过命令行工具实现，以下是几种常用方法： --- ### **1. 使用 find 命令（最灵活）** find 命令可以递归搜索指定目录下的文件，支持按名称、类型、时间等条件过…...

编程日记 2025/7/31 14:00:19

记一次wsl2+docker无法运行的经历

前情提要由于某个大创项目的需要和对猫娘机器人的迫切渴求（bushi 需要在电脑里面安装docker desktop。由于电脑里面安装了wsl2环境因此决定使用wsl2dockerdesktop的方式配置docker 遇到的问题在像往常一样安装docker desktop并且启动时提示错误： …...

编程日记 2025/8/5 18:59:29

XSS介绍通关XSS-Labs靶场

目录 XSS XSS的类型 1.存储型XSS（PXSS）： 2. 反射型XSS（N-PXSS）： 3. DOM型XSS： 4. 突变型XSS（mXSS）： 5. 通用型XSS（UXSS）&#x…...

编程日记 2025/8/5 18:58:53

枚举的定义及其使用

在Java中，enum（枚举）是一个特殊的类，用于表示一组常量。enum类型在Java中提供了一种类型安全的方式来定义常量，相比传统的常量（如public static final变量），它更加简洁、类型安全&am…...

编程日记 2025/8/3 8:43:21

[特殊字符][特殊字符][特殊字符][特殊字符][特殊字符][特殊字符]壁紙流光染墨，碎影入梦

#Cosplay #🧚‍♀️Bangni邦尼🐰. #📷 穹妹 Set.01 #后期圈小程序琼枝低垂，霜花浸透夜色，风起时，微光轻拂檐角，洒落一地星辉。远山隐于烟岚，唯余一抹青黛，勾勒出天光水…...

编程日记 2025/8/5 16:01:06

996引擎-接口测试：消息Tips

996引擎-接口测试：消息Tips 发送视野内广播消息 sendrefluamsg发送聊天框消息 sendmsg发送地图消息 sendmapmsg打印消息到控制台 release_print发送自定义颜色的文字信息 guildnoticemsg测试NPC参考资料发送视野内广播消息 sendrefluamsg function npc_test_onclick1(player)-…...

编程日记 2025/8/5 18:59:28

Redis设计与实现-底层实现

Redis底层实现 1、事件1.1 文件事件1.2 时间事件1.3 事件调度 2、Redis客户端2.1 客户端的相关属性2.2 客户端的创建与关闭2.2.1 普通客户端的创建2.2.2 普通客户端的关闭2.2.3 AOF的伪客户端2.2.4 Lua脚本的伪客户端 3、Redis服务端3.1 命令请求的执行过程3.1.1 客户端发送命令…...

编程日记 2025/8/5 18:57:05

acwing1295. X的因子链

题目链接：1295. X的因子链 - AcWing题库算法：数论线性筛法求素数 x如果想要尽可能多的分为几个因子，那么就应该分成素数，因为如果是合数说明还能分。题目要求求出①这段序列的最大长度和②最大长度序列的个数最大长度&#x…...

编程日记 2025/8/5 19:00:40

练习-班级活动（map存储键值对）

问题描述小明的老师准备组织一次班级活动。班上一共有 n 名 (n 为偶数) 同学，老师想把所有的同学进行分组，每两名同学一组。为了公平，老师给每名同学随机分配了一个 n 以内的正整数作为 id，第 i 名同学的 id 为 ai。老师希望…...

编程日记 2025/8/5 19:00:56

34-三数之和

给你一个整数数组 nums ，判断是否存在三元组 [nums[i], nums[j], nums[k]] 满足 i ! j、i ! k 且 j ! k ，同时还满足 nums[i] nums[j] nums[k] 0 。请你返回所有和为 0 且不重复的三元组。注意：答案中不可以包含重复的三元组。方法一&…...

编程日记 2025/8/5 18:59:27

Excel online开始支持Copilot高级数据分析：Python提供强大的数据见解

前文讲过Excel中的copilot可以直接调用Python进行高级数据分析： Copilot：Excel中的Python高级分析来了 Python in Excel高级分析：一键RFM分析超越DeepSeek：Copilot in Excel高级数据分析原生支持Python无需安装软件零代码、…...

编程日记 2025/8/5 18:58:53

【数据结构】kmp算法介绍+模板代码

目录 1.kmp算法介绍 2.应用场景 3.KMP与暴力算法比较 4.模板代码 KMP算法是一种高效的字符串匹配算法，用于在文本串中快速查找模式串的所有出现位置。其核心思想是通过预处理模式串，避免在匹配失败时进行不必要的回溯，从而将时间复杂度优…...

编程日记 2025/8/5 18:57:33

python关键字汇总

文章目录 1. 变量与类型相关2. 控制流相关3. 函数与类相关4. 异常处理相关5. 模块相关6. 其他在 Python 3 里有 35 个关键字，它们各自具备特定的用途与意义 1. 变量与类型相关 True、False 意义：布尔类型的常量，分别代表逻辑真与逻辑假。示…...

编程日记 2025/8/5 7:25:10

六十天前端强化训练之第二十五天之组件生命周期大师级详解（Vue3 Composition API 版）

欢迎来到编程星辰海的博客讲解看完可以给一个免费的三连吗，谢谢大佬！ 目录一、生命周期核心知识 1.1 生命周期全景图 1.2 生命周期钩子详解 1.2.1 初始化阶段 1.2.2 挂载阶段 1.2.3 更新阶段 1.2.4 卸载阶段 1.3 生命周期执行顺序 1.4 父子组…...

编程日记 2025/8/5 18:57:21

油候插件、idea、VsCode插件推荐（自用）

开发软件： 之前的文章： 开发必装最实用工具软件与网站推荐一下我使用的开发工具目前在用的油候插件 AC-baidu-重定向优化百度搜狗谷歌必应搜索_favicon_双列让查询变成多列，而且可以流式翻页 Github 增强 - 高速下载 github下载 TimerHo…...

编程日记 2025/8/5 19:00:57

R语言基于ggscitable包复现一篇3.5分的文章的连续变量交互效应（交互作用）的可视化图

交互作用效应(p for Interaction)在SCI文章中可以算是一个必杀技，几乎在高分的SCI中必出现，因为把人群分为亚组后再进行统计可以增强文章结果的可靠性，进行可视化后可以清晰的表明变量之间的关系。不仅如此，交互作用还可以使用来进…...

编程日记 2025/8/5 19:00:41

mac环境下chatwoot客服聊天docker本地部署+对接通义千问Qwen2.5

🚀 安装docker-desktop 🚀 定义一个.env环境变量文件docker-compose.yaml .env # Learn about the various environment variables at # https://www.chatwoot.com/docs/self-hosted/configuration/environment-variables/#rails-production-variables…...

编程日记 2025/8/5 19:00:55

mac上安装nvm及nvm的基本语法使用！！

种一棵树，最好是十年前，其次是现在！想要改变，从此刻开始，一切都不晚！ 目录 nvm是什么？前提条件：安装homebrew如果系统已经有node版本：在mac上安装nvm：用nvm安…...

编程日记 2025/8/3 16:32:46

论文阅读：2024-NAACL Semstamp、2024-ACL (Findings) k-SemStamp

总目录大模型安全相关研究：https://blog.csdn.net/WhiffeYF/article/details/142132328 Semstamp: A semantic watermark with paraphrastic robustness for text generation https://aclanthology.org/2024.naacl-long.226/ k-SemStamp: A Clustering-Based Semantic Wate…...

编程日记 2025/8/5 18:57:34

本地JAR批量传私服

在有网络隔离的环境下，Maven项目如果没有搭建私服就得把用到的通用组件通过U盘在每个组员间拷贝来拷贝去。非常的麻烦跟低效。搭建私服，如果通用组件很多的时候手工一个一个上传更是非常的麻烦跟低效； 我就遇上这问题，跟A公司合作…...

编程日记 2025/8/5 18:57:35

Linux上位机开发实战（camera视频读取）

编程日记 2025/8/4 23:25:06

OpenCV图像处理基础1

OpenCV 提供了丰富的图像处理和计算机视觉功能，包括图像读取、显示、颜色空间转换、滤波、边缘检测、轮廓检测等。本章将介绍 OpenCV 的基本概念和常用功能。图像的表示和处理 OpenCV 通过 NumPy 数组来表示图像数据，每个图像就是一个多维数组，其中每个元素对应图像中的…...

编程日记 2025/8/5 18:57:06

Python Web 框架 Django、Flask 和 FastAPI 对比

在探索 Python Web 框架时，Django、Flask 和 FastAPI 无疑是最常被提及的名字。根据我们最新的 Python 开发者调查，这三大框架继续稳坐后端 Web 开发的热门宝座。它们均为开源项目，并且与 Python 的最新版本无缝兼容。然而，面对不…...

编程日记 2025/8/5 18:57:20

TISAX认证注意事项的详细介绍

TISAX（Trusted Information Security Assessment Exchange）认证的注意事项犹如企业在信息安全领域航行时必须遵循的灯塔指引，至关重要且不容忽视。以下是对TISAX认证注意事项的详尽阐述： 首先，企业需深入研读并理解TI…...

编程日记 2025/7/27 16:52:32

JavaScript |（六）DOM事件 | 尚硅谷JavaScript基础实战

学习来源：尚硅谷JavaScript基础&实战丨JS入门到精通全套完整版笔记来源：在这位大佬的基础上添加了一些东西，欢迎大家支持原创，大佬太棒了：JavaScript |（六）DOM事件 | 尚硅谷JavaScript基础…...

编程日记 2025/7/31 18:47:07

【动态规划】详解混合背包问题

目录 1. 前置文章2. 题目3. 小结 1. 前置文章本文前置文章： 【动态规划】详解 0-1背包问题【动态规划】详解完全背包问题【动态规划】详解分组背包问题【动态规划】详解多重背包问题下面是三种背包模式的区别： 0 - 1 背包是说：有 n 个…...

编程日记 2025/7/31 11:07:47

Nodejs 项目打包部署方式

方式一：PM2 一、准备工作确保服务器上已安装 Node.js 环境建议使用 PM2 进行进程管理（需要额外安装） 二、部署步骤 1.首先在服务器上安装 PM2（推荐）： npm install -g pm22.将项目代码上传到服务器&…...

编程日记 2025/7/31 4:05:17

银河麒麟操作系统的上下游版本判断

以下内容摘自《银河麒麟操作系统进阶应用》一书。几百款Linux发行版之间并不是完全独立的，绝大多数Linux发行版可以追溯到几个关键的“祖先”发行版，其中最为人熟知的包括Debian、Fedora、Slackware和Arch Linux。这些“祖先”发行版又称“原始”发行版…...

编程日记 2025/8/5 16:14:48

Retrofit中scalars转换html为字符串

简介在Retrofit中，如果你想直接获取HTML或其他文本格式的响应内容而不是将其映射到一个模型类，ScalarsConverterFactory 就派上用场了。ScalarsConverterFactory 是一个转换器工厂，它能够将响应体转换为Java基本类型如String、Integer或Byte…...

编程日记 2025/8/2 16:44:05

Java基础面试题学习

转换成自已的语言来回答，来源小林coding、沉默王二以及其它资源和自已改编。 1、概念 1、说一下Java的特点我认为Java有很多特点首先是平台无关性：Java可以实现一次编译到处运行，因为Java的编译器将源代码编译成字节码，使得该…...

编程日记 2025/8/4 8:14:59

# [RPA] 使用八爪鱼进行高效网页数据采集

在许多行业中，数据是核心资产。然而，虽然许多网站的文本内容可以免费访问，但手动一条一条采集，不仅耗时耗力，还容易出错。这种情况下，使用自动化工具来提高采集效率就显得尤为重要。本文将介绍八爪鱼这一…...

编程日记 2025/8/4 4:42:03

【工具变量】全国地级市地方ZF债务数据集（2014-2023年）

地方ZF债务是地方财政运作的重要组成部分，主要用于基础设施建设、公共服务及经济发展，是衡量地方财政健康状况的重要指标。近年来，我国地级市的地方ZF债务规模不断变化，涉及一般债务和专项债务等多个方面，对金融市场、…...

编程日记 2025/8/5 15:01:09

6.5840 Lab 3: Raft

论文很重要 raft-zh_cn/raft-zh_cn.md at master maemual/raft-zh_cn GitHub Part 3A: leader election (moderate) 十次test都过了实现 Raft 的领导者选举和心跳机制（AppendEntries RPC，无日志条目）。第 3A 部分的目标是实现以下功能&am…...

编程日记 2025/7/28 21:41:00

DCDC36V同步降压输出可调 2A电流恒压芯片SL1588H 替换LV3842

在当今电子设备飞速发展的时代，电源管理芯片的性能优劣直接关乎设备的稳定性与高效运行。对于诸多需要将 36V 电压进行同步降压、输出电压可调且稳定输出 2A 电流的应用场景，一款卓越的恒压芯片不可或缺。SL1588H 正凭借其领先的技术和出色的性能&#x…...

编程日记 2025/8/4 10:25:07

AH4953A双PMOS管深度解析：无线充系统的“高效开关”设计实践

AH4953 30v5A双PMOS管深度解析：无线充系统的“高效开关”设计实践 1. 产品定位与基础特性 AH4953A双通道P沟道MOSFET，专为无线充电、电源管理等高频开关场景优化。其核心优势体现在： • 高耐压低损耗：30V漏源电压（Vd…...

编程日记 2025/8/5 16:31:59

图数据库Neo4j和JDK安装与配置教程（超详细）

目录前言一、Java环境配置 （一）JDK的下载与安装 （二）JDK环境配置 （三）检测JDK17是否配置成功二、Neo4j的安装与配置 （一）Neo4j的下载与安装 （二）N…...

编程日记 2025/8/3 13:16:22

现代美学工业风品牌海报徽标设计PSAI无衬线英文字体安装包 Moldin – Condensed Sans Serif Font

现代几何工业风品牌海报徽标设计无衬线英文字体安装包 Moldin — Condensed Sans Serif Font Moldin 是一个粗体浓缩的无衬线字体系列，旨在为显示和标题提供最大的影响。Moldin 有 6 种粗细可供选择，从常规到黑色，提供静态和可变格式&#x…...

编程日记 2025/8/1 17:48:48

Excel（函数进阶篇）：FILTER函数全解读、XLOOKUP函数全解读、UNIQUE函数、数组与数组公式

目录数组与数组函数office365中VLOOKUP函数的加强数组中的多条件判断FILTER函数详解用法概述函数语法基础筛选多条件筛选进阶技巧结合动态数组高级函数整合错误处理注意事项FILTER经典问题：一对多查询 XLOOKUP函数XLOOKUP基础用法XLOOKUP函数多条件匹配和双向查询…...

编程日记 2025/8/4 1:36:47

django入门教程之request和reponse【二】

接上节：入门【一】再创建一个orders子应用，python manager.py startapp orders，orders目录中新建一个urls.py文件。结构如图： 通过上节课，我们知道在views.py文件中编写函数时，有一个默认入参request&…...

编程日记 2025/7/29 16:11:58

第十五次CCF-CSP认证（含C++源码）

第十五次CCF-CSP认证小明上学满分思路数据中心满分思路小明放学满分题解小明上学题目链接满分思路其实题目看着长，但是做起来是非常好写的，其实主要原因在于，他的红绿灯的变化规律是一定的，而且小明路上的每次红绿灯情况…...

编程日记 2025/7/29 14:55:41

Excel处理控件Spire.XLS系列教程：C# 在 Excel 中添加或删除单元格边框

单元格边框是指在单元格或单元格区域周围添加的线条。它们可用于不同的目的，如分隔工作表中的部分、吸引读者注意重要的单元格或使工作表看起来更美观。本文将介绍如何使用 Spire.XLS for .NET 在 C# 中添加或删除 Excel 单元格边框。安装 Spire.XLS for .NET E-…...

编程日记 2025/7/28 13:50:06

混合精度-基于torch内部

定义混合精度训练是一种在深度学习模型训练过程中，同时使用不同精度数据类型（主要是单精度 FP32 和半精度 FP16）来进行计算和存储的技术。以下是具体介绍： 数据类型： 单精度（FP32）&#xff1…...

编程日记 2025/7/31 15:10:42

Ubuntu16.04网卡ens33找不到异常修复

重启网络 systemctl stop NetworkManager systemctl restart networking允许网络可用连接网络验证网络...

编程日记 2025/7/24 0:43:33

C++编译流程

编译器其实就是一个翻译器，把我们的文件内容翻译成机器能够看懂的指令，但如何合理翻译是核心。 C语言编译需要经过以下几步： 词法分析：扫描代码，确定单词类型，比如是变量还是函数，是标识符还…...

编程日记 2025/8/5 11:08:19

人工智能：企业RAG方案

一、LangChain FAISS、Milvus / Weaviate介绍在企业 RAG （Retrieval-Augmented Generation）方案中，LangChain FAISS 和 Milvus / Weaviate 都是用于向量检索（Vector Search）的核心工具。两者的核心区别在于存储方…...

编程日记 2025/7/31 9:52:36

【Git流程最佳实践】开发较大功能时应使用project branch

目录背景和失败经验名词定义曾经使用project branch犯的错建立project branch的必要性正确的使用project branch的方法背景和失败经验我们曾经使用过project branch，但是后来放弃了名词定义特性branch(特性分支)： 在开发跨越新特性的时候会从主…...

编程日记 2025/7/28 2:25:22