当前位置： 首页 > news >正文

数据分析与可视化实战：从鸢尾花到乳腺癌数据集

news 来源：原创 2025/7/18 20:52:37

数据分析是现代数据科学中不可或缺的一部分，它帮助我们理解数据、发现模式并做出明智的决策。本文将分享两个实战案例：鸢尾花数据集分析和乳腺癌数据集预处理，展示如何使用Python进行数据探索和可视化。

鸢尾花数据集分析

数据加载与基本统计

我们首先从UCI机器学习库加载著名的鸢尾花数据集：

data = pd.read_csv('http://archive.ics.uci.edu/ml/machine-learning-databases/iris/iris.data', header=None)
data.columns = ['花萼长度', '花萼宽度', '花瓣长度', '花瓣宽度', '类别']

数据集包含150个样本，每个样本有4个特征（花萼长度、花萼宽度、花瓣长度、花瓣宽度）和1个类别标签（3种鸢尾花）。

我们对数值型特征进行基本统计：

for col in data.columns:if is_numeric_dtype(data[col]):print('%s:' % (col))print('\t 平均值 = %.2f' % data[col].mean())print('\t 标准差 = %.2f' % data[col].std())print('\t 最小值 = %.2f' % data[col].min())print('\t 最大值 = %.2f' % data[col].max())

数据可视化

  1. ​​直方图​​：展示花萼长度的分布
data['花萼长度'].hist(bins=8)
plt.title('花萼长度分布直方图')
  1. ​​箱线图​​：比较四个特征的分布
numeric_data.boxplot()
plt.title('鸢尾花数据箱线图')
  1. ​​散点图矩阵​​：展示特征间的关系
fig, axes = plt.subplots(3, 2, figsize=(12, 12))
# 绘制所有两两特征的散点图
  1. ​​平行坐标图​​：展示多变量数据
parallel_coordinates(data_zh, '类别')
plt.title('鸢尾花数据平行坐标图')

乳腺癌数据集预处理

数据加载与初步探索

data = pd.read_csv('https://archive.ics.uci.edu/ml/machine-learning-databases/breast-cancer-wisconsin/breast-cancer-wisconsin.data', header=None)
data.columns = ['Sample code', 'Clump Thickness', 'Uniformity of Cell Size', 'Uniformity of Cell Shape','Marginal Adhesion', 'Single Epithelial Cell Size', 'Bare Nuclei', 'Bland Chromatin','Normal Nucleoli', 'Mitoses','Class']

数据清洗

  1. ​​处理缺失值​​：
data = data.replace('?',np.NaN)
print('Number of missing values:')
for col in data.columns:print('\t%s: %d' % (col,data[col].isna().sum()))
  1. ​​填充缺失值​​：
data2 = data2.fillna(pd.to_numeric(data2, errors='coerce').median())
  1. ​​处理离群值​​：
Z = (data2-data2.mean())/data2.std()
Z2 = Z.loc[((Z > -3).sum(axis=1)==9) & ((Z <= 3).sum(axis=1)==9),:]
  1. ​​处理重复值​​：
dups = data.duplicated()
data2 = data.drop_duplicates()

数据采样与分箱

  1. ​​随机采样​​：
sample = data.sample(n=3)  # 简单随机采样
sample = data.sample(frac=0.01, random_state=1)  # 按比例采样
sample = data.sample(frac=0.01, replace=True, random_state=1)  # 有放回采样
  1. ​​数据分箱​​：
bins = pd.cut(data['Clump Thickness'],4)  # 等宽分箱
bins = pd.qcut(data['Clump Thickness'],4)  # 等频分箱

图像数据降维

我们尝试对食物图片进行PCA降维：

numComponents = 2
pca = PCA(n_components=numComponents)
pca.fit(imgData)
projected = pca.transform(imgData)

通过散点图可视化降维结果，可以看到不同类别食物在PCA空间中的分布。

在数据科学和机器学习的世界中，数据预处理和可视化是构建有效模型的基础步骤。本文将通过实例，深入探讨数据预处理的关键技术和强大的可视化方法，帮助您更好地理解和处理数据。

1. 数据预处理：解决数据质量问题

1.1 处理缺失值

在真实数据集中，缺失值是一个常见问题。以乳腺癌威斯康星数据集为例，我们可以看到"Bare Nuclei"属性中存在缺失值（用问号表示）。

处理缺失值的常见方法：

  • 中位数/均值替换：用属性的中位数或均值替换缺失值
  • 丢弃记录：删除包含缺失值的整条记录
# 将'?'替换为NaNdata = data.replace('?', np.NaN)# 使用中位数替换缺失值data['Bare Nuclei'] = data['Bare Nuclei'].fillna(pd.to_numeric(data['Bare Nuclei'], errors='coerce').median())# 或者丢弃缺失值记录data_no_na = data.dropna()

1.2 识别和处理异常值

# 使用Z分数识别异常值Z = (data_numeric - data_numeric.mean()) / data_numeric.std()# 移除Z分数绝对值大于3的异常值data_clean = Z.loc[((Z > -3).sum(axis=1) == 9) & ((Z <= 3).sum(axis=1) == 9), :]

异常值会显著影响统计分析和模型性能。使用箱线图和Z分数是检测异常值的有效方法。

1.3 处理重复数据

数据集中的重复记录会导致模型过拟合特定实例，影响泛化能力

# 检测重复行dups = data.duplicated()print('重复行数 = %d' % (dups.sum()))# 移除重复行data_unique = data.drop_duplicates()

2. 数据转换与采样技术

2.1 数据聚合

数据聚合可以减少数据波动，提供更清晰的趋势视图。以底特律降水量数据为例，我们可以从每日数据聚合到月度或年度视图。

# 按月聚合monthly = daily.groupby(pd.Grouper(freq='M')).sum()# 按年聚合annual = daily.groupby(pd.Grouper(freq='Y')).sum()

每个级别的聚合都显示不同波动程度的趋势，年度数据的方差显著小于每日数据。

2.2 数据采样

在处理大型数据集时，采样可以减少计算负担：

# 不放回采样sample = data.sample(frac=0.01, random_state=1)# 放回采样sample = data.sample(frac=0.01, replace=True, random_state=1)

2.3 数据离散化

将连续属性转换为离散值有助于减少过拟合并提高模型解释性：

# 等宽离散化bins = pd.cut(data['Clump Thickness'], 4)# 等频离散化bins = pd.qcut(data['Clump Thickness'], 4)

3. 数据降维技术

3.1 主成分分析(PCA)

PCA是降低数据维度的强大工具，特别适用于高维数据如图像：

numComponents = 2pca = PCA(n_components=numComponents)pca.fit(imgData)projected = pca.transform(imgData)

通过降维，我们可以在低维空间中识别不同类别的项目，如食物图像分类中的汉堡、饮料、意大利面和鸡肉。

4. 数据可视化技术

在探索鸢尾花数据集时，我们使用了多种可视化技术：

4.1 单变量可视化

直方图和箱线图展示单个属性的分布：

# 直方图data['花萼长度'].hist(bins=8)# 箱线图numeric_data.boxplot()

4.2 多变量可视化

散点图和平行坐标图帮助理解属性间的关系：

·

# 不同类别的散点图for cls in data['类别'].unique():subset = data[data['类别'] == cls]plt.scatter(subset[data.columns[i]], subset[data.columns[j]], label=cls)# 平行坐标图parallel_coordinates(data_zh, '类别')

这些可视化方法揭示了鸢尾花品种间的差异和属性间的相关性。例如，花瓣长度和宽度在区分品种上比花萼尺寸更有效。

5. 实践应用案例

5.1 气候数据分析

通过底特律机场的降水数据(DTW_prec.csv)，我们可以观察不同时间尺度的气候模式：

  • 日降水量显示高度变异性
  • 月度和年度聚合展示更清晰的季节性和年度趋势

5.2 鸢尾花分类

鸢尾花数据集分析显示：

  • 三个品种在花瓣尺寸上有明显区别
  • 平行坐标图清晰展示了各属性在品种间的变化
  • 散点图矩阵揭示了哪些属性组合最有效区分品种

总结

数据预处理和可视化是数据科学工作流中不可或缺的环节。通过适当的预处理技术，我们可以处理现实数据中的各种问题；通过有效的可视化方法，我们能更深入地理解数据结构和模式。这些基础技能不仅对数据分析至关重要，也是构建可靠机器学习模型的前提条件。

总结

本文通过两个经典数据集展示了数据分析的全流程：

  1. ​​数据探索​​：了解数据结构和基本统计量
  2. ​​数据清洗​​：处理缺失值、离群值和重复值
  3. ​​数据可视化​​：使用多种图表揭示数据特征
  4. ​​数据预处理​​：采样、分箱和降维

这些技术是数据科学项目的基础，掌握它们将帮助你更好地理解和处理各种数据集。

相关文章：

数据分析与可视化实战：从鸢尾花到乳腺癌数据集

数据分析是现代数据科学中不可或缺的一部分&#xff0c;它帮助我们理解数据、发现模式并做出明智的决策。本文将分享两个实战案例&#xff1a;鸢尾花数据集分析和乳腺癌数据集预处理&#xff0c;展示如何使用Python进行数据探索和可视化。 鸢尾花数据集分析 数据加载与基本统…...

编程日记 2025/7/18 20:52:37

怎样提升社交机器人闲聊能力

怎样提升社交机器人闲聊能力 本文聚焦社交机器人闲聊能力，指出闲聊在社交中意义重大，当前大语言模型（LLMs）驱动社交机器人闲聊存在不足。通过实验评估ChatGPT-3.5、Gemini Pro和LLaMA-2等LLMs闲聊表现，发现其与人类闲聊存在差异。 为此提出基于观察者模型的反馈重定向方…...

编程日记 2025/7/18 20:25:30

图论之幻想迷宫

题目描述&#xff1a; 幻象迷宫可以认为是无限大的&#xff0c;不过它由若干个 NM 的矩阵重复组成。矩阵中有的地方是道路&#xff0c;用 . 表示&#xff1b;有的地方是墙&#xff0c;用 # 表示。LHX 和 WD 所在的位置用 S 表示。也就是对于迷宫中的一个点(x,y)&#xff0c;如…...

编程日记 2025/7/18 20:44:28

数学实验Matlab

一、Matlab语言环境和线性代数实验 1.Matlab语言环境 Matlab简介 Matlab&#xff1a;Matrix Laboratry 矩阵实验室 Matlab 提供了强大的科学计算、灵活的程序设计流程、高质量的图形可视化与界面设计等功能&#xff0c;被广泛应用于科学计算、控制系统、信息处理等领域的分…...

编程日记 2025/7/18 20:46:41

AI日报 · 2025年5月03日｜Perplexity 集成 WhatsApp，苹果传与 Anthropic 合作开发 Xcode

1、Perplexity AI 功能更新&#xff1a;新增 WhatsApp 集成与多项优化 Perplexity 于 5 月 2 日发布其每周更新摘要&#xff0c;重点包括新增 WhatsApp 集成&#xff0c;用户现可直接在 WhatsApp 内与 Perplexity AI 交互&#xff0c;显著提升了信息获取的便捷性 [1]。此次更新…...

编程日记 2025/7/18 20:44:28

Maven 实现多模块项目依赖管理

&#x1f9d1; 博主简介&#xff1a;CSDN博客专家&#xff0c;历代文学网&#xff08;PC端可以访问&#xff1a;https://literature.sinhy.com/#/?__c1000&#xff0c;移动端可微信小程序搜索“历代文学”&#xff09;总架构师&#xff0c;15年工作经验&#xff0c;精通Java编…...

编程日记 2025/7/18 20:26:44

【JavaScript-Day 2】开启 JS 之旅：从浏览器控制台到 `＜script＞` 标签的 Hello World 实践

Langchain系列文章目录 01-玩转LangChain&#xff1a;从模型调用到Prompt模板与输出解析的完整指南 02-玩转 LangChain Memory 模块&#xff1a;四种记忆类型详解及应用场景全覆盖 03-全面掌握 LangChain&#xff1a;从核心链条构建到动态任务分配的实战指南 04-玩转 LangChai…...

编程日记 2025/7/18 20:08:19

Windows 中使用dockers创建指定java web 为镜像和运行容器

以下是在 Windows 中使用 Docker 创建 Java Web 应用镜像并运行容器的分步指南&#xff1a; 步骤 1&#xff1a;安装 Docker 下载并安装 Docker Desktop for Windows启动 Docker Desktop&#xff0c;确保使用 WSL 2 后端&#xff08;推荐&#xff09;或 Hyper-V。 步骤 2&…...

编程日记 2025/7/18 20:38:32

机器人--MCU

MCU MCU&#xff08;Microcontroller Unit&#xff0c;微控制器&#xff09; 是机器人的“神经末梢”&#xff0c;负责 实时控制、传感器接口、低层通信 等关键任务。 作用 MCU的核心作用 功能具体任务示例实时控制电机PWM生成、PID调节、紧急制动机械臂关节控制、无人机电调…...

编程日记 2025/7/18 20:16:05

从融智学视域快速回顾世界历史和主要语言文字最初历史证据（列表对照分析比较）

融智学视域下世界历史与语言文字起源对照分析表 以下从融智学五个基本范畴&#xff08;物、意、文、道、理义法&#xff09;&#xff0c;梳理主要古代文明的文字起源&#xff0c;及其历史证据&#xff0c;并进行跨文明比较&#xff1a; 文明/文字 物&#xff08;载体&#xf…...

编程日记 2025/6/29 7:49:38

JavaScript性能优化实战（8）：缓存策略与离线优化

前言 在Web应用中，性能优化不仅仅是关于代码执行速度，还与资源获取和数据持久化密切相关。合理的缓存策略可以显著减少网络请求，提升应用响应速度，同时有效降低服务器负载和用户流量消耗。离线优化则进一步解决了网络不稳定或断网场景下的用户体验问题，为Web应用提供类似…...

编程日记 2025/6/29 5:22:00

quantization-大模型权重量化简介

原文地址 https://towardsdatascience.com/introduction-to-weight-quantization-2494701b9c0c/ https://towardsdatascience.com/4-bit-quantization-with-gptq-36b0f4f02c34/ 权重量化简介 大型语言模型(LLM) 以其庞大的计算需求而闻名。通常&#xff0c;模型的大小是通过将参…...

编程日记 2025/7/18 16:45:00

unity ScriptObject的使用

1.先定义一个类数据类型 [Serializable] public class FoodItemData { public int foodID; // 食物唯一ID public string foodName; // 食物名称 [TextArea(3, 10)] // 多行文本输入 public string description; // 食物描述 pu…...

编程日记 2025/6/29 5:17:17

广义线性模型三剑客：线性回归、逻辑回归与Softmax分类的统一视角

文章目录 广义线性模型三剑客&#xff1a;线性回归、逻辑回归与Softmax分类的统一视角引言&#xff1a;机器学习中的"家族相似性"广义线性模型(GLMs)基础三位家族成员的统一视角1. 线性回归(Linear Regression)2. 逻辑回归(Logistic Regression)3. Softmax分类(Softm…...

编程日记 2025/6/29 5:16:23

Linux时钟与时间API

深入理解 Linux 时钟与时间 API 时间是计算领域的基础概念之一。在 Linux 系统中&#xff0c;精确可靠的时间管理对于系统日志记录、任务调度、网络通信、性能分析、文件系统操作乃至应用程序的正确运行都至关重要。本文将深入探讨 Linux 中的时钟类型、相关的 C API、使用示例…...

编程日记 2025/6/29 6:13:55

闭包（Closure)及其作用和影响

一、闭包是什么 闭包&#xff08;Closure&#xff09;指的是​​一个函数能够记住并访问其词法作用域&#xff08;lexical scope&#xff09;&#xff0c;即使该函数在其词法作用域之外执行​​。换句话说&#xff0c;闭包让函数可以“记住”它被创建时的环境。 闭包的核心特…...

编程日记 2025/7/17 1:07:19

toLua笔记

基本 LuaState luaStatenew LuaState(); luaState.Start(); luaState.DoString("xxx"); luaState.DoFile("yyy.lua"); luaState.Require("zzz");//不要加.lua后缀 luaState.CheckTop();//检查解析器栈顶为空 luaState.Dispose(); luaStatenull;…...

编程日记 2025/6/29 6:59:30

20：深度学习-多层感知器原理

深度学习-多层感知器的原理 ------------------常州龙熙机器视觉培训班-课程资料 1.单层感知机 多层感知机是由感知机推广而来&#xff0c;感知机学习算法(PLA: Perceptron Learning Algorithm)用神经元的结构进行描述的话就是一个单独的。 首先了解下单层感知机: b--常量 …...

编程日记 2025/6/29 5:16:26

高频数据冲击数据库的技术解析与应对方案

目录 前言一、问题现象与影响分析1.1 典型场景表现1.2 核心问题分类 二、失效根源深度剖析2.1 架构设计缺陷2.2 缓存策略缺陷 三、解决方案与最佳实践3.1 缓存架构设计3.1.1 分层缓存架构3.1.2 热点数据识别 3.2 缓存策略优化3.2.1 动态过期时间算法3.2.2 缓存更新策略对比 3.3…...

编程日记 2025/7/1 14:05:32

（37）VTK C++开发示例 ---纹理地球

文章目录 1. 概述2. CMake链接VTK3. main.cpp文件4. 演示效果 更多精彩内容&#x1f449;内容导航 &#x1f448;&#x1f449;VTK开发 &#x1f448; 1. 概述 将图片纹理贴到球体上&#xff0c;实现3D地球的效果。 该代码使用了 VTK (Visualization Toolkit) 库来创建一个纹理…...

编程日记 2025/7/15 19:18:37

LeetCode - 1137.第N个泰波那契数

目录 题目 解法 动态规划解法 核心思想 执行流程 具体例子 时间复杂度和空间复杂度 代码 题目 1137. 第 N 个泰波那契数 - 力扣&#xff08;LeetCode&#xff09; 解法 动态规划解法 核心思想 动态规划是一种通过将复杂问题分解为更小子问题来解决的算法方法。我将…...

编程日记 2025/7/1 14:05:02

智能决策支持系统的系统结构：四库架构与融合范式

前文我们已经了解了智能决策支持系统的基本概念以及基本构件&#xff0c;接下来我们了解一下系统结构。 有关“智能决策支持系统的基本概念”的内容&#xff0c;可看我文章&#xff1a;智能决策支持系统的基本概念与理论体系-CSDN博客 有关“智能决策支持系统的基本构建”的…...

编程日记 2025/7/9 23:43:57

单片机裸机环境下临界区保护

目录 1、直接中断屏蔽法 2、嵌套计数优化法 3、BASEPRI寄存器应用 4、动态优先级调整策略 5、LDREX/STREX指令应用 6、位带别名区原子访问 7、上下文感知保护 8、中断延迟优化技术 在嵌入式系统开发中&#xff0c;临界区保护是确保系统可靠性的关键技术。本文以ARM Cor…...

编程日记 2025/6/29 5:16:34

【数字电路】第六章 时序逻辑电路

一、时序逻辑电路概述 1.逻辑电路的分类 2.时序逻辑电路的一般结构形式 3.时序逻辑电路的描述方法 4.时序逻辑电路按触发器动作特点分类 5.时序逻辑电路按输出信号特点分类 6.常用时序逻辑电路 二、同步时序逻辑电路的分析 1.同步时序逻辑电路的分析方法 TTL触发器允许输入端…...

编程日记 2025/6/29 5:17:18

Spring Boot的GraalVM支持：构建低资源消耗微服务

文章目录 引言一、GraalVM原生镜像技术概述二、Spring Boot 3.x的GraalVM支持三、适配GraalVM的关键技术点四、构建原生镜像微服务实例五、性能优化与最佳实践总结 引言 微服务架构已成为企业应用开发的主流模式&#xff0c;但随着微服务数量的增加&#xff0c;资源消耗问题日…...

编程日记 2025/6/29 5:17:21

MySQL中的窗口函数

深入理解窗口函数&#xff08;Window Functions&#xff09; 窗口函数确实经常用于分组后为行分配序号&#xff08;如1,2,3…&#xff09;&#xff0c;但它的功能远不止于此。窗口函数是SQL中极其强大的分析工具&#xff0c;可以让你在不减少行数的情况下进行复杂计算。 窗口函…...

编程日记 2025/6/29 5:46:29

WITH在MYSQL中的用法

WITH 子句&#xff08;也称为公共表表达式&#xff0c;Common Table Expression&#xff0c;简称 CTE&#xff09;是 SQL 中一种强大的查询构建工具&#xff0c;它可以显著提高复杂查询的可读性和可维护性。 一、基本语法结构 WITH cte_name AS (SELECT ... -- 定义CTE的查询…...

编程日记 2025/6/29 7:56:47

人工智能：如何快速筛选出excel中某列存在跳号的单元格位置？

前提&#xff1a; 电脑上必须提前安装好了【office AI】软件工具 方法如下&#xff1a; 1、打开要操作的excel表格&#xff0c;点击上方的【officeAI】&#xff0c;再点击左边的【右侧面板】按钮&#xff0c;就会出现如下右侧的【OfficeAI助手】 2、在OfficeAI助手的聊天框…...

编程日记 2025/7/6 20:25:25

动态功耗与静态功耗

0 英文缩写 SOI&#xff08;Silicon on Insulator&#xff09;绝缘体上硅FET&#xff08;Field-Effect Transistor&#xff09;场效应管CMOS&#xff08;Complementary Metal Oxide Semiconductor&#xff09;互补金属氧化物半导体 1 功耗分类 CMOS电路功耗主要可以通过如下…...

编程日记 2025/7/18 16:46:11

Webug4.0靶场通关笔记10- 第14关链接注入

目录 第14关 链接注入 1.打开靶场 2.源码分析 3.渗透实战 &#xff08;1&#xff09;方法1&#xff1a;跳转外部网页 &#xff08;2&#xff09;方法2&#xff1a;获取cookie 4.漏洞防御 本文通过《webug靶场第14关 链接注入》来进行渗透实战。 第14关 链接注入 链接注…...

编程日记 2025/7/9 17:10:39

PyTorch_指定运算设备 （包含安装 GPU 的 PyTorch）

PyTorch默认会将张量创建在 CPU 控制的内存中&#xff0c;即&#xff1a;默认的运算设备为 CPU。我们也可以将张量创建在 GPU 上&#xff0c;能够利用对于矩阵计算的优势加快模型训练。 将张量移动到 GPU 上有两种方法&#xff1a; 使用 cuda 方法直接在 GPU 上创建张量使用 …...

编程日记 2025/6/29 7:38:37

Pytorch-CUDA版本环境配置

Pytorch-CUDA版本环境配置 电脑如果是Windows平台下的Nvidia GPU的用户&#xff0c;需配置Pytorch的CUDA版本&#xff0c;分为三步&#xff1a; 1. 安装或更新NVIDA显卡驱动 官方驱动下载地址&#xff1a; https://www.nvidia.cn/Download/index.aspx?langcn 2. 安装CUDA To…...

编程日记 2025/6/29 7:46:08

力扣：24两两交换链表的节点

目录 1.题目描述&#xff1a; 2.算法思路&#xff1a; 3.代码展示&#xff1a; 1.题目描述&#xff1a; 给你一个链表&#xff0c;两两交换其中相邻的节点&#xff0c;并返回交换后链表的头节点。你必须在不修改节点内部的值的情况下完成本题&#xff08;即&#xff0c;只能…...

编程日记 2025/6/29 7:22:39

SETNX的存在问题和redisson进行改进的原理

首先分布式锁的原理就是当锁不存在时则创建&#xff0c;创建到锁的线程则执行业务。但是在这些操作中会有一些问题&#xff0c;下面是redis命令setNX设置锁的代码片段 if(缓存中有){返回缓存中的数据 }else{获取分布式锁if(获取锁成功&#xff09;{try{查询数据库}finally{释放…...

编程日记 2025/6/29 5:16:25

抽象工厂模式（Abstract Factory Pattern）

很好&#xff01;你现在已经开始接触设计模式了&#xff0c;而**抽象工厂模式&#xff08;Abstract Factory Pattern&#xff09;是一种常用于“创建一系列相关产品”**的经典设计模式。 我会一步步帮你理解&#xff1a; &#x1f9e0; 一句话解释 抽象工厂模式&#xff1a;提…...

编程日记 2025/6/29 6:42:18

AVIOContext 再学习

这个目前阶段用的不多&#xff0c;暂时不要花费太多精力。 url 的格式不同&#xff0c;使用的传输层协议也不同。这块看代码还没看到自己想的这样。 目前看的信息是&#xff1a;avformatContext 的 io_open 回调函数 在默认情况下叫 io_open_default&#xff0c;在解复用的 av…...

编程日记 2025/6/29 5:29:10

Power Query精通指南1：查询结构设计、数据类型、数据导入与迁移（平面文件、Excel、Web）

文章目录 零、Power Query简介0.1 Power Query 主要功能0.2 Power Query 的优势0.3 Power Query 组件 一、Power Query数据处理基本流程1.1 前期准备1.2 提取1.3 转换1.3.1 Power Query 编辑器界面1.3.2 默认转换1.3.3 自定义转换 1.4 加载1.4.1 自动检测数据类型1.4.2 重命名查…...

编程日记 2025/7/18 12:29:15

Linux 内核升级问题

一、内核升级后启动失败 原因&#xff1a;initramfs 镜像未正确生成或 GRUB 配置错误。 处理步骤如下&#xff1a; 1、进入旧内核启动系统。 2、重新生成 initramfs&#xff1a; sudo dracut -f --regenerate-all 3、更新 GRUB 配置&#xff1a; sudo grub2-mkconfig -o /boo…...

编程日记 2025/6/29 7:57:32

Linux 进程间通信（IPC）详解

进程间通信&#xff08;IPC&#xff09;深入解析 一、进程间通信概述 在操作系统里&#xff0c;不同进程间常常需要进行数据交换、同步协调等操作&#xff0c;进程间通信&#xff08;Inter - Process Communication&#xff0c;IPC&#xff09;机制应运而生。在Linux系统中&a…...

编程日记 2025/7/17 16:21:18

第3章 Python 3 基础语法001

文章目录 一、缩进规则1. 基本规则2. 示例3. 多级缩进4. 常见错误二、注释规则1. 单行注释2. 多行注释3. 特殊注释4. 注释规范三、代码块规则1. 控制结构2. 函数定义3. 类定义4. 上下文管理器四、总结与最佳实践五、调试技巧以下是 Python 3 基础语法规则的详细说明，涵盖 缩进…...

编程日记 2025/6/29 7:28:19

数据库介绍以及windows下mysql安装

文章目录 1. 前言2. MySQL概述2.1 相关概念2.2 DBMS的分类2.3 数据库交互图2.4 MySQL 介绍 3. MySQL 安装 数据库介绍以及windows下mysql安装 1. 前言 我们浏览的淘宝商品页面详情、刷视频网站的一个个视频&#xff0c;这些数据其实都是存储在公司的存储系统中的。想象一下&…...

编程日记 2025/6/29 7:51:53

list的两种设计

1. 内存布局对比 (1) MSVC 的实现 cpp class _List_node {_List_node* _Next; // 指向下一个节点_List_node* _Prev; // 指向前一个节点_Value_type _Value; // 存储的数据 }; 特点&#xff1a; 每个节点包含两个指针和一个数据成员。 Debug 模式&#xff1a;可能添加迭代…...

编程日记 2025/6/29 5:16:29

【C#】一个类中的接口方法使用static和不使用static的区别

在C#中&#xff0c;类中的接口方法是否使用 static 修饰符会带来显著的区别。这是因为接口方法的实现和调用方式与普通方法不同&#xff0c;而 static 关键字的使用进一步改变了这些行为。 以下是两者的区别&#xff1a; 1. 不使用 static 的接口方法 在这种情况下&#xff0…...

编程日记 2025/7/15 15:47:45

共铸价值：RWA 联合曲线价值模型，撬动现实资产生态

摘要 本文提出了一种针对真实资产&#xff08;RWA&#xff09;产业的联合曲线激励模型&#xff0c;将劳动与数据贡献映射为曲线价值&#xff0c;并基于固定档位与指数衰减奖励发放总计 2.1亿积分。该模型结合了去中心化定价与平滑递减机制&#xff0c;不仅为早期贡献者提供更高…...

编程日记 2025/6/29 5:17:51

【libuv】基于libuv的exe链接错误

vs2017构建 基于libuv的exe链接错误 1>libuv.lib(util.obj) : error LNK2019: unresolved external symbol __imp__GetAdaptersAddresses20 referenced in function _uv_interface_addresses 1>libuv.lib(util.obj) : error LNK2019: unresolved external symbol __imp__…...

编程日记 2025/6/29 5:16:38

什么是生成式 AI (GenAI)?

在科技飞速发展的今天，人工智能（AI）已不再是一个遥远的概念，而是悄然融入了我们的日常生活。从智能语音助手到自动驾驶汽车，从个性化推荐系统到医疗诊断辅助，AI正以前所未有的速度改变着世界。然而，在AI的广阔领域中，有一个分支正逐渐崭露头角，成为推动未来创新的关键…...

编程日记 2025/6/29 5:16:57

爬虫准备前工作

1.Pycham的下载 网址&#xff1a;PyCharm: The only Python IDE you need 2.Python的下载 网址&#xff1a;python.org&#xff08;python3.9版本之后都可以&#xff09; 3.node.js的下载 网址&#xff1a;Node.js — 在任何地方运行 JavaScript&#xff08;版本使用18就可…...

编程日记 2025/6/29 7:17:19

JVM——JVM 是如何处理异常的？

JVM 是如何处理异常的&#xff1f; 在 Java 编程语言中&#xff0c;异常处理是一种强大的机制&#xff0c;用于应对程序运行时出现的错误和意外情况。而 Java 虚拟机&#xff08;JVM&#xff09;作为 Java 程序运行的核心环境&#xff0c;在异常处理过程中扮演着至关重要的角色…...

编程日记 2025/6/29 7:27:47

网络基础-----C语言经典题目（12）

一、MTU&#xff0c;IP 协议头中 TTL是什么&#xff1f; MTU 指的是网络层能够接收的最大数据包大小&#xff0c;单位为字节。主要作用是限制数据链路层一次能够传输的数据量。 IP 协议头中的 TTL 是 IP 数据头部的一个 8 位字段&#xff0c;最初它的设计目的是限制数据包在网络…...

编程日记 2025/6/29 5:18:36

【第十六届蓝桥杯省赛】比赛心得与经验分享（PythonA 组）

文章目录 一、我的成绩二、我的备赛经历三、如何备赛&#xff08;个人观点&#xff09;1. 基础语法2. 数据结构3. 算法4. 数学 四、做题技巧与注意事项五、我的题解试题A 偏蓝 &#x1f3c6;100%试题B IPV6 &#x1f3c6;0%试题C 2025图形 &#x1f3c6;100%试题D 最大数字 &am…...

编程日记 2025/6/29 6:18:48