当前位置：首页 > news >正文

Python库常用函数-数据分析

news 来源：原创 2025/4/19 6:06:07

Python库常用函数

1.pandas库
（1）数据读取与写入
读取 CSV 文件：

data = pd.read_csv('file.csv')

读取 Excel 文件：

data = pd.read_excel('file.xlsx', sheet_name='Sheet1')

写入 CSV 文件：

data.to_csv('new_file.csv', index=False)

写入 Excel 文件：

data.to_excel('new_file.xlsx', sheet_name='Sheet1', index=False)

（2)数据查看与探索
查看数据前几行：

data.head(n)（n为要查看的行数，默认为 5）

查看数据基本信息（列名、数据类型、非空值数量等）：

data.info()

查看数据统计描述（计数、均值、标准差、最小值、最大值等）：

data.describe()

获取数据形状（行数和列数）：

data.shape

获取列名列表：

data.columns

(3)数据选择与过滤
按列名选择单列：

column_data = data['column_name']

按列名选择多列：

selected_data = data[['column1', 'column2', 'column3']]

按行索引选择单行：

row_data = data.loc[index]

按行索引选择多行：

selected_rows = data.loc[start_index:end_index]

按条件过滤数据：

filtered_data = data[data['column_name'] > value]

(4)数据处理与清洗
删除包含缺失值的行：

data.dropna(axis=0, how='any', inplace=True)（axis=0表示按行操作，how='any'表示只要有一个缺失值就删除该行，inplace=True表示直接在原数据上修改）

删除包含缺失值的列：

data.dropna(axis=1, how='any', inplace=True)

填充缺失值：

data.fillna(value, inplace=True)（value为要填充的值）

数据去重：

data.drop_duplicates(subset=['column1', 'column2'], keep='first', inplace=True)（subset指定要根据哪些列去重，keep='first'表示保留第一次出现的重复行）

数据类型转换：

data['column_name'] = data['column_name'].astype('new_type')（new_type可以是int、float、str等）

(5)数据分组与聚合
按列分组并计算某列的总和：

grouped_data = data.groupby('group_column')['sum_column'].sum()

按列分组并计算多个聚合函数：

grouped_data = data.groupby('group_column').agg({'sum_column': 'sum', 'count_column': 'count'})

(6)数据合并与连接
按索引合并两个数据框：

merged_data = pd.merge(data1, data2, left_index=True, right_index=True)

按指定列合并两个数据框：

merged_data = pd.merge(data1, data2, on='common_column')

2.numpy库
(1）创建数组
创建一维数组：

arr = np.array([1, 2, 3, 4, 5])

创建二维数组：

arr = np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]])

(2)数组基本操作
获取数组形状：

arr.shape

获取数组维度：

arr.ndim

获取数组元素个数：

arr.size

数组索引与切片（与 Python 列表类似）

(3)数组计算与统计
数组元素求和：

np.sum(arr)

数组元素均值：

np.mean(arr)

数组元素标准差：

np.std(arr)

数组元素最大值：

np.max(arr)

数组元素最小值：

np.min(arr)

Python库常用函数-数据分析

Python库常用函数 1.pandas库 （1）数据读取与写入读取 CSV 文件： data pd.read_csv(file.csv)读取 Excel 文件： data pd.read_excel(file.xlsx, sheet_nameSheet1)写入 CSV 文件： data.to_csv(new_file.csv, ind…...

编程日记 2025/4/19 6:06:07

【机器学习】机器学习的基本分类-监督学习-随机森林（Random Forest）

随机森林是一种基于集成学习（Ensemble Learning）思想的算法，由多个决策树构成。它通过结合多棵决策树的预测结果来提升模型的泛化能力和准确性，同时减少过拟合的风险。 1. 随机森林的核心思想多样性： 随机森林通过引…...

编程日记 2025/4/17 5:21:19

Java入门：22.集合的特点，List，Set和Map集合的使用

1 什么是集合本质就是容器的封装，可以存储多个元素数组一旦创建，长度就不能再改变了。数组一旦创建，存储内容的类型不能改变。数组可以存储基本类型，也可以存储引用类型。数组可以通过length获得容量的大小，但…...

编程日记 2025/4/18 14:05:26

Web3与区块链如何通过智能合约实现自动化生态？

Web3和区块链正在重塑互联网的未来，其核心在于去中心化和用户数据自主权。而作为区块链技术的重要组成部分，智能合约通过自动执行预设规则，大大提升了效率和安全性。本文将探讨Web3与区块链如何通过智能合约实现生态的自动化。什么是智能合约…...

编程日记 2025/4/17 7:55:21

排序算法入门：分类与基本概念详解

引言排序是编程世界中最常见的操作之一，也是许多算法的基础。不管是从数据中找出最大值还是将一堆乱序的名字整理得井井有条，排序算法都在幕后默默工作。你可能会觉得排序很简单：从小到大排个序而已嘛。但当数据量大到上百万、上亿&#xf…...

编程日记 2025/4/14 17:51:52

【Spring Cloud 微服务的简单概述】

🎥博主：程序员不想YY啊 💫CSDN优质创作者，CSDN实力新星，CSDN博客专家 🤗点赞🎈收藏⭐再看💫养成习惯 ✨希望本文对您有所裨益，如有不足之处，欢迎在评论区提出…...

编程日记 2025/4/13 17:47:46

稳定运行的以Azure Synapse Dedicated SQL Pool数据仓库为数据源和目标的ETL性能变差时提高性能方法和步骤

在Azure Synapse Dedicated SQL Pool（以前称为SQL Data Warehouse）的ETL性能变差时，可以通过以下方法和步骤来提高性能： 1. 分析和监控性能瓶颈查看执行计划：使用SQL的SET STATISTICS IO ON和SET STATISTICS TIME O…...

编程日记 2025/4/14 7:20:43

可供参考的GitHub国内镜像

在配置了本地hosts文件和魔法后仍存在无法访问的问题针对如上问题，可以使用国内的镜像地址做替换例如: https://github.com/bubbliiiing/detr-pytorch改成 https://hub.nuaa.cf/bubbliiiing/detr-pytorch推荐使用的镜像 https://hub.yzuu.cf/ https://hub.nua…...

编程日记 2025/4/10 14:24:36

统计中间件稳定性指标

目前订单业务域涉及中间件：MySQL、Redis、TiDB、MQ、ES。（遗漏项请补充） 一、RDS 资源使用率实例ID实例名称规格maxCPUavgCPUmaxDISKmaxIOPSavgIOPS活跃会话maxTPSavgTPSmaxQPSavgQPS实例风险慢查询慢查询会消耗大量的系统资源&#x…...

编程日记 2025/4/17 4:39:39

Qt Quick开发基础+实战（持续更新中…）

最近更新日期：2024/12/4 一、Qt Quick简介写在前面： 本篇文章虽然只是作为我的学习笔记，但也作为我日后复习之用，所以会认真并详细记录，但会分重点。 1.3 新建Qt Quick Application工程这节主要讲2个知识点&#x…...

编程日记 2025/4/14 21:29:14

FPGA Xilinx维特比译码器实现卷积码译码

FPGA Xilinx维特比译码器实现卷积码译码文章目录 FPGA Xilinx维特比译码器实现卷积码译码1 Xilinx维特比译码器实现2 完整代码3 仿真结果 MATLAB （n,k,m）卷积码原理及仿真代码（你值得拥有）_matlab仿真后代码-CSDN博客 MATLAB 仿真…...

编程日记 2025/4/16 20:29:37

数据结构初阶1 时间复杂度和空间复杂度

本章重点算法效率时间复杂度空间复杂度常见时间复杂度以及复杂度OJ练习 1.算法效率 1.1 如何衡量一个算法的好坏如何衡量一个算法的好坏呢？比如对于以下斐波那契数列： long long Fib(int N) { if(N < 3) return 1;return Fib(N-1) Fib(N-2); }斐…...

编程日记 2025/4/17 5:16:48

基于Matlab计算机视觉的车道线识别与前车检测系统研究

随着自动驾驶技术的发展，车道线识别和前车检测成为智能驾驶系统中的核心技术之一。本实训报告围绕基于计算机视觉的车道线识别与前车检测系统展开，旨在通过处理交通视频数据，实时检测车辆所在车道及其与前车的相对位置，从而为车道…...

编程日记 2025/4/19 5:58:37

刷蓝桥杯历年考题(更新至15届~)

第十五届 CA组省赛 AcWing5980.训练士兵方法一：树状数组:O(nlogn) self-complete /*先枚举组团，后分析每个士兵，有一个特点，组团费用是固定的，那当然是让所有士兵一块训练，训练完的士兵也不会有损失当还…...

编程日记 2025/4/19 6:00:24

Stream API来提取两个字符串字段

如果您有一个包含对象的List，并且想要使用Java 8的Stream API来提取两个字符串字段，然后将这些字段的值连接成一个以逗号隔开的单个字符串或者集合List，您可以按照以下步骤操作： 假设您有一个Person类，其中包含两个字…...

编程日记 2025/4/16 20:29:55

《无畏契约》运行时提示“d3dcompiler_43.dll丢失”是什么原因？“找不到d3dcompiler_43.dll文件”如何解决？

《无畏契约》运行时提示“d3dcompiler_43.dll丢失”是什么原因？“找不到d3dcompiler_43.dll文件”如何解决？ 作为一位软件开发从业者，我深知在游戏运行过程中，遇到各种文件丢失、文件损坏和系统报错等问题是多么令人头疼。今天&a…...

编程日记 2025/4/18 14:07:27

社群分享在商业引流与职业转型中的作用：开源 AI 智能名片 2+1 链动模式小程序的应用契机

摘要：本文聚焦于社群分享在商业领域的重要性，阐述其作为干货诱饵在引流方面的关键意义。详细探讨了提供有价值干货的多种方式，包括文字分享、问题解答以及直播分享等，并分析了直播分享所需的条件。同时，以自身经历为例…...

编程日记 2025/4/14 17:31:44

芯食代冻干科技研究院：创新与品质并重，推动家用冻干机高质量发展

11月25日,芯食代首届食品冻干前沿与智能化升级创新大会在江苏常州成功举办。本次大会由芯食代冻干科技研究院(江苏)有限公司与芯食代(上海)科技发展有限公司联合主办,云集学界专家教授、商界企业精英,共议家用冻干机的未来创新发展。作为创新大会,芯食代冻干科技研究院也在本次…...

编程日记 2025/4/17 9:34:59

【C++】栈和队列的模拟实现（适配器模式）

不论是C语言还是C，我们都用其对应的传统写法对栈和队列进行了模拟实现，现在我们要用新的方法模拟实现栈和队列，这个新方法就是适配器模式。 C语言传统写法： C语言模拟实现栈 C传统写法：C模拟实现栈 1.容器适配器 …...

编程日记 2025/4/17 21:43:52

CSS过渡练习-进度条（12）

该进度条先需要一个大盒子和一个小盒子，然后给大盒子与小盒子加style，看进度到多少就是百分之多少；如果要进度条从百分之五十到满格的话就加一个hover的样式（鼠标移到链接上时添加的特殊样式），然后是想要进…...

编程日记 2025/4/16 20:30:05

青动CRM系统PHP+Uniapp

全面解决企业销售团队的全流程客户服务难题,旨在助力企业销售全流程精细化、数字化管理，全面解决企业销售团队的全流程客户服务难题，帮助企业有效盘活客户资源、量化销售行为，合理配置资源、建立科学销售体系，提升销售业绩。青动…...

编程日记 2025/4/18 7:38:53

word如何快速创建目录？

文章目录 1，先自己写出目录的各级标题。2、选中目标标题，然后给它们编号3、给标题按照个人需求开始分级4、插入域构建目录。4.1、利用快捷键插入域构建目录4.2、手动插入域构建目录听懂掌声！学会了吗？ 前提声明：我在此…...

编程日记 2025/4/15 20:53:18

【机器学习】机器学习的基本分类-监督学习-决策树-CART（Classification and Regression Tree）

CART（Classification and Regression Tree） CART（分类与回归树）是一种用于分类和回归任务的决策树算法，提出者为 Breiman 等人。它的核心思想是通过二分法递归地将数据集划分为子集，从而构建一棵树。CART …...

编程日记 2025/4/17 17:34:46

使用GDI对象绘制UI时需要注意的若干细节问题总结

目录 1、一个bitmap不能同时被选进两个dc中 2、CreateCompatibleDC和CreateCompatibleBitmap要使用同一个dc作为参数 3、不能删除已经被选入DC中的GDI对象 4、使用完的GDI对象，要将之释放掉，否则会导致GDI对象泄漏 5、CreateCompatibleBitmap返回错…...

编程日记 2025/4/19 2:08:03

C++：std::fstream详细介绍

std::fstream 是 C 标准库中的一个类，用于处理文件的输入输出操作。它可以同时进行文件的读和写操作，因此被称为“文件流”（File Stream）。它是 C 输入输出流库 iostream 的一部分，继承了 std::istream 和 std::ostrea…...

编程日记 2025/4/16 17:18:19

ndp协议简介

在IPv6中，ARP（地址解析协议）被替代为邻居发现协议（Neighbor Discovery Protocol，NDP）。NDP是IPv6网络中用于发现邻居节点（相邻设备）的协议，类似于IPv4中的ARP。但与ARP不…...

编程日记 2025/4/17 6:00:39

915DEBUG-obsidianTemplater使用

Templater使用 tp函数不正常显示相应数据模板使用方式不正确 <% tp.date.now("YYYY-MM-DD") %> 应该被放置在一个被Templater识别为模板的文件中，或者在你使用Templater的插入模板功能时输入。如果只是在一个普通的Markdown文件中直接输入这段代码…...

编程日记 2025/4/14 3:31:25

【Linux篇】权限管理 - 用户与组权限详解

一. 什么是权限？ 首先权限是限制人的。人真实的人身份角色权限角色事物属性二. 认识人–用户 Linux下的用户分为超级用户和普通用户 root :超级管理员，几乎不受权限的约束普通用户 :受权限的约束超级用户的命令提示符是#，普通用…...

编程日记 2025/4/18 2:44:02

JWT 在 SaaS 系统中的作用与分布式 SaaS 系统设计的最佳实践

在现代 SaaS（软件即服务） 系统中，随着服务规模的扩大和用户需求的多样化，如何高效、安全地进行用户身份验证、权限控制以及租户隔离，成为了系统架构中的核心问题之一。**JWT（JSON Web Token）**作…...

编程日记 2025/4/8 19:34:11

docker更换容器存储位置

一：原因今天之前在某个服务器上使用docker搭建的服务突然无法访问了，进入服务器查看发现服务运行正常，但是就是无法使用，然后我这边准备将docker服务重新启动下看看，发现docker服务无法重启，提示内存已满…...

编程日记 2025/4/15 19:53:15

gitlab-cicd部署安装与具体操作

一、安装本例中是用安装包直接在ubuntu下安装的，也可以用docker镜像。 curl -LJO https://gitlab-runner-downloads.s3.amazonaws.com/latest/rpm/gitlab-runner_amd64.rpmrpm -i gitlab-runner_amd64.rpm 安装runner后，需要跟在runner所在服务器安装…...

编程日记 2025/4/18 4:49:30

基于MFC实现的人机对战五子棋游戏

基于MFC实现的人机对战五子棋游戏 1、引言此报告将详细介绍本次课程设计的动机、设计思路及编写技术的详细过程，展现我所学过的C知识以及我通过本次课程设计所学到例如MFC等知识。在文档最后我也会记录我所编写过程遇到的问题以及解决方案。 1.1 背景五子棋是…...

编程日记 2025/4/16 17:18:17

mac电脑多个ssh keys共存

一、同一台电脑，不同域名的git仓库为什么要设置不同的ssh keys？ 每个git仓库通常要求使用唯一的ssh key，以防止权限冲突和安全问题。权限控制：每个git仓库的权限是独立的，使用不同的ssh keys可以更好的管理权限&…...

编程日记 2025/4/16 15:14:27

Elasticsearch数据迁移（快照）

1. 数据条件一台原始es服务器（192.168.xx.xx），数据迁移后的目标服务器（10.2.xx.xx）。 2台服务器所处环境： centos7操作系统， elasticsearch-7.3.0。 2. 为原始es服务器数据创建快照修改elas…...

编程日记 2025/4/16 15:09:59

【Java-数据结构篇】Java 中栈和队列：构建程序逻辑的关键数据结构基石

我的个人主页我的专栏：Java-数据结构，希望能帮助到大家！！！点赞❤ 收藏❤ 一、引言 1. 栈与队列在编程中的角色定位栈和队列作为两种基本的数据结构，在众多编程场景中都有着独特的地位。它们为数据的有序…...

编程日记 2025/4/19 0:02:59

使用ensp搭建内外互通，使用路由跨不同vlan通信。

1.网络拓扑图 2.规则 （1）允许 （自己）ping通内外网，内外网随便一个pc就可以. （2） 允许（电信）ping通内外网，内外网随便一个pc就可以 （时间问题不做…...

编程日记 2025/4/17 11:14:46

URDF 发布者 #! /usr/bin/env python3 import rclpy from rclpy.node import Node import rclpy.parameter from sensor_msgs.msg import JointState from rcl_interfaces.msg import SetParametersResultimport threading import timeclass RotateWheelNode(Node):def __init…...

编程日记 2025/4/19 5:52:39

Python库常用函数

相关文章：