当前位置：首页 > news >正文

Python 数据分析与可视化 Day 4 - Pandas 数据筛选与排序操作

news 来源：原创 2025/6/26 14:59:22

🎯 今日目标

掌握 Pandas 中 groupby() 的使用方式
学会使用 agg() 方法进行多个聚合
掌握 pivot_table() 构建透视表
结合分组与排序进行更深入的分析

🧮 一、基本分组统计（groupby）

✅ 分组 + 单列聚合

df.groupby("性别")["成绩"].mean()

输出（示例）：

性别
女    75.2
男    72.3

✅ 分组 + 多列聚合

df.groupby("性别")[["成绩", "是否及格"]].mean()

🔧 二、自定义聚合（agg）

✅ 一个字段多个聚合函数

df.groupby("性别")["成绩"].agg(["mean", "max", "min", "count"])

✅ 多字段多个聚合函数

df.groupby("性别").agg({"成绩": ["mean", "std"],"是否及格": "sum"
})

📊 三、透视表（pivot_table）

pd.pivot_table(df, values="成绩", index="性别", columns="是否及格", aggfunc="mean")

可以理解为 Excel 中的“数据透视表”

🔁 四、结合分组后的排序

grouped = df.groupby("性别")["成绩"].mean().reset_index()
grouped.sort_values("成绩", ascending=False)

🧪 今日练习任务

继续使用 students_cleaned.csv，完成以下练习：

按性别统计学生人数
按性别统计平均成绩、最高分、最低分
按性别和是否及格双重分组，统计各组平均成绩
构建透视表，显示是否及格和性别的成绩均值交叉表

输出平均成绩最高的性别组

import pandas as pd
import os# 路径设置
input_path = "data/students_cleaned.csv"if not os.path.exists(input_path):raise FileNotFoundError("❌ 找不到文件：data/students_cleaned.csv，请先运行清洗脚本。")# 加载数据
df = pd.read_csv(input_path)
print("✅ 已加载清洗后的学生数据：")
print(df.head())# 1. 按性别统计人数
print("\n👥 每个性别的学生人数：")
print(df["性别"].value_counts())# 2. 按性别统计平均成绩、最高分、最低分
print("\n📊 各性别的成绩统计：")
gender_stats = df.groupby("性别")["成绩"].agg(["mean", "max", "min", "count"])
print(gender_stats)# 3. 按性别 & 是否及格 进行双重分组统计平均成绩
print("\n📊 按性别和是否及格分组的平均成绩：")
multi_group = df.groupby(["性别", "是否及格"])["成绩"].mean()
print(multi_group)# 4. 构建透视表：性别 vs 是否及格
print("\n📊 透视表（性别 × 是否及格 → 平均成绩）：")
pivot = pd.pivot_table(df, values="成绩", index="性别", columns="是否及格", aggfunc="mean")
print(pivot)# 5. 平均成绩最高的性别组
print("\n🏆 平均成绩最高的性别：")
top_group = gender_stats["mean"].idxmax()
top_score = gender_stats["mean"].max()
print(f"{top_group}（平均成绩：{top_score:.2f}）")# 6. （可选）保存统计结果
output_path = "data/gender_group_stats.csv"
gender_stats.to_csv(output_path, encoding="utf-8")
print(f"\n✅ 性别分组统计结果已保存到 {output_path}")

输出示例：

✅ 已加载清洗后的学生数据：姓名 性别    成绩  是否及格
0  张三   男  88.0   True
1  李四   女  73.5   True
2  王五   男  59.0  False
3  田七   女  73.5  False👥 每个性别的学生人数：
女    2
男    2
Name: 性别, dtype: int64📊 各性别的成绩统计：mean   max   min  count
性别                            
女      73.5  73.5  73.5      2
男      73.5  88.0  59.0      2📊 按性别和是否及格分组的平均成绩：
性别  是否及格
女   False    73.5True      73.5
男   False    59.0True      88.0
Name: 成绩, dtype: float64📊 透视表（性别 × 是否及格 → 平均成绩）：
是否及格     False  True
性别                    
女         73.5  73.5
男         59.0  88.0🏆 平均成绩最高的性别：
女（平均成绩：73.50）✅ 性别分组统计结果已保存到 data/gender_group_stats.csv

gender_group_stats.csv 在这里插入图片描述

📌 补充知识点

groupby() 默认返回的是“分组后对象”，需要用聚合函数 .mean()、.sum()、.agg() 等触发计算
你可以使用 .reset_index() 将 groupby 的结果还原为 DataFrame 格式，便于后续排序、可视化等

✍️ 今日总结

理解并掌握了 Pandas 中 groupby 的用法
学会了使用 agg() 进行自定义多重聚合
学会了构建透视表并进行交叉分析
初步具备了分组维度下的深层次分析能力

题外话

在这里插入图片描述

Python 数据分析与可视化 Day 4 - Pandas 数据筛选与排序操作

🎯 今日目标掌握 Pandas 中 groupby() 的使用方式学会使用 agg() 方法进行多个聚合掌握 pivot_table() 构建透视表结合分组与排序进行更深入的分析 🧮 一、基本分组统计（groupby） ✅ 分组单列聚合 df.groupby("性别&qu…...

编程日记 2025/6/26 14:59:22

基于Vue.js的图书管理系统前端界面设计

一、系统前端界面设计要求与效果 （一）系统功能结构图设计一个基于Vue.js的图书管理系统前端界面。要充分体现Vue的核心特性和应用场景，同时结合信息管理专业的知识。要求系统分为仪表盘、图书管理、借阅管理和用户管理四个主要模块&#x…...

编程日记 2025/6/23 11:58:39

FPGA故障注入测试软件使用指南

有数字芯片之母别称的FPGA，是国内在半导体行业率先取得重大突破的细分赛道，正迎来技术和市场形成共振的黄金发展期。国内拥有最多的应用设计工程师与新兴从业人员，但到目前为止，还没有一款位流级别的专用EDA软件，服务用户日常应用开发所需的调试验证工作。第一大厂商赛…...

编程日记 2025/6/23 11:50:49

Oracle 数据库查询：单表查询

作者：IvanCodes 日期：2025年6月22日专栏：Oracle教程在 Oracle 数据库操作中，查询数据是最频繁、最核心的操作之一。单表查询，即仅从一个表中检索信息，是所有复杂查询的基础。本笔记将系统梳理单表查询的关…...

编程日记 2025/6/26 4:14:10

【DDD】——带你领略领域驱动设计的独特魅力

🎼个人主页：【Y小夜】 😎作者简介：一位双非学校的大三学生，编程爱好者， 专注于基础和实战分享，欢迎私信咨询！ 🎆入门专栏：🎇【MySQL&#xff0…...

编程日记 2025/6/23 11:25:23

阿里云CentOS系统搭建全攻略：开启云端技术之旅

前期准备：开启云端征程前的必备事项在当今数字化时代，云计算已成为企业和开发者构建应用和服务的重要基础设施。阿里云作为全球领先的云计算服务提供商，提供了丰富的云计算产品和服务，其中 CentOS 系统在阿里云上的应用非常广泛…...

编程日记 2025/6/23 11:24:09

Flink图之间流转解析：从逻辑构建到物理执行的深度剖析

在Flink强大的数据处理体系中，Table Connectors实现了与外部结构化数据的高效交互，而Flink作业从代码到实际执行的背后，是各类图结构之间的流转与转换。这些图结构承载着作业的逻辑定义、任务划分与资源调度等关键信息，其流转过程…...

编程日记 2025/6/23 11:18:36

详解Redis数据库和缓存不一致的情况及解决方案

数据库与缓存不一致是分布式系统中常见问题，本质是数据在缓存层和存储层出现版本差异。一、并发写操作导致不一致（最常见） 场景描述线程A更新数据库 → 线程B更新数据库 → 线程B更新缓存 → 线程A更新缓存结果：缓存中存储的…...

编程日记 2025/6/26 12:08:16

【CSS】CSS3媒体查询全攻略

媒体查询教程媒体查询(Media Queries)是CSS3中引入的强大功能，允许内容根据设备特性(如屏幕尺寸、分辨率、方向等)进行自适应调整。以下是媒体查询的详细教程： 基本语法 media mediatype and (media feature) {/* CSS规则 */ }常用媒体类型 all - 所…...

编程日记 2025/6/23 11:17:33

深入理解Spring的ResponseBodyAdvice接口

什么是ResponseBodyAdvice? ResponseBodyAdvice是Spring框架4.2版本引入的一个非常有用的接口，它允许我们在控制器方法执行后、响应体写入前对响应进行统一处理。这个接口为开发者提供了对返回数据进行统一拦截和修改的能力，是Spring MVC响应处理流程中…...

编程日记 2025/6/23 11:17:32

C++法则5：在函数调用过程中，具有非引用类型的参数要进行拷贝初始化。

C法则5： 在函数调用过程中，具有非引用类型的参数要进行拷贝初始化。在 C 中，法则5指的是：当函数参数是非引用类型（即按值传递）时，传递给函数的实参会进行拷贝初始化（copy initializ…...

编程日记 2025/6/23 11:16:30

Python 使用 Requests 模块进行爬虫

目录一、请求数据二、获取并解析数据四、保存数据1. 保存为 CSV 文件2. 保存为 Excel 文件打开网页图片并将其插入到 Excel 文件中五、加密参数逆向分析1. 定位加密位置2. 断点调试分析3. 复制相关 js 加密代码，在本地进行调试（难）4. 获取 …...

编程日记 2025/6/23 11:14:27

day039-nginx配置补充

文章目录 0. 老男孩思想-如何提升能力？1. nginx登录认证功能1.1 创建密码文件1.2 修改子配置文件1.3 重启服务 2. nginx处理请求流程3. 配置默认站点4. location 命令5. 案例1-搭建大型直播购物网站5.1 配置本地hosts解析5.2 编写子配置文件5.3 创建相关目录/文件并…...

编程日记 2025/6/23 11:07:47

K8s入门指南：架构解析浓缩版与服务间调用实战演示

目录前言一、k8s概念理解1、k8s整体架构（1） Master 主节点（2） Node 工作节点（3） Etcd 键值存储数据库 ２、Pod被视为最小的部署单元３、k8s的五种控制器类型（1&#xff09…...

编程日记 2025/6/23 11:07:46

如何用AI开发完整的小程序＜10＞—总结

通过之前9节的学习。如何用Ai制作一款简单小程序的内容就已经都介绍完了。总结起来就以下几点： 1、搭建开发制作环境 2、创建页面（需要手动） 3、在页面上制作UI效果（让Ai搞，自己懂了后可以自己调） 4…...

编程日记 2025/6/26 9:35:09

Javaweb - 3 CSS

CSS 层叠样式表（Cascading Style Sheets），能够对网页中元素位置的排版进行像素级精确控制，支持几乎所有的字体字号样式，拥有对网页对象和模型样式编辑的能力。简单来说，HTML 搭建一个毛坯房，C…...

编程日记 2025/6/23 10:52:18

【算法】【优选算法】优先级队列

目录一、1046.最后一块石头的重量二、703. 数据流中的第 K 大元素三、692. 前 K 个⾼频单词四、295. 数据流的中位数一、1046.最后一块石头的重量题目链接：1046.最后一块石头的重量题目描述： 题目解析： 题意就是让我们拿出提供的数组…...

编程日记 2025/6/26 12:08:53

PaddleOCR + Flask 构建 Web OCR 服务实战

1、前言随着图像识别技术的发展，OCR（光学字符识别）已经成为很多应用场景中的基础能力。PaddleOCR 是百度开源的一个高性能 OCR 工具库，支持中英文、多语言、轻量级部署等特性。而 Flask 是一个轻量级的 Python Web 框架，非常适合快速构建 RESTful API 或小型 Web 应用…...

编程日记 2025/6/23 10:41:36

openapi-generator-maven-plugin自动生成HTTP远程调用客户端

Java开发中调用http接口的时候，有很多可选的技术方案，比如：HttpURLConnection、RestTemplate、WebClient、Feign、Retrofit、Okhttp等，今天我们来看一个更优的技术方案OpenAPI Generator(http://openapi-generator.tech/) OpenAP…...

编程日记 2025/6/26 6:53:36

ms-swift 部分命令行参数说明

参考链接命令行参数 — swift 3.6.0.dev0 文档 Qwen Chat num_train_epochs 训练的epoch数，默认为3 假设你有 1000 条训练样本，并且设置了： num_train_epochs 3 这意味着： 模型会完整地遍历这 1000 条数据 3 次。每一次…...

编程日记 2025/6/23 10:40:33

【学习笔记】深入理解Java虚拟机学习笔记——第10章前端编译与优化

第10章前端编译与优化 10.1 概述 1>前端编译器：Javac命令。【.java文件->.class文件】 2>即时编译器：Hotspot.C1.C2 【.class文件->机器码】 3>提前编译器：JDK的Jaotc等【.java->机器码】 10.2 Javac 编译器 10.2.1 …...

编程日记 2025/6/26 4:31:14

删除node并且重装然后重装vue

参考第一篇文章 node.js卸载与安装超详细教程_node卸载重装-CSDN博客第二篇文章安装vue Vue安装与配置教程（非常详细）_安装vue-CSDN博客...

编程日记 2025/6/26 14:04:08

Flink源码阅读环境准备全攻略：搭建高效探索的基石

想要深入探索Flink的底层原理，搭建一套完整且适配的源码阅读环境是必经之路。这不仅能让我们更清晰地剖析代码逻辑，还能在调试过程中精准定位关键环节。接下来，结合有道云笔记内容，从开发工具安装、源码获取导入到调试配置&#x…...

编程日记 2025/6/23 10:08:34

【破局痛点，赋能未来】领码 SPARK：铸就企业业务永续进化的智慧引擎—— 深度剖析持续演进之道，引领数字化新范式

摘要在瞬息万变的数字时代，企业对业务连续性、敏捷创新及高效运营的需求日益迫切。领码 SPARK 融合平台，秉持“持续演进”这一核心理念，以 iPaaS 与 aPaaS 为双擎驱动，深度融合元数据驱动、智能端口调度、自动化灰度切换、AI 智…...

编程日记 2025/6/23 10:07:00

Flink SQL Connector Kafka 核心参数全解析与实战指南

Flink SQL Connector Kafka 是连接Flink SQL与Kafka的核心组件，通过将Kafka主题抽象为表结构，允许用户使用标准SQL语句完成数据读写操作。本文基于Apache Flink官方文档（2.0版本），系统梳理从表定义、参数配置到实战调优…...

编程日记 2025/6/23 10:07:00

Linux 服务器运维：磁盘管理与网络配置

🤵‍♂️ 个人主页：布说在见 ✍🏻作者简介： 🐋 希望大家多多支持，我们一起进步！😄 如果文章对你有帮助的话， 欢迎评论 💬点赞👍🏻 收藏…...

编程日记 2025/6/26 8:01:46

PyTorch 入门学习笔记

目录 1 张量 1）张量的初始化和属性 2）张量操作 3）使用 NumPy 进行桥接 2 torch.autograd 1）背景 2）在 PyTorch 中的使用 3）Autograd 的微分机制 4）计算图原理 3 神经网络 1&#xff…...

编程日记 2025/6/26 6:01:55

9大策略深度解析MySQL多表JOIN性能优化

一、多表JOIN的现实挑战在实际开发中，MySQL多表JOIN场景主要源于两类场景： • 历史遗留系统：老代码中未严格遵循范式设计的SQL语句• 数据库迁移：从Oracle迁移至MySQL时保留的复杂关联查询这类操作潜藏多重风险： …...

编程日记 2025/6/23 9:36:13

CSS 逐帧动画

CSS 逐帧动画实现指南逐帧动画(frame-by-frame animation)是一种通过快速连续显示一系列静态图像来创造运动效果的技术。以下是使用CSS实现逐帧动画的几种方法。 1. 使用 steps() 计时函数这是实现逐帧动画最常用的方法，通过animation-timing-function的steps(…...

编程日记 2025/6/26 12:39:29

UE5 游戏模板 —— ThirdPersonGame

UE5 游戏模板 —— ThirdPersonGame 前言一、初始化旋转控制参数1.参数一2.参数二3.参数三4.参数四二、输入系统总结前言有了前面的铺垫，第三人称模板简直是手到擒来了，我们只需要注意一些初始化的变量是做什么的即可，因为UE的Character …...

编程日记 2025/6/26 9:19:47

java中关于异步转同步的一些解决方案的对比与思考。【spring mvc堵塞式】

文章目录 1、Spring MVC堵塞式编程中的技术方案a） 最简单的方案，使用 DeferredResult 代码如下，代码解读：最终控制台输出如下。用户收到的结果 b) 上点难度，使用redis监听事件，根据事件的不同返回不同的数据…...

编程日记 2025/6/23 9:16:07

【数据结构与算法】数据结构核心概念系统梳理

第一章绪论：基础概念体系 🚩算法：问题求解步骤的描述。 🚩非递归的算法效率更高。 1.1 逻辑结构 vs 存储结构维度逻辑结构存储结构（物理结构）定义数据元素之间的逻辑关系数据结构在计算机中的实现方式分类线性/树形/图/集合顺序/链式/索引/散列独立性独立于存储结构…...

编程日记 2025/6/26 10:27:30

《HTTP权威指南》第7章缓存

带着问题学习： 缓存如何提高性能如何衡量缓存的有效性缓存置于何处作用最大HTTP如何保持缓存副本的新鲜度缓存如何与其他缓存及服务器通信 web缓存是可以自动保存常见文档副本的HTTP设备。缓存优点减少冗余的数据传输，节省网络费用缓解网络瓶颈问题&…...

编程日记 2025/6/23 9:03:09

【Zephyr 系列 28】MCU 闪存文件系统详解：LittleFS + NVS + 块设备设计实战

🧠关键词：Zephyr 文件系统、LittleFS、NVS、Flash 分区、嵌入式存储、断电保护、wear leveling 📌 1. 为什么 MCU 上需要文件系统？ 在嵌入式开发中，很多开发者起初直接操作 Flash 保存参数，但随着需求增长…...

编程日记 2025/6/23 8:41:32

ICML 2025 | 时间序列(Time Series)论文总结

ICML 2025将在2025年7月13日至7月19日（周六）在温哥华会议中心举行，本文总结了ICML 2025有关时间序列(Time Series)相关文章，共计63篇。时间序列Topic：预测，分类，异常检测，生成&…...

编程日记 2025/6/23 8:41:32

理解后端开发中的中间件（以gin框架为例）

中间件(Middleware)是后端开发中的一个核心概念，它在请求(Request)和响应(Response)之间扮演着桥梁角色。以下是关于中间件的详细解释： 基本概念中间件是在请求到达最终处理程序之前或响应返回客户端之前执行的一系列函数或组件。它可以： 访…...

编程日记 2025/6/23 8:31:29

【分布式技术】Bearer Token以及MAC Token深入理解

Bearer Token以及MAC Token深入理解 **Bearer Token 详解****1. 什么是 Bearer Token？****2. Bearer Token 的构建详情****（1）生成流程****（2）Token 示例（JWT）****（3）Tok…...

编程日记 2025/6/23 8:31:28

WebRTC（七）：媒体能力协商

目的在 WebRTC 中，每个浏览器或终端支持的音视频编解码器、分辨率、码率、帧率等可能不同。媒体能力协商的目的就是： 确保双方能“听得懂”对方发的媒体流；明确谁发送、谁接收、怎么发送；保障连接的互操作性和兼容性。 P2P的基…...

编程日记 2025/6/23 8:01:00

（线性代数最小二乘问题）Normal Equation（正规方程）

Normal Equation（正规方程） 是线性代数中的一个重要概念，主要用于解决最小二乘问题（Least Squares Problem）。它通过直接求解一个线性方程组，找到线性回归模型的最优参数（如权重或系数&#xff…...

编程日记 2025/6/23 7:57:51

【机器学习】数学基础——标量

目录一、标量的定义二、标量的核心特征：无方向的纯粹量级 2.1 标量 vs 矢量直观对比三、标量的数学本质：零阶张量 3.1 张量阶数金字塔 3.2 标量的数学特性四、现实世界的标量图谱 4.1 常见标量家族 4.2 经典案例解析五、标量的运算奥秘…...

编程日记 2025/6/23 7:57:49

基于python代码的通过爬虫方式实现TK下载视频（2025年6月）

Tk的视频页面通常需要登录才能获取完整数据，但通过构造匿名游客的请求，我们可以绕过登录限制，提取视频的元信息（如标题、ID和播放地址）。核心思路如下：构造匿名Cookie：通过模拟浏览器的请求，获取Tk服务器分配的游客Cookie。解析网页：利用BeautifulSoup解析HTML，定位…...

编程日记 2025/6/23 7:34:32

Go 语言的堆糖图片爬虫

基于 Go 语言的堆糖图片爬取探索之旅在互联网的浩瀚海洋中，堆糖网以其丰富多样的高清图片、美图壁纸等内容吸引了众多用户。对于图片爱好者来说，能高效获取心仪的图片资源无疑是一件极具吸引力的事情。今天，就带大家走进一段基于 Go 语言的…...

编程日记 2025/6/23 7:34:30

python+uni-app基于微信小程序的儿童安全教育系统

文章目录具体实现截图本项目支持的技术路线源码获取详细视频演示：文章底部获取博主联系方式！！！！本系统开发思路进度安排及各阶段主要任务java类核心代码部分展示主要参考文献：源码获取/详细视频演示 ##项目…...

编程日记 2025/6/23 7:26:53

DAY 39 图像数据与显存

图像数据的格式：灰度和彩色数据模型的定义显存占用的4种地方模型参数梯度参数优化器参数数据批量所占显存神经元输出中间状态 batchisize和训练的关系 import torch import torch.nn as nn import torch.optim as optim from torch.utils.data import DataLoader ,…...

编程日记 2025/6/23 7:25:30

1、elasticsearch和kibana搭建配置见 https://blog.csdn.net/yh_zeng2/article/details/148812447?spm1001.2014.3001.5501 2、logstash 下载下载和elasticsearch版本一致的logstash，下载地址： Past Releases of Elastic Stack Software | Elastic …...

编程日记 2025/6/23 6:54:41

【ELK(Elasticsearch+Logstash+Kibana) 从零搭建实战记录：日志采集与可视化】

ELK(ElasticsearchLogstashKibana) 从零搭建实战记录：日志采集与可视化本文记录了我在搭建ELK(Elasticsearch, Logstash, Kibana)技术栈时的完整实战过程。使用Docker Compose快速搭建了ELK服务端（监控主机），并通过Filebeat实现…...

编程日记 2025/6/23 6:54:40

反无人机系统：技术利刃如何守护低空安全？

反无人机系统：技术利刃如何守护低空安全？ ——从军事防御到城市安防的全景解析一、技术体系：从“电磁软杀伤”到“激光硬摧毁”的立体防御网反无人机技术本质是一场“降维打击”：用百万级防御系统对抗千元级消费无人机。当前…...

编程日记 2025/6/23 6:51:20

第十章——8天Python从入门到精通【itheima】-102-Python基础综合案例-数据可视化（pyecharts的入门使用+数据处理）

目录 102节——pyecharts的入门使用 1.学习目标 2.pyecharts入门——基础折线图 3.pyecharts的配置对象有哪些？ 4.全局配置——set_global_opts 5.小节总结 103节——数据处理 1.学习目标 2.无法继续关于第一阶段的pyecharts的相关学习因为关于JSON数据获…...

编程日记 2025/6/23 6:51:18

Neo4j 中存储和查询数组数据的完整指南

Neo4j 中存储和查询数组数据的完整指南图形数据库 Neo4j 不仅擅长处理节点和关系，还提供了强大的数组(Array)存储和操作能力。本文将全面介绍如何在 Neo4j 中高效地使用数组，包括存储、查询、优化以及实际应用场景。数组在 Neo4j 中的基本使用数组…...

编程日记 2025/6/23 6:29:01

云原生/容器相关概念记录

文章目录网络与虚拟化技术云平台与架构容器与编排容器网络方案性能优化与工具硬件与协议网络与虚拟化技术 P4可编程网关 P4: Programming Protocol-independent Packet Processors一种基于P4语言的可编程网络设备，支持自定义数据包处理逻辑。P4可编程技术详解&am…...

编程日记 2025/6/26 13:17:02