《Python星球日记》第23天：Pandas基础

名人说：路漫漫其修远兮，吾将上下而求索。—— 屈原《离骚》
创作者：Code_流苏(CSDN)（一个喜欢古诗词和编程的Coder😊）
订阅专栏：《Python星球日记》

目录

• • 一、Pandas 简介
  • • 1. 什么是 Pandas？为什么使用 Pandas？
    • 2. 安装与导入
  • 二、Series 和 DataFrame
  • • 1. Series 的创建与操作
    • 2. DataFrame 的创建与基本操作
  • 三、数据读取与保存
  • • 1. 读取 CSV 文件：`pd.read_csv()`
    • 2. 保存数据到文件：`df.to_csv()`
  • 四、练习：从 CSV 文件中读取数据并进行简单统计分析
  • 五、总结与进阶方向
  • 参考资源

👋 专栏介绍： Python星球日记专栏介绍（持续更新ing）
✅ 上一篇： Python星球日记 - 第22天：NumPy 基础

🌟引言： 欢迎来到Python星球🪐的第23天！

继昨天学习了NumPy基础后，今天我们将探索Python数据分析的另一个重要工具——Pandas。Pandas建立在NumPy的基础上，提供了更高级的数据结构和数据分析功能，是数据科学家和分析师的必备工具。

一、Pandas 简介

1. 什么是 Pandas？为什么使用 Pandas？

Pandas 是Python中用于数据分析和数据处理的强大库，它提供了灵活高效的数据结构，使处理 “关系” 或 “标签” 数据既简单又直观。Pandas的名称来源于"Panel Data"（面板数据）和"Python Data Analysis"（Python数据分析）的组合。

主要优势：

• 高效的数据结构：提供了Series（一维）和DataFrame（二维）两种主要数据结构，适合处理大多数实际数据分析需求
• 强大的数据操作功能：支持数据清洗、转换、过滤、分组、聚合等复杂操作
• 与NumPy的无缝集成：Pandas基于NumPy构建，能够利用NumPy的高性能数值计算功能
• 灵活的输入/输出支持：可以轻松读取和写入各种格式的数据，包括CSV、Excel、SQL数据库等
• 处理缺失数据：提供了丰富的工具来处理缺失或NA值
• 数据可视化支持：与Matplotlib等可视化库配合使用，可以快速创建数据图表

2. 安装与导入

在开始使用Pandas之前，我们需要先安装它。可以使用pip进行安装：

pip install pandas

安装完成后，在Python脚本中导入Pandas：

import pandas as pd  # 通常使用pd作为Pandas的简写别名

💡 小贴士：使用别名pd是数据科学社区的通用约定，这样可以减少代码量并提高可读性。

二、Series 和 DataFrame

Pandas提供了两种主要的数据结构：Series（一维）和DataFrame（二维），它们构成了Pandas的核心。

1. Series 的创建与操作

Series 是一种类似于一维数组的对象，由一组数据（各种NumPy数据类型）和一组与之相关的数据标签（索引）组成。

import pandas as pd
import numpy as np# 从列表创建Series
s1 = pd.Series([1, 3, 5, 7, 9])
print("从列表创建Series:\n", s1)# 自定义索引
s2 = pd.Series([10, 20, 30, 40], index=['a', 'b', 'c', 'd'])
print("\n自定义索引的Series:\n", s2)# 从字典创建Series
data_dict = {'a': 100, 'b': 200, 'c': 300}
s3 = pd.Series(data_dict)
print("\n从字典创建Series:\n", s3)# 使用标量值创建Series
s4 = pd.Series(5, index=['a', 'b', 'c'])
print("\n使用标量值创建Series:\n", s4)# 访问Series元素
print("\n访问Series元素:")
print("s2['a'] =", s2['a'])  # 使用索引标签
print("s2[0] =", s2[0])      # 使用位置索引
print("s2[['a', 'c']] =\n", s2[['a', 'c']])  # 使用索引标签列表# Series的基本属性
print("\nSeries的基本属性:")
print("值:\n", s2.values)
print("索引:\n", s2.index)
print("数据类型:", s2.dtype)# Series的基本操作
print("\nSeries的基本操作:")
print("s2 * 2 =\n", s2 * 2)  # 数值操作
print("np.exp(s2) =\n", np.exp(s2))  # NumPy函数操作
print("s2 > 15 =\n", s2 > 15)  # 布尔操作# 缺失值处理
s5 = pd.Series([1, 2, np.nan, 4])
print("\n包含NaN的Series:\n", s5)
print("检测缺失值:\n", s5.isna())  # 或使用 isnull()
print("丢弃缺失值:\n", s5.dropna())
print("填充缺失值:\n", s5.fillna(0))

输出结果：

Series的主要特点：

• 类似NumPy数组，可以使用NumPy函数进行操作
• 类似Python字典，可以通过索引标签访问数据
• 自动对齐操作，通过索引标签进行计算

2. DataFrame 的创建与基本操作

DataFrame 是一个表格型的数据结构，包含一组有序的列，每列可以是不同的值类型。DataFrame同时具有 行索引 和 列索引 ，可以被看做由Series组成的字典。

import pandas as pd
import numpy as np# 从字典创建DataFrame
data = {'Name': ['Alice', 'Bob', 'Charlie', 'David'],'Age': [25, 30, 35, 40],'City': ['New York', 'Los Angeles', 'Chicago', 'Houston']
}
df1 = pd.DataFrame(data)
print("从字典创建DataFrame:\n", df1)# 指定列的顺序
df2 = pd.DataFrame(data, columns=['Name', 'City', 'Age'])
print("\n指定列顺序的DataFrame:\n", df2)# 自定义索引
df3 = pd.DataFrame(data, index=['p1', 'p2', 'p3', 'p4'])
print("\n自定义索引的DataFrame:\n", df3)# 从嵌套列表创建DataFrame
data_list = [['Alice', 25, 'New York'],['Bob', 30, 'Los Angeles'],['Charlie', 35, 'Chicago']
]
df4 = pd.DataFrame(data_list, columns=['Name', 'Age', 'City'])
print("\n从嵌套列表创建DataFrame:\n", df4)# 从Series字典创建DataFrame
series_dict = {'Name': pd.Series(['Alice', 'Bob', 'Charlie']),'Age': pd.Series([25, 30, 35])
}
df5 = pd.DataFrame(series_dict)
print("\n从Series字典创建DataFrame:\n", df5)# DataFrame的基本属性
print("\nDataFrame的基本属性:")
print("形状:", df1.shape)
print("维度:", df1.ndim)
print("大小:", df1.size)
print("数据类型:\n", df1.dtypes)
print("索引:\n", df1.index)
print("列名:\n", df1.columns)
print("值:\n", df1.values)# 访问DataFrame的数据
print("\n访问DataFrame的数据:")
# 访问列
print("访问'Name'列:\n", df1['Name'])  # 或 df1.Name
# 访问多列
print("访问多列:\n", df1[['Name', 'Age']])
# 使用loc按标签访问
print("使用loc按标签访问:\n", df1.loc[0])  # 访问第一行
print("访问多行多列:\n", df1.loc[0:2, ['Name', 'City']])
# 使用iloc按位置访问
print("使用iloc按位置访问:\n", df1.iloc[1])  # 访问第二行
print("访问多行多列:\n", df1.iloc[0:2, 0:2])# 添加新列
df1['Salary'] = [50000, 60000, 70000, 80000]
print("\n添加新列后的DataFrame:\n", df1)# 删除列
df6 = df1.drop('Salary', axis=1)  # axis=1表示列
print("\n删除'Salary'列后的DataFrame:\n", df6)# 条件过滤
print("\n条件过滤:")
print("年龄大于30的人:\n", df1[df1['Age'] > 30])# 基本统计
print("\n基本统计:")
print("年龄的平均值:", df1['Age'].mean())
print("数值列的统计摘要:\n", df1.describe())

输出结果：

从字典创建DataFrame:Name  Age         City
0    Alice   25     New York
1      Bob   30  Los Angeles
2  Charlie   35      Chicago
3    David   40      Houston指定列顺序的DataFrame:Name         City  Age
0    Alice     New York   25
1      Bob  Los Angeles   30
2  Charlie      Chicago   35
3    David      Houston   40自定义索引的DataFrame:Name  Age         City
p1    Alice   25     New York
p2      Bob   30  Los Angeles
p3  Charlie   35      Chicago
p4    David   40      Houston从嵌套列表创建DataFrame:Name  Age         City
0    Alice   25     New York
1      Bob   30  Los Angeles
2  Charlie   35      Chicago从Series字典创建DataFrame:Name  Age
0    Alice   25
1      Bob   30
2  Charlie   35DataFrame的基本属性:
形状: (4, 3)
维度: 2
大小: 12
数据类型:Name    object
Age      int64
City    object
dtype: object
索引:RangeIndex(start=0, stop=4, step=1)
列名:Index(['Name', 'Age', 'City'], dtype='object')
值:[['Alice' 25 'New York']['Bob' 30 'Los Angeles']['Charlie' 35 'Chicago']['David' 40 'Houston']]访问DataFrame的数据:
访问'Name'列:0      Alice
1        Bob
2    Charlie
3      David
Name: Name, dtype: object
访问多列:Name  Age
0    Alice   25
1      Bob   30
2  Charlie   35
3    David   40
使用loc按标签访问:Name       Alice
Age           25
City    New York
Name: 0, dtype: object
访问多行多列:Name         City
0    Alice     New York
1      Bob  Los Angeles
2  Charlie      Chicago
使用iloc按位置访问:Name            Bob
Age              30
City    Los Angeles
Name: 1, dtype: object
访问多行多列:Name  Age
0  Alice   25
1    Bob   30添加新列后的DataFrame:Name  Age         City  Salary
0    Alice   25     New York   50000
1      Bob   30  Los Angeles   60000
2  Charlie   35      Chicago   70000
3    David   40      Houston   80000删除'Salary'列后的DataFrame:Name  Age         City
0    Alice   25     New York
1      Bob   30  Los Angeles
2  Charlie   35      Chicago
3    David   40      Houston条件过滤:
年龄大于30的人:Name  Age     City  Salary
2  Charlie   35  Chicago   70000
3    David   40  Houston   80000基本统计:
年龄的平均值: 32.5
数值列的统计摘要:Age        Salary
count   4.000000      4.000000
mean   32.500000  65000.000000
std     6.454972  12909.944487
min    25.000000  50000.000000
25%    28.750000  57500.000000
50%    32.500000  65000.000000
75%    36.250000  72500.000000
max    40.000000  80000.000000

DataFrame的主要特点：

• 可以看作是由多个Series组成的表格
• 支持灵活的数据选择、过滤和转换
• 强大的数据操作和分析功能
• 与NumPy、Matplotlib等库无缝集成

三、数据读取与保存

Pandas提供了多种方法来读取和保存各种格式的数据，如CSV、Excel、SQL数据库等。这是Pandas在数据分析中的一个重要优势。

1. 读取 CSV 文件：pd.read_csv()

CSV（逗号分隔值）是最常见的数据交换格式之一。Pandas提供了read_csv()函数来读取CSV文件：

import pandas as pd# 基本用法
df = pd.read_csv('data.csv')
print("读取CSV文件的基本用法:\n", df.head())  # head()显示前5行# 高级选项
df2 = pd.read_csv('data.csv',header=0,           # 将第一行作为列名index_col=0,        # 将第一列作为索引sep=',',            # 分隔符skiprows=1,         # 跳过第一行usecols=[0, 1, 2],  # 只使用指定列na_values=['NA', 'Missing']  # 自定义NA值标记)
print("\n使用高级选项读取CSV:\n", df2.head())# 处理大文件 - 只读取部分行
df3 = pd.read_csv('large_data.csv', nrows=1000)
print("\n只读取前1000行:\n", df3.head())# 读取没有列名的CSV
df4 = pd.read_csv('no_header.csv', header=None, names=['Col1', 'Col2', 'Col3'])
print("\n读取无列名的CSV:\n", df4.head())# 读取具有日期列的CSV
df5 = pd.read_csv('date_data.csv', parse_dates=['Date'])
print("\n解析日期列:\n", df5.head())

read_csv()函数的常用参数：

• filepath_or_buffer：文件路径或URL
• sep/delimiter：分隔符，默认为’,’
• header：指定列名行，默认为0（第一行）
• index_col：指定索引列
• names：列名列表
• usecols：需要读取的列
• skiprows：需要跳过的行数
• nrows：读取的行数
• na_values：代表缺失值的字符串列表
• parse_dates：需要解析为日期的列
• encoding：文件编码

2. 保存数据到文件：df.to_csv()

将DataFrame保存为CSV文件同样简单：

import pandas as pd# 创建一个DataFrame
data = {'Name': ['Alice', 'Bob', 'Charlie', 'David'],'Age': [25, 30, 35, 40],'City': ['New York', 'Los Angeles', 'Chicago', 'Houston']
}
df = pd.DataFrame(data)# 基本保存
df.to_csv('output.csv')
print("已保存DataFrame到output.csv")# 高级选项
df.to_csv('output_custom.csv',index=False,        # 不保存索引header=True,        # 保存列名sep=',',            # 分隔符columns=['Name', 'Age'],  # 只保存指定列na_rep='Missing',   # 缺失值表示encoding='utf-8'    # 文件编码)
print("已使用自定义选项保存DataFrame")# 保存为其他格式
df.to_excel('output.xlsx', sheet_name='Sheet1')
print("已保存为Excel文件")df.to_json('output.json', orient='records')
print("已保存为JSON文件")df.to_html('output.html')
print("已保存为HTML文件")

to_csv()函数的常用参数：

• path_or_buf：文件路径或类文件对象
• sep：分隔符，默认为’,’
• na_rep：缺失值表示，默认为’’
• columns：要写入的列
• header：是否写入列名，默认为True
• index：是否写入行索引，默认为True
• encoding：文件编码
• date_format：日期格式

四、练习：从 CSV 文件中读取数据并进行简单统计分析

让我们通过一个实际例子来练习Pandas的基本操作。我们将从CSV文件中读取销售数据，并进行简单的统计分析。

假设我们有一个名为sales_data.csv的文件，包含以下数据：

Date,Product,Category,Price,Quantity,Region
2023-01-15,Laptop,Electronics,1200,5,North
2023-01-15,Phone,Electronics,800,10,South
2023-01-16,Desk,Furniture,350,3,East
2023-01-16,Chair,Furniture,150,8,West
2023-01-17,Tablet,Electronics,500,12,North
2023-01-17,Monitor,Electronics,300,7,South
2023-01-18,Bookshelf,Furniture,250,4,East
2023-01-18,Lamp,Home,80,15,West
2023-01-19,Keyboard,Electronics,50,20,North
2023-01-19,Mouse,Electronics,30,25,South

现在，让我们使用 Pandas 读取这个文件并进行分析：

import pandas as pd
import matplotlib.pyplot as plt# 读取CSV文件
df = pd.read_csv('sales_data.csv', parse_dates=['Date'])
print("数据概览：")
print(df.head())# 基本信息
print("\n基本信息：")
print(df.info())# 基本统计
print("\n基本统计：")
print(df.describe())# 1. 按类别分组，计算总销售额
df['Sales'] = df['Price'] * df['Quantity']  # 创建销售额列
category_sales = df.groupby('Category')['Sales'].sum().sort_values(ascending=False)
print("\n按类别的总销售额：")
print(category_sales)# 2. 按区域分组，计算平均销售额
region_avg_sales = df.groupby('Region')['Sales'].mean()
print("\n按区域的平均销售额：")
print(region_avg_sales)# 3. 按日期分组，计算销售量
date_quantity = df.groupby('Date')['Quantity'].sum()
print("\n按日期的总销售量：")
print(date_quantity)# 4. 找出销售额最高的产品
top_product = df.loc[df['Sales'].idxmax()]
print("\n销售额最高的产品：")
print(top_product['Product'])# 5. 计算每个类别的产品数量
category_count = df['Category'].value_counts()
print("\n每个类别的产品数量：")
print(category_count)# 6. 简单的数据可视化 - 按类别的总销售额
plt.figure(figsize=(10, 6))
category_sales.plot(kind='bar')
plt.title('按类别的总销售额')
plt.xlabel('类别')
plt.ylabel('总销售额（元）')
plt.xticks(rotation=0)
plt.tight_layout()
plt.savefig('category_sales.png')
print("\n已生成按类别总销售额的柱状图")# 7. 保存处理后的数据 
df.to_csv('processed_sales_data.csv', index=False) 
print("\n已保存处理后的数据到processed_sales_data.csv")

通过这个练习，我们完成了以下数据分析任务：

• 读取CSV文件并查看基本信息
• 计算销售额和进行基本统计分析
• 按不同维度（类别、区域、日期）分组并汇总数据
• 找出表现最佳的产品
• 进行简单的数据可视化
• 保存处理后的数据

这些是数据分析中的常见操作，Pandas使它们变得简单高效。

五、总结与进阶方向

在本篇文章中，我们学习了Pandas的基础知识，包括：

- Pandas的简介和优势
- 核心数据结构：Series和DataFrame
- 数据的读取与保存
- 使用Pandas进行简单的数据分析

Pandas 是Python数据分析的核心工具，它建立在NumPy的基础上，提供了更高级的数据结构和数据分析功能。通过掌握Pandas，你可以高效地处理各种数据分析任务，如数据清洗、转换、分析和可视化。

下一步学习方向：

- 数据清洗和预处理（处理缺失值、重复值、异常值等）
- 高级数据操作（合并、连接、重塑等）
- 时间序列数据分析
- 分组聚合运算
- Pandas与数据可视化的结合使用

练习建议：

1. 尝试使用Pandas处理不同类型的数据集（可以从Kaggle等平台下载公开数据集）
2. 实践不同的数据转换和分析操作
3. 将Pandas与Matplotlib结合，创建数据可视化图表
4. 尝试使用Pandas解决实际问题，如销售数据分析、金融数据分析等

编程提示：当处理大型数据集时，留意内存使用情况。Pandas提供了一些优化内存使用的方法，如指定数据类型、使用chunksize参数分块读取数据等。

Pandas的学习是一个循序渐进的过程。通过实践和不断探索，你将逐渐掌握这个强大工具的各种功能，成为数据分析的专家！

参考资源

• Pandas官方文档：https://pandas.pydata.org/docs/
• Pandas用户指南：https://pandas.pydata.org/docs/user_guide/index.html
• Pandas备忘单：https://pandas.pydata.org/Pandas_Cheat_Sheet.pdf
• Python数据科学手册：https://jakevdp.github.io/PythonDataScienceHandbook/

有什么关于 Pandas 的问题，欢迎在大家评论区留言交流，在下一篇，也就是Python星球之旅的第24天，我们将探索 Pandas 数据清洗，敬请期待！

创作者：Code_流苏(CSDN)（一个喜欢古诗词和编程的Coder😊）
如果你对今天的内容有任何问题，或者想分享你的学习心得，欢迎在评论区留言讨论！