python进阶教程---结构化数据分析工具Pandas

结构化数据分析工具Pandas

2.1 Pandas 概览
2.2 数据结构
2.3 基本操作
2.4 高级应用

2.1 Pandas 概览

Pandas 是一个开源项目，由 Wes McKinney 在 2008 年发起，用于解决数据分析工作中的实际需求。它建立在 NumPy 库之上，为 Python 提供了丰富的数据结构和数据分析工具。Pandas 的名字来源于“Panel Data”和“Python Data Analysis”的缩写，其设计目的是为金融和时间序列分析提供支持，但它的应用范围远不止这些。
Pandas 的主要特点包括：

强大的数据结构：提供 DataFrame 和 Series 两种数据结构，可以处理不同类型的数据，包括数字、字符串、日期等。
数据导入导出：支持多种数据格式，如 CSV、Excel、SQL 数据库和 HDF5。
数据清洗和准备：提供了数据缺失值处理、重复数据删除、数据类型转换等功能。
数据操作：支持数据的索引、切片、筛选、排序和分组等操作。
数据分析：提供描述性统计、相关性分析、假设检验等分析方法。
时间序列分析：提供日期范围生成、时间周期转换、时间序列重采样等功能。
Pandas 适用于各种数据分析任务，从简单的数据探索到复杂的数据处理，都被广泛应用于学术研究、金融分析、商业智能、机器学习等领域。由于其易用性和强大的功能，Pandas 已经成为 Python 数据分析的一个不可或缺的部分。
在使用 Pandas 之前，需要先安装 Pandas 库。通常使用 pip 命令进行安装：

pip install pandas

或者使用 conda 命令（如果你使用 Anaconda 或 Miniconda）：

conda install pandas

安装完成后，可以通过以下方式导入 Pandas 库：

import pandas as pd

这里使用了 pd 作为 Pandas 的缩写，这是一种常见的约定。接下来，就可以使用 Pandas 提供的各种功能进行数据分析工作了。

2.2 数据结构

Pandas 主要有两种数据结构：Series 和 DataFrame。

Series
Series 是 Pandas 中的基本数据结构类型，它是一个类似于一维数组的对象，能够保存任何数据类型（整数、字符串、浮点数、Python 对象等）。Series 包含数据和索引两大部分，索引在左，数据在右。
创建一个 Series 对象的基本语法如下：

import pandas as pd
# 创建一个 Series 对象
s = pd.Series(data, index=index)

其中，data 可以是列表、数组、字典等，index 是一个可选的索引标签列表，用于标识每个数据点。
例如：

s = pd.Series([1, 2, 3, 4, 5])

这将创建一个默认索引为 0 到 4 的 Series 对象。
2. DataFrame
DataFrame 是一个二维的表格型数据结构，它包含有序的列，每列可以是不同的值类型（数值、字符串、布尔值等）。DataFrame 有行索引和列索引，可以被看作是一个 Series 的容器。
创建一个 DataFrame 对象的基本语法如下：

import pandas as pd
# 创建一个 DataFrame 对象
df = pd.DataFrame(data, index=index, columns=columns)

其中，data 可以是字典、列表、数组、另一个 DataFrame 等，index 是行索引，columns 是列索引。
例如：

data = {'col1': [1, 2], 'col2': [3, 4]}
df = pd.DataFrame(data)

这将创建一个两列的 DataFrame 对象，行索引默认为 0 到 1。
DataFrame 的列可以是不同的数据类型，并且可以进行各种操作，如选择、删除、添加列等。
这两种数据结构是 Pandas 库的核心，几乎所有的操作都是围绕这两种数据结构展开的。理解和掌握这两种数据结构是使用 Pandas 进行数据分析的基础。

2.3 基本操作

Pandas 提供了一系列基本操作，这些操作对于数据处理和分析至关重要。以下是一些常用的基本操作：

创建数据结构
- 使用 pd.Series() 创建 Series。
- 使用 pd.DataFrame() 创建 DataFrame。
数据查看
- df.head(n)：查看 DataFrame 的前 n 行。
- df.tail(n)：查看 DataFrame 的后 n 行。
- df.info()：查看 DataFrame 的基本信息。
- df.describe()：查看 DataFrame 的统计摘要。
数据选择
- 使用行标签或列名选择单行或多行：df.loc[行标签] 或 df.loc[行标签, 列名]。
- 使用整数索引选择单行或多行：df.iloc[整数索引] 或 df.iloc[整数索引, 整数列索引]。
- 使用布尔索引选择满足条件的行：df[条件表达式]。
数据筛选
- 使用逻辑运算符进行条件筛选：df[df['列名'] > 值]。
数据排序
- 使用 df.sort_values(by='列名') 按照某一列的值进行排序。
数据添加和删除
- 添加列：df['新列名'] = 值或列表。
- 删除列：df.drop('列名', axis=1)。
- 添加行：df.loc[新行标签] = 值。
- 删除行：df.drop('行标签')。
数据分组和聚合
- 使用 df.groupby('列名') 对数据进行分组。
- 使用 groupby 对象的 agg() 方法进行聚合操作。
数据合并
- 使用 pd.concat() 沿着轴进行数据的合并。
- 使用 pd.merge() 进行数据库风格的合并操作。
数据处理
- 缺失值处理：df.isnull()、df.dropna()、df.fillna()。
- 重复值处理：df.duplicated()、df.drop_duplicates()。
数据转换
- 使用 df.apply() 对数据进行逐元素操作。
- 使用 df.applymap() 对 DataFrame 中的每个元素应用一个函数。
- 使用 df.pipe() 将多个操作串联起来。
  这些基本操作是 Pandas 进行数据分析的核心功能。通过这些操作，可以轻松地处理和转换数据，为更深入的分析打下基础。在实际应用中，这些操作通常会被组合使用，以完成复杂的数据处理任务。

2.4 高级应用

Pandas 的高级应用涉及更复杂的操作，这些操作对于处理大数据集和执行高级数据分析任务非常有用。以下是一些 Pandas 的高级应用：

分组聚合（GroupBy）
- groupby 操作允许你将数据分组，然后对每个组应用聚合函数（如 sum、mean、max 等）或自定义函数。
- df.groupby('列名').agg({'列名': ['sum', 'mean']}) 可以对分组数据应用多个聚合函数。
窗口函数（Window Functions）
- 窗口函数可以对数据进行滚动或扩展计算，例如计算移动平均、窗口和等。
- df['列名'].rolling(window=3).mean() 可以计算移动平均。
多重索引（MultiIndex）
- 多重索引允许你在 DataFrame 中创建层次化的索引，这对于处理高维数据非常有用。
- df.set_index(['列名1', '列名2']) 可以将列转换为多重索引。
性能优化
- 使用 df.astype() 将数据类型转换为更高效的类型。
- 使用 df.eval() 和 df.query() 来优化表达式求值和查询操作。
- 使用 df.pivot_table() 创建透视表，这是一种汇总大型数据集的有效方法。
文本数据处理
- 使用 df.str 访问器对 Series 中的字符串进行操作，如查找、替换、分割等。
日期和时间序列
- Pandas 提供了强大的日期和时间序列处理功能，包括时间范围生成、频率转换、重采样等。
- pd.to_datetime() 可以将字符串转换为日期时间对象。
- df.resample('D').mean() 可以对时间序列数据进行重采样。
缺失数据处理
- 使用 df.isna() 和 df.notna() 检测缺失值。
- 使用 df.fillna()、df.dropna() 和 df.interpolate() 处理缺失值。
数据透视表（Pivot Tables）
- pd.pivot_table() 可以创建数据透视表，这是一种多维度数据汇总和分析的工具。
高级字符串操作
- 使用 df.applymap() 或 df.apply() 结合 lambda 函数进行复杂的字符串操作。
链式赋值（Chained Assignment）
- 使用链式赋值时需要小心，因为它可能会导致不可预见的行为。可以通过设置 pd.options.mode.chained_assignment 来控制链式赋值的警告。
categorical 数据类型
- 使用 pd.Categorical() 创建分类数据类型，这有助于节省内存和提高性能。
高级接口（Excel, SQL, HDF5）
- Pandas 提供了与 Excel、SQL 数据库和 HDF5 格式的高级集成，可以轻松读写这些格式的数据。
  这些高级应用展示了 Pandas 的强大功能和灵活性。在实际的数据分析项目中，这些高级功能可以帮助你更高效地处理和分析数据。