Pandas分组操作实战：从基础到电商数据分析-代码聚汇网

Pandas分组操作实战：从基础到电商数据分析

怀古游戏宅SIR·2026-08-16·阅读 23 GEO检测（免费）

Pandasgroupby数据分析

|难度：普通|阅读约 17 分钟

1. Pandas分组操作核心解析

在数据分析的实际工作中，我们经常需要对数据集进行分组统计和分析。Pandas作为Python生态中最强大的数据处理工具，其分组功能(groupby)堪称数据聚合分析的"瑞士军刀"。不同于简单的数据筛选，分组操作能让我们从多个维度观察数据特征，发现隐藏在数据背后的规律。

我处理过的一个典型场景是分析某电商平台的用户购买行为。原始数据包含用户ID、购买时间、商品类别、金额等字段，通过分组操作我们能够快速得出每个用户的消费总额、最常购买的商品类别、消费时间分布等关键指标。这种分析在传统Excel中需要复杂的数据透视表操作，而Pandas只需几行代码就能实现。

需要模型API调用？免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。

2. 分组基础与核心方法

2.1 groupby函数工作原理

Pandas的groupby操作本质上包含三个步骤：拆分(Split)-应用(Apply)-合并(Combine)。当执行df.groupby('column')时：

拆分：按照指定列的唯一值将DataFrame拆分为多个子集
应用：对每个子集应用聚合函数(如sum、mean等)
合并：将结果合并为一个新的DataFrame

python复制import pandas as pd

# 示例数据
data = {
    'Department': ['Sales', 'IT', 'Sales', 'HR', 'IT', 'HR'],
    'Employee': ['John', 'Mike', 'Lisa', 'Sarah', 'Tom', 'Amy'],
    'Salary': [5000, 6000, 5500, 4500, 6500, 4000]
}
df = pd.DataFrame(data)

# 基本分组操作
department_group = df.groupby('Department')
print(department_group['Salary'].mean())

注意：groupby操作默认会将被分组的列设为索引，如果需要保留原列结构，可以使用as_index=False参数。

2.2 多维度分组技巧

实际业务中，单一维度的分组往往不能满足分析需求。Pandas支持基于多个列的分组：

python复制# 假设我们增加一个'Year'列
df['Year'] = [2020, 2020, 2021, 2021, 2022, 2022]

# 多列分组
multi_group = df.groupby(['Department', 'Year'])
print(multi_group['Salary'].sum())

这种多级分组在分析时间序列数据时特别有用，比如按年和月统计销售额。结果显示为MultiIndex结构，可以通过unstack()方法转换为更易读的表格形式。

3. 高级分组与聚合技术

3.1 自定义聚合函数

除了内置的sum、mean等聚合函数，Pandas允许使用自定义函数：

python复制# 计算薪资范围(最大值与最小值之差)
def salary_range(series):
    return series.max() - series.min()

print(department_group['Salary'].agg(salary_range))

更强大的方式是同时应用多个聚合函数：

python复制# 同时计算平均薪资、中位数和标准差
agg_results = department_group['Salary'].agg(['mean', 'median', 'std'])
print(agg_results)

3.2 transform与apply的区别

这两个方法经常让初学者困惑：

transform：返回与原始数据相同形状的结果，常用于数据标准化
apply：更灵活，可以返回任意形状的结果

python复制# 使用transform计算每个部门薪资相对于部门平均值的百分比
df['Salary_pct'] = df.groupby('Department')['Salary'].transform(
    lambda x: x/x.mean()*100
)

# 使用apply计算每个部门薪资最高的员工
def top_earner(group):
    return group[group['Salary'] == group['Salary'].max()]

print(df.groupby('Department').apply(top_earner))

4. 分组操作性能优化

4.1 避免常见性能陷阱

处理大型数据集时，不当的分组操作可能导致性能问题：

尽量避免在分组后迭代处理，应该优先使用内置聚合函数
对于分类数据，先使用astype('category')可以显著提升速度
考虑使用Dask等库处理超大数据集

python复制# 优化示例：将分组列转换为分类类型
df['Department'] = df['Department'].astype('category')
grouped = df.groupby('Department')  # 现在分组操作会更快

4.2 内存使用技巧

大型分组操作可能消耗大量内存，可以通过以下方式优化：

分组前只选择必要的列
使用参数sort=False如果不需排序结果
分块处理数据，特别是处理时间序列时

python复制# 只选择需要的列进行分组
df[['Department', 'Salary']].groupby('Department').mean()

5. 实际案例：电商用户行为分析

让我们通过一个更完整的案例展示分组操作的实战价值。假设我们有电商平台的用户行为数据：

python复制import numpy as np

# 生成模拟数据
np.random.seed(42)
user_ids = ['U'+str(i).zfill(4) for i in range(1, 101)]
categories = ['Electronics', 'Clothing', 'Grocery', 'Books']

data = {
    'user_id': np.random.choice(user_ids, 1000),
    'category': np.random.choice(categories, 1000),
    'amount': np.round(np.random.uniform(10, 500, 1000), 2),
    'date': pd.date_range('2023-01-01', periods=1000, freq='H')
}

ecommerce_df = pd.DataFrame(data)

# 添加月份列
ecommerce_df['month'] = ecommerce_df['date'].dt.month

5.1 多维度用户行为分析

python复制# 计算每个用户在每个品类的消费总额
user_category_spending = ecommerce_df.groupby(
    ['user_id', 'category']
)['amount'].sum().unstack()

# 计算每个用户的月均消费
monthly_avg = ecommerce_df.groupby(
    ['user_id', 'month']
)['amount'].sum().groupby('user_id').mean()

# 找出每个品类消费最高的用户
top_users_per_category = ecommerce_df.groupby('category').apply(
    lambda group: group.nlargest(3, 'amount')
)

5.2 时间序列分组分析

时间序列分析是分组操作的另一个重要应用场景：

python复制# 按小时分析销售趋势
hourly_sales = ecommerce_df.groupby(
    ecommerce_df['date'].dt.hour
)['amount'].sum()

# 按周分析各品类销售占比
weekly_category = ecommerce_df.groupby([
    ecommerce_df['date'].dt.isocalendar().week,
    'category'
])['amount'].sum().unstack().apply(lambda x: x/x.sum()*100, axis=1)

6. 分组数据可视化

分析结果的可视化是数据分析的关键环节。Pandas与Matplotlib/Seaborn的集成使得分组数据的可视化变得简单：

python复制import matplotlib.pyplot as plt
import seaborn as sns

# 各部门薪资分布箱线图
plt.figure(figsize=(10, 6))
sns.boxplot(data=df, x='Department', y='Salary')
plt.title('Salary Distribution by Department')
plt.show()

# 电商品类销售趋势热力图
plt.figure(figsize=(12, 8))
category_month = ecommerce_df.groupby([
    'month', 'category'
])['amount'].sum().unstack()
sns.heatmap(category_month, annot=True, fmt='.0f', cmap='YlGnBu')
plt.title('Monthly Sales by Category')
plt.show()

7. 常见问题与解决方案

7.1 分组键处理问题

问题1：分组后想重置索引怎么办？

python复制# 使用reset_index()
df.groupby('Department')['Salary'].mean().reset_index()

问题2：如何处理分组后的NaN值？

python复制# 使用fillna或dropna
grouped.fillna(0)  # 用0填充
grouped.dropna()   # 删除含NaN的行

7.2 性能优化问题

问题3：分组操作太慢怎么办？

检查数据类型，将字符串列转换为category
考虑使用更高效的聚合方法，如numpy函数
对于超大数据集，使用分块处理

python复制# 使用numpy的聚合函数加速计算
df.groupby('Department')['Salary'].agg(np.mean)

7.3 复杂分组场景

问题4：如何实现条件分组？

python复制# 使用自定义分组键
df.groupby(df['Salary'] > 5000).mean()

问题5：如何实现滚动窗口分组？

python复制# 使用rolling方法
df.set_index('date').groupby('Department')['Salary'].rolling('30D').mean()

8. 分组操作的最佳实践

经过多年使用Pandas进行数据分析，我总结了以下分组操作的最佳实践：

预处理数据：分组前确保数据清洁，处理缺失值和异常值
明确分析目标：先想清楚需要回答什么问题，再设计分组方案
逐步验证：复杂分组操作应该分步验证中间结果
文档记录：对自定义分组逻辑添加注释，方便后续维护
性能监控：对大表分组时关注内存和计算时间

一个典型的错误案例是直接对原始DataFrame进行复杂的分组聚合，而没有先检查数据质量。我曾经遇到过因为几个异常值导致分组结果完全失真的情况。现在我的工作流程通常是：

先使用describe()快速了解数据分布
进行必要的数据清洗
设计简单的分组验证思路
最后实施复杂的分组分析

对于超大数据集，我通常会采用采样方法先在小数据集上验证分组逻辑的正确性，然后再应用到完整数据集上。这样可以节省大量调试时间。