1. 需求场景:为什么需要动态分组统计,transform又是什么?
1.1 一个让数据分析师头疼的真实场景
作为一个经常和数据打交道的人,我见过太多同事在“分组统计后把结果填回原表”这个环节卡住。
给个最简单的例子:你拿到一张销售明细表,里面有店铺名、商品类别、销售额三列。老板要求你算出每个商品类别对应的平均销售额,然后把它作为一个新列加到原始明细表后面,用来对比“单品销售额和品类平均水平差多少”。这种需求如果只有几十行,用 Excel 透视表加 VLOOKUP 还能应付,一旦数据量到几十万甚至上千万行,Excel 基本就崩了,Pandas 这时候才是正确的选择。
但很多 Pandas 新手在实现这种需求时,第一反应是 groupby('类别').agg({'销售额': 'mean'}),发现结果只剩下了每个类别一行,和原始明细表的行数对不上。然后要么写 for 循环逐行匹配,要么先建一个字典再 map……这些办法都能跑,但代码要么难看,要么在数据量大时慢得让人怀疑人生。
其实 Pandas 早就给这类需求准备了一个专门的方法——transform。它做的事情一句话就能说清楚:把分组计算的结果按原数据的行数广播回每一个位置,就像给每一行贴了一张“该组统计值”的标签。配合 groupby 使用,你要的“动态分组统计并还原到原表”几乎就是一行代码的事。
1.2 groupby 的三种“后处理”方式
在 Pandas 里,groupby 只是第一步,它把数据按分组键分成了若干小组,真正干活的是后面的聚合操作。常见的三种方式分别是 agg、apply、transform。很多人只知道前两种,对 transform 一直没搞明白,这里我直接给出一张对比表:
| 方法 | 作用范围 | 返回结果 | 典型用途 |
|---|---|---|---|
| agg | 对整个分组结果做聚合 | 每个分组一行 | 汇总统计、生成分组汇总报表 |
| apply | 对整个分组做任意自定义计算 | 长度不固定,取决于函数返回 | 分组内做复杂运算 |
| transform | 对分组内数据逐列转换 | 与原DataFrame行数完全一致 | 组内标准化、缺省填充、计算组内占比 |
核心区别就一个:agg 的结果是“压缩”的,每个分组只剩一行;transform 的结果是“还原”的,和原表行数一模一样。所以当你的目的是把统计结果“贴回”原表,而不是输出一张分组汇总表时,transform 是天然正确的选择。
提示:
transform要求每个分组内部的计算结果要么是一个标量、要么是一个和该分组行数相同的序列,否则会报错。这个限制反而保证了它不会像apply那样把数据结构搞得乱七八糟。
1.3 transform 到底怎么“广播”
理解 transform 的广播机制,是学好它的关键。你可以把每个分组想象成一个小队,transform 在小队内部做一次计算,然后把计算结果给小队里的每个成员各发一份——哪怕每个小队的人数不一样,结果也能正确对齐。返回时,Pandas 会根据原始索引自动把所有结果放回原来的位置,既不改变行的顺序,也不删除任何一行。
举个生活化的例子:你手里有一份全班考试成绩单,想算出每个同学的成绩和“所在班级的平均分”的差值。transform 的做法是,先按班级分组,计算出每个班级的平均分,再把“班级平均分”这个数值抄送到该班级每一行旁边,接下来你直接做一次减法就是差值。如果不用 transform,你需要把汇总结果复制多份再拼回去,整个过程繁琐且容易出错。
理解这一点之后,你会发现 transform 特别适合四类操作:分组后做差、分组后求占比、分组后填充缺失值、分组后标记异常值。下面几个实战案例,我会把这四类操作全部演示一遍。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 从 groupby+agg 到 groupby+transform:先搞定基础用法
2.1 环境准备与 pandas 安装
在进入代码之前,先解决环境问题。如果你用的是 PyCharm,安装 pandas 有两种常见方式。
方式一,在项目里创建一个虚拟环境,然后打开终端执行:
bash复制pip install pandas
方式二,在 PyCharm 的 File → Settings → Project → Python Interpreter 里点加号,搜索 pandas,点击 Install Package。这种方式适合不喜欢敲命令的人,安装进度也有图形界面显示,等待期间还能看看 pandas 的依赖库都装了哪些,比如 numpy、python-dateutil 这些,都是 pandas 正常运行的必要组件。
有一点要提醒:如果你是在公司内网环境,或者网络访问 PyPI 经常超时,可以在 pip 命令后面加上镜像源:
bash复制pip install pandas -i https://pypi.tuna.tsinghua.edu.cn/simple
装好之后,在代码里先写一句验证版本的命令:
python复制import pandas as pd
print(pd.__version__)
正常会输出类似 2.1.4 的版本号。不同版本的 API 大体一致,但在个别参数上可能有点小差异,后面我会在常见问题里提一下版本带来的坑。
如果你还需要读取 Excel 文件,建议一并安装 openpyxl 和 xlrd 两个库,前者负责写 .xlsx,后者负责读旧版 .xls。只装 pandas 就想着能直接读 Excel,很可能会碰到 ModuleNotFoundError: No module named 'openpyxl' 的报错。
2.2 构造一个不需要联网的数据集
接下来,用一个尽量贴近真实业务的数据集来做演示。假设我们是一家零售公司,手里有一份销售明细:
python复制import pandas as pd
import numpy as np
sales = pd.DataFrame({
'store': ['A店', 'A店', 'A店', 'B店', 'B店', 'C店', 'C店', 'C店', 'C店'],
'category': ['食品', '日用品', '食品', '日用品', '食品', '日用品', '食品', '日用品', '家电'],
'amount': [100, 200, 150, 300, 120, 260, 320, 180, 900]
})
print(sales)
这个例子很小,小
