1. 项目概述:为什么merge是数据处理绕不开的坎
做数据分析的同学早晚都会碰到一个场景:手里两三张表,各自有各自的信息,非得分家过日子,但你分析的时候必须把它们捏成一张表。比如订单表里有用户ID,用户表里有用户的年龄和城市,销售明细表里有商品ID,商品表里有商品的价格和分类——不合并,你连“哪个城市的用户买得最多”这种基础问题都回答不了。
Pandas里的merge就是干这个的。它按照一个或多个共同的“键”(Key)把两张DataFrame横向拼接起来,逻辑上对应SQL里的JOIN操作。刚开始接触Pandas的人容易混淆的是,concat也能拼表,merge也能拼表,到底用哪个?简单说,concat是按堆叠的方向拼——上下加行或者左右加列,它不关心行与行之间的关联关系;而merge是按“某几列的值相等”来匹配行的,有明确的对应逻辑,这是本质区别。
merge解决的问题非常明确:两张表有公共字段(比如用户ID、订单号、SKU编码),你想把A表的一部分列和B表的一部分列按这个公共字段对齐,合并成一张宽表。它适合几乎所有需要“关联查询”的数据场景,也是面试里被问烂的考点。这篇文章我按自己的实操经验把merge从参数到坑位到性能一次讲透,你跟着敲一遍,以后遇到多表合并就不用再翻文档了。
文章面向的读者包括:刚学Python数据处理的新手、每天和DataFrame打交道的分析师、以及想理解合并底层逻辑、避免数据翻车的工程师。下面所有的示例代码我都基于Pandas 1.5以上版本实测过,建议你用类似版本环境跑一遍。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 核心参数与设计思路拆解
2.1 merge和SQL JOIN的对应关系
merge之所以好用,是因为它的设计哲学就是“用SQL思维做内存数据关联”。你写过SQL就很好理解:inner join、left join、right join、outer join,在Pandas里分别对应how='inner'、how='left'、how='right'、how='outer'。
有个细节我提醒你:如果你没写过SQL,先用实际场景来理解left join和inner join的区别。最简单的记忆方式是这样——左边那张表是“主角”,left join能保证主角的每一行都保留,右边表能匹配上的就带上,匹配不上的填空值;inner join则是“双方都要有”,左边有、右边没有的行会直接被丢弃。实际工作中,inner和left用得最多,outer用得相对少,但它有个好作用:能帮你发现两张表里哪些键是另一方没有的。
2.2 how参数的四种模式与真实案例
我用一个订单场景来讲四种模式的差异。假设orders是订单表,customers是客户表,两张表通过customer_id关联。
python复制import pandas as pd
orders = pd.DataFrame({
'order_id': [1001, 1002, 1003, 1004],
'customer_id': [1, 2, 1, 5],
'amount': [199, 299, 399, 599]
})
customers = pd.DataFrame({
'customer_id': [1, 2, 3, 4],
'name': ['张三', '李四', '王五', '赵六'],
'city': ['北京', '上海', '广州', '深圳']
})
这里订单表里有customer_id=5的客户,客户表里没有;客户表里有customer_id=3和4的客户,订单表里没有。这就是经典的对不齐场景。
python复制# inner join:只保留两表都匹配的客户
inner = orders.merge(customers, on='customer_id', how='inner')
运行结果9行?不对,是3行。为什么?因为订单表里customer_id=1出现了两次,所以两条订单分别和客户表匹配,得到2行;customer_id=2得到1行;customer_id=5没有匹配被丢弃;客户表自己的3、4没有对应订单也被丢弃。最终3行。这里有一个新手最容易犯的错误:以为inner join是按客户去重后再匹配,实际上merge是“行与行”之间的匹配,左表有几行,匹配上后通常就有几行,一对多、多对一都是允许的,只有多对多才会产生笛卡尔积。
再看left join:
python复制left = orders.merge(customers, on='customer_id', how='left')
订单表的4行全保留,customer_id=5这行匹配不到客户信息,name和city变成NaN。这个结果正是业务中“我要所有订单,客户信息能带多少带多少”的典型需求。
right join和outer join我就不逐行贴结果了,你自己跑一下就能看到:right join以右表为主,customers里4个客户全保留,没有订单的客户其订单字段为空;outer join两张表的键取并集,5号客户、3号客户、4号客户都在结果里,匹配不上的字段为NaN。
2.3 按键关联的三种指定方式
merge到底按什么键来匹配,有三种方式,适用场景完全不同。
第一种,on='列名'。当两张表里关联列的列名完全一致时用,最简洁。刚才的例子就是这种。
第二种,left_on和right_on。当两张表里关联列的名字不一样时用。比如订单表里的列叫customer_id,客户表里叫id,直接写on='customer_id'会报错,因为customers里没有这个列。
python复制orders.merge(customers, left_on='customer_id', right_on='id')
这里有个隐蔽的坑:如果两张表里除了关联列之外还有其他同名列,合并后会自动加上_x和_y后缀区分。你如果用了left_on和`ri
