Python自动化办公：用pandas高效比对Excel员工数据

1. 项目背景与需求解析

最近在人力资源部门的朋友遇到了一个实际需求：需要定期比对两个Excel工作表中的员工数据差异。比如每月新入职员工名单和离职员工名单的交叉核对，或者分公司之间的人员信息同步检查。这种重复性工作如果手动操作，不仅效率低下还容易出错。

作为Python自动化办公的经典场景，用pandas+openpyxl组合处理Excel数据比对再合适不过。这个方案特别适合HR、财务、行政等需要频繁处理表格数据的岗位，也适用于需要做数据清洗分析的数据岗新人练手。

2. 技术方案设计思路

2.1 核心工具选型

选择pandas作为核心处理库主要基于三个考量：

1. 内置的DataFrame数据结构天然适合表格数据处理
2. 丰富的合并、比对、过滤方法（merge、concat等）
3. 原生支持Excel读写（依赖openpyxl/xlrd引擎）

注意：如果处理xlsx格式文件，需要额外安装openpyxl（pip install openpyxl）

2.2 比对逻辑设计

常见的比对场景有三种实现方式：

1. 完全匹配比对：两表所有字段完全一致
2. 关键字段比对：仅比对工号/身份证号等唯一标识
3. 模糊匹配比对：处理姓名拼音相近等特殊情况

本次我们以第二种场景为例，演示如何通过员工工号进行精确匹配。

3. 完整实现步骤

3.1 环境准备

首先确保安装必要依赖：

bash复制pip install pandas openpyxl

准备测试数据：

• 工作表1（current.xlsx）：当前在职员工名单
• 工作表2（new.xlsx）：新入职员工名单

两表结构示例：

3.2 核心代码实现

python复制import pandas as pd

# 读取两个工作表
df_current = pd.read_excel('current.xlsx', sheet_name='在职员工')
df_new = pd.read_excel('new.xlsx', sheet_name='新员工')

# 使用merge进行左连接比对
result = pd.merge(
    df_current,
    df_new[['工号']],  # 只比对工号列
    on='工号',
    how='left',
    indicator=True
)

# 筛选出只存在于当前表的记录（新表没有的）
only_in_current = result[result['_merge'] == 'left_only']
only_in_current.to_excel('待核查人员.xlsx', index=False)

print(f"发现{len(only_in_current)}条待核查记录")

3.3 关键参数说明

1. how='left'：左连接保留左表所有记录
2. indicator=True：添加合并来源标记列
3. _merge列取值：
   • 'both'：两表都存在
   • 'left_only'：仅左表存在
   • 'right_only'：仅右表存在

4. 进阶优化方案

4.1 多条件复合比对

如果需要同时比对工号+姓名：

python复制result = pd.merge(
    df_current,
    df_new,
    on=['工号', '姓名'],
    how='outer',  # 全外连接
    indicator=True
)

4.2 差异高亮输出

使用StyleFrame实现差异可视化：

python复制from styleframe import StyleFrame

sf = StyleFrame(only_in_current)
sf.apply_column_style(
    cols_to_style='姓名',
    styler_obj=Styler(bg_color='yellow')
)
sf.to_excel('高亮差异.xlsx')

4.3 定时自动化执行

搭配Windows任务计划或Linux crontab实现每日自动比对：

bash复制# Linux crontab示例
0 9 * * * /usr/bin/python3 /path/to/your_script.py

5. 常见问题排查

5.1 编码问题导致匹配失败

现象：明明工号相同却匹配不上
解决：统一编码后处理

python复制df['工号'] = df['工号'].astype(str).str.strip()

5.2 内存不足处理大文件

解决方案：

1. 分块读取：

python复制chunksize = 10**4
for chunk in pd.read_excel('large.xlsx', chunksize=chunksize):
    process(chunk)

2. 使用dtype参数指定列类型减少内存占用

5.3 合并后列名重复

处理方案：

python复制result = pd.merge(
    df1,
    df2,
    on='工号',
    suffixes=('_当前', '_新')
)

6. 性能优化技巧

1. 对于超大数据集（>10万行），考虑：

   • 先导出为csv再处理（pandas读csv比读excel快3-5倍）
   • 使用Dask替代pandas进行分布式处理

2. 预处理阶段优化：

python复制# 将工号设为索引提升查询速度
df_current.set_index('工号', inplace=True)
df_new.set_index('工号', inplace=True)

3. 使用category类型处理有限取值的列（如部门）：

python复制df['部门'] = df['部门'].astype('category')

实际测试中，对一个5万行的员工表进行比对，优化后的执行时间从12秒降低到3秒左右。