社长从来不假装如果你接手一个数据整理需求，看到“把2000—2024年的人力资源和社会保障统计数据整理成面板数据”这种需求，第一反应是什么？我当时的反应很简单：翻统计公报、复制表格、拼个Excel，应该一两天就搞定。真正动手之后才发现，事情远没有这么轻松。这里面每一个指标的口径都在变，每一个省份的发布习惯都不一样，年度公报里的“万人”“亿元”“—”几乎能凑出一套字符编码全集。
这篇东西不是给你讲大道理，而是把我从零到一整理这份“人力资源和社会保障事业发展统计核心指标面板数据”的完整过程写下来，包括字段怎么定、口径哪些地方会坑人、清洗脚本怎么写、最终分析时要注意什么。如果你也要做类似的宏观面板数据，不管是不是人社领域，这份经验都能省你不少返工时间。
1. 我为什么要做这个数据库：面板数据不是把表堆在一起
先交代一下背景。当时我在做一个人力资本与社保覆盖相关的研究，需要同时用“时间趋势”和“地区差异”两个维度去观察 31 个省份的就业、养老保险、医疗保险、失业保险等指标变化。这类需求最合适的结构就是面板数据：每一行是一个省份在某一年份的观测，每一列是一个标准化的指标变量。
一开始我想得很简单：把每一年《人力资源和社会保障事业发展统计公报》里的全国数据抄下来，再补几个省份的数字，不就是一个面板了吗？很快我发现，单纯把表罗列起来，根本不算面板数据。真正的面板数据要满足几个基本条件：
- 有明确的个体维度，也就是省份；
- 有明确的时间维度，也就是年度；
- 同一个指标在历年的含义、单位和统计范围一致；
- 缺失值可以被定位、解释，而不是随手填个 0 或空着。
所以我把这个项目的目标定为：构建一份 2000—2024 年、覆盖全国 31 个省级行政单元的人社核心指标面板数据。做出来之后它能干什么？至少能支撑四类需求。
第一类是学术研究，比如做社保参保率对劳动供给的影响、失业率与产业结构的关系、养老保险基金收支的地区差异等，这类研究通常需要省级面板跑固定效应模型。第二类是政策评估，比如某项就业扶持政策实施前后，用面板数据做前后对照和地区对照。第三类是业务报表，很多单位做“十四五”总结或“十五五”规划时，也需要长周期的数据底座。第四类是数据可视化，把 25 年 31 个省份的数据放在一起，画趋势图、热力图、雷达图都非常直观。
这里也要说明一点：如果你只需要全国总量，不关注省份差异，那这份数据可以按年份汇总后当时间序列用；但反过来说，如果你以后在某个分析里突然需要分地区，没有省份维度就得全部重来。所以我的建议是，从一开始就做成省级面板，哪怕某些早期省份数据缺失，也比后期拍大腿强。
1.1 从统计公报到面板数据：一次常见的“数据搬运”需求
在很多人眼里，统计公报里的数据是“现成的”，把数字搬到表格里就行。但实际操作中，你会遇到至少三层问题。
第一层是获取问题。2000 年的公报可能只有 PDF，甚至有些省份早期只发布在纸质版统计年鉴上，网上找到的扫描件清晰度不够，OCR 出来的数字错得离谱。第二层是结构问题。公报的表格布局不太统一，有的按“就业、社保、人才、劳动关系”分块，有的直接把所有指标塞在一张大表里，有的用“—”表示缺项，有的用“空格”表示缺项，你甚至分不清那是 0 还是缺失。第三层是语义问题。同样是“基本养老保险参保人数”，2000 年、2010 年、2020 年这三年的内涵会有明显差异，如果不加处理直接拼接，就会出现“看似连续、实际断裂”的假趋势。
我见过不少人拿到这类数据之后直接画图，发现某个指标在某一两年突然暴涨，然后开始怀疑数据是不是错了。其实很多时候不是数据错了，而是口径变了。后面我会专门用一节说口径问题，这里先记住一个原则：面板数据整理工作中，口径说明和数值本身一样重要。
1.2 面板数据相比普通统计表的优势
既然要把数据整理成面板，就要理解它的价值。普通统计表是“某年某指标的数值”，断面数据只能看到某一个时间点的地区差异，时间序列只能看到全国总量变化。面板数据把这两个维度叠在一起，既能控制省份不随时间变化的特点，又能控制年份共同冲击的影响，这样在做实证分析时才比较有底气。
具体到人社领域，各省的经济发展水平、人口结构、社保制度执行力度差异非常大。如果只看全国时间序列，你很难知道某个政策的净效果到底有多大，因为全国数据的走势可能被经济周期、城镇化、人口流动等宏观因素淹没。而省级面板至少能在一定程度上去掉省份固定效应和年份固定效应，让政策变化前后的对比更干净。
当然，面板数据不是万能药，它只是数据组织方式。真正能不能做出因果推断，还要看研究设计和数据质量。但作为基础设施，一份干净的面板数据能让你后面的分析少走很多弯路。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 人社指标的口径变化：这些数字并不是自然可比的
这个项目里最耗时间的不是写代码，而是搞清楚每一个指标在 25 年里到底经历了多少次口径调整。这里我不打算把所有变量的口径史都罗列出来，只挑几个最容易让数据直接“翻车”的指标说。
2.1 城镇登记失业率：不是真正的调查失业率
城镇登记失业率是很多人特别喜欢用的一个指标，因为它时间跨度长、省际可比性好，而且从 2000 年一直公布到现在。但它的定义必须搞清楚：城镇登记失业率的分子是“在公共就业服务机构进行失业登记的城镇失业人员”，分母是“城镇单位就业人员＋城镇私营个体就业人员＋登记失业人员”。这意味着什么？意味着只有主动去登记的人才会被算进来，没有登记的人、灵活就业又不想去登记的人，基本不会被统计到。
所以如果你拿城镇登记失业率去描述“真实的失业水平”，那一定会被质疑