1. 数据预处理:从原始CSV到标准格式
金融数据分析的第一步往往是从CSV文件开始。以CSMAR数据库为例,下载的上市公司财务数据通常包含多个CSV文件,每个文件对应不同的财务指标。这些原始数据往往存在格式不统一、冗余信息多等问题,需要先进行标准化处理。
我处理过上百个CSMAR数据集,发现最常见的三个痛点是:股票代码格式混乱、报表类型混杂、日期格式不统一。举个例子,某次分析中我发现同一个公司的股票代码在不同文件中分别显示为"000001"、"1"和"平安银行",这会导致后续合并时无法匹配。解决方法是用destring命令统一格式:
stata复制// 统一股票代码格式
destring stkcd, replace ignore(" ")
format stkcd %06.0f
日期处理更是个技术活。CSMAR的日期字段通常形如"2020-12-31",但我们需要提取年份作为面板数据的时序标识。这里推荐使用substr配合destring:
stata复制// 提取年份并转换为数值型
gen year = substr(enddate,1,4)
destring year, replace
报表筛选也很关键。上市公司会同时发布合并报表(A)和母公司报表(B),我们通常只需要合并报表。用这个命令一键筛选:
stata复制keep if typrep == "A"
小技巧:在CSMAR下载数据时就可以添加筛选条件,只下载合并报表和年报数据,能节省大量预处理时间。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 数据合并实战:merge命令详解
数据清洗的核心环节是合并多个数据源。Stata的merge命令看似简单,但实际使用时处处是坑。根据我的项目经验,90%的合并错误都源于对合并类型理解不清。
2.1 一对一合并(1:1 merge)
这是最基础的合并方式,要求两个数据集中的关键变量组合必须唯一。比如按股票代码和年份合并资产负债表和利润表:
stata复制// 先对两个数据集排序
sort stkcd year
save balance_sheet.dta, replace
sort stkcd year
save income_statement.dta, replace
// 执行合并
use
