1. 表格数据机器学习的核心认知:为什么这个老领域依然值得死磕
表格数据这块,严格来说不是什么新鲜东西了。从传统统计学的线性回归,到后来的决策树、随机森林,再到这几年被吹上天的XGBoost、LightGBM、CatBoost,本质上都在解决同一类问题——怎么从一堆结构化的行和列里找出规律,然后拿这个规律去做预测、做分类、做排序。
但有意思的是,我接触过不少从计算机视觉或者自然语言处理转过来的朋友,他们最开始会对表格数据有一种"这玩意儿是不是太简单了"的错觉。毕竟图像是一堆像素矩阵,文本是一串带语义的token序列,而表格数据不就是Excel里那种规规矩矩的几行几列吗?结果真上手做项目才发现,表格数据的水远比想象中深。数据清洗、缺失值处理、类别特征编码、特征交叉、不平衡样本、过拟合问题,每一个环节都能让你栽跟头。
这一篇作为系列第四篇,我不想再重复基础概念了。之前已经聊过数据预处理的基础操作、常用模型的横向对比、以及评估指标的选择逻辑。这篇重点放在一个系列里最容易被人忽略但实际项目中最要命的部分——特征工程的实战技巧、模型融合的具体做法,以及从"能跑通"到"跑得好"这段路上那些课本不会明说、但真实项目里天天遇到的经验。
我在实际项目中反复验证过一句话:表格数据机器学习的上限,往往不取决于你用多先进的模型,而取决于你多了解你的数据,以及你能不能把这种了解转化成有效的特征。 模型只是拟合工具,特征才是你喂给工具的信息量。神经网络在图像和文本上能自动提取特征,但在表格数据上,特征工程依然是绕不开的人工环节。
这篇我会用一个用户流失预测的案例贯穿整篇内容,带着大家从头到尾走一遍完整流程。这个案例不复杂,但足够典型——有数值特征、有类别特征、有缺失值、有不平衡分类问题,基本上表格数据建模能遇到的坑它都有。话不多说,直接开始。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 数据质量才是项目的地基:清洗和预处理的真实工作量
很多人拿到一张表就开始跑模型,这大概是表格数据项目里最致命的错误之一。真实业务场景下的表格数据,几乎不可能是干干净净、整整齐齐的。我自己遇到过的情况包括:同一个用户ID在不同表里格式不一致,日期字段有八九种写法,数值列里混着"暂无"和"—"这种文本值,标签列存在错误标注……每一个问题都会直接传导到模型效果上。
2.1 缺失值处理:别一上来就fillna(0)或者dropna()
缺失值处理是表格数据预处理里最容易被人低估的环节。随便填充一个值,或者直接把有缺失的行删掉,两种做法都会带来后续隐患。正确的思路是先搞清楚数据缺失的机制。
缺失值通常分三种情况:完全随机缺失、随机缺失、非随机缺失。完全随机缺失就是数据采集过程中的偶然因素,例如设备故障导致某几条记录没存下来;随机缺失跟其他字段取值相关,比如"年收入"字段在"职业=学生"的记录里更容易缺失;非随机缺失则是缺失本身就跟目标变量相关,比如"是否逾期"字段,逾期用户在登记时更不愿意填信息,导致这个字段在他们身上更容易缺失。
这三种情况处理方式不一样。完全随机缺失且缺失率低(比如低于5%),直接删除影响不大;随机缺失就要考虑用其他特征做预测填充,或者用中位数、众数这类稳健统计量;非随机缺失最麻烦,删除会引入偏差,填充也会引入偏差,一个可用的思路是把"是否缺失"本身做成一个特征,让模型自己去学这个信号。
我常用的处理套路是这样的,先做缺失值分布矩阵,看哪些特征缺失率超过40%,这种特征基本可以弃用;然后对缺失率在5%-40%之间的特征,分类型处理——数值特征用中位数填充(不用均值,均值对异常值敏感),类别特征用众数填充,同时额外生成一列标记是否缺失;最后对缺失率低于5%的特征,直接按上述方式填充即可。
这套方案的好处是:既不会因为粗暴填充引入过多噪声,又不会因为删除行损失太多样本量。在流失预测案例里,我有一列"上个月登录次数",大概有12%的缺失。如果直接填0,等于告诉模型"没登录",但事实上这些用户只是数据没采集到;如果填中位数,又掩盖了用户活跃度的差异。最后我把它拆成两列——"登录次数(有缺失则填中位数)"加上"登录次数是否缺失",模型效果提升了大概3%的AUC。
2.2 异常值处理:数值特征里的"脏数据",比想象的更常见
异常值处理是另一个容易被忽略的环节。表格数据里,异常值通常是这么几种情况:录入错误(年龄写成250),单位不统一(有的记录单位是元,有的是万元),极端真实值(消费金额确实有一单十万的VIP客户),以及外部冲击导致的值(促销活动那天的订单量)。
处理方法分两步走。第一步先检测,简单粗暴的方式是用IQR(四分位距)法,把超过Q3+1.5×IQR或者低于Q1-1.5×IQR的值标出来;进阶一点用Z-score,超过3个标准差的标为异常。但更靠谱的是可视化,画箱线图、散点图、分布直方图,一眼就能看出哪些列有离谱的值。
第二步是处理,这里我得强调一点:不到万不得已不要直接删除异常值。正确的做法是区分异常值
