机器学习数据预处理实战：缺失值处理与特征工程技巧-代码聚汇网

机器学习数据预处理实战：缺失值处理与特征工程技巧

霍风风·2026-08-25·阅读 23 GEO检测（免费）

数据预处理特征工程缺失值处理

|难度：普通|阅读约 9 分钟

1. 机器学习数据预处理的核心价值

数据预处理是机器学习项目中最容易被低估却至关重要的环节。我在实际项目中见过太多团队把80%的时间花在模型调参上，最后发现瓶颈其实出在数据质量上。数据预处理就像炒菜前的食材处理，直接决定了最终模型的口感和营养吸收效率。

以金融风控场景为例，原始数据往往存在以下典型问题：

用户年龄字段存在-1或999这样的异常值
近30%的收入字段缺失
不同渠道采集的地址信息格式混乱
交易金额跨度从几元到上亿元

这些问题如果不经处理直接喂给模型，轻则影响预测精度，重则导致模型完全失效。好的预处理流程应该像专业厨师处理食材那样，既要去除不可用部分，又要保留原始风味，还要根据菜品特点进行针对性加工。

需要模型API调用？免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。

2. 缺失值处理的实战策略

2.1 缺失模式诊断

处理缺失值前必须先进行模式分析。最近在一个电商用户行为分析项目中，我们发现：

随机缺失（MCAR）：约5%的浏览时长数据因网络抖动丢失
非随机缺失（MAR）：高净值用户的资产字段缺失率显著更高
完全非随机缺失（MNAR）：敏感信息如身份证号被主动隐藏

诊断工具推荐：

python复制import missingno as msno
msno.matrix(df)  # 可视化缺失模式
msno.heatmap(df)  # 缺失相关性分析

2.2 高级填补技巧

常规均值/中位数填补往往效果有限。我们在医疗数据预处理中验证过：

对于实验室指标，使用KNN填补（n_neighbors=5）比均值填补AUC提升12%
时间序列数据用滑窗均值（window=3）效果最佳
分类变量建议用missForest等基于随机森林的方法

重要提示：永远保留缺失标记（isnull特征）作为新特征，这本身可能就是有效信息

3. 异常值检测与处理

3.1 多维度检测方法

上周处理传感器数据时，我们组合使用了：

统计方法：3σ原则（适合正态分布数据）
距离度量：LOF算法（k=10时效果最佳）
聚类分析：DBSCAN（eps=0.5, min_samples=10）
监督学习：隔离森林（n_estimators=100）

3.2 工程实践要点

在量化交易特征工程中，我们总结出：

不要简单删除异常值，先分析产生原因
对极值采用Winsorize处理（clip到1%和99%分位数）
时间序列中的异常可能是关键事件，应单独建模

4. 特征编码的进阶技巧

4.1 分类变量处理方案对比

最近一个推荐系统项目中的测试结果：

编码方式	维度	适用场景	注意事项
One-Hot	高	类别少且均匀	需处理稀疏性
Target Encoding	低	高基数特征	需防过拟合
Embedding	可调	深度模型	需足够数据量

4.2 实践中的坑

我们在广告CTR预测中踩过的坑：

直接对用户ID做one-hot导致维度爆炸
过早做target encoding造成数据泄露
没考虑类别出现频率导致长尾问题

解决方案：

python复制# 针对高基数特征的改进方案
from category_encoders import CatBoostEncoder
encoder = CatBoostEncoder(cols=['user_id'])
X_train = encoder.fit_transform(X_train, y_train)

5. 特征选择的黄金准则

5.1 过滤式方法实战

在信贷评分卡开发中，我们采用的流程：

先计算IV值过滤掉<0.02的特征
再用Pearson相关系数去除高相关性（>0.8）特征
最后用卡方检验保留top30%特征

关键代码：

python复制from sklearn.feature_selection import SelectKBest
selector = SelectKBest(score_func=chi2, k=int(0.3*X.shape[1]))
X_new = selector.fit_transform(X, y)

5.2 嵌入式方法优化

最近一个CV项目的发现：

L1正则化在ResNet特征选择中效果显著
树模型的特征重要性要注意去除bias
深度学习可结合attention权重做选择

6. 特征工程的创意技巧

6.1 时序特征构造

在物联网设备预测性维护中，我们创造了：

滑动窗口统计量（均值/方差/偏度）
变化率特征（一阶/二阶差分）
周期性特征（傅里叶变换分量）

6.2 空间特征挖掘

处理GIS数据时的创新：

使用H3地理编码替代经纬度
计算POI密度特征
提取路网拓扑特征

7. 完整Pipeline构建

7.1 自动化流水线设计

我们团队的标准模板：

python复制from sklearn.pipeline import Pipeline
from sklearn.compose import ColumnTransformer

preprocessor = ColumnTransformer(
    transformers=[
        ('num', numeric_transformer, numeric_features),
        ('cat', categorical_transformer, categorical_features)
    ])

pipeline = Pipeline(steps=[
    ('preprocessor', preprocessor),
    ('feature_selection', SelectFromModel(estimator=LassoCV())),
    ('classifier', XGBClassifier())
])

7.2 监控与迭代

关键监控指标：

特征稳定性PSI值（应<0.1）
特征重要性排名变化
新数据覆盖率检查

8. 避坑指南与性能优化

8.1 常见陷阱

我们踩过的典型坑：

在时间序列上错误使用K折交叉验证
测试集参与过标准化处理
类别不平衡时错误评估特征重要性

8.2 大数据量优化

处理千万级数据时的技巧：

使用Dask替代pandas
对分类型变量用parquet格式存储
采用增量式预处理方法

最后分享一个实用技巧：建立特征元数据管理系统，记录每个特征的生成逻辑、更新频率、负责人等信息，这在团队协作中能节省大量沟通成本。