机器学习数据预处理实战：缺失值、异常值与特征工程

1. 数据预处理在机器学习中的核心地位

数据预处理是机器学习项目中最耗时但最关键的环节，业内常说的"Garbage in, garbage out"正是强调了这个阶段的重要性。我在实际项目中遇到过太多案例：同样的算法，经过专业预处理的数据集比原始数据集的模型效果提升30%以上。数据预处理不仅仅是简单的数据清洗，而是一个系统工程，需要根据业务场景、数据特性和模型需求进行针对性设计。

典型的数据预处理流程包括数据收集、数据清洗、特征工程和数据转换四个阶段。其中数据清洗主要处理缺失值、异常值和重复值；特征工程则包含特征选择、特征提取和特征构造；数据转换则涉及标准化、归一化、离散化等操作。每个环节都需要结合领域知识和统计方法进行决策。

重要提示：不要试图一次性完成所有预处理步骤，建议采用迭代式方法，每完成一个预处理步骤就检查数据质量，避免错误累积到后期难以排查。

2. 缺失值处理的实战策略

2.1 缺失值检测与分类

处理缺失值的第一步是全面检测数据中的缺失情况。我习惯使用Python的missingno矩阵可视化库快速定位缺失模式：

python复制import missingno as msno
msno.matrix(df)

缺失值通常分为三类：

1. MCAR（完全随机缺失）：缺失与任何变量无关
2. MAR（随机缺失）：缺失与观察到的变量相关
3. MNAR（非随机缺失）：缺失与未观察到的变量相关

判断缺失机制对选择处理方法至关重要。例如，当收入数据缺失与职业相关时（MAR），按职业分组插补比整体均值插补更合理。

2.2 七种实用缺失值处理方法

根据项目经验，我总结出七种最实用的缺失值处理技术：

1. 删除法：

   • 适合缺失比例<5%且MCAR的情况
   • 使用df.dropna(thresh=len(df)*0.95, axis=1)删除高缺失率特征

2. 统计量填充：

   • 数值型：中位数（抗异常值）或均值
   • 分类型：众数
   • 代码示例：

     python复制df['age'].fillna(df['age'].median(), inplace=True)
     

3. 模型预测填充：

   • 使用KNN或随机森林预测缺失值
   • 适合MAR情况，需防止数据泄露

4. 多重插补（MICE）：

   • 通过多次迭代建立预测模型
   • 使用IterativeImputer实现：

     python复制from sklearn.experimental import enable_iterative_imputer
     from sklearn.impute import IterativeImputer
     imputer = IterativeImputer(max_iter=10)
     df_imputed = imputer.fit_transform(df)
     

5. 标记法：

   • 添加缺失指示变量
   • 适合MNAR情况，保留缺失模式信息

6. 时间序列填充：

   • 前向填充ffill或后向填充bfill
   • 适合时间连续性数据

7. 领域知识填充：

   • 例如用-1表示"未知"类别
   • 需要与业务专家协作

实战心得：金融风控项目中，收入缺失常采用分位数填充而非均值，因为收入分布通常右偏；医疗数据中，实验室指标的缺失本身可能是重要预测因子，适合采用标记法。

3. 异常值检测与处理的专业方法

3.1 异常值检测技术矩阵

异常值处理需要先准确识别，以下是五种经过验证的检测方法：

3.2 异常值处理策略选择

处理异常值不是简单地删除，而是要考虑其产生原因：

1. 保留：当异常反映真实业务场景时（如金融欺诈）
2. 修正：明显录入错误（年龄=200岁）可修正为边界值
3. 删除：仅当确认是数据采集错误时
4. 转换：对数变换压缩极端值
5. 分箱：将连续变量离散化
6. 鲁棒模型：使用决策树等不受异常值影响的算法

在电商用户行为分析中，我常用分位数封顶法处理消费金额异常值：

python复制upper = df['amount'].quantile(0.99)
df['amount'] = np.where(df['amount']>upper, upper, df['amount'])

4. 特征选择的系统方法论

4.1 过滤式选择技术

过滤法通过统计指标评估特征重要性，计算高效：

1. 方差阈值：删除低方差特征

   python复制from sklearn.feature_selection import VarianceThreshold
   selector = VarianceThreshold(threshold=0.1)
   X_selected = selector.fit_transform(X)
   

2. 单变量统计检验：

   • 分类问题：卡方检验、互信息
   • 回归问题：皮尔逊相关系数、F检验

3. 多重共线性检测：

   • 计算VIF（方差膨胀因子）
   • 代码实现：

     python复制from statsmodels.stats.outliers_influence import variance_inflation_factor
     vif = [variance_inflation_factor(X.values, i) for i in range(X.shape[1])]
     

4.2 包裹式选择实战

包裹法通过模型性能评估特征子集，效果更好但计算成本高：

1. 递归特征消除（RFE）：

   python复制from sklearn.feature_selection import RFE
   from sklearn.linear_model import LogisticRegression
   estimator = LogisticRegression()
   selector = RFE(estimator, n_features_to_select=10)
   selector = selector.fit(X, y)
   

2. 顺序特征选择：

   • 前向选择：从空集开始逐步添加
   • 后向消除：从全集开始逐步删除

在广告CTR预测项目中，我使用LightGBM结合特征重要性进行包裹式选择：

python复制import lightgbm as lgb
model = lgb.LGBMClassifier()
model.fit(X_train, y_train)
importance = pd.DataFrame({
    'feature': X_train.columns,
    'importance': model.feature_importances_
}).sort_values('importance', ascending=False)

4.3 嵌入式选择技巧

嵌入式方法在模型训练过程中自动选择特征：

1. L1正则化（LASSO）：

   python复制from sklearn.linear_model import Lasso
   lasso = Lasso(alpha=0.1)
   lasso.fit(X, y)
   selected = [col for col,coef in zip(X.columns,lasso.coef_) if coef!=0]
   

2. 树模型特征重要性：

   • 基于分裂次数或信息增益
   • 需注意重要性评分可能偏向高基数特征

3. 深度学习自动编码器：

   • 通过瓶颈层实现特征压缩
   • 适合非结构化数据

避坑指南：特征选择后必须重新评估模型性能，我曾遇到因过早进行特征选择导致丢失重要交互特征的情况。建议先保留所有潜在特征进行初步建模，再基于学习结果进行针对性选择。

5. 数据转换的核心技术

5.1 标准化与归一化

1. Z-score标准化：

   python复制from sklearn.preprocessing import StandardScaler
   scaler = StandardScaler()
   X_scaled = scaler.fit_transform(X)
   

2. Min-Max归一化：

   • 适合神经网络输入
   • 对异常值敏感

3. Robust Scaling：

   • 使用中位数和四分位数
   • 适合含异常值数据

5.2 分类变量编码进阶

1. 目标编码（Target Encoding）：

   • 用目标变量均值编码类别
   • 需防止过拟合（增加噪声或使用交叉验证）

2. 证据权重（WoE）：

   • 金融风控常用
   • 反映类别与目标的相关性

3. 嵌入编码（Embedding）：

   • 通过神经网络学习类别表示
   • 适合高基数分类变量

5.3 时间序列特征工程

1. 滞后特征：

   python复制df['lag_1'] = df['value'].shift(1)
   

2. 滚动统计量：

   python复制df['rolling_mean'] = df['value'].rolling(7).mean()
   

3. 时间分解：

   • 提取年、月、日等周期特征
   • 使用pd.DatetimeIndex：

     python复制df['hour'] = pd.DatetimeIndex(df['timestamp']).hour
     

6. 预处理流程自动化实践

6.1 构建可复用的预处理管道

使用sklearn Pipeline确保预处理一致性：

python复制from sklearn.pipeline import Pipeline
from sklearn.impute import SimpleImputer
from sklearn.preprocessing import OneHotEncoder

numeric_transformer = Pipeline(steps=[
    ('imputer', SimpleImputer(strategy='median')),
    ('scaler', StandardScaler())])

categorical_transformer = Pipeline(steps=[
    ('imputer', SimpleImputer(strategy='constant', fill_value='missing')),
    ('onehot', OneHotEncoder(handle_unknown='ignore'))])

preprocessor = ColumnTransformer(
    transformers=[
        ('num', numeric_transformer, numeric_features),
        ('cat', categorical_transformer, categorical_features)])

6.2 自动化特征工程工具

1. Featuretools：

   • 自动生成聚合和转换特征
   • 支持时间窗口操作

2. TSFresh：

   • 自动提取时间序列特征
   • 内置特征选择功能

3. AutoFeat：

   • 自动生成多项式特征
   • 结合特征选择

在销售预测项目中，我使用Featuretools实现自动化特征工程：

python复制import featuretools as ft
es = ft.EntitySet(id="sales")
es = es.entity_from_dataframe(entity_id="transactions", 
                             dataframe=df,
                             index="transaction_id",
                             time_index="date")
features, feature_defs = ft.dfs(entityset=es,
                               target_entity="transactions",
                               agg_primitives=["sum", "mean", "count"],
                               trans_primitives=["month", "weekday"])

7. 预处理效果评估与验证

7.1 评估指标设计

1. 数据质量指标：

   • 缺失率变化
   • 异常值比例
   • 特征相关性变化

2. 模型性能指标：

   • 预处理前后的AUC对比
   • 特征重要性排序一致性

3. 计算效率指标：

   • 特征维度缩减比例
   • 训练时间变化

7.2 交叉验证策略

预处理应嵌套在交叉验证中，避免数据泄露：

python复制from sklearn.model_selection import cross_val_score
pipeline = Pipeline([('preprocessor', preprocessor),
                    ('model', LogisticRegression())])
scores = cross_val_score(pipeline, X, y, cv=5)

在医疗诊断项目中，我们发现嵌套交叉验证比简单划分更能反映预处理方案的真实效果，避免了因数据划分导致的性能高估。

8. 行业特定预处理案例

8.1 金融风控数据预处理

1. 处理高度偏态分布：

   • 金额变量取对数
   • 使用分位数分箱

2. 处理类别不平衡：

   • 过采样SMOTE方法
   • 代价敏感学习

3. 时间衰减加权：

   • 近期交易赋予更高权重
   • 指数衰减公式：weight = exp(-λ*Δt)

8.2 自然语言处理文本预处理

1. 高级文本清洗：

   • 保留特定实体（如产品型号）
   • 自定义停用词表

2. 嵌入层预处理：

   • 子词标记化（Subword Tokenization）
   • 位置编码处理

3. 处理文本长度差异：

   • 动态padding
   • 截断策略选择

在客户评论分析中，我们开发了领域特定的预处理流程，包括保留产品型号中的特殊字符（如"iPhone 13 Pro Max"），自定义情感词词典，以及处理网络用语和非标准拼写。

9. 预处理优化与调试

9.1 超参数调优

预处理参数也可通过网格搜索优化：

python复制param_grid = {
    'preprocessor__num__imputer__strategy': ['mean', 'median'],
    'preprocessor__cat__imputer__strategy': ['most_frequent', 'constant']
}
grid_search = GridSearchCV(pipeline, param_grid, cv=5)
grid_search.fit(X, y)

9.2 常见错误排查

1. 数据泄露：

   • 在训练集上fit_transform
   • 在测试集上只transform

2. 类别编码不一致：

   • 测试集出现新类别
   • 解决方案：保留编码映射关系

3. 维度灾难：

   • 特征过多导致过拟合
   • 解决方案：分阶段特征选择

在推荐系统项目中，我们曾因没有正确处理用户冷启动问题导致预处理流程失效。后来通过引入单独的冷启动处理模块，将新用户的推荐准确率提升了40%。