机器学习特征处理全攻略：从缺失值到特征编码与降维

1. 入坑前先搞明白：特征处理到底解决什么问题

先说个我自己带新人时经常遇到的场景。很多刚接触机器学习的同学，拿到数据集第一反应就是往模型里塞——sklearn 的 fit 一调，loss 一降，就觉得自己完成了任务。但等模型真正上线或者换到测试集上，效果立刻打回原形。问题往往不在模型本身，而在喂给模型的特征上。

特征处理（Feature Processing）这个词听起来很宽泛，但落到实处，它做的事情无非三件：把脏数据变干净、把不可计算的数据变可计算、把高维冗余的数据变精简有效。这三个目标对应的就是机器学习流程里最常见的三类操作——数据清洗、特征编码与缩放、特征选择与降维。

有人可能觉得，现在深度学习模型不都能自动提取特征吗？这话只对了一半。深度学习确实能在海量数据上学到高阶特征，但那是建立在数据量足够大、算力足够强的前提上。对于常规的表格数据、中小规模数据集，甚至工业界大量存在的业务数据，特征处理依然是决定模型效果上限的关键环节。吴恩达在课程里反复强调的一句话我特别认同："Garbage in, garbage out." 特征是模型的起点，起点如果歪了，后面再怎么调参都是事倍功半。

这篇文章我会从实际项目角度出发，把特征处理这条线完整梳理一遍——包括缺失值处理、数值特征变换、类别特征编码、特征选择这四个核心模块，每个模块都会给出可操作的代码示例和我在实战中踩过的坑。适合正在入门机器学习、准备期末复习、或者做课程设计时需要系统整理特征处理知识的同学。

2. 缺失值处理：先判断缺失机制，再决定填充策略

2.1 缺失值的三种类型，决定了你能不能随便填

很多教程上来就教你用均值、中位数填充缺失值，但从不解释为什么可以这样填。实际上，缺失值处理的第一步不是填，而是判断缺失的机制。统计学里把缺失分为三种类型：

• 完全随机缺失（MCAR）：数据缺失和任何变量都无关，纯粹是采集过程中的意外。比如传感器某时刻断电导致记录丢失。这种缺失最"安全"，直接删除或简单填充都不会引入太大偏差。
• 随机缺失（MAR）：缺失概率与其他观测变量相关，但与该变量自身的真实值无关。比如男性更倾向于不填写收入，那么"性别"变量可以解释"收入"的缺失。这种情况用其他特征建模预测缺失值，效果会比均值填充好很多。
• 非随机缺失（MNAR）：缺失概率与该变量自身的真实值有关。比如高收入人群故意不填收入。这种最棘手，任何填充都有偏差，通常需要额外引入业务知识处理。

我见过不少同学做比赛时，不管三七二十一直接 mean() 填充，最后模型线上分数掉得莫名其妙。所以我的习惯是：先跑一行代码看缺失热力图，再结合业务背景判断属于哪种机制。

2.2 从删除到填充：不同场景下的实操方案

举一个典型的落地例子。之前做一个用户流失预测项目，"上次登录距今天数"这个特征缺失率高达30%。我一开始用中位数填充，结果模型在验证集上 AUC 只有0.72。后来仔细分析发现，缺失的样本其实大多是注册后从未登录过的用户——这不是随机缺失，而是"没有登录行为"本身就意味着高流失风险。于是我改成用0填充，并额外加了一个"是否登录过"的0/1标识特征。AUC 直接跳到0.79。这就是理解业务和缺失机制带来的收益。

提示：填充缺失值之后，建议同时保留一个"是否缺失"的标识列（indicator column)。因为很多时候，特征缺失本身就是一种信息，模型可以从中学到模式。

3. 数值特征处理：量纲统一与分布修正

3.1 标准化与归一化的本质区别，别再傻傻分不清

数值特征处理里最基础也最容易被混淆的，就是标准化（Standardization）和归一化（Normalization）。

标准化是把数据变成均值为0、标准差为1的分布。公式是 z = (x - μ) / σ。它不改变数据的分布形态，只是把坐标系"平移+缩放"。适合大多数模型，尤其是对特征尺度敏感的算法，比如 SVM、逻辑回归、KNN、PCA。

归一化通常指 Min-Max Scaling，把数据缩放到 [0,1] 区间。公式是 x' = (x - min) / (max - min)。它改变了数据的分布，把原始范围压到固定区间。适合对取值范围有明确要求的场景，比如图像像素值、神经网络的输入层。

一句话总结：标准化对分布稳健，归一化对范围敏感。实际项目中，如果你不确定，优先用标准化。 原因是标准化对异常值的鲁棒性更好——如果数据里有个极端大值，Min-Max 会把其他所有值压到非常狭窄的区间，而标准化受单个异常值的影响相对较小。

python复制from sklearn.preprocessing import StandardScaler, MinMaxScaler
import numpy as np

# 模拟一份偏态数据
data = np.array([[850], [720], [90], [310], [460], [1200], [3]])

std_scaler = StandardScaler()
minmax_scaler = MinMaxScaler()

print("标准化结果:", std_scaler.fit_transform(data).ravel())
print("归一化结果:", minmax_scaler.fit_transform(data).ravel())

3.2 偏态分布与长尾数据：log变换和Box-Cox变换的实战用法

真实业务数据往往不符合正态分布。拿用户消费金额来说，大多数用户花得少，极少数用户花得多，分布就是严重右偏的。这种分布对线性模型很不友好——模型会把大量学习能力花在拟合那些极端值上，而忽略了大多数普通样本。

处理偏态数据的经典手段是取对数：y = log(x + c)。加常数 c 是为了防止 x=0 时出现负无穷。log变换的威力在于，它能压缩大数值间的差距，让近似指数增长的关系变成近似线性关系。

如果数据中存在0值且你不想加常数，也可以用 Box-Cox 变换，它的表达式是：

• 当 λ 不等于 0 时：y = (x^λ - 1) / λ
• 当 λ 等于 0 时：y = log(x)

Box-Cox 可以自动搜索最优的 λ 值，用完数据会更接近正态分布。但前提是数据全部为正；如果有非正值，需要先加上一个偏移量。

python复制from scipy import stats
import numpy as np

# 生成右偏数据
np.random.seed(42)
skewed_data = np.random.exponential(scale=1000, size=1000).reshape(-1, 1)

# 查看原始偏度
print("原始偏度:", stats.skew(skewed_data.ravel()))

# 使用Box-Cox变换（数据必须为正）
_, fitted_lambda = stats.boxcox(skewed_data.ravel())
bc_data = stats.boxcox(skewed_data.ravel(), fitted_lambda)
print("Box-Cox最优lambda:", fitted_lambda)
print("变换后偏度:", stats.skew(bc_data))

我在做"机器寿命预测"类项目时，对"累计运行时长""振动峰值"这类特征都统一做了 log 变换，最终模型的 RMSE 比直接使用原始数值降低了大约12%。这类操作属于低成本高回报的典型。

3.3 分箱（Binning）的意外价值：从连续特征中挖出非线性关系

有时候，特征和目标变量之间不是线性关系，而是阶段性的。比如年龄和患病风险：儿童期风险低，中年期风险升高，老年期又降低。线性模型很难刻画这种"中间高两头低"的关系，但如果把年龄分成几段，每个区间单独估计，效果就好得多。

分箱有三种常见做法。等宽分箱：按数值范围平均划分；等频分箱：按样本数量均匀划分；基于决策树的分箱：利用树模型找最优切分点。

有同学会问，分箱不是损失了信息吗？确实，分箱是一种 "粗粒度化"，会丢失数值内部精细的差异。但在某些场景下，这种 "损失" 反而提升了模型的泛化性。比如信用评分卡里，收入分箱后模型就不容易过拟合个别极端收入样本。

python复制import pandas as pd

df = pd.DataFrame({'age': [18, 25, 32, 47, 58, 67, 80, 23]})
df['age_bin'] = pd.cut(df['age'], bins=[0, 18, 35, 55, 100], labels=['少年', '青年', '中年', '老年'])
print(df)

注意：分箱后的标签编码是有序的，可以使用有序整数（比如0/1/2/3），但如果类别之间没有天然顺序概念，千万不要用整数编码，否则模型会误认为类别之间有数值大小关系。这一点在下面的分类特征编码里还会详细展开。

4. 类别特征编码：从哑变量到目标编码，选错方法会让模型白练

4.1 为什么不能直接把类别映射成 1、2、3

这大概是教学中最容易忽略的一个点。很多初学者拿到 "城市" 这一列，顺手就用 pd.factorize 变成 0, 1, 2, 3。问题是，城市之间并没有数学上的大小关系——北京是0，上海是1，广州是2，这并不代表上海比北京"大1个单位"。

对于树模型（决策树、随机森林、XGBoost、LightGBM），直接的整数编码影响不算太大，因为树模型是单特征分裂的，它能把每个整数当独立类别处理。但如果你把整数编码的特征喂给线性回归、SVM、神经网络或 KNN，模型就会认为这个特征存在序数关系，从而产生完全错误的拟合方向。

举例来说，线性回归如果学到一个公式权重是 0.5×城市编码，那么模型会认为广州（编码2）的预测值比北京（编码0）大1。这种错误在业务上毫无根据。

4.2 常用编码方法对照与选型建议

text复制编码方法            适用场景                                  缺点
独热编码            类别数量少（<20），树模型和线性模型皆可      维度爆炸，类别之间无相似性信息
标签编码            有序类别，如学历、等级                      无序类别慎用
频率编码            类别数量多，以出现频次代替类别              可能泄露标签信息，需交叉验证验证
目标编码            类别多且与目标强相关                       极易过拟合，必须配合交叉验证和噪声平滑
哈希编码            超大基数类别（如IP地址、用户ID）            可解释性差，可能碰撞

拿实际项目说。之前在信贷风控场景里，对"所在行业"做独热编码，结果行业有30多个类别，独热编码直接膨出30多维稀疏特征，随机森林跑得又慢又不准。后来换成了频率编码——把每个行业出现的频次作为特征值——维度降回1列，模型表现反而略有提升。原因也好理解：频次高的行业样本多，模型对其统计规律掌握得更好；频次低的行业样本少，本身就容易噪声大。

4.3 目标编码的正确打开方式：防止标签泄露是重中之重

目标编码（Target Encoding）是一种利用目标变量均值对类别进行编码的技巧，公式是这个类别中标签均值减去全局标签均值，再乘以一个权重，与全局均值混合。它对高基数类别特征特别有效，但也是最容易翻车的编码方法。

最常见的错误是直接在整个训练集上计算均值，然后用于训练和验证。这样会导致验证集的信息泄露到训练集里——某一类别的目标均值包含了验证集数据的标签信息。后果是模型在验证集上表现虚高，一上真实测试集就崩。

正确的做法是使用交叉验证平滑目标编码。核心思路是：把训练集拆成K折，当前折样本的编码值只用其他K-1折的统计信息来计算。这样每一折的编码都是"未来数据"未知的。

python复制from sklearn.model_selection import KFold
import pandas as pd
import numpy as np

def target_encoding_cv(df, feature, target, n_folds=5, smoothing=1.0):
    df = df.copy()
    # 计算全局目标均值，用于平滑
    global_mean = df[target].mean()
    
    kf = KFold(n_splits=n_folds, shuffle=True, random_state=42)
    encoded = np.zeros(df.shape[0])
    
    for tr_idx, te_idx in kf.split(df):
        # 只使用训练折的统计信息
        train_part = df.iloc[tr_idx]
        # 按类别计算均值和计数
        grouped = train_part.groupby(feature)[target].agg(['mean', 'count'])
        # 平滑公式：类别均值与全局均值的加权平均，权重与类别样本量有关
        encoding = (grouped['mean'] * grouped['count'] + global_mean * smoothing) / \
                   (grouped['count'] + smoothing)
        te_part = df.iloc[te_idx]
        encoded[te_idx] = te_part[feature].map(encoding).fillna(global_mean).values
        
    df[feature + '_target_encoded'] = encoded
    return df

这是我做二分类项目时反复使用的模板。smoothing 参数越大，编码值越向全局均值靠拢，对低样本类别的抑制越强。一般设置在 1 到 50 之间，具体需要通过验证集调优。

4.4 高基数类别特征的三条备选出路

如果类别特征基数特别大，比如用户ID、设备ID，有几万甚至几百万个取值，独热编码完全不可行，目标编码也要格外小心过拟合。我一般从三个方向里选：

• 计数编码：用每个类别的样本量作为特征。简单，完全不泄露标签信息。缺点是两个不同类别的相同频次会得到相同编码。
• 哈希编码：通过哈希函数把类别映射为固定长度的二进制向量。工程师喜欢用，节省内存，但可解释性差。
• 嵌入（Embedding）：神经网络中把类别映射为低维稠密向量。适合深度模型，但表格型数据上不常用。

这三条路没有绝对优劣，依赖实际场景。如果特征是设备型号，计数编码就有明显效果；如果是文本类别，如商品名称，哈希编码加一个简单的线性模型往往性价比很高。

5. 特征选择与降维：用好统计指标和工具，告别"维度灾难"

5.1 过滤式选择：卡方检验、方差阈值、相关系数，都是怎么用的

特征过多不仅拖慢训练速度，还可能带来 "维度灾难"——在高维空间里，样本会变得极其稀疏，任何模型的泛化性能都会急剧下降。特征选择的任务就是在保留有效信息的同时，删掉冗余或无关的特征。

过滤式选择是思路最简单、速度最快的一种方法：先对每个特征单独打分，按分数高低排序后筛选。常见打分依据有三个：

方差阈值：如果一个特征的方差接近0，说明几乎所有样本在该特征上取值相同，没啥区分能力。用 VarianceThreshold 可以直接筛掉这类"常量特征"。但注意：方差不等于信息量，某些方差低但和目标强相关的特征（比如保险理赔中的"是否出过险"）不能一删了之。

卡方检验：适用于特征为类别型、目标也为类别型的场景。它衡量特征与目标之间的独立性——卡方值越大，说明越不独立，特征越可能有用。sklearn 的 SelectKBest + chi2 可以直接用。

皮尔逊相关系数：适用于特征和目标都是数值型。相关系数的绝对值越高，线性关联越强。但相关系数只能捕捉线性关系，非线性关系（比如倒U型曲线）可能相关系数接近0，却是强相关。

python复制from sklearn.feature_selection import SelectKBest, chi2, VarianceThreshold
import pandas as pd

# 方差选择
X = pd.DataFrame({'a': [1, 0, 0, 1, 0, 1],
                  'b': [1, 1, 1, 1, 1, 1],
                  'c': [5, 3, 8, 12, 4, 9]})
selector = VarianceThreshold(threshold=0.1)
X_new = selector.fit_transform(X)
print("保留的列:", X.columns[selector.get_support()].tolist())

5.2 包装式与嵌入式：RFE 和基于树的重要性

如果说过滤式是"先打分再筛选"，那包装式就是"用模型来选特征"。最经典的是递归特征消除（RFE）：反复训练模型，每次删除特征重要性最低的那个，直到达到设定的特征数量。这种方法比过滤式精细，但计算开销大。

嵌入式的典型代表是树模型自带特征重要性。随机森林或 XGBoost 训练完成后，每个特征都会有一个 feature_importances_ 属性，代表特征在分裂中被选中的频率和带来的纯度提升。

但嵌入式特征重要性有两大陷阱：

1. 它对高基数类别特征有偏袒——连续数值特征往往有更多可分割的切点，容易被选为分裂点，导致重要性虚高；
2. 当两个特征高度相关时，重要性会在两个特征间随机分配，可能导致其中一个误被删掉。

所以我在实际项目里，一般会用多种方法交叉验证：一边看树模型的特征重要性，一边看相关系数矩阵，两边信息融合后做最终决策。

5.3 PCA 和 LDA：什么时候用 PCA，什么时候不能直接用

降维的经典工具有 PCA（主成分分析）和 LDA（线性判别分析）。

PCA 是无监督算法，不关心标签，只找数据方差最大的方向做投影。它的使用场景是：特征维度太高、特征之间存在较强共线性、或者我们需要可视化高维数据。PCA 的一个重要细节是：在做 PCA 前必须对特征做标准化，否则量纲大的特征会主导主成分方向。

LDA 是有监督算法，目标是让投影后类内距离最小、类间距离最大。它适合分类问题，并且每个类别下的数据应该近似服从多元正态分布。如果类别不平衡很严重，LDA 的效果会受影响。

python复制from sklearn.decomposition import PCA
from sklearn.preprocessing import StandardScaler

# 假设 X 是特征矩阵
scaler = StandardScaler()
X_std = scaler.fit_transform(X)

pca = PCA(n_components=10)  # 降到10维
X_pca = pca.fit_transform(X_std)

# 查看各主成分解释方差比例
print("累计解释方差比例:", pca.explained_variance_ratio_.cumsum())

选择 n_components 时，我最常用的策略是保留累计解释方差比例达到 85%–95% 的主成分。不要一味追求降到2维做可视化，否则信息损失太多，模型效果会大跳水。

一个重要提醒：PCA 是无监督方法，它压缩的是特征的表达，不保证压缩后的特征与目标变量更相关。有时候压缩后模型效果反而下降，因为被砍掉的分量里恰好包含区分标签的信息。所以用 PCA 一定评估最终模型效果，而不是只看方差值。

6. 模型评估与验证视角下的特征处理：处理决策树时容易忽略的边界问题

很多人做完特征处理就直接训模型，漏掉了"特征处理和模型验证的交互"这一环。这里说几个我在实际项目里反复吃亏后总结的经验。

6.1 特征处理必须在交叉验证内部完成

这是最容易被忽略又最致命的问题。标准化、目标编码、PCA 拟合都涉及从数据中统计参数。如果在划分数据之前就做全量标准化，等于把验证集的信息泄露进了训练集。严格的做法是：对训练集 fit 后，用同一组统计参数 transform 验证集。sklearn 的 Pipeline 就是干这个的。

python复制from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.svm import SVC
from sklearn.model_selection import cross_val_score

pipe = Pipeline([
    ('scaler', StandardScaler()),
    ('clf', SVC())
])

# 交叉验证时，每一折内都会先对训练折做fit，再对验证折做transform
scores = cross_val_score(pipe, X_train, y_train, cv=5)
print("交叉验证准确率:", scores.mean())

这个坑我早年栽过：直接在全体数据上 MinMaxScaler 后再划分训练验证集，结果验证集 AUC 高得离谱，线下自嗨了半天，线上直接崩。后来发现正是信息泄露在捣鬼。

6.2 树模型真的不需要特征缩放吗？——加特征的场景会打脸

教科书经常写：决策树和随机森林是尺度无关的，因为分裂只依赖阈值比较。这句话本身没错，但只统计了"缩放"这个操作。我给决策树项目加过"金额类型"和"时间戳"特征，这种情况下如果不做任何处理，树模型确实能适应，但如果涉及多棵树的集成（比如 XGBoost 中加入带 L1/L2 正则的子模型），或者后期要把树特征和其他模型融合，归一化操作就有了用武之地。

另外，树模型处理线性趋势数据没有天然优势。比如"房价和面积几乎线性正比"，一棵浅树通过多次分段逼近，可能会过度复杂。如果同时把原始连续特征和它的 log 变换、标准化版本一起喂进去，等于是给模型提供了多套坐标系下的特征视图，有时候能帮助模型更好地找到切分点。我试过在 LightGBM 中同时保留原始特征和分箱特征，最终验证集的 log-loss 比单一原始特征降了约4%。副作用是训练时间有所增加，需要平衡。

6.3 特征处理完成后的"体检表"

我在每个项目进入建模前，都会跑一份快速体检清单，成本很低但能拦住80%的明显问题：

• 每列缺失率是否已达到预期？
• 数值特征是否已统一量纲？
• 类别特征编码是否避免了"无序变有序"的假序关系？
• 是否有多重共线性特征（相关系数>0.9）需要删除或合并？
• 特征处理是否在交叉验证内部完成，有没有信息泄露？
• 特征维度是否和数据规模匹配（样本量至少是特征数量的10倍以上）？

7. 从"处理完成"到"特征反馈"：一种反复迭代的工程思路

特征处理不是一次性工作。在实际项目里，我个人习惯采用"建模 → 分析特征贡献 → 反馈到特征工程 → 再建模"的循环方式。

举一个实际的案例。工业设备剩余寿命预测项目里，我最初只用了传感器原始数值特征，模型 MAPE 约 18%。第一轮训练后，发现特征重要性排名里"振动峰值"权重很大，但"温度变化率"权重极小。于是反向推理是否缺失了某个关键变量。后来我去看了原始日志，发现温度虽然单值变化不大，但设备在不同工况下温度基线差异很明显——也就是说，温度的绝对水平不重要，重要的是相对同工况基线的偏移量。基于这个分析，我重新生成一个特征"温度偏移 = 当前温度 - 同工况历史平均温度"，再加入模型，MAPE 降到 12%。这就是特征反馈的典型价值。

再比如做决策树的过程，如果直接用原始类别特征，树分裂时会用类别集合做子集划分，非常容易过拟合；但把类别转为目标编码成平滑数值后，树模型对类别特征的利用效率会更高，配合 LightGBM 的 categorical_feature 参数还能保持原生分类支持。

模型的可解释性也要在特征处理的阶段就考虑——如果你后期需要向业务方解释模型原因，那么尽量保留业务语义词（如"近30天消费次数"），而不要只保留 PCA 降维后毫无语义的 PC1、PC2。否则解释成本极高，极可能丢掉项目上线机会。

8. 写在最后：一个特征处理的小习惯，让模型效果立竿见影

最后分享一个我在多个比赛和项目里反复验证过的习惯：不要追求一次性构建一堆复杂特征，而是先把你最理解的核心业务特征做干净，然后跑一个基线模型，再通过特征重要性反推哪些信息还没有被模型捕获，针对性设计新特征。这个循环通常2-3轮后就能达到不错效果。

另外，处理缺失值时，如果特征缺失率过高（比如超过70%），我的建议是直接删除该特征，而不是花大力气填充。填充不仅引入大量噪声，还可能在人工作业时导致数据分布假象。把精力花在更有信息量的新特征上，回报更高。

特征处理这条路没有终点，同一个数据集给十个工程师，会产出十种不同的特征集。保持好奇心，理解业务+数据背后的机理，才是做好特征处理的真正捷径。