MCFS无监督特征选择：原理、Matlab实现与调参实战

干无监督学习的同学应该都有同感：数据没有标签，维度又高，跑聚类之前总想着先筛一筛特征，但手里没有 y，根本不知道哪些特征是真正有用的。我以前也试过靠方差、靠相关系数去筛，效果只能说凑合能用，直到在项目里用了 MCFS——Multi-Cluster Feature Selection，才发现无监督特征选择原来可以这么直接：先让数据自己告诉我们它的簇结构，再用稀疏回归把这些簇结构对应到原始特征上。这篇博客就把 MCFS 的原理、Matlab 实现、参数细节和实际跑数据时踩过的坑完整过一遍，适合正在做无监督特征选择、想在高维数据上给聚类减负的同学参考。

1. MCFS算法原理与整体思路拆解

1.1 无监督特征选择为什么这么难

有监督场景下做特征选择其实很舒服。你有标签，可以直接算卡方、互信息、F 值，也可以套一层带 L1 正则的逻辑回归，让模型自己告诉我们哪些特征有用。可一旦去掉标签，整个问题就变得棘手：数据内部到底哪个维度重要、哪个维度是噪声，没有任何先验知识可以直接拿来做评判。

于是很多人第一反应就是用方差筛——方差小的特征说明它变化不大，信息量低，直接扔掉。这种做法在高维数据里确实能减掉一批无效维度，但它有个致命问题：方差大并不代表对簇结构有用，反之亦然。两个完全无关的噪声特征，只要波动范围大，方差筛选照样会把它们留下。还有一种常见思路是算特征之间的相关性，把高度相关的特征合并掉一部分，这本质上是去冗余，不是特征选择，对聚类效果提升很有限。

MCFS 的想法跟这些都不一样。它绕开了"先定义什么是好特征"的难题，改成两步走：先用谱聚类那一套方法从数据自身的相似度结构里学出几个"簇指示向量"（embedding），相当于把样本在无标签情况下最可能的分群方式先挖出来；然后把这几个簇指示向量当作监督信号，对原始特征做稀疏回归。回归得到的稀疏系数，哪些特征系数非零、系数绝对值大，说明这些特征对簇结构贡献大。这样就把一个无监督问题转化成了若干个"带伪标签"的稀疏回归问题，思路非常巧妙。

1.2 核心思想：先学结构，再做稀疏映射

MCFS 的英文全称是 Multi-Cluster Feature Selection，核心词有两个：Multi-Cluster 和 Feature Selection。

Multi-Cluster 代表算法不是找一组特征去拟合某一个方向，而是同时考虑数据里可能存在的多个簇结构。现实中数据往往是多簇的，一个特征可能对区分 A/B 两类很重要，但对区分 C/D 两类完全没帮助。如果只投影到一个方向，很容易丢掉部分簇的信息。所以 MCFS 从拉普拉斯特征分解里取出前 m 个特征向量，每个向量都代表一个独立的簇结构方向，然后逐个做稀疏回归。

Feature Selection 则体现在 L1 正则化上。L1 惩罚项会把回归系数中不重要的维度压缩成 0，留下来的非零系数对应的就是能解释当前簇结构的特征。把 m 个方向上的系数绝对值汇总，每个特征得到一个综合得分，排序后取 top-k，就完成了特征选择。

这种"先无监督学结构，再稀疏回归选特征"的范式非常实用。它不是简单地问"这个特征自身带了多大局部方差"，而是问"这个特征对数据内在结构有多大解释力"，后者显然更接近我们做聚类时真正关心的东西。

1.3 数学过程一次讲透

MCFS 的完整数学流程可以拆成四步，每一步都对应一个明确的矩阵或优化问题：

第一步，构建近邻图。对 n 个样本，用 KNN 找出每个样本的 k 个邻居，然后给邻居对赋权重。最常用的是热核权重：

W_{ij} = exp(-||x_i - x_j||^2 / σ^2)

如果 x_j 在 x_i 的 k 近邻里，或者 x_i 在 x_j 的 k 近邻里，就按这个公式算相似度，否则为 0。

第二步，计算归一化拉普拉斯矩阵。度矩阵 D 是对角矩阵，D_ii = Σ_j W_{ij}。拉普拉斯矩阵 L = D - W，归一化版本是：

L_n = D^{-1/2} L D^

对 L_n 做特征分解，取最小的 m 个特征值对应的特征向量，组成矩阵 Y = [y_1, y_2, ..., y_m]。这些特征向量就是数据的簇结构表示，每个 y_j 是 n 维向量，对应一种分群方式。

第三步，对每个 y_j 做 L1 正则化回归：

min ||y_j - X^T α_j||² + β ||α_j||₁

其中 X 是 n×d 的样本特征矩阵，α_j 是 d 维系数向量。L1 项会让 α_j 变成稀疏解，非零系数的位置就是对这个簇方向重要的特征。

第四步，计算每个特征的最终得分。把 m 个回归系数向量放在一起，对第 i 个特征：

score(i) = max_j |α_{j,i}|

也就是取该特征在所有簇方向上的最大绝对系数。得分越高说明这个特征至少在某个簇结构里起了关键作用。最后按得分从大到小排序，选前 k 个。

注意：第四步用 max 而不是 mean 是有讲究的。如果一个特征只在某一个簇方向上很重要，在其他方向上系数接近 0，mean 会把它的得分拉低，导致它被漏掉。max 能保证"至少在一个簇里有价值的特征"被保留下来。

2. 实现前的关键细节与工具选型

2.1 相似度图的构建：KNN参数是第一个坑

MCFS 的第一步是构图，这一步对最终结果的影响比很多人想象中大得多。KNN 的邻居数 k 是第一个要拍板的参数。k 太小，图可能不连通，拉普拉斯矩阵的零特征值会变成多个，特征分解出来的向量就不一定是簇结构，而可能是连通分量的指示；k 太大，图变得过于稠密，每个样本都和远处的样本扯上关系，局部结构被平均掉，特征向量会变得平滑过头，丢失区分度。

我自己的经验是，小数据集（几百个样本）k 取 5～10 通常比较稳；上千个样本的时候，可以取 ceil(log(n)) 再稍微往上加一点；如果样本量只有几十个，k 往 3～5 这个区间靠。具体怎么判断？最简单的方式是看拉普拉斯特征值分解结果：如果最小的若干个特征值里有明显接近 0 的，说明图被切断了，需要增大 k。

权重模式上，热核权重 W = exp(-||xi-xj||²/σ²) 比单纯 0/1 权重信息更丰富，但 σ 怎么定又是个问题。全局固定 σ 很容易失效，因为不同区域的样本密度不一样。实践中更稳妥的做法是自适应 σ：对每个点，用它与第 k 个近邻的距离 d_k 作为局部尺度，即 σ_i = d_k，然后两两之间的权重用 exp(-||xi-xj||² / (σ_i σ_j))。这样密度高的区域权重下降快，密度低的区域权重下降慢，构图更符合真实分布。当然，如果只是想快速跑通流程，直接设 σ 为所有样本对距离的中位数也能用。

构图阶段还有一个容易忽略的细节：对称化。KNN 近邻关系是不对称的，i 是 j 的近邻不代表 j 是 i 的近邻。通常需要把 W 对称化，要么取 max(W, W')，要么取 (W + W') / 2。两种都行，效果差距不大，但如果不做对称化，后面 D 和 L 的计算会变得很奇怪。

2.2 拉普拉斯矩阵与特征分解怎么做

构图完成之后，W 是一个 n×n 的对称稀疏矩阵。度矩阵 D 就是 W 每行求和放到对角线上。到这里有个小细节：到底用未归一化的 L = D - W，还是用归一化的 L_n = D^{-1/2} L D^{-1/2}？

MCFS 原论文用的是归一化拉普拉斯。原因是归一化版本对样本采样密度不均衡更鲁棒，特征向量的几何意义也更好——它对应的是谱聚类里的标准解法，特征向量就是近似簇指示。我做过对比实验，在样本量差距较大的数据集上，归一化版本的聚类结构明显更清晰。

特征分解这一步，Matlab 里有两个选择：eig 和 eigs。eig 是稠密分解，适合 n 不太大的情况；eigs 是迭代法，适合大规模稀疏矩阵。如果你只是处理几百个样本的小数据，用 eig(Ln) 然后取前 m 个最小特征值对应的特征向量就行，方便调试。数据上到几千上万，eig 会非常慢，必须上 eigs(Ln, m, 'smallestreal')。

注意：eigs 求最小的 m 个特征值，对矩阵本身的对称性要求很高。Ln 理论上是对称矩阵，但如果构图的对称化没做好，或者浮点运算产生了轻微不对称，eigs 可能会报错或者收敛不理想。稳妥的做法是显式执行 Ln = (Ln + Ln') / 2，再丢给 eigs。

2.3 L1稀疏回归的求解方案

MCFS 里最核心的数值部分是 L1 回归。Matlab 官方没有内置 lasso 函数（新版有 lasso，但它处理的是标准线性回归，对这里的问题也能用，只是大矩阵下偏慢），常用的方案有这么几种：

第一，LARS 算法。这是 MCFS 原论文采用的方案，好处是能一次性算出整个系数路径，直接控制选出的特征个数，效率很高。Matlab 里没有官方 LARS 包，但网上流传很广的 lars.m 足够用，SPAMS 工具箱也带了 LARS 的 mex 实现，速度更快。

第二，GLMNET。这个包本来是给 R 写的，但有 Matlab 接口，也能解 L1 回归。

第三，自己写坐标下降。这个方法我推荐给想搞懂原理的人。坐标下降迭代简单，逻辑清晰，中小规模数据上性能完全够用，也不需要额外装包。后面第 3 章我会给出一段可以直接用的代码。

不管用哪种方法，回归之前都建议先对 X 的每一列做标准化。这里要特别说明：这里标准化不是为了让特征有可比性（选特征本来就是要比较不同特征的重要性），而是为了避免 L1 惩罚在量纲上失衡。如果一个特征取值范围是 0～1，另一个是 1000～10000，L1 系数显然会更容易被缩到小数值特征上去，得到的稀疏解就有偏。统一 z-score 或归一化到单位长度之后，系数才能真正反映特征的重要性。

L1 回归里的惩罚参数 β 一般怎么定？在 LARS 框架下直接指定 cardinality，比如跑 20 步，就相当于选 20 个特征，非常直观。但需要注意，不是每个 embedding 方向都能稳定贡献足够多的非零系数。我自己习惯的做法是先对所有 embedding 求完系数，再统一做一次得分聚合和排序，最后根据业务需要的特征数量截断。

2.4 参数速查表

这套参数并不玄学，核心就是多跑几个组合对比下游聚类效果。后面第 4 章会专门讲怎么排查参数引起的异常。

3. Matlab完整实现与核心代码解析

3.1 主流程设计

MCFS 的 Matlab 实现并不复杂，整个流程用函数串起来就是：

1. 输入 X（n×d）、KNN 邻居数 k、embedding 维数 m、要选的特征数 num_features；
2. 调用构图函数得到稀疏相似矩阵 W；
3. 计算归一化拉普拉斯 Ln，用 eigs 取出前 m 个最小特征向量；
4. 对每个特征向量 y_j，调用稀疏回归函数求系数 α_j；
5. 将 m 个系数向量拼成 d×m 矩阵，按行取最大值得到每个特征的得分；
6. 排序输出特征编号和得分。

主函数框架可以写成这样：

matlab复制function [idx, score] = mcfs(X, k, m, num_features)
% MCFS: Multi-Cluster Feature Selection
% X: n by d data matrix, rows are samples
% k: number of nearest neighbors
% m: number of embedding vectors
% num_features: number of features to select

[n, d] = size(X);

% Step 1: construct similarity graph
W = constructW(X, k);

% Step 2: normalized laplacian and top-m smallest eigenvectors
D = sum(W, 2);
Dinv_half = sparse(1:n, 1:n, 1 ./ sqrt(D + eps));
L = spdiags(D, 0, n, n) - W;
Ln = Dinv_half * L * Dinv_half;
Ln = (Ln + Ln') / 2;
[V, ~] = eigs(Ln, m, 'smallestreal');  % V: n by m

% Step 3: sparse regression for each embedding vector
% normalize features to unit length for regression
Xn = X - mean(X, 1);
Xn = Xn ./ sqrt(sum(Xn.^2, 1));

A = zeros(d, m);
for j = 1:m
    y = V(:, j);
    lambda = max(abs(Xn' * y)) * 0.1;   % rough initialization
    A(:, j) = lasso_cd(Xn, y, lambda, 200);
end

% Step 4: aggregate scores by max absolute coefficient
score = max(abs(A), [], 2);

% Step 5: sort and select
[~, idx] = sort(score, 'descend');
idx = idx(1:num_features);
end

这段代码把整个流程压缩到了一个函数里，注释也很直白。实际使用时我会建议把构图、拉普拉斯分解、稀疏回归拆成独立函数，方便替换和调试。

3.2 构图函数与稀疏回归函数

构图函数里用 knnsearch 比 pdist2 全算更高效。knnsearch 可以直接指定邻居数，返回稀疏索引，避免生成完整的 n×n 距离矩阵。一个可用的实现如下：

matlab复制function W = constructW(X, k)
% build symmetric knn graph with heat kernel
[n, ~] = size(X);
[Idx, Dist] = knnsearch(X, X, 'K', k + 1);  % include self
Idx = Idx(:, 2:end);
Dist = Dist(:, 2:end);

% local adaptive sigma
sigma = Dist(:, end);  % distance to k-th neighbor
sigma = max(sigma, eps);

idx_i = repmat((1:n)', 1, k);
idx_j = Idx;
val = exp(-Dist.^2 ./ (sigma.^2));  % simplified: use local scale

W = sparse(idx_i(:), idx_j(:), val(:), n, n);
W = max(W, W');  % symmetrize
end

这里我把热核权重简化成只用发送端的局部尺度，严格来说应该用 σ_i * σ_j 的几何平均，但对大多数数据集影响不大。如果想更严谨，可以把 sigma 改成向量，然后计算权重时逐对处理，代价是构图时间变长。

稀疏回归的坐标下降实现上面提过，再贴一次并解释关键步骤：

matlab复制function a = lasso_cd(X, y, lambda, max_iter)
% Coordinate descent for lasso
% minimize 0.5 * ||y - X*a||^2 + lambda * ||a||_1
[n, d] = size(X);
a = zeros(d, 1);
X2 = sum(X.^2, 1)';
r = y;  % residual

for iter = 1:max_iter
    a_old = a;
    for j = 1:d
        if X2(j) < 1e-12
            continue;
        end
        rho = X(:, j)' * r + X2(j) * a(j);
        a(j) = sign(rho) * max(0, abs(rho) - lambda) / X2(j);
        r = r - X(:, j) * (a(j) - a_old(j));
    end
    if max(abs(a - a_old)) < 1e-5
        break;
    end
end
end

这里每次更新一个坐标系数时，先用当前残差算相关系数 rho，再套软阈值公式 sign(rho) * max(0, |rho| - lambda)。更新完立即刷新残差，让后续坐标的更新能利用最新信息。对中小规模数据（几百到几千特征）完全够用；如果特征上万，建议换 LARS 或者 SPAMS，坐标下降在 d 很大的时候逐列循环会偏慢。

lambda 是 L1 惩罚系数。lambda 越小，选出的特征越多；lambda 如果超过 max(abs(X' * y))，所有系数都会被压成 0。我在主函数里给了个 0.1 倍初始值，实际使用时要根据想要的稀疏程度调整。最简单的调法：先算 max_corr = max(abs(X' * y))，然后从 0.01 * max_corr 到 0.5 * max_corr 里扫几个值，看系数非零个数是否符合预期。

3.3 在公开数据集上跑通并验证

理论上说完了，代码也有了，接下来必须验证流程真的可用。我常用的验证数据是 UCI 的 Wine 和 Isolet，前者小、好调试，后者维度高、能体现 MCFS 的降维价值。

拿 Wine 数据集举例，样本 178，特征 13，类别 3。直接对原始 13 维特征做 KMeans，NMI 大概在 0.87 左右；用 MCFS 选 5 个特征再聚类，NMI 一般还在 0.85 上下。也就是说用不到一半的特征，聚类结构基本没有丢失。这个结果看起来平平无奇，但想想看，如果这是一个 1000 维的基因表达数据，能把维度砍到 50 还不伤结构，后面的分析和可视化都会轻松很多。

Isolet 是语音字母识别数据，样本几千，特征 617。这种数据跑 KNN 构图的时间会明显上升，但 eigs 的效果就体现出来了。用全特征聚类可能因为噪声维度太多导致 NMI 偏低，用 MCFS 选 100 个特征之后，聚类效果通常有明显提升，原因是很多维度本身就是噪声或者和设备条件相关，把这类维度去掉反而让结构更干净。

验证时还有个小技巧：可以分别跑全特征聚类、随机选同等数量特征聚类、MCFS 选特征聚类，三个结果放一起对比。如果 MCFS 在 NMI 或 ACC 上明显高于随机选特征，说明算法确实抓到了重要维度；如果和随机选差不多，那就要回头检查构图和回归参数了。

4. 常见问题与排查技巧实录

4.1 特征向量符号翻转导致回归不稳定

这是一个非常隐蔽的坑。eigs 和 eig 求出来的特征向量，符号本身是任意的——y 和 -y 都是同一个特征值的特征向量。如果某一次运行 V(:, j) 恰好被算成了 -V(:, j)，那么对应的回归系数 α_j 也会整体变号。

单个 embedding 方向变号其实不影响后续的 max 聚合，因为取的是绝对值。但如果你的流程里除了 max 还用了 mean，或者你直接拿系数矩阵做别的分析，符号翻转就会带来混乱。解决办法很简单：在拿到特征向量之后，对每一列做一次方向标准化，比如让每个列向量的最大绝对值元素为正：

matlab复制for j = 1:m
    [~, pos] = max(abs(V(:, j)));
    if V(pos, j) < 0
        V(:, j) = -V(:, j);
    end
end

这行代码成本几乎为零，建议每回都加上。

4.2 KNN图不连通怎么办

拉普拉斯矩阵的零特征值重数等于图的连通分量数。如果你用 eigs 求出的前 m 个特征向量里，有好几个特征值都接近 0，比如像 machine precision 级别的 1e-16，那说明这些特征向量根本不是簇结构，而是连通分量指示。

连通分量的特征向量回归出来，选出的特征往往比较"怪异"，因为特征在拟合的是"这个样本属于哪块区域"，而不是"这个样本属于哪个簇"。排查方法是看特征值向量，如果前 m+1 个特征值里有超过一个接近 0，就把 k 调大一些，让图尽可能连起来。

提示：还有一种情况是数据本身存在离群点，离群点谁也不挨，强迫它连到别人会把局部结构拉坏。这种情况下可以先剔除离群点再构图，或者用稍大的 k 强制连接。

4.3 稀疏回归结果不稳定

如果你多次运行 MCFS，选出的特征集合差异很大，通常是两个原因。一是 embedding 向量本身有旋转自由度：特征向量张成的子空间是确定的，但子空间内部的基底可以旋转，不同求解器或者不同初始化可能给出不同的基底方向，导致回归系数不同。二是 L1 回归本身对参数 lambda 很敏感，稍微改变惩罚强度，非零系数集合就换一批。

对于第一种原因，原论文和大多数实践者的做法是直接取前 m 个特征向量，不重新做子空间旋转，这算是一种可以被接受的近似。第二种原因就需要多做几次参数扫描，观察哪些特征是"稳定入选"的——在不同 lambda 和不同 embedding 方向上反复出现的特征，才是真正值得保留的。

4.4 大数据集性能优化

MCFS 最耗时的两个环节是构图和特征分解。构图时不要用 pdist2 生成全距离矩阵然后截断，这会直接爆内存。用 knnsearch 只查询近邻，复杂度从 O(n²d) 降到 O(n·k·d)。特征分解方面，eigs 迭代求解远比 eig 快，但 eigs 在收敛上偶尔会抽风，可以设置 'Tolerance' 参数，或者用 'MaxIterations' 限制迭代次数。

如果数据有几十万样本，eigs 依然会很吃力。一个实用技巧是先用 k-means 做粗聚类，每个簇取样若干代表点，在代表点上跑 MCFS 选出特征，再回到全量数据验证。这本质上是一个两阶段策略，牺牲一点精度换取大规模场景的可用性。我在图像特征选择任务里用这个办法处理过 10 万级别样本，速度从不可忍降到了分钟级。

4.5 如何确定最终选多少个特征

MCFS 的输出是一份特征得分排名，但到底取前多少个，算法本身没有给出明确答案。这其实也是无监督特征选择的通病。我的做法是画得分曲线：把得分从高到低排列，看曲线在哪个位置出现明显拐点，也就是"肘部"。肘部之前的特征得分下降很快，说明它们显著重要；肘部之后得分进入平台期，说明特征重要性已经趋同，多选少选差别不大。

另一个思路是从下游任务反推：分别取 10、20、50、100 个特征做聚类，画 NMI 随特征数的变化曲线，取 NMI 不再明显上升的点。这个做法虽然比看肘部要多跑几轮实验，但结果更可靠，而且能直观看出 MCFS 对聚类效果的实际贡献。

我把常见问题整理了成一张速查表，方便你们对着排查：

5. 扩展到实际场景的几点经验

5.1 和拉普拉斯得分、UDFS 等方法对比

提到无监督特征选择，很多人会先想到拉普拉斯得分（Laplacian Score）。它的思路也基于图结构，但只计算单个特征的局部保持能力，本质上是在评估"这个特征自己能不能让近邻样本靠在一起"。问题在于它没有考虑特征之间的协同作用，两个单独看都不怎么样的特征，组合在一起可能就能完美区分簇。MCFS 做了稀疏回归，相当于让特征之间互相竞争，选出的是对簇结构有组合解释力的特征子集，这一点在实践里差异挺明显。

UDFS（Unsupervised Discriminative Feature Selection）是另一个经典方法，它同时做簇结构和特征选择的联合优化，用 L2,1 范数实现行稀疏。理论上 UDFS 比 MCFS 更"端到端"，但求解过程复杂，实现门槛更高，对大规模数据也不太友好。MCFS 胜在每一步都可以模块化替换，调节某个环节对整体结果的影响相对可控，适合作为无监督特征选择的首选基线。

5.2 什么样的数据适合用 MCFS

从我的经验看，MCFS 最适合两类场景。一类是高维小样本数据，比如基因表达矩阵，特征数上万、样本数几十到几百。这种数据最怕的就是无关噪声维度太多，聚类结果很容易被几百个无用特征带偏，MCFS 能把关键基因挑出来，后续解释性也强。另一类是特征之间存在较强冗余的数据，比如图像特征、文本 TF-IDF 特征，MCFS 通过稀疏回归选出的特征集合冗余度低，聚类效率会明显提升。

如果样本量特别大且特征本身不多，比如几十万样本、几十个特征，MCFS 的优势就不太明显，此时直接上全特征聚类反而更省事，因为构图和分解的开销可能超过聚类本身。所以判断是否用 MCFS，先看特征的维度量级，再看样本量是否允许快速构图。

5.3 把MCFS嵌入到自己的分析流程里

MCFS 最好别当黑盒用，接进流程时我建议按这样的顺序走：先做数据清洗，把缺失值、异常值和量纲问题处理掉；然后对原始特征做一次简单的方差过滤，只保留方差不为 0 的维度，这一步能省掉 MCFS 的一部分负担；接着跑 MCFS 得到特征排名，用第 4.5 节的方式确定特征数；最后用选出的特征跑聚类或后续分析。

还有一个容易被忽略的点：MCFS 选出的特征是基于当前数据集的全局结构，如果后续有新样本加入，理论上应该重新跑一遍选择过程。如果数据分布比较稳定，也可以在训练集上选好特征，固定特征子集，再对后续的新样本做同样的特征提取，这样处理在工程上是可接受的近似。

个人建议是在拿到 MCFS 特征排名后，先人工抽查前 20 个特征对应的原始数据分布。我遇到过很多次，排在最前面的特征在业务含义上完全讲得通，这本身就是一套很强的解释性验证。如果前几名特征看起来毫无规律，那就要怀疑构图参数或者稀疏度设置出了问题，而不是盲目相信算法输出。

最后再分享一个实用小技巧：MCFS 对图参数 k 的敏感度通常高于 m 和 lambda。我在实际调参时固定 m 为真实簇数或 8，lambda 通过稀疏度扫描，优先调 k。多跑几组 k 值，对比特征排名的稳定性，选定排名波动最小的那组参数，整个流程基本就稳了。这套经验说起来简单，实际操作遇到问题时，比盲目改参数或换算法可靠得多。