1. 卡方距离的前世今生
卡方距离(Chi-square Measure)这个听起来有点学术范儿的名字,其实来源于统计学中的卡方检验(χ²检验)。我第一次接触这个概念是在处理文本分类项目时,当时需要从成千上万个词语中筛选出最有区分度的特征。导师随口说了句"试试卡方检验",结果让我打开了新世界的大门。
1900年,英国统计学家Karl Pearson提出了这个统计方法,用来检验观察数据与理论分布之间的差异。简单来说,它衡量的是"实际看到的数据"和"理论上应该看到的数据"之间的差距。举个例子,假设我们抛硬币100次,理论上应该得到50次正面和50次反面。如果实际结果是60:40,卡方检验就能告诉我们这个差异是否显著。
在机器学习中,卡方距离的计算公式是这样的:
python复制def chi_square_distance(x, y):
import numpy as np
x = np.asarray(x, np.int32)
y = np.asarray(y, np.int32)
return np.sum(np.square(x - y) / y)
这个公式的核心思想是:对每个类别的观测值和期望值之差取平方,然后除以期望值再求和。为什么要除以期望值呢?这是为了标准化,使得不同规模的类别可以公平比较。我在实际项目中经常发现,很多初学者会忽略这个标准化步骤,导致结果出现偏差。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 卡方距离在特征选择中的实战应用
2.1 为什么选择卡方距离做特征选择
记得我第一次用卡方距离做特征选择时,数据集有超过2万个词语特征。使用传统的欧氏距离效果很差,因为词频数据通常非常稀疏且分布不均匀。卡方距离的优势在于它专门处理这种计数型数据,能够有效衡量特征与类别之间的相关性。
具体来说,卡方距离在特征选择中的应用原理是:计算每个特征与目标类别之间的独立性。如果某个特征在不同类别中的分布差异很大,说明这个特征对分类很有帮助。比如在垃圾邮件分类中,"免费"这个词在垃圾邮件中出现的频率可能远高于正常邮件,卡方值就会很高。
2.2 实际项目中的代码实现
下面是我在一个电商评论情感分析项目中使用的代码片段:
python复制from sklearn.feature_selection import
