余弦相似度与欧氏距离：原理对比与工程实践

1. 相似度算法：从几何直觉到工程实践

在信息爆炸的时代，我们每天都在与各种形式的向量数据打交道——从搜索引擎中的文档匹配，到电商平台的商品推荐，再到社交媒体的内容分发。这些场景背后都依赖一个核心问题：如何量化两个事物之间的相似程度？从业十年，我发现很多工程师能够熟练调用sklearn中的相似度计算函数，却对算法选择背后的数学原理和工程考量缺乏深刻理解。今天我们就来深入探讨最常用的两种相似度度量：余弦相似度与欧氏距离。

我第一次意识到这个问题的重要性是在优化一个新闻推荐系统时。最初直接使用欧氏距离计算文章相似度，结果发现热门文章总是被过度推荐，而一些优质长文却被系统忽略。直到将度量方式切换为余弦相似度，才真正捕捉到内容本身的语义相关性。这个教训让我明白：相似度算法的选择不是简单的API调用问题，而是需要对数据特性和业务目标有深刻认知的架构决策。

2. 余弦相似度：方向比大小更重要

2.1 从几何角度理解余弦相似度

想象你在一个多维空间中，每个维度代表一个特征（比如词频、用户评分等）。余弦相似度关注的是向量之间的夹角而非长度。数学上，它计算两个向量夹角的余弦值：

code复制cosθ = (A·B) / (||A|| * ||B||)

这个公式的分子是向量点积，反映对应维度乘积之和；分母是向量模长的乘积，起到归一化作用。当向量经过L2归一化后，余弦相似度就简化为简单的点积运算。

提示：在文本处理中，TF-IDF向量天然适合使用余弦相似度，因为不同文档的长度差异很大，但我们更关心词频分布的相似性而非绝对词频数。

2.2 余弦相似度的五大核心特性

1. 方向敏感性：完全相同的向量得分为1，完全相反的为-1，正交向量为0。在推荐系统中，正值表示正向关联，负值可能暗示排斥关系。

2. 尺度不变性：向量长度变化不影响结果。比如[1,2,3]和[2,4,6]的相似度为1，这对用户行为分析特别重要——活跃用户与轻度用户的行为模式可以直接比较。

3. 高维适应性：在稀疏特征空间（如词袋模型）中表现优异，因为零值维度不会影响计算结果。

4. 计算效率：现代优化库如Facebook的FAISS可以高效计算大规模向量的余弦相似度，支持十亿级向量检索。

5. 语义捕捉能力：在词嵌入空间（如Word2Vec）中，余弦相似度能有效捕捉语义相关性，比如"国王"与"王后"的相似度高于"国王"与"苹果"。

2.3 工程实践中的Python实现

实际项目中我们通常会做这些优化：

python复制import numpy as np
from numba import njit  # 使用JIT加速

@njit
def batch_cosine_similarity(matrix, vector):
    """计算矩阵每行与目标向量的余弦相似度"""
    norms_matrix = np.sqrt((matrix ** 2).sum(axis=1))
    norm_vector = np.sqrt((ve