从高斯核到Tri-cube：5个核心问题带你深入理解局部加权回归的‘灵魂’

局部加权回归（Locally Weighted Regression）是机器学习中一种经典的回归方法，它通过赋予不同数据点不同的权重来捕捉数据的局部特征。与全局回归方法不同，局部加权回归能够更好地适应数据的非线性结构，因此在许多实际应用中表现出色。然而，要真正掌握这一方法，我们需要深入理解其背后的核心概念和原理。

1. 核函数仅仅是距离的权重吗？Epanechnikov、Tri-cube、Gaussian核的本质区别

核函数在局部加权回归中扮演着至关重要的角色，它决定了不同数据点对当前预测点的贡献程度。很多人误以为核函数仅仅是距离的权重函数，实际上它的作用远不止于此。

核函数的本质在于它定义了局部邻域的形状和大小，同时控制了权重随距离变化的衰减方式。不同的核函数会导致回归结果表现出不同的特性：

• 高斯核（Gaussian Kernel）：

  python复制def gaussian_kernel(distance, h):
      return np.exp(-(distance**2)/(2*h**2))
  

  高斯核是最常用的核函数之一，它平滑地衰减权重，没有明确的边界。这意味着理论上所有数据点都会对当前预测点产生一定影响，尽管远处的点影响微乎其微。

• Epanechnikov核：

  python复制def epanechnikov_kernel(distance, h):
      t = distance / h
      return 0.75 * (1 - t**2) if t <= 1 else 0
  

  这是一个抛物线形状的核函数，具有明确的边界（当距离超过h时权重直接降为0），计算效率高但不够平滑。

• Tri-cube核：

  python复制def tri_cube_kernel(distance, h):
      t = distance / h
      return (1 - abs(t)**3)**3 if t <= 1 else 0
  

  Tri-cube核在边界处更加平滑，能够产生比Epanechnikov核更稳定的结果。

这