CART回归树原理与实现详解

1. CART回归树：从理论到实践的全方位解析

在机器学习领域，决策树算法因其直观易懂的特性而广受欢迎。CART（Classification and Regression Trees）作为决策树家族中的重要成员，既能处理分类问题也能解决回归任务。今天我将结合多年实战经验，深入剖析CART回归树的核心原理和实现细节。

1.1 CART回归树与分类树的本质区别

很多初学者容易混淆回归树和分类树，其实它们的区别非常明确：

• 输出类型：分类树预测离散类别标签（如"是/否"），回归树预测连续数值（如房价、温度）
• 分裂准则：分类树常用基尼指数或信息增益，回归树则采用平方误差最小化
• 叶节点取值：分类树取多数类，回归树取样本均值

实际应用中，回归树特别适合处理那些输入特征与输出值之间存在复杂非线性关系的问题，比如商品销量预测、用户停留时长预估等场景。

1.2 平方损失函数的计算细节

平方损失函数是CART回归树的核心，其数学表达式为：

code复制L = Σ(y_i - f(x_i))²

其中y_i是真实值，f(x_i)是预测值。这个公式看似简单，但在实际计算时需要特别注意：

1. 划分点选择：对于连续特征，通常取相邻值的中间点作为候选划分点
2. 区域均值计算：划分后左右区域的预测值分别是该区域样本输出的均值
3. 损失累加：需要分别计算左右区域的损失再求和

以文中示例数据为例，当划分点为1.5时：

• 左区域只有一个样本5.56，所以预测值就是5.56
• 右区域包含9个样本，均值为7.50
• 平方损失计算过程需要逐个样本求差值平方再累加

1.3 完整构建流程详解

通过一个具体案例，我们来看CART回归树的完整构建过程：

1.3.1 数据准备与特征排序

假设我们有以下训练数据（x为特征，y为目标值）：

code复制x: [1, 2, 3, 4, 5, 6, 7, 8, 9, 10]
y: [5.56, 5.70, 5.91, 6.40, 6.80, 7.05, 8.90, 8.70, 9.00, 9.05]

首先对特征x的值进行排序（本例已有序），然后计算相邻值的中间点作为候选划分点：

code复制候选划分点：[1.5, 2.5, 3.5,