1. 项目概述与核心价值
房价预测这事,听起来像是房产中介的活,实际上在数据分析领域是一个非常经典的教学案例。我最早接触这个题目是在帮一个师弟做课程设计的时候,当时他用的是线性回归,拟合效果一塌糊涂,数据里那些非线性关系完全抓不住。后来我建议他换成决策树回归试试,结果在测试集上的表现明显上了一个台阶。今天我就用MATLAB把这个过程完整走一遍,从原理讲到代码实现,再讲调参技巧和踩坑经验。
决策树回归这个算法的核心思路并不复杂。它不像线性回归那样试图找一条直线来拟合所有数据点,而是不断把输入空间切分成若干个区域,在每个区域内用该区域样本的目标值均值作为预测值。你可以把它想象成一本自动生成的“决策手册”,每一页都在问一个问题:“卧室数量是否大于3?”“面积是否小于120平?”根据回答一路往下走,最后落在某个叶节点上,这个节点的平均值就是预测的房价。
这个项目适合谁来参考?如果你正在学机器学习,想找一个不依赖深度学习框架、在MATLAB里就能跑通的回归任务,那这个题目非常合适。它具备几个天然优势:数据可以公开获取或自行构造,特征维度适中(一般几个到十几个数值和类别特征),评价指标直观(RMSE、R^2),可视化方便(树形图、预测对比图都很好画)。更重要的是,决策树作为集成学习(随机森林、梯度提升)的基础组件,把单棵树的机理吃透了,后面学进阶模型会轻松很多。
我这次用的数据集是波士顿房价的经典版本,包含犯罪率、房间数、房龄、到市中心距离等13个特征,目标是预测自有住房的中位数价格。虽然这个数据集年代久远,但它结构规整、量纲混杂、特征间关系复杂,特别适合用来演示决策树在回归任务上的表现力和脆弱点。
接下来我会从决策树的生长原理开始讲,然后逐步展开MATLAB里面从数据准备、模型训练到评估调参的完整流程。实操中用到的函数都是MATLAB Statistics and Machine Learning Toolbox自带的,不需要额外安装任何工具箱,这一点对新手很友好。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 决策树回归的核心原理与MATLAB实现机制
2.1 树是怎么“长”出来的
理解决策树回归,最关键的是搞懂它的三个核心问题:怎么选分裂特征、怎么选分裂点、什么时候停止生长。
先说分裂特征和分裂点的选择。决策树在每一个节点做的事情,是遍历所有特征的所有可能取值,然后找到一个“最优切分”,让切分之后左右两个子节点的数据“纯度”最大化。对于回归任务,纯度的衡量标准是误差平方和(SSE)。假设当前节点有n个样本,所有样本的目标值均值是ȳ,那么这个节点的SSE就是Σ(yᵢ - ȳ)²。如果选定某个切分把样本分成了左子集和右子集,那么分裂后的总误差就是两个子节点的SSE之和。我们选择能让这个总误差最小的那个特征和那个切分点。
这里有个细节容易忽略:在分类树中我们用的是基尼系数或信息熵,在回归树里这些都不适用,因为目标值是连续变量而不是离散类别。MATLAB里的fitrtree函数默认采用的就是基于MSE(均方误差)的分裂准则,本质上等价于上面说的SSE最小化。你可以通过'PruneCriterion'参数选择'MSE'或'mae'(平均绝对误差),如果数据里有较多离群点,改用MAE作为分裂准则往往能让模型更稳健。
再说停止生长。理想情况下,我们希望每个叶节点只包含一个样本,这样训练集误差为零,但这样的树泛化能力极差——它把训练数据里的噪声也完全背下来了,这就是过拟合。所以必须设置一些约束条件来限制树的复杂度。MATLAB的fitrtree中常用的相关参数包括:MinLeafSize(叶节点最少样本数,默认1)、MinParentSize(内部节点最少样本数,默认10)、MaxNumSplits(最大分裂次数,默认就是样本量减1,相当于不限制)。这几个参数就是控制模型复杂度最直接的旋钮。
2.2 MATLAB中决策树回归的整体架构
MATLAB做决策树回归,核心就是fitrtree这个函数。它的使用方式非常简洁:
matlab复制treeModel = fitrtree(X, Y, 'Name', 'Value', ...)
其中X是n×p的预测变量矩阵(n为样本数,p为特征数),Y是n×1的目标值向量。函数返回一个RegressionTree对象,包含完整的树结构信息。
训练完成后,可以用predict函数对新数据做预测:
matlab复制predY = predict(treeModel, newX);
也可以直接用view函数可视化这棵树:
matlab复制view(treeModel, 'Mode', 'graph');
这个图形界面交互体验不错,你可以点击任意节点查看它的分裂条件、样本数量和预测值,对理解树的生长过程帮助很大。
除了fitrtree之外,MATLAB还提供了一套完整的交叉验证和超参数调优工具链。比如cvloss函数可以计算不同剪枝级别的交叉验证误差,帮你决定要不要剪枝、剪到什么程度。再比如fitrtree配合'OptimizeHyperparameters'参数,可以自动做贝叶斯优化搜索最优超参数组合。这些工具其实比Python的scikit-learn在易用性上更省心,特别是对于不想写太多样板代码的场景。
不过要注意一点:新版的MATLAB中,fitrtree已经纳入了更统一的RegressionModel框架,同时还有更强大的fitrensemble可以训练随机森林和梯度提升树。单棵树的调参逻辑和集成模型有相通之处,但集成模型还涉及树的数量、学习率、子采样比例等额外参数。我建议先把单棵树玩明白,再往集成方向扩展。
2.3 为什么在房价预测场景中选决策树
你可能会问:预测房价这种任务,线性回归和决策树到底差在哪里?我用真实数据给你对比一下。
波士顿房价数据里有一个很有代表性的特征:LSTAT(低收入人口比例)。这个特征和房价的关系并不是线性的——在低收入人口比例较低时,房价对它的变化非常敏感,几乎是一条陡峭下降的曲线;但比例超过一定阈值后,房价的下降逐渐趋于平缓。用线性回归去拟合这种关系,只能勉强画一条直线穿过这些点,两头都拟合不好。而决策树可以自动通过多次分裂,用分段常数函数去逼近这条曲线,效果自然要好得多。
同理,数据中很多特征之间存在交互效应。比如同样是5个卧室的房子,在犯罪率低的区域和犯罪率高的区域,价格差异可能非常大。线性回归需要你手动构造交互特征(比如用卧室数乘以犯罪率),而决策树通过在不同分支上选择不同的分裂特征,天然能够捕获这种交互关系,不需要你自己去发现和构造。
当然,决策树也不是万能的。它的最大短板是容易过拟合,特别是当树的深度不受限制时。其次,它对数据中的极端值比较敏感,单个离群点可能会让某个叶节点的均值产生较大偏差。再者,单棵树的预测精度通常不如随机森林或梯度提升树,这在后面会通过实验数据看到。把这些优缺点都摸清楚,你才能在实际项目中做出合适的选择。
3. 数据准备与预处理:一个容易被低估的环节
3.1 数据集获取与导入
我用的是经典波士顿房价数据集。在MATLAB中获取这个数据并不需要额外下载文件,可以直接加载:
matlab复制load('fisheriris') % 不,这个是鸢尾花,别搞混
抱歉,刚才手滑了。波士顿房价数据在现代MATLAB版本中并没有内置,我提供的做法是直接用Python的sklearn导出成csv,再在MATLAB里导入:
python复制from sklearn.datasets import load_boston
import pandas as pd
boston = load_boston()
df = pd.DataFrame(boston.data, columns=boston.feature_names)
df['MEDV'] = boston.target
df.to_csv('boston_housing.csv', index=False)
如果你没有Python环境,也可以去一些公开数据源下载处理好的版本,格式大同小异。把数据准备工作放到MATLAB里做也很直接:
matlab复制dat
