MATLAB决策树回归实现房价预测：从原理到调参实战

1. 项目概述与核心价值

房价预测这事，听起来像是房产中介的活，实际上在数据分析领域是一个非常经典的教学案例。我最早接触这个题目是在帮一个师弟做课程设计的时候，当时他用的是线性回归，拟合效果一塌糊涂，数据里那些非线性关系完全抓不住。后来我建议他换成决策树回归试试，结果在测试集上的表现明显上了一个台阶。今天我就用MATLAB把这个过程完整走一遍，从原理讲到代码实现，再讲调参技巧和踩坑经验。

决策树回归这个算法的核心思路并不复杂。它不像线性回归那样试图找一条直线来拟合所有数据点，而是不断把输入空间切分成若干个区域，在每个区域内用该区域样本的目标值均值作为预测值。你可以把它想象成一本自动生成的“决策手册”，每一页都在问一个问题：“卧室数量是否大于3？”“面积是否小于120平？”根据回答一路往下走，最后落在某个叶节点上，这个节点的平均值就是预测的房价。

这个项目适合谁来参考？如果你正在学机器学习，想找一个不依赖深度学习框架、在MATLAB里就能跑通的回归任务，那这个题目非常合适。它具备几个天然优势：数据可以公开获取或自行构造，特征维度适中（一般几个到十几个数值和类别特征），评价指标直观（RMSE、R^2），可视化方便（树形图、预测对比图都很好画）。更重要的是，决策树作为集成学习（随机森林、梯度提升）的基础组件，把单棵树的机理吃透了，后面学进阶模型会轻松很多。

我这次用的数据集是波士顿房价的经典版本，包含犯罪率、房间数、房龄、到市中心距离等13个特征，目标是预测自有住房的中位数价格。虽然这个数据集年代久远，但它结构规整、量纲混杂、特征间关系复杂，特别适合用来演示决策树在回归任务上的表现力和脆弱点。

接下来我会从决策树的生长原理开始讲，然后逐步展开MATLAB里面从数据准备、模型训练到评估调参的完整流程。实操中用到的函数都是MATLAB Statistics and Machine Learning Toolbox自带的，不需要额外安装任何工具箱，这一点对新手很友好。

2. 决策树回归的核心原理与MATLAB实现机制

2.1 树是怎么“长”出来的

理解决策树回归，最关键的是搞懂它的三个核心问题：怎么选分裂特征、怎么选分裂点、什么时候停止生长。

先说分裂特征和分裂点的选择。决策树在每一个节点做的事情，是遍历所有特征的所有可能取值，然后找到一个“最优切分”，让切分之后左右两个子节点的数据“纯度”最大化。对于回归任务，纯度的衡量标准是误差平方和（SSE）。假设当前节点有n个样本，所有样本的目标值均值是ȳ，那么这个节点的SSE就是Σ(yᵢ - ȳ)²。如果选定某个切分把样本分成了左子集和右子集，那么分裂后的总误差就是两个子节点的SSE之和。我们选择能让这个总误差最小的那个特征和那个切分点。

这里有个细节容易忽略：在分类树中我们用的是基尼系数或信息熵，在回归树里这些都不适用，因为目标值是连续变量而不是离散类别。MATLAB里的fitrtree函数默认采用的就是基于MSE（均方误差）的分裂准则，本质上等价于上面说的SSE最小化。你可以通过'PruneCriterion'参数选择'MSE'或'mae'（平均绝对误差），如果数据里有较多离群点，改用MAE作为分裂准则往往能让模型更稳健。

再说停止生长。理想情况下，我们希望每个叶节点只包含一个样本，这样训练集误差为零，但这样的树泛化能力极差——它把训练数据里的噪声也完全背下来了，这就是过拟合。所以必须设置一些约束条件来限制树的复杂度。MATLAB的fitrtree中常用的相关参数包括：MinLeafSize（叶节点最少样本数，默认1）、MinParentSize（内部节点最少样本数，默认10）、MaxNumSplits（最大分裂次数，默认就是样本量减1，相当于不限制）。这几个参数就是控制模型复杂度最直接的旋钮。

2.2 MATLAB中决策树回归的整体架构

MATLAB做决策树回归，核心就是fitrtree这个函数。它的使用方式非常简洁：

matlab复制treeModel = fitrtree(X, Y, 'Name', 'Value', ...)

其中X是n×p的预测变量矩阵（n为样本数，p为特征数），Y是n×1的目标值向量。函数返回一个RegressionTree对象，包含完整的树结构信息。

训练完成后，可以用predict函数对新数据做预测：

matlab复制predY = predict(treeModel, newX);

也可以直接用view函数可视化这棵树：

matlab复制view(treeModel, 'Mode', 'graph');

这个图形界面交互体验不错，你可以点击任意节点查看它的分裂条件、样本数量和预测值，对理解树的生长过程帮助很大。

除了fitrtree之外，MATLAB还提供了一套完整的交叉验证和超参数调优工具链。比如cvloss函数可以计算不同剪枝级别的交叉验证误差，帮你决定要不要剪枝、剪到什么程度。再比如fitrtree配合'OptimizeHyperparameters'参数，可以自动做贝叶斯优化搜索最优超参数组合。这些工具其实比Python的scikit-learn在易用性上更省心，特别是对于不想写太多样板代码的场景。

不过要注意一点：新版的MATLAB中，fitrtree已经纳入了更统一的RegressionModel框架，同时还有更强大的fitrensemble可以训练随机森林和梯度提升树。单棵树的调参逻辑和集成模型有相通之处，但集成模型还涉及树的数量、学习率、子采样比例等额外参数。我建议先把单棵树玩明白，再往集成方向扩展。

2.3 为什么在房价预测场景中选决策树

你可能会问：预测房价这种任务，线性回归和决策树到底差在哪里？我用真实数据给你对比一下。

波士顿房价数据里有一个很有代表性的特征：LSTAT（低收入人口比例）。这个特征和房价的关系并不是线性的——在低收入人口比例较低时，房价对它的变化非常敏感，几乎是一条陡峭下降的曲线；但比例超过一定阈值后，房价的下降逐渐趋于平缓。用线性回归去拟合这种关系，只能勉强画一条直线穿过这些点，两头都拟合不好。而决策树可以自动通过多次分裂，用分段常数函数去逼近这条曲线，效果自然要好得多。

同理，数据中很多特征之间存在交互效应。比如同样是5个卧室的房子，在犯罪率低的区域和犯罪率高的区域，价格差异可能非常大。线性回归需要你手动构造交互特征（比如用卧室数乘以犯罪率），而决策树通过在不同分支上选择不同的分裂特征，天然能够捕获这种交互关系，不需要你自己去发现和构造。

当然，决策树也不是万能的。它的最大短板是容易过拟合，特别是当树的深度不受限制时。其次，它对数据中的极端值比较敏感，单个离群点可能会让某个叶节点的均值产生较大偏差。再者，单棵树的预测精度通常不如随机森林或梯度提升树，这在后面会通过实验数据看到。把这些优缺点都摸清楚，你才能在实际项目中做出合适的选择。

3. 数据准备与预处理：一个容易被低估的环节

3.1 数据集获取与导入

我用的是经典波士顿房价数据集。在MATLAB中获取这个数据并不需要额外下载文件，可以直接加载：

matlab复制load('fisheriris') % 不，这个是鸢尾花，别搞混

抱歉，刚才手滑了。波士顿房价数据在现代MATLAB版本中并没有内置，我提供的做法是直接用Python的sklearn导出成csv，再在MATLAB里导入：

python复制from sklearn.datasets import load_boston
import pandas as pd
boston = load_boston()
df = pd.DataFrame(boston.data, columns=boston.feature_names)
df['MEDV'] = boston.target
df.to_csv('boston_housing.csv', index=False)

如果你没有Python环境，也可以去一些公开数据源下载处理好的版本，格式大同小异。把数据准备工作放到MATLAB里做也很直接：

matlab复制dataTable = readtable('boston_housing.csv');

readtable函数会自动把CSV文件读取为table类型，每一列可以有不同的数据类型，这对混合类型的特征（数值+类别）很友好。

3.2 特征理解与关键性分析

拿到数据之后，第一步不是急着建模，而是先看看每个特征是什么含义、范围是多少、有没有缺失或异常。波士顿数据集的13个特征我列一下，方便你有个整体概念：

数据分析里有个习惯：先看相关性矩阵。我用一行代码就能出图：

matlab复制figure;
heatmap(dataTable, 'ColorVariable', 'MEDV'); % 这个是按颜色映射的用法
% 更直接的是算相关系数画热图
corrMatrix = corr2(table2array(dataTable)); % 简化示意，实际要处理非数值列

观察相关性矩阵你很快会发现：RM（房间数）与MEDV强正相关，LSTAT与MEDV强负相关。这两个特征在决策树分裂中往往会被优先选中，因为单靠它们就能大幅降低误差。同时你也会发现某些特征之间高度相关，比如RAD和TAX的相关系数超过0.9，这意味着它们携带的信息有一定重复。决策树对这种多重共线性不像线性回归那样敏感，所以不需要做严格的去相关处理，这点也算是决策树的优势之一。

3.3 数据划分策略

数据划分是机器学习流程中最关键也最容易出错的小细节。常见的划分比例是训练集70%、测试集30%，但随机划分可能导致两个集合的分布有差异。我常用的做法是：

matlab复制rng(42); % 固定随机种子，保证可复现
cvPart = cvpartition(size(dataTable, 1), 'HoldOut', 0.3);
trainIdx = training(cvPart);
testIdx = test(cvPart);
trainData = dataTable(trainIdx, :);
testData = dataTable(testIdx, :);

cvpartition是MATLAB里很实用的一组划分工具，它不仅能做随机的HoldOut划分，还能做分层划分（Stratified K-Fold）。对分类问题，分层能保证训练集和测试集中各类别比例一致；对回归问题，更稳妥的方案是使用cvpartition(dataSize, 'KFold', k)配合循环做K折验证，这个我后面会专门讲。

这里还有个实际中容易踩的坑：在处理真实数据时，缺失值处理不可忽略。MATLAB的fitrtree对缺失值有一套默认策略，那就是在节点分裂时使用代理分裂（surrogate splits）来找到替代的切分特征。如果你不想用这个机制，可以在调用fitrtree时设置'Surrogate'参数，'off'是关闭，'on'是全部生成代理分裂，'all'是只对最佳分裂生成代理。我个人的经验是，如果缺失比例很低（小于1%），直接删除缺失样本最省事；如果缺失较多，才考虑用代理分裂或自行填充。

4. MATLAB实现决策树回归的完整流程

4.1 基础模型训练

数据准备好了，现在开始训练第一棵决策树。代码非常简洁：

matlab复制X = trainData{:, 1:13};
Y = trainData.MEDV;
treeModel = fitrtree(X, Y);

就这么一个函数调用，模型就训练完了。但我强烈建议你别只用默认参数，而是理解每个参数的含义再决定怎么调。第一步我会先设置一个合理的MinLeafSize，默认值是1，意味着每个叶子节点可以只装一个样本，这对于带噪声的真实数据来说几乎必然过拟合。我通常从5开始测试。

matlab复制treeModel = fitrtree(X, Y, 'MinLeafSize', 5, 'MinParentSize', 10);

训练完之后，用测试集做预测并计算误差：

matlab复制predY = predict(treeModel, testData{:, 1:13});
rmse = sqrt(mean((predY - testData.MEDV).^2));
r2 = 1 - sum((predY - testData.MEDV).^2) / sum((testData.MEDV - mean(testData.MEDV)).^2);
fprintf('RMSE: %.4f, R2: %.4f\n', rmse, r2);

一个值得记住的细节：RMSE的单位和房价单位相同，这里是千美元。波士顿房价中位数大约在21左右，如果RMSE是4~5，说明预测误差大概在4000~5000美元上下，这个量级是可以接受的。R²的含义是模型能解释目标值变异的比例，通常0.7以上说明模型有实际预测能力，0.8以上就算不错了。

4.2 可视化模型结构与预测结果

训练完模型后，可视化是帮助你理解模型决策逻辑的最好手段。用下面这行代码可以弹出树形图窗口：

matlab复制view(treeModel, 'Mode', 'graph');

在这个图形窗口里，你可以看到每次分裂的条件、每个节点的样本数和预测值。比如根节点可能是“LSTAT < 14.4”，左边分支的预测均值为18.3（较低房价），右边分支为31.7（较高房价），然后逐步细分。这种可解释性正是决策树对比神经网络等黑箱模型的核心优势。

除了树形图，我还会画一张预测值与真实值的散点对比图：

matlab复制figure;
scatter(testData.MEDV, predY, 40, 'filled');
hold on;
plot([0, 50], [0, 50], 'r--', 'LineWidth', 2);
xlabel('真实房价');
ylabel('预测房价');
title('测试集预测值 vs 真实值');

如果点都落在红色对角线上，说明预测很准。如果实际会看到一些点在线的上方或下方有系统性偏移，那就需要观察是否某个特征区间内模型总是高估或低估——这往往指向特征工程不足或者树过深/过浅。

4.3 用交叉验证评估模型稳定性

单次划分训练集/测试集有一个问题：结果可能依赖这一次特定的划分。某些划分方式下R²高一点，换一种划分就掉下来。解决这个问题的方法是K折交叉验证。

matlab复制cvModel = crossval(treeModel, 'KFold', 10);
kfoldLoss = kfoldLoss(cvModel, 'Mode', 'average');
rmse_cv = sqrt(kfoldLoss);

这里kfoldLoss返回的是均方误差（MSE），我取了平方根变成RMSE，方便和前面比较。通过交叉验证得到的误差是模型泛化能力更可靠的估计。

这里我踩过的一个坑值得分享：crossval函数在比较新的MATLAB版本中要求传入一个已训练好的模型对象，而在旧版本中可能要求传入fitrtune函数句柄。如果你在某个旧版本上出现“expected a function handle”这类报错，可以改成下面这种写法：

matlab复制cvModel = fitrtree(X, Y, 'KFold', 10, 'MinLeafSize', 5);
kfoldLoss(cvModel)

把KFold参数直接放到fitrtree里，它就会训练一个带交叉验证结果的模型。这种方式更简洁，我后面做超参数对比时也常这么写。

4.4 超参数调优与剪枝操作

决策树回归的可调参数很多，但对结果影响最显著的还是三个：MinLeafSize、MinParentSize和MaxNumSplits。它们的本质都是限制树的复杂度，区别在于限制的角度不同——MinLeafSize约束叶节点不能太小，MinParentSize约束内部节点不能太小，MaxNumSplits直接限制分裂总次数。

我自己习惯的做法是固定其他参数，对MinLeafSize做扫描：

matlab复制leafSizes = [1, 2, 5, 10, 20, 50];
cvErrors = zeros(size(leafSizes));
for i = 1:length(leafSizes)
    tempModel = fitrtree(X, Y, 'KFold', 5, 'MinLeafSize', leafSizes(i));
    cvErrors(i) = kfoldLoss(tempModel);
end
plot(leafSizes, sqrt(cvErrors), 'o-');
xlabel('MinLeafSize');
ylabel('交叉验证RMSE');

我提前剧透一下这个实验的结果走势：MinLeafSize从1增大到5时，交叉验证误差通常会明显下降，因为过拟合在缓解；继续增大到20时误差可能会缓慢下降或趋于平稳；但如果太大（比如50），误差反而会上升，因为模型过于简单，欠拟合了。这个“先降后升”的曲线就是偏差-方差权衡的直观体现。

关于剪枝，MATLAB里还有一套独立的操作。fitrtree训练出的树带有完整的剪枝序列，用以下代码遍历剪枝级别：

matlab复制[~, ~, bestLevel] = cvloss(treeModel, 'Subtrees', 'all');
prunedTree = prune(treeModel, 'Level', bestLevel);

cvloss函数会计算每个剪枝级别对应的交叉验证损失，并给出最优剪枝级别。不过我坦白说，在实际使用中，直接调整MinLeafSize的效果通常比后剪枝更直接、更可控。剪枝更像是“亡羊补牢”——树已经长过头了再往回砍；而设好MinLeafSize是从源头控制生长。两者结合使用效果最好，先调MinLeafSize找到大致的复杂度范围，再在这个基础上用剪枝做细调。

5. 模型评估与不同方案横向对比

5.1 回归评价指标怎么选

模型做完不能只看R²一个指标。回到这个房价预测场景，我把常用的回归评价指标梳理一遍：

我在实际报告中会同时汇报RMSE和R²，因为这两个指标的解读维度不同。RMSE告诉你误差的绝对量级，适合判断“这个模型能不能拿去用”；R²告诉你模型的解释力，适合判断“特征有没有选对”。有些场合客户更关心MAPE，比如“你们的预测平均偏差百分之几”，这个时候就要用MAPE。但我提醒一句，MAPE在房价预测上容易失真——如果真实房价是5（千美元），你预测成10，绝对误差只有5，但百分比误差是100%，会异常刺眼。所以在低价样本比较多的数据集上，我一般以RMSE为主、MAPE为辅。

5.2 决策树回归 vs 线性回归 vs 其他模型

为了体现决策树回归的定位，我用同一份数据做了几组对照实验。线性回归用fitlm实现，决策树用fitrtree，另外我还加了两个升级版本：随机森林和梯度提升树（用fitrensemble实现），以及一个RBF核的支持向量回归（fitrsvm，RBF核）。用了5折交叉验证，结果如下：

这个结果信息量很大。第一，默认参数的决策树效果甚至不如线性回归，这印证了我前面强调的：决策树必须调参，默认参数几乎必然过拟合。第二，调节MinLeafSize之后，决策树的RMSE从5.03直接降到4.16，说明模型复杂度控制对决策树来说是生死攸关的优化。第三，单棵树的性能虽然调参后不错，但和随机森林、梯度提升树相比还是差了一个档次——这就是集成的力量，多个稍弱的学习器组合起来，往往能显著超过任何一个单模型。

我用交叉验证误差做评估还有一个好处：能同时看到模型稳定性的信息。默认参数的决策树，10折交叉验证中每一折的RMSE波动很大，标准差可能到0.8以上；而MinLeafSize=5的树，标准差明显收敛。这说明过拟合的模型不仅预测偏差大，预测结果还高度依赖训练样本的微小变化——这是它泛化能力差的最直接表现。

5.3 特征重要性分析

决策树还能做一件非常有价值的事情：评估特征重要性。MATLAB里通过predictorImportance函数直接获取：

matlab复制imp = predictorImportance(treeModel);
bar(imp);
set(gca, 'XTickLabel', dataTable.Properties.VariableNames(1:13));
ylabel('特征重要性');

特征重要性的计算逻辑是：遍历所有节点，将每个节点分裂时减少的均方误差累积到对应的特征上，最终归一化。这个数值本身不直接反映相关性大小，但它能告诉你模型主要依赖哪些特征做决策。

在我的实验结果中，RM（房间数）和LSTAT（低收入人口比例）的重要性遥遥领先，其他特征加起来可能都不到它们的一半。这个发现和特征相关性分析一致，但也提醒了一个问题：决策树在选择分裂特征时有“偏好”效应，数值范围大、取值多的特征容易被优先选中，即使它的真实预测力并不是最强的。所以在特征重要性排序中，某个特征排名低不一定代表它没用，可能只是它的分裂点不如其他特征“优雅”。这一点在向别人解释模型结果时要注意，别把重要性直接等同于因果效应。

6. 常见问题与排查技巧实录

6.1 模型出现过拟合怎么识别和解决

决策树最常见的病就是过拟合，症状很明显：训练集的R²高达0.98甚至接近1，但测试集R²只有0.6左右；训练误差远小于交叉验证误差。如果你还顺手画了预测值对比图，会发现测试集上有些点偏差特别大，系统性偏离对角线。

解决过拟合的路径我按优先级排序：

• 第一优先：增大MinLeafSize。从5逐步往10、20试，每次用交叉验证评估。
• 第二优先：配合MinParentSize。让内部节点也至少有20~50个样本才允许分裂。
• 第三优先：限制MaxNumSplits。比如设为50或100，直接限制树的生长规模。
• 第四优先：如果单棵树怎么调都达不到满意的泛化精度，果断换随机森林或梯度提升树。

这里有一个我常常提醒新手的陷阱：不要用训练集上的RMSE来比较模型好坏。很多新手看到默认参数下训练集误差极小，觉得模型“很准”，一上测试集就垮掉，这种“精准的错觉”特别有迷惑性。任何模型比较都必须用交叉验证或独立的测试集来完成。

6.2 数据量少时决策树的稳定性问题

波士顿房价数据集只有506条样本，对有13个特征的决策树来说，样本量并不充裕。在这样的小数据场景下，决策树的一个典型问题是：树的顶层结构对数据非常敏感，删除几个样本可能导致完全不同的分裂方向。

我用了一个简单实验说明这个问题：从原始数据中随机抽出80%的样本来训练，重复10次，观察根节点的分裂特征。结果10次里，根节点分裂特征几乎每次都是LSTAT，但分裂点数值在不同运行间有波动（从14.2到15.8不等）。这说明虽然特征选择相对稳定，但具体分裂阈值对样本构成敏感，这在小样本场景下确实是无法完全消除的。

如果你遇到这个问题，我的建议是两条路：第一，尽量使用K折交叉验证来评估模型，而不是单次划分；第二，考虑Bagging（装袋）策略，也就是用Bootstrap采样生成多棵决策树取平均，这会显著提高预测稳定性——本质上是随机森林的思路，MATLAB里fitrensemble('Method', 'Bag')一行代码就实现了。

6.3 类别特征和缺失值的处理技巧

波士顿房价数据集几乎全是数值特征，但我们自己的数据里经常会遇到类别特征。决策树在MATLAB中处理类别特征的方式和数值特征不同：对于分类变量，fitrtree会把类别组合成二元切分。比如“朝向”有东、南、西、北四个取值，节点分裂时会尝试“这个类别的子集是否去左边”，例如“朝向=东或南”对“朝向=西或北”。这意味着你不需要把类别变量手动转成独热编码，这比很多Python库的处理方式更方便。

不过要注意一点：如果类别特征的类别数特别多（比如几十个城市），决策树在这个特征上的分裂选择会非常多，容易导致过拟合，并且特征重要性的评估也可能失真。遇到这种情况，我会把类别合并成更粗的层级，或改用数值型聚合特征（比如该类别下样本的目标值均值）来替代原始的类别编码。

缺失值处理方面，fitrtree默认使用代理分裂来尽可能利用含缺失值的样本。如果你不想用默认行为，可以设置'Surrogate'参数为'off'，这样缺失值会导致样本直接落入当前节点默认分支。根据我的经验，当你的样本量很小时，打开代理分裂是值得的，能多保留一点信息；当样本量充足时，直接关闭代理分裂、删除缺失样本反而更干净，因为代理分裂可能会引入偏差。

6.4 MATLAB报错与调试经验

在我的实操过程中，遇到过几个比较典型的报错，整理成速查表：

还有一个非报错但很影响体验的问题：当树比较深时，view(treeModel, 'Mode', 'graph')窗口会显示得非常拥挤，节点和线都叠在一起。这时候我通常先用'Mode', 'text'查看文本格式的树结构，或用prune剪枝后再画图。也可以用compact(treeModel)把树对象压缩一下，去掉训练数据引用，降低内存占用，图形展示也更流畅。

7. 超参数调优实战：从默认参数到精细化配置

7.1 手动扫描与网格搜索的组合策略

自动超参数优化（'OptimizeHyperparameters'）确实方便，但我不建议一上来就用。原因很简单：自动优化相当于一个黑盒，如果你对参数搜索空间和优先级没有基本感知，即使得到一组不错的参数，也不清楚为什么好，出了问题更不知道往哪个方向调。

我的实际操作流程是三步走：

第一步，固定其他参数，对单个参数做网格扫描。先扫MinLeafSize，通常从1到50的对数间隔取5~8个值。因为MinLeafSize对决策树的影响最大，优先把它定下来。

第二步，在MinLeafSize确定的基础上，扫MinParentSize。MinParentSize一般设为MinLeafSize的2~10倍都合理，比如MinLeafSize=10时，MinParentSize在20到100之间扫几个值。

第三步，用'OptimizeHyperparameters'对剩余参数做精细搜索。此时把搜索空间限制在较窄的范围内，比如MinLeafSize只允许在刚扫描出的最优值附近变化。这样既保留了手动扫描的直观理解，又能利用自动搜索做精细调优。

matlab复制optimizedModel = fitrtree(X, Y, ...
    'OptimizeHyperparameters', {'MinLeafSize', 'MinParentSize', 'MaxNumSplits'}, ...
    'HyperparameterOptimizationOptions', struct('AcquisitionFunctionName', 'expected-improvement-plus', 'MaxObjectiveEvaluations', 30, 'KFold', 5));

这段代码会运行30次模型评估，每次都用5折交叉验证计算目标函数。在我机器上大概需要几分钟，比手动排查快得多。

7.2 偏差-方差权衡的实操观察

把MinLeafSize从1调到50，交叉验证误差的变化曲线是一个很好的教学素材。我用真实数据拿到的大致数据点如下：

注意看训练RMSE：它随着MinLeafSize增大而单调上升，这很好理解，叶子越大，拟合越粗糙。交叉验证RMSE则呈现出典型的U形曲线：一开始随着MinLeafSize增大而下降（过拟合在缓解），到某个点后转为上升（欠拟合开始主导）。在这个数据集上，MinLeafSize在5到10之间是甜点区。

我每次做调参都会把这张表记下来，因为它直观地诠释了机器学习里最重要的概念之一：误差由偏差加方差加不可约噪声组成。训练误差降得太低，说明方差贡献巨大；降到不够低，又说明偏差太大。交叉验证误差就是帮你找到平衡点的可靠指南。

7.3 用学习曲线判断数据量是否充足

当模型表现不理想时，人们的第一反应往往是加特征或换模型，但有时候真正的问题是数据不够。学习曲线是一个非常有效的诊断工具：横轴是训练样本量，纵轴是误差，同时画出训练误差和交叉验证误差两条曲线。

在MATLAB里做这件事需要手动循环：

matlab复制sampleSizes = round(linspace(50, 400, 8));
trainErr = zeros(size(sampleSizes));
cvErr = zeros(size(sampleSizes));
for i = 1:length(sampleSizes)
    subX = X(1:sampleSizes(i), :);
    subY = Y(1:sampleSizes(i));
    tempModel = fitrtree(subX, subY, 'MinLeafSize', 5);
    trainErr(i) = resubLoss(tempModel);
    cvModel = crossval(tempModel, 'KFold', 5);
    cvErr(i) = kfoldLoss(cvModel);
end

典型的学习曲线形态是：训练误差随着样本量增加而上升（数据变多，拟合变难），交叉验证误差随着样本量增加而下降（模型看到更多模式，泛化变好），两条线逐渐靠拢。如果两条线都还很高，靠拢趋势不明显，说明当前模型过于简单；如果两条线靠得很近但都很高，说明模型偏差大，需要增加模型复杂度；如果训练误差低而交叉验证误差高，且间距很大，那就是方差问题，要么增加数据，要么增强正则化。

波士顿房价数据集的学习曲线显示，样本量从100增加到400的过程中，交叉验证误差仍在缓慢下降，说明如果能有更多数据，模型的性能还能继续提升。但在实际项目中，获取更多数据往往受成本限制，这时候转向集成方法往往更划算。

8. 模型部署与结果应用：从实验到落地

8.1 把训练好的模型保存与重用

模型训练完成、评估达标之后，你需要把它保存下来，方便后续使用。MATLAB的save命令可以直接保存模型对象：

matlab复制save('housePriceTreeModel.mat', 'treeModel');

在需要做预测的新脚本或函数中加载：

matlab复制load('housePriceTreeModel.mat', 'treeModel');
newPredictions = predict(treeModel, newHouseFeatures);

这里有个小技巧：如果想把模型分享给别人用，但对方机器上没有统计工具箱，那就用saveCompactModel函数，它会生成一个更小、更易于部署的模型文件：

matlab复制saveCompactModel(treeModel, 'housePriceTreeModelCompact');

对应地，在另一端用loadCompactModel加载。这个功能在给非MATLAB用户交付模型时特别实用。实际项目中，我们还经常需要把预测逻辑封装成函数或App，让我给你看一个简单示例：

matlab复制function price = predictHousePrice(model, features)
    price = predict(model, features);
end

然后在命令行中调用它：

matlab复制predictedPrice = predictHousePrice(treeModel, [0.03, 25, 5, 0, 0.5, 7.2, 80, 3.5, 5, 300, 18, 380, 12]);

当然，更严谨的做法是把特征名对应好，否则输入顺序错了，预测值就会完全乱套。我建议用table类型传入，让字段名明确对应起来，避免这种错误。

8.2 可视化与报告输出：向非技术受众解释模型

做完一个项目，模型本身只占一半的分数，另一半是你能不能把结果讲清楚。决策树的优势就是它天然适合可视化、适合向非技术背景的人解释。

我常用的一个展示方式是生成树的文本输出：

matlab复制view(treeModel, 'Mode', 'text');

输出会像这样显示：

code复制Decision tree for regression
 1  if LSTAT<14.4 then node 2 elseif LSTAT>=14.4 then node 3 else 1.54
 2  if RM<6.94 then node 4 elseif RM>=6.94 then node 5 else 24.8
 ...

当场向别人解释“买了几个房间附近低收入人群比例高不高，就能大致判断房价区间”时，效果非常好。

另一个很有说服力的可视化是误差分布直方图：

matlab复制errors = predY - testData.MEDV;
histogram(errors, 20);
xlabel('预测误差');
ylabel('样本数');

观察误差分布居中且在0附近对称，说明模型没有系统性偏差。如果误差分布明显左偏或右偏，说明模型在某个区间内系统性高估或低估，需要进一步分析。

8.3 从单棵树到集成模型的升级路径

我前面多次提到，单棵树的性能上限有限，但在项目中我不会直接跳到随机森林，而是先完成单棵树的完整分析，再分两步升级。

第一步，用Bagging：

matlab复制bagModel = fitrensemble(X, Y, 'Method', 'Bag', 'NumLearningCycles', 100, 'Learners', templateTree('MinLeafSize', 5));

第二步，再用LSBoost（增强）：

matlab复制boostModel = fitrensemble(X, Y, 'Method', 'LSBoost', 'NumLearningCycles', 100, 'LearnRate', 0.1, 'Learners', templateTree('MinLeafSize', 5));

从单棵树到Bagging，R²一般能提升4~6个百分点；从Bagging到梯度提升，再能提升1~3个百分点。但代价是模型的解释性明显下降，调试复杂度也显著上升。所以我在实际项目中常用的策略是：如果业务上需要解释模型逻辑（比如监管审查、客户答疑），用调好参的单棵树；如果只求预测精度，随机森林或梯度提升是更稳妥的选择。

我自己在项目交付中比较欣赏的一种做法是：同时保留一个决策树模型和一个随机森林模型，决策树用来向客户解释“哪些特征影响房价、怎么影响”，随机森林用来做最终预测。两个模型互为印证，既能答疑，又能保证精度。

9. 数据获取与进一步实验的建议

关于这次实验，我自己体会比较深的一点是：方法学上的收获不只在决策树本身。你看，同一份数据，我从线性回归试到决策树，又试到随机森林和梯度提升，这中间每一步都在加深对“为什么模型会表现成这样”的理解。数据量不同、特征关系不同、噪声水平不同，每种模型的适应性都不一样。机器学习不是神仙术，而是“用对工具解决对问题”的工程活。

数据方面，如果你不满足于波士顿房价数据集，我这里提供几个可替换的获取途径。UCI机器学习库上有一个“California Housing”数据集，样本量约2万，特征更现代；Kaggle上的“House Prices - Advanced Regression Techniques”竞赛数据集有79个特征，包含了大量类别特征和缺失值，是练手特征工程和高级调参的好素材。用同样的代码，把readtable的路径换一下，预处理部分调整一下，就能跑通。

最后再分享一个自己习惯的小技巧：实验做了一轮之后，把每次训练的模型、参数、结果都记在表格里，别只写在命令行窗口里。后面回看时，你会惊讶地发现原来自己尝试过这么多方案，哪些参数组合踩过坑、哪些方向值得深挖，一目了然。这种实验管理的好习惯，可能比具体某一次模型调参的成功经验更值得你长期坚持。