SFT与RL预算分配：用小模型实验迁移到大规模训练的黄金比例

从“先微调后强化”到“预算怎么分”：为什么很多团队把预算花错了地方

如果你负责一个大模型项目的训练流程，大概率遇到过这样一个问题：手里的标注预算明明不算少，SFT（监督微调）数据也采了，RL（强化学习）偏好数据也采了，最终模型的效果却和预期差了一截。

排查下来，问题往往不在模型结构，也不在训练超参，而是出在一个很容易被忽略的决策上：SFT 和 RL 两个阶段之间，标注预算到底按什么比例分配。

SFT 采多了，模型容易“背题”，在开放场景下泛化能力受限；RL 偏好采少了，对齐效果上不去，指令跟随能力始终差口气。预算就那么多，两边都要喂，怎么分才能接近最优？

这就是本文要讨论的核心问题：如何在小规模、低成本的前提下，找到一种可以迁移到大模型上的“近最优 SFT-RL 标注预算分配”策略。简单说，用运行成本低的小模型做大量实验，把预算分配的规律学出来，再外推到训练成本高的大模型上，避免对大模型做盲目的全量扫描式验证。

这篇文章会先讲清楚 SFT 和 RL 标注到底有什么本质差异，再拆解“小模型实验→规律抽取→大模型迁移”这一策略的核心逻辑，然后给出一个可运行的模拟实验代码，最后把实际项目中容易踩的坑和工程建议一并说明。无论你是算法工程师、训练平台负责人，还是刚接触 LLM 对齐流程的研究者，这篇文章都值得读完。

1. 为什么“预算分配”比“总预算大小”更值得关注

很多团队在规划大模型训练时，第一反应是算总预算：我要采多少万条数据，总共花多少钱。总预算当然重要，但它只是上限，真正决定模型效果上限的，是这笔钱在多个训练阶段之间的分配结构。

在典型的 LLM 对齐流程中，SFT 和 RL 是两个需求完全不同的标注环节。

SFT 阶段需要的是高质量的输入-输出对，标注者要根据指令写出完整、准确、风格合适的回答。这类标注对标注者的能力要求高，有的场景还需要领域专家参与，单位成本通常不低。SFT 数据教会模型“怎么说话”，决定了模型的基础行为模式。

RL 阶段（尤其是基于人类反馈的强化学习，RLHF）需要的是偏好数据，标注者只需要比较两个或若干个候选回答哪个更好。这类标注的认知负荷相对低，单位成本通常也比 SFT 更容易控制。RL 偏好数据在训练中扮演的角色是“校准”——告诉模型哪些行为更符合人类期望。

如果只把总预算当成一个数字，不去拆解它在 SFT 和 RL 之间的占比，很容易出现两种极端情况：

• SFT 预算占比过高：模型在训练集覆盖的指令分布上表现很好，但面对分布外输入时，输出僵化，几乎不具备举一反三的能力。原因在于 SFT 阶段把模型参数“锁”在了有限的指令-回答映射上，留给 RL 阶段去探索和校正的空间很小。
• RL 预算占比过高：SFT 阶段数据不足，模型连基本的指令遵循能力都没有建立起来，RL 阶段相当于在错误的地基上盖楼。偏好数据再多，也很难把模型从“不会好好回答”的状态中拉回来。

所以说，预算分配不是一个简单的会计问题，而是一个直接影响模型上限的工程决策。在总预算不变的情况下，找到更优的 SFT-RL 分配比例，等于免费获得了模型效果提升。 这正是“优化分配”比“增加预算”更值得研究的原因。

2. SFT 与 RL 标注的本质差异：两种数据，两种“口味”

要把预算分配问题讲透，必须先理解 SFT 标注和 RL 标注在数据形态、标注成本和训练机制上的三重差异。

2.1 数据形态不同

SFT 数据的形态是确定的“指令-回答”对，一条数据就是一个完整的监督样本：

code复制{
  "instruction": "用一句话解释什么是机器学习",
  "output": "机器学习是一类让计算机从数据中自动学习规律，并据此进行预测或决策的方法。"
}

RL 偏好数据的形态则是一组候选回答之间的优劣关系：

code复制{
  "prompt": "用一句话解释什么是机器学习",
  "responses": [
    "机器学习是一类让计算机从数据中自动学习规律的方法。",
    "机器学习，简单来说，就是让机器自己去学习，不用人教。"
  ],
  "preferred": "response_0"
}

注意这个形态差异带来的连锁反应：SFT 数据每条只包含一个回答，质量完全取决于标注者单次产出；RL 偏好数据每条包含多个回答，质量取决于“比较”的可靠性，即使两个回答都不完美，标注者依然可以通过相对比较给出有效信号。

2.2 标注成本结构不同

SFT 标注是“产出型”任务，标注者要从零开始写回答。为了保证质量，通常需要制定详细的写作规范、进行多轮质检、甚至引入交叉评审。一名专家标注员一天能产出的高质量 SFT 数据数量有限。

RL 标注是“判断型”任务，标注者不需要创造内容，只需要做比较。同样是这些标注员，一天能标注的偏好数据条数通常远高于 SFT 数据。但 RL 标注也有自己的隐形成本——如果候选回答本身质量太差，标注者需要反复阅读和比较，决策疲劳会直接影响标注一致性。

这带来一个直觉：在预算固定时，SFT 数据的“单条成本”更高，RL 数据的“单条成本”更低。 但这不意味着 SFT 预算占比应该自动降低，因为两类数据对模型能力的贡献方式完全不同。

2.3 训练机制不同

SFT 的训练目标是最大化条件概率 ( P(output|instruction) )，本质上是让模型记住“看到这种指令，应该这么回答”。这个阶段决定的是模型的知识调用能力和表达格式。

RL 的训练目标是最大化偏好信号下的期望奖励，本质上是让模型理解“什么样的回答更好”。这个阶段决定的是模型的行为倾向和对齐程度。

直观类比：SFT 是教一个人“把话说明白”，RL 是教一个人“在多个说法中挑出最得体、最准确的那个”。前者是基础能力，后者是价值判断。两者缺一不可，但不同规模的模型对两个阶段的依赖程度并不相同——这正是预算分配问题之所以复杂的根源。

小节结论： 预算分配的本质，是在“基础能力构建”和“行为偏好校准”之间找到平衡点。该平衡点不是固定的，它和模型规模、任务类型、数据质量都有关系。

3. 核心方法论：怎么用“小模型实验”推断“大模型最优分配”

理解了预算分配为什么重要，接下来要回答一个更关键的问题：怎么找到最优分配？

最直接的方法是做网格搜索。假设你对 SFT 预算占比枚举 10 个候选值，RL 预算对应也有 10 个候选值，那就是 100 组实验。如果每次实验都要在大型模型上完整跑一遍 SFT + RL，时间和计算成本是绝大多数团队无法承受的。

换个思路：如果用一个小模型做同样规模的搜索，成本会低很多。 问题变成——小模型上找到的最优分配，能不能迁移到大模型上？

这个问题的答案并不显然。小模型和大模型的容量不同，对 SFT 和 RL 数据的“消化能力”也不同。但有一个关键经验规律在支撑这类迁移的可行性：

无论模型规模如何，SFT 和 RL 之间存在一个基本的“能力互补区”：SFT 先把模型带到一个合理的行为基线，RL 再在这个基线上做偏好对齐。最优分配比例更多取决于“任务复杂度”和“数据质量”，而不是绝对模型参数量。

换句话说，一个在 1B 模型上接近最优的分配比例，迁移到 7B 或 70B 模型上，即使不是严格最优，通常也远好于随机分配或凭经验拍脑袋。我们追求的不是数学上的最优，而是“近最优”，这给迁移带来了工程可行性。

整个方法论的流程可以拆成四步：

3.1 小型模型全量搜索

选择一个运行成本足够低的小型模型（比如 0.5B 到 3B 的稠密模型），枚举 SFT 和 RL 预算比例，跑满所有组合，获得完整的“分配比例 → 模型效果”映射表。

这一步的关键要求是：小模型和最终目标模型的训练流程必须保持一致，包括数据格式、训练超参的相对配置（如学习率调度方式）、评估基准等。否则迁移的前提就不成立。

3.2 规律抽取

对搜索得到的映射表做分析，找出规律。常见规律包括：

• 最优 SFT 占比是否集中在某个区间；
• 总预算越高，最优 SFT 占比是上升还是下降；
• 不同任务类型（如代码生成、对话、摘要）对预算比例的敏感度差异；
• 模型效果对预算比例的变化是否平坦（存在“宽平台区”）。

这一步的产物是“分配经验”，而不是一堆实验记录。

3.3 大模型定向验证

在大模型上，不再做全量组合搜索，而是选择规律指示的 2 到 3 个候选点做验证。比如小模型实验显示最优区间在 40% 到 60%，那么大模型只需要验证 40%、50%、60% 三个点即可。

3.4 置信度外推

如果大模型验证结果与小模型规律一致，可以进一步压缩大模型实验次数，甚至直接采用小模型预测的最优点。如果出现系统性偏移，则修正外推公式。

下面用一个具体例子说明这套方法论的实际用法。

4. 环境准备与前置条件

本节提供一个可运行的模拟实验框架，帮助你理解“小模型搜索→规律抽取→大模型验证”的完整流程。本文不绑定具体模型框架，示例代码使用 Python 编写，核心依赖只用到 NumPy 和 Matplotlib。

4.1 环境清单

4.2 安装依赖

bash复制pip install numpy matplotlib

4.3 数据格式约定

为了保持示例简洁，我们约定两个数据文件：

json复制// 文件路径：data/sft_data.jsonl
{"instruction": "解释什么是过拟合", "output": "过拟合是指模型在训练数据上表现很好，但在未见数据上表现较差的现象。"}
{"instruction": "写一段Python代码计算斐波那契数列", "output": "def fib(n):\n    a, b = 0, 1\n    for _ in range(n):\n        a, b = b, a + b\n    return a"}

json复制// 文件路径：data/rl_data.jsonl
{"prompt": "解释什么是过拟合", "responses": ["过拟合就是模型记住了训练数据。", "过拟合是指模型在训练数据上表现优秀，但在测试数据上表现不佳的现象。"], "preferred": 1}
{"prompt": "写一段Python代码计算斐波那契数列", "responses": ["def fib(n):\n    a, b = 0, 1\n    for _ in range(n):\n        a, b = b, a + b\n    return a", "使用递归实现斐波那契数列"], "preferred": 0}

注意： 示例代码不会真正训练模型，而是用一个代理评分函数模拟“训练后的模型效果”，目的是把预算分配逻辑和验证流程讲清楚。真实项目中，这里的代理评分函数要替换成真实的模型训练与评估流程。

5. 核心流程拆解：从模拟实验到大模型迁移

5.1 定义预算分配和效果模拟函数

首先定义核心数据结构。我们用一对比例 ( (p_{sft}, p_{rl}) ) 表示 SFT 和 RL 各占总标注预算的比例，显然 ( p_{sft} + p_{rl} = 1 )。

python复制# 文件路径：budget_simulator.py

import numpy as np
import matplotlib.pyplot as plt
from itertools import product

def simulate_model_quality(p_sft, p_rl, total_budget, task_type="general"):
    """
    模拟给定预算分配下的模型效果，返回一个 0~100 的评分。
    
    真实项目中，这个函数应该替换为：
    1. 按 p_sft * total_budget 采样 SFT 数据
    2. 按 p_rl * total_budget 采样 RL 偏好数据
    3. 在目标模型上执行 SFT + RL 训练
    4. 在评估集上计算模型得分
    
    这里使用解析函数近似不同任务类型的效果规律。
    """
    # SFT 贡献项：效果随 SFT 预算先快速上升，然后趋于饱和
    # 参数 50 表示 SFT 预算占比达到 50% 附近时基础能力基本构建完成
    sft_contribution = 80 * (1 - np.exp(-p_sft * 6))
    
    # RL 贡献项：效果在 SFT 达到一定程度后开始显现
    # 这里模拟 SFT 占比过低时，RL 效果会打折
    base_readiness = 1 - np.exp(-p_sft * 4)
    rl_contribution = 45 * base_readiness * (1 - np.exp(-p_rl * 5))
    
    if task_type == "code":
        # 代码任务对 SFT 的依赖更高
        sft_contribution *= 1.15
    elif task_type == "chat":
        # 对话任务对 RL 的依赖更高
        rl_contribution *= 1.25
    
    score = sft_contribution + rl_contribution
    # 添加噪声，模拟训练和评估的随机性
    noise = np.random.normal(0, 1.5)
    return max(0, min(100, score + noise))

这个函数模拟的核心规律是什么？

• SFT 贡献项采用“饱和曲线”：随着 SFT 预算占比增加，基础能力快速提升，但到了某个区间后继续增加 SFT 数据的收益递减。
• RL 贡献项带有“前置条件”：如果 SFT 占比太低，模型连基础响应能力都没有建立，RL 偏好数据再多也难以发挥作用。
• 不同任务类型的系数不同，代码任务更依赖 SFT，对话任务更依赖 RL。

真实情况远比这个函数复杂，但这个模拟已经能够表达预算分配问题中最核心的两个张力：饱和效应和前置依赖。

5.2 小模型全量网格搜索

在小模型上做全量搜索，枚举所有预算分配组合：

python复制# 文件路径：small_model_search.py

from budget_simulator import simulate_model_quality
import numpy as np

def small_model_grid_search(task_type="general", seed=42):
    np.random.seed(seed)
    
    # 枚举 SFT 预算占比从 10% 到 90%，步长 5%
    sft_ratios = np.arange(0.1, 0.91, 0.05)
    results = []
    
    for p_sft in sft_ratios:
        p_rl = 1 - p_sft
        # 每次实验重复 3 次取平均，削弱随机噪声影响
        scores = [
            simulate_model_quality(p_sft, p_rl, total_budget=1000, task_type=task_type)
            for _ in range(3)
        ]
        avg_score = np.mean(scores)
        results.append({
            "p_sft": p_sft,
            "p_rl": p_rl,
            "avg_score": avg_score
        })
    
    # 找出最优分配
    best = max(results, key=lambda x: x["avg_score"])
    print(f"Task: {task_type}")
    print(f"Best SFT ratio: {best['p_sft']:.2f}, Best RL ratio: {best['p_rl']:.2f}")
    print(f"Best avg score: {best['avg_score']:.2f}")
    
    return results

if __name__ == "__main__":
    small_model_grid_search(task_type="general")

运行输出示例：

code复制Task: general
Best SFT ratio: 0.45, Best RL ratio: 0.55
Best avg score: 86.23

注意，这个结果是在“小模型模拟器”上得到的。输出表明该任务类型下，SFT 占比在 45% 附近能获得接近最优的效果。但还需要进一步分析规律，而不是直接拿这个数字去大模型上用。

5.3 规律可视化与区间识别

网格搜索只是第一步，更重要的工作是从结果中提炼可迁移的规律。我们把 p_sft 作为横轴、模型评分作为纵轴画一条曲线，观察“高原区间”在哪里。

python复制# 文件路径：pattern_extraction.py

import matplotlib.pyplot as plt
import numpy as np

def plot_budget_pattern(results, task_type="general"):
    p_sft = [r["p_sft"] for r in results]
    scores = [r["avg_score"] for r in results]
    
    plt.figure(figsize=(10, 6))
    plt.plot(p_sft, scores, marker="o", linestyle="-", linewidth=2)
    plt.xlabel("SFT Budget Ratio")
    plt.ylabel("Model Quality Score")
    plt.title(f"Budget Allocation Pattern - {task_type}")
    plt.grid(True, alpha=0.3)
    
    # 标记最高分区域
    best_idx = int(np.argmax(scores))
    plt.axvline(x=p_sft[best_idx], color="red", linestyle="--", alpha=0.7, label="Best SFT Ratio")
    plt.legend()
    plt.tight_layout()
    plt.savefig(f"budget_pattern_{task_type}.png", dpi=150)
    plt.show()

    # 找高原区间：得分不低于最高分 95% 的所有区间
    max_score = max(scores)
    threshold = 0.95 * max_score
    plateau_ratios = [p for p, s in zip(p_sft, scores) if s >= threshold]
    
    if plateau_ratios:
        print(f"高原区间 SFT 占比范围: {min(plateau_ratios):.2f} ~ {max(plateau_ratios):.2f}")
    else:
        print("未发现明显的高原区间，模型效果对预算分配高度敏感")
    
    return p_sft[best_idx]

这里引入了一个非常重要的工程概念：高原区间（plateau region）。在高原区间内，模型效果对预算分配的敏感度很低。这意味着即使小模型预测的最优比例和大模型实际最优比例之间存在偏差，只要偏差没有超出高原区间，最终效果损失也是可控的。

这是“近最优迁移”能够成立的工程基础。

5.4 大模型定向验证

在小模型实验给出的高原区间内选择少量候选点，在大模型上做定向验证：

python复制# 文件路径：large_model_validation.py

from budget_simulator import simulate_model_quality
import numpy as np

def validate_on_large_model(candidate_ratios, task_type="general", num_runs=2):
    """
    在大模型上只验证少量候选点，避免全量网格搜索的高昂成本。
    真实项目中，这里的 simulate_model_quality 需要替换成真实的
    大模型 SFT + RL 训练流程。
    """
    validation_results = []
    
    for p_sft in candidate_ratios:
        p_rl = 1 - p_sft
        scores = [
            simulate_model_quality(p_sft, p_rl, total_budget=5000, task_type=task_type)
            for _ in range(num_runs)
        ]
        avg_score = np.mean(scores)
        validation_results.append({
            "p_sft": p_sft,
            "p_rl": p_rl,
            "avg_score": avg_score
        })
        print(f"p_sft={p_sft:.2f}, p_rl={p_rl:.2f}, avg_score={avg_score:.2f}")
    
    best = max(validation_results, key=lambda x: x["avg_score"])
    print(f"\n大模型上最优验证点: SFT={best['p_sft']:.2f}, RL={best['p_rl']:.2f}")
    return validation_results

if __name__ == "__main__":
    # 假设小模型实验发现高原区间在 0.35 ~ 0.55
    # 大模型只验证三个点
    candidates = [0.35, 0.45, 0.55]
    validate_on_large_model(candidates, task_type="general")

运行输出示例：

code复制p_sft=0.35, p_rl=0.65, avg_score=84.73
p_sft=0.45, p_rl=0.55, avg_score=87.19
p_sft=0.55, p_rl=0.45, avg_score=85.94

大模型上最优验证点: SFT=0.45, RL=0.55

如果大模型的趋势和候选点排序与小模型基本一致，说明迁移是成功的，可以直接采用最优点或在最优点附近做小范围细化。

5.5 跨任务对比：规律是否稳定

最后一个关键检查是：这种最佳比例规律在多个任务类型之间是否稳定？如果代码任务的最佳比例是 60% SFT，对话任务的最佳比例是 40% SFT，那么在实际项目中就需要按任务拆分预算，而不是一刀切。

python复制# 文件路径：multi_task_analysis.py

from small_model_search import small_model_grid_search

for task in ["general", "code", "chat"]:
    results = small_model_grid_search(task_type=task, seed=42)
    # 输出结果，观察不同任务的规律差异

在模拟函数中，代码任务的 SFT 贡献被调高了 15%，因此它的最优 SFT 占比会比通用任务更高；对话任务的 RL 贡献被调高了 25%，所以它的最优 SFT 占比会更低。跨任务分析的目的是确认：预算分配不是“一刀切”的静态值，而应该与任务类型绑定。

6. 完整示例代码与运行说明

为了便于直接复现，下面把整个模拟流程串成一个可运行的脚本。复制保存为 budget_optimization_demo.py 即可运行。

python复制# 文件路径：budget_optimization_demo.py

import numpy as np
import matplotlib.pyplot as plt

# ---------- 1. 模拟训练效果 ----------

def simulate_model_quality(p_sft, p_rl, total_budget, task_type="general"):
    sft_contribution = 80 * (1 - np.exp(-p_sft * 6))
    base_readiness = 1 - np.exp(-p_sft * 4)
    rl_contribution = 45 * base_readiness * (1 - np.exp(-p_rl * 5))
    
    if task_type == "code":
        sft_contribution *= 1.15
    elif task_type == "chat":
        rl_contribution *= 1.25
    
    score = sft_contribution + rl_contribution
    noise = np.random.normal(0, 1.5)
    return max(0, min(100, score + noise))

# ---------- 2. 小模型网格搜索 ----------

def small_model_grid_search(task_type="general", seed=42):
    np.random.seed(seed)
    sft_ratios = np.arange(0.1, 0.91, 0.05)
    results = []
    
    for p_sft in sft_ratios:
        p_rl = 1 - p_sft
        scores = [
            simulate_model_quality(p_sft, p_rl, total_budget=1000, task_type=task_type)
            for _ in range(3)
        ]
        avg_score = np.mean(scores)
        results.append({"p_sft": p_sft, "p_rl": p_rl, "avg_score": avg_score})
    
    return results

# ---------- 3. 规律提取 ----------

def extract_pattern(results):
    p_sft = [r["p_sft"] for r in results]
    scores = [r["avg_score"] for r in results]
    
    max_score = max(scores)
    threshold = 0.95 * max_score
    plateau_ratios = [p for p, s in zip(p_sft, scores) if s >= threshold]
    
    best_p_sft = p_sft[int(np.argmax(scores))]
    
    # 高于最高分95%的平台区
    if plateau_ratios:
        plateau = f"{min(plateau_ratios):.2f} ~ {max(plateau_ratios):.2f}"
    else:
        plateau = "无"
    
    print(f"最高分 SFT 占比: {best_p_sft:.2f}")
    print(f"95% 高原区间: {plateau}")
    return best_p_sft, plateau

# ---------- 4. 大模型定向验证 ----------

def validate_on_large_model(candidate_ratios, task_type="general"):
    results = []
    for p_sft in candidate_ratios:
        p_rl = 1 - p_sft
        scores = [
            simulate_model_quality(p_sft, p_rl, total_budget=5000, task_type=task_type)
            for _ in range(2)
        ]
        avg_score = np.mean(scores)
        results.append({"p_sft": p_sft, "p_rl": p_rl, "avg_score": avg_score})
        print(f"验证 SFT={p_sft:.2f}: avg_score={avg_score:.2f}")
    return results

# ---------- 主流程 ----------

if __name__ == "__main__":
    print("===== 小模型全量搜索 =====")
    small_results = small_model_grid_search(task_type="general")
    best_sft, plateau = extract_pattern(small_results)
    
    print("\n===== 大模型定向验证 =====")
    candidates = [round(best_sft - 0.1, 2), round(best_sft, 2), round(best_sft + 0.1, 2)]
    large_results = validate_on_large_model(candidates, task_type="general")
    
    final_best = max(large_results, key=lambda x: x["avg_score"])
    print(f"\n最终推荐: SFT 占比 {final_best['p_sft']:.2f}, RL 占比 {final_best['p_rl']:.2f}")
    
    # 保存结果
    with open("budget_allocation_result.txt", "w") as f:
        f.write(f"Small model best SFT ratio: {best_sft:.2f}\n")
        f.write(f"95% plateau: {plateau}\n")
        f.write(f"Large model validated best SFT ratio: {final_best['p_sft']:.2f}\n")

运行方式：

bash复制python budget_optimization_demo.py

运行后，你会依次看到小模型搜索结果、高原区间、三个候选点的大模型验证结果，以及最终推荐值。整个流程模拟的就是“小模型找规律、大模型做确认”的预算分配策略。

7. 运行结果与效果验证

运行上述脚本，预期输出类似：

code复制===== 小模型全量搜索 =====
最高分 SFT 占比: 0.45
95% 高原区间: 0.30 ~ 0.65

===== 大模型定向验证 =====
验证 SFT=0.35: avg_score=85.33
验证 SFT=0.45: avg_score=87.09
验证 SFT=0.55: avg_score=86.21

最终推荐: SFT 占比 0.45, RL 占比 0.55

如何判断这次迁移是成功的？看三个信号：

1. 高原区间足够宽。 如果高原区间覆盖了至少 0.2 以上的比例范围，说明模型效果对预算分配不“尖刻”，小模型的预测即使有偏差，大模型也不会受太大影响。
2. 大模型候选点排序稳定。 如果大模型验证的 3 个候选点在排序上与小模型趋势一致（中间点最高），说明迁移规律成立。
3. 候选点之间分数差距可控。 如果 3 个候选点之间的最高分和最低分差距小于 2 分，说明后续在最优点的邻域内做微调的空间很大。

如果出现大模型上 3 个候选点得分大幅波动、排序规律完全乱掉的情况，第一优先级不是继续做实验，而是检查小模型与大模型的训练配置是否一致、评估基准是否统一、任务分布是否发生了偏移。很多所谓“迁移失败”，根源其实在实验设置不一致，而不是方法论有问题。

8. 常见问题与排查思路

在实际项目中使用这套方法进行预算分配时，以下问题出现频率最高：

这里特别提醒一个新手容易犯的错误：拿小模型网格搜索的结果直接当作大模型的最优值，不做任何大模型验证。这种做法风险很高。小模型和大模型之间可能存在“平移偏差”——比如小模型最优在 45%，大模型最优可能在 50%，但因为大模型在 45% 处效果损失很小，你没验证也不会发现，直到某天换一个任务才发现规律不对。一次只花 3 组大模型实验成本，就足以确认规律是否成立。

9. 最佳实践与工程建议

9.1 把“总预算”分解成“可配置比例”

在工程上，不要只记录“我们花了多少钱采数据”，要记录“SFT 占比多少、RL 占比多少、每条数据平均成本多少”。这些元信息要进入实验管理平台，和模型训练的实验数据关联起来。这样后续做预算分配复盘时，才有数据可查。

9.2 优先做大粒度搜索，再做小粒度细化

不要一开始就用 2% 的步长枚举。先用 10% 的步长找到大致区域，再用 2%~3% 的步长在最优区域附近细化。这样能把小模型实验次数控制在几十次以内，大模型实验次数控制在个位数。

9.3 用“高原区间”而不是“单点极值”做决策

只盯着最高分对应的比例是有风险的。如果高原区间很宽，建议选择高原区间的中间点而不是最高点。理由很简单：中间点对噪声更鲁棒，而且在后续调整中留出了双向移动的空间。

9.4 按任务类型分开计算最优比例

代码生成、开放对话、摘要、数学推理等任务对 SFT 和 RL 的依赖程度很可能不同。建议在动手标注之前，先花一天时间做小规模的任务级实验。总预算池可以分配得更细，而不是简单的一口价。

9.5 关注数据质量大于数据规模

预算分配优化的前提是数据质量可控。如果 SFT 数据质量参差不齐，RL 偏好数据标注一致性低，再好的比例也无济于事。在开始预算分配实验前，先切实抽样检查数据质量，统一标注规范。

9.6 建立小模型到目标模型的“规律追踪表”

每次做迁移实验都记录以下几列：小模型最优比例、高原区间、大模型验证结果、验证点排序、迁移偏差。积累多次记录后，你会发现迁移偏差是有规律可循的——比如某些任务族的小模型最优值总是比大模型低 5% 左右。这个经验一旦形成，后续新任务的迁移几乎不用做额外的全量验证。

10. 总结与后续学习方向

本文从“SFT-RL 标注预算分配”这个容易被忽略但影响深远的工程决策出发，讲清楚了为什么预算分配比总预算大小更值得关注，并给出了一套“小模型全量搜索、大模型定向验证”的实用方法论。核心不复杂：小模型跑得动，大模型验证得起，关键是在两者之间找到稳定的规律传递方式。

模拟代码只是把方法论跑通的脚手架，真正落地时要把 simulate_model_quality 替换成真实的模型训练流程和评估流程。如果你的团队已经有完整的 SFT + RL 训练管线，用本文的框架去管理预算分配，会比继续“拍脑袋定比例”要可靠得多。

接下来值得深入的方向有三个：

• 动态预算分配：不再一次性固定比例，而是在训练过程中根据阶段性评估结果动态调整剩余预算的分配方向；
• 数据质量驱动的预算模型：把数据质量评分引入预算分配决策，允许质量系数调整实际有效预算量；
• 多阶段预算分配：把 SFT 进一步拆分为通用指令微调和领域指令微调，把 RL 拆分为偏好学习和拒绝采样，优化维度进一步增加。

预算分配的问题，本质上是“在有限信息条件下做资源调度”的问题。模型训练越往后走，这类工程细节对最终效果的影响只会越来越大。建议收藏本文，在下一个数据标注项目启动前，先用模拟实验摸清自己任务的预算分配规律。