这几个月我集中刷了一遍NeurIPS、ICML、ACL、CVPR这些主流顶会的最新论文列表,说实话,和我两年前看的感觉完全不一样了。那时候大家都在比谁参数量更大、刷分刷得更狠,现在风向明显变了,开始认真琢磨怎么用更少的算力干更多的事,怎么让模型真的去干活而不是只会对话。最新的研究趋势里,推理计算、智能体、多模态统一、端侧部署和模型安全占据了大量篇幅,这几乎是对过去几年“大力出奇迹”路线的一次集体反思。
我自己是做模型应用落地的,平时除了跑业务,也会花不少时间复现顶会工作。这篇文不会去罗列论文摘要,我想把最新研究趋势拆开,讲清楚里面哪些思路可以立刻迁移到自己的项目里,哪些坑我已经替你踩过了。不管你是想了解大模型方向的学生、准备做应用开发的工程师,还是已经在做模型微调的老手,这篇文章应该都能给你一些参考。
1. 顶会上“风向变了”到底变在哪
1.1 从“堆参数”到“省算力”的路线修正
大模型领域前几年的主旋律很简单:模型越大,数据越多,效果越好。于是大家疯狂卷参数量,卷预训练数据规模,卷分布式训练框架。这在Scaling Law还处于上升期的时候确实有效,但顶会上最新的氛围已经明显变化,大量论文开始把目光从“训练时扩展”转向“测试时扩展”。
测试时扩展的核心思路是:在推理阶段给模型更多的计算预算,让它在回答之前先“想”得更久、更深。最典型的就是思维链、自反思、树搜索、多轮修正这些方法。你给模型一个复杂的数学题,它不直接输出答案,而是先拆解成多个子步骤,尝试多条路径,最后选出最可靠的结果。这种策略在很多推理类任务上效果非常明显。
| 维度 | 传统路线(训练时扩展) | 新趋势(测试时扩展) |
|---|---|---|
| 核心手段 | 增大模型参数量、增加预训练数据 | 推理时增加计算量、搜索和反思 |
| 算力消耗 | 集中在训练阶段 | 部分转移到部署阶段,按需分配 |
| 优势 | 通用能力整体提升 | 特定任务上提升显著,灵活可控 |
| 短板 | 训练成本高、边际收益递减 | 推理延迟变高,需要调度策略 |
为什么风向会变?根本原因还是成本。动辄几万张显卡的预训练不是谁都能复现的,但推理阶段的算力消耗是可以用工程手段优化的。你可以在用户请求多的时候减少推理计算量,遇到难题时动态增加推理预算,这种“把钱花在刀刃上”的思路明显更符合产业界的现实。
1.2 数据质量取代数据规模成为新主线
前几年大家关注的是“有多少T的token”,现在顶会上讨论更多的是“这些token是怎么来的、怎么配比的”。我看到的明显趋势是:数据质量、数据配比、合成数据这三件事,正在替代单纯的数据规模,成为新的研究主线。
数据清洗和去重不再只是预处理步骤,而是被当成影响模型上限的关键因素。有些工作专门研究如何从海量网页里筛出高价值内容,有些工作在做课程学习——先让模型学简单数据,再逐渐加入复杂数据。合成数据也是一个很热的方向,用强模型生成高质量的指令数据,用来微调小模型。这种做法在实际项目中特别管用,我自己就试过用Qwen这类模型生成训练数据,再拿去做微调,效果比直接爬公开数据集好得多。
我举一个具体的例子。你想做一个客服意图识别的小模型,如果只用人工标注的数据微调,成本高且覆盖不全。但如果你用一个大模型批量生成各种问法、各种异常情况的数
