1. 项目概述
在自动驾驶领域,视觉-语言-动作(VLA)模型正逐渐成为研究热点。这类模型通过结合视觉感知、语言理解和动作决策能力,为自动驾驶系统提供了更强大的智能。然而,在实际应用中,VLA模型在强化学习(RL)优化过程中常常会遇到性能瓶颈问题。清华团队提出的ELF-VLA框架,正是为了解决这一关键挑战而设计的创新方案。
ELF-VLA的核心思想是通过显式错误学习来释放VLA模型的潜能。传统方法在模型遇到失败时,往往只能提供简单的标量奖励信号,这种信息稀疏的反馈无法帮助模型准确识别失败的根本原因。相比之下,ELF-VLA能够生成详细的结构化诊断报告,明确指出模型在规划、推理或执行层面的具体错误,从而为模型改进提供精准指导。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 技术背景与挑战
2.1 VLA模型在自动驾驶中的应用
视觉-语言-动作模型是自动驾驶技术发展的重要方向。这类模型通常由以下几个关键组件构成:
- 视觉感知模块:处理摄像头输入的图像数据
- 语言理解模块:解析导航指令和交通语义
- 动作决策模块:生成车辆控制指令
VLA模型的优势在于其端到端的学习能力,可以避免传统模块化架构中人工设计接口带来的信息损失。同时,通过"思考链"机制,VLA模型能够生成中间推理过程,提高决策的可解释性。
2.2 现有方法的局限性
尽管VLA模型展现出巨大潜力,但在实际应用中仍面临几个关键挑战:
-
监督微调(SFT)后的探索受限:SFT阶段使用的数据集往往偏向常见场景,导致模型在长尾场景中表现不佳。
-
奖励信号稀疏:传统RL方法使用单一标量奖励(如PDMS),当模型失败时无法提供足够信息来诊断问题根源。
-
持续性失败:在某些复杂场景下,模型可能陷入所有探索动作都失败的困境,难以通过常规RL方法突破。
这些挑战严重制约了VLA模型在实际自动驾驶应用中的性能和可靠性。
3. ELF-VLA框架设计
3.1 整体架构
ELF-VLA框架包含两个主要组成部分:
-
两阶段监督微调(SFT)过程
- 第一阶段:驾驶知识预训练
- 第二阶段:轨迹预测与优化能力训练
-
增强型强化学习框架
- 结构化失败诊断
- 反馈引导的策略改进
这种设计使模型既能掌握基础驾驶知识,又具备从错误中学习的能力。
