1. 项目概述：LaST-VLA如何重构自动驾驶推理范式
在自动驾驶领域，视觉-语言-动作（VLA）模型正面临一个关键瓶颈：传统依赖显式文本思维链（CoT）的方法，虽然能让决策过程看似可解释，却造成了语义与感知的割裂。想象一下，当系统看到前方有行人时，它需要先生成"检测到行人"的文本描述，再据此决定刹车——这种迂回的思考方式不仅低效，更可能因为文本生成的误差导致危险决策。清华与小米联合团队提出的LaST-VLA框架，正是要彻底改变这种"先翻译再思考"的模式。
LaST-VLA的核心突破在于构建了一个潜在时空推理空间，让模型直接在连续的隐空间中完成从感知到规划的完整思考链条。这个空间不是随意构建的黑箱，而是通过双特征对齐机制，将3D几何约束（如物体深度、道路曲率）和动态预见能力（如车辆运动趋势）蒸馏到隐式表示中。这就好比让自动驾驶系统拥有了"物理直觉"，其思考过程天然符合现实世界的运动规律。
2. 传统VLA模型的根本缺陷解析
2.1 显式文本CoT的认知鸿沟
当前主流VLA模型的工作机制存在两个致命伤。首先是语义-感知解耦问题：当模型将连续的视觉信号（如摄像头帧序列）强制压缩成离散的文本描述时，就像用文字复述一部电影——大量时空细节必然丢失。实验中常见这样的情况：模型生成的"前方车辆减速"文本与实际画面中加速的车辆完全矛盾，但规划器却盲目跟随这个错误描述。
更隐蔽的是感知-符号冲突：文本描述使用的语义标签（如"行人"、"障碍物"）与视觉特征空间存在映射偏差。我们通过热力图分析发现，当模型说"注意左侧来车"时，其视觉注意力可能实际集中在右侧无关区域。这种"说一套看一套"的现象，使得基于文本CoT的决策如同在流沙上建房。
2.2 纯隐式推理的失控风险
近期一些研究尝试抛弃文本中间件，让模型直接在隐空间推理。虽然效率提升，但缺乏物理约束的隐空间就像没有坐标系的星空——模型可能学会各种"捷径解法"（如总是预测直行），这些解在训练集表现良好，却完全违背物理规律。我们的压力测试显示，这类模型在遇到训练集外场景时，会产生违背惯性定律的突变轨迹。
3. LaST-VLA的核心架构设计
3.1 双流隐式空间构建
LaST-VLA的创新始于对隐式空间的精心设计。不同于传统单一隐空间，我们将其解耦为：
- 几何特征流（g-stream）：通过适配器对齐3D基础模型（如VGGT）的输出，编码场景的深度、法向量等空间属性
- 动态特征流（d-stream）：与视频世界模型（如Cosmos）的特征空间对齐，捕捉运动趋势和时间演化规律
这种解耦带来关键优势：当处理"弯道会车"场景时，g-stream确保轨迹曲率匹配道路几何，d-stream则能预测对方车辆的切入时机。二者通过交叉注意力机制融合，形成物理可信的联合表示。
3.2 渐进式训练策略
3.2.1 两阶段监督微调
- 物理感知阶段：采用70%掩码率随机遮蔽视觉特征，强制模型仅通过隐式CoT传递信息。此时损失函数侧重特征对齐（权重λ=0.8），相当于让模型先学好"物理语言"
- 规划精调阶段：降低掩码率至30%，调整损失权重（λ=0.2），让模型学会在保留物理理解的基础上，灵活调用原始视觉细节
3.2.2 GRPO强化学习
在冻结特征适配器后，采用组相对策略优化（GRPO）进行安全微调。关键设计包括：
- 混合奖励函数：PDMS奖励（60%）+格式奖励（30%）+目标奖励（10%）
- 安全约束机制：通过优势函数裁剪，限制策略更新幅度在KL散度阈值（ε=0.15）内
4. 关键技术实现细节
4.1 特征对齐的工程实践
几何适配器采用金字塔特征匹配策略，在4个尺度上计算MSE损失：
python复制def geometric_loss(g_features, teacher_features):
losses = []
for s in [4,8,16,32]: # 下采样尺度
g_pool = F.avg_pool2d(g_features, s)
t_pool = F.avg_pool2d(teacher_features, s)
losses.append(F.mse_loss(g_pool, t_pool))
return sum(losses)/len(losses)
动态适配器则使用时序卷积+注意力架构，确保长程依赖的捕捉。
4.2 实时性优化技巧
- 异步特征提取：3D教师模型以5Hz低频运行，其输出通过环形缓冲区与高频（30Hz）视觉特征对齐
- 轨迹缓存机制：对连续相似帧复用80%的隐式CoT，仅更新关键变化部分
- 量化部署：8B模型经GPTQ量化后，在Orin芯片上延迟控制在87ms
5. 性能表现与行业影响
在NAVSIM v2测试中，LaST-VLA-8B达到87.1 EPDMS，其核心优势体现在：
- 空间感知精度：在3米范围内的深度估计误差仅0.12m（较基线提升63%）
- 动态预测能力：对行人突然闯入的预见时间达到1.2秒（传统方法约0.7秒）
- 安全边际：在最严苛的"儿童追逐球"场景中，碰撞率降至0.3%
特别值得注意的是2B轻量版的表现——在参数减少75%的情况下，仍保持91.1 PDMS，这得益于：
- 通过教师模型蒸馏得到高信息密度的隐空间
- 强化学习阶段采用的课程学习策略
- 对冗余注意力头的结构化剪枝
6. 潜在应用与未来方向
LaST-VLA的隐式推理范式正在重塑自动驾驶系统的设计哲学：
- 车路协同场景：隐式CoT可编码V2X信息，实现群体运动预测
- 极端天气适应：通过物理约束的隐空间，增强对低能见度数据的鲁棒性
- 驾驶员个性化：在GRPO阶段引入个性化奖励项（如舒适度偏好）
我们在实际部署中发现一个有趣现象：当隐式CoT维度扩展到1024时，模型会自发形成"交通规则神经元"——某些神经元专门在违反交规时激活。这为可解释性研究提供了新思路。
关键实践建议：部署时应监控隐式特征的L2范数变化，其突变往往预示OOD场景。我们在测试中设置阈值0.35，成功捕获了92%的异常情况。