从‘看’到‘理解空间’：拆解Spatial-MLLM如何用普通视频实现3D推理（VGGT编码器实战）

当手机摄像头捕捉的2D视频流遇上3D空间推理需求，传统解决方案往往陷入两难：要么依赖昂贵的激光雷达设备，要么承受复杂点云处理的计算负担。Spatial-MLLM的创新之处在于，它像一位精通透视画法的建筑师，仅通过普通视频帧就能在数字世界中重构三维空间坐标系。这种能力在智能家居场景评估、工业巡检等实际应用中具有颠覆性意义——工程师用手机环拍车间设备后，系统能自动标注管道间距与设备尺寸，这种零硬件升级的方案正在改写轻量化3D视觉的应用规则。

1. 双编码器架构：语义与空间的交响乐

传统多模态模型在处理视频数据时，往往将连续帧视为离散的2D图像集合。Spatial-MLLM的突破性设计在于引入VGGT空间编码器与SigLIP2语义编码器的协同工作机制，形成类似人类视觉系统中"what"与"where"通路的双通道处理流。

1.1 VGGT的空间解码魔法

VGGT编码器的精妙之处在于其预训练获得的隐式3D理解能力。当输入640×480分辨率的视频帧时，该编码器会输出两组关键数据：

python复制# 典型VGGT输出结构示例
{
    "depth_map": (480, 640),  # 逐像素深度估计
    "camera_params": {
        "intrinsic": [fx, fy, cx, cy],  # 相机内参
        "extrinsic": [R|t]  # 相机外参
    },
    "confidence_mask": (480, 640)  # 深度估计置信度
}

这种设计使得模型无需深度传感器，就能建立像素坐标(u,v)到3D空间坐标(x,y,z)的映射关系。实验数据显示，在ScanNet数据集上，仅用RGB输入时VGGT的深度估计MAE可达0.23m，接近消费级深度相机的精度水平。

1.2 语义-空间特征融合术

双编码器的输出需要通过连接器实现特征对齐，这个过程涉及三个关键技术点：

1. 时空维度匹配：将VGGT输出的3D特征张量重组为与2D特征相同的(H,W,C)格式
2. 轻量级MLP桥接：两个256维的MLP分别处理两类特征，避