多模态AGI中的绑定问题：从分布式表征到向量符号架构的实战解析

多模态AGI现在的痛点，我越做越觉得不在模型规模上，而在一个很基础的理论细节上：你面前是一筐苹果，系统看见了红色和圆形，摸到了光滑表面，听见有人说“苹果”这个音，它怎么知道这些信息都必须绑在同一个对象上，而不是整齐地散落在不同维度里？这个问题在认知科学里叫绑定问题，它恰恰就是AGI基础理论中的一块硬骨头。如果你也整理过系统化的AGI理论清单，大概见过类似“18-5 捆绑”这种编号，我第一次看到时还以为是讲打包代码的，结果读进去才发现，这里讨论的是能让多模态AGI真正形成对象概念的计算机制。今天就围绕这个捆绑主题，把我自己的理解、推导过程和能直接落地的实验代码完整写出来。

我们平时聊AGI，多半在聊神经网络层数、数据规模、算力投入，但真正决定一个系统能不能产生结构化认知的，往往是那些容易被忽略的表示层问题。捆绑就是其中最有代表的一个。它回答的核心问题非常朴素：如果智能系统采用分布式表征，也就是一个概念分散存储在很多神经元或很多向量分量里，那么系统如何保证多个特征能像行李箱的绑带一样被牢牢固定成一个整体，而不是在计算过程中乱串。下面我会从问题来源讲起，再到符号向量架构的实现细节。

1. 为什么“捆绑”是AGI绕不开的基础问题

1.1 先厘清概念：捆绑问题到底在问什么

我最早接触“捆绑问题”这个词是在认知科学文献里，那时它叫Binding Problem，指的是大脑把物体的不同属性组合成单一感知对象时遇到的计算困难。举个最直观的例子：你看到一只奔跑的斑点狗，视觉皮层里同时有负责形状的神经元群、负责颜色的神经元群、负责运动的神经元群。斑点狗的斑点是黑色还是白色、跑动方向是左还是右，这些信息本身是分开编码的，但你最终感知到的是一条完整的、黑白相间且向右跑的狗，而不是三个各自飘浮的视觉碎片。

如果我们用传统符号系统，也就是像知识图谱那样的表示，这个问题似乎不难。你可以为这只狗建一个节点，属性用边连接，颜色、运动方向都挂在同一个节点上面。但AGI的一大假设是，智能系统不应该是纯符号操作，因为它要处理大量模糊的视觉、听觉信号，这些信号天然是分布式、连续向量形式的。于是矛盾来了：向量表征表达能力强，但特征之间没有天然的“分组边界”。你让一个编码器输出狗的512维特征向量，其中某些维度编码颜色，某些维度编码形状，但如果场景里同时有两只狗，你怎么保证关于第一只狗的颜色维度和形状维度不会和第二只狗的混在一起？

这就是捆绑问题在AGI基础理论中的真正位置。它不是一个脑科学话题，而是一个表征设计议题：分布式向量系统能否通过某种显式操作，把来自不同模态、不同属性通道的信息快速捆绑成对象，之后还能随时解绑。

1.2 多模态AGI如果解不开捆绑，就学不到结构化知识

只看单模态，比如纯图片分类，捆绑问题还不算致命。ResNet也好，ViT也好，它们可以通过深层非线性把对象信息折叠到特征空间里，分类头只要输出标签就行。但到了多模态AGI，情况完全不同。一个真正的多模态系统需要回答的往往不是“这是什么”，而是“图像里的X和语音里的Y、文本里的Z是不是同一个东西”。比如用户指着桌上的马克杯说“帮我把它拿过来”，系统必须把语音里的“它”指向视觉里的那个特定马克杯，而不是另一个尺寸差不多的马克杯。

这类跨模态指代任务，本质就是一次跨模态捆绑。如果模型只是把图像编码和文本编码放进同一个对比学习空间，让“马克杯”单词向量和马克杯图片向量距离比较近，它依然说不清楚：当画面中有三个马克杯时，语言里那个“它”到底绑定的是哪一个。你可能会说，那用注意力机制不就解决了吗，让语言特征去attend视觉特征。可注意力只能计算相似度权重，它输出的是一堆软权重分布，并没有把目标对象的全部属性真正打包成一个可独立引用的整体。我后面会详细展开注意力和捆绑之间的差别。

更根本的是，人理解世界不是靠一堆相似度矩阵，而是靠结构化的关系和角色扮演。比如理解“小明把球传给小红”，系统要能绑定出传球者=小明、接球者=小红、物体=球这样的三元结构。这种角色绑定还涉及组合泛化，同样的句子换掉主语或宾语，系统要能利用旧的绑定方式来处理新的具体内容。分布式表征如果不引入显式捆绑操作，面对这种任务就只能依赖训练数据里见过多少种角色组合，AGI显然不能这么干。所以现在很多做认知架构的人重新把目光投向符号向量架构，就是因为它能把符号操作的计算结构化能力，和神经网络分布式表征的语义丰富性融合到一起。

2. 捆绑为什么难：深度学习里的三个隐藏坑

2.1 注意力机制解决的是“选谁”，不是“绑一起”

有一阵子我以为Transformer的attention已经隐式解决了捆绑问题，毕竟自注意力确实在综合全局信息。后来自己动手做多模态检索，发现这种想法站不住脚。原因不复杂：attention分数描述的是一种软性加权关系，第i个词符和j个图像区域