1. Gato:打破任务边界的通用智能体
第一次听说Gato时,我正被公司要求同时维护三个不同领域的AI模型——聊天机器人、图像分类器和机械臂控制系统。每天在不同代码库间切换的痛苦,让我对DeepMind这篇论文标题里的"Generalist Agent"产生了强烈共鸣。Gato的核心突破在于:用同一个Transformer模型处理604种截然不同的任务,从玩Atari游戏到控制真实机械臂堆叠积木,就像用瑞士军刀完成了从开红酒到修理手表的全套操作。
传统AI开发就像带着一箱子专用工具出门——螺丝刀只能拧螺丝,扳手只能拧螺母。2017年Transformer架构问世时,我们主要用它处理文本。但Gato团队大胆地将所有输入(文本、图像、关节扭矩、按钮按压)都转化为token序列。这就像把螺丝、木板、金属片都切成乐高积木的形态,突然之间,同一套拼装规则可以建造城堡也能组装汽车。
实测中最让我惊讶的是它的模态转换能力。在机器人控制任务中,Gato接收的可能是16×16像素块组成的视觉输入,输出的却是机械臂关节的扭矩数值。这种"视觉→动作"的跨模态处理,传统方法需要精心设计的多模块系统,而Gato只需要调整token化方案——图像被拆解为网格块,连续的动作值被离散化为1024个区间。就像人类大脑用同样的神经结构处理视觉信号和肌肉控制,这种统一性正是通用人工智能(AGI)的雏形。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. Transformer如何成为多模态万能胶
第一次看到Gato的架构图时,我对着那个"一切皆token"的方框发呆了十分钟。这让我想起刚学编程时,老师说的"计算机眼里只有0和1"。Gato将这种思想发挥到极致:不同类型的输入数据通过特定方式序列化后,都变成Transformer消化得了的token流。
文本处理沿用标准的SentencePiece分词(3.2万词表),但图像处理就很有意思了。它没有用传统CNN,而是借鉴ViT的思路,把图片切成16×16的小块,每个像素归一化后除以4(patch边长的平方根)。这就像把一幅油画分解成马赛克瓷砖,每个瓷砖的颜色值被重新校准。对于机械臂的连续动作,团队先用μ律编码压缩数值范围,再离散化成1024档,最后映射到32000-33024的特殊ID区间,完美避开了与文本token的冲突。
我曾尝试用类似思路处理传感器数
