我最早被 einsum 圈粉,是在一次给 Transformer 做性能优化的时候。当时要重写一个多头注意力模块,手写 Q @ K.transpose(1,2) / sqrt(d_k) 再 @ V,然后做 permute、reshape,代码又臭又长。同事丢过来一行 einsum,把整个 attention 的批量矩阵运算全收缩进了下标表达式里,我当时就觉得这工具不一般。后来在 NumPy、PyTorch、JAX 里越用越多,算协方差、做张量分解、写多模态特征融合,几乎脏活累活都靠它简化。可以说,einsum(Einstein Summation)是一个从物理学家手稿里走出来、却特别适合做工程的高效张量运算工具,掌握了它,你的张量运算代码会简洁很多,而且往往比手动实现更快更省内存。
这篇文章不是概念科普,我会从直觉理解讲到底层优化,再给出可以直接抄的写法、性能实测和一些踩坑记录。适合正在做深度学习、科学计算、数据分析的工程师和数据科学家,也适合刚接触张量运算但想少走弯路的同学。最后给你的建议是:一天之内,把 einsum 用熟,不亏。
1. einsum 到底在表达什么
1.1 一次看懂爱因斯坦求和约定
这个名字容易吓退人,但背后的思想极其简单。爱因斯坦当年写广义相对论时,嫌求和符号写起来烦,干脆定了一条规则:在一项乘积里,如果同一个指标出现两次,就默认对这个指标求和。比如矩阵乘法 (C_{ij} = \sum_k A_{ik} B_{kj}),他直接写成 (C_{ij} = A_{ik} B_{kj}),不写求和符号。
einsum 就是把这条规则搬到了张量运算里。你用下标字符串描述“输入张量的每个维度叫什么名字”,然后在箭头右侧写下“输出张量保留哪些名字”,函数会自动帮你处理下标匹配、求和和广播逻辑。换句话说,你只需要表达计算意图,中间那些累加、转置、扩维的动作全部交给库去安排。
举个例子:两个二维矩阵做矩阵乘法,np.einsum('ik,kj->ij', A, B)。左边 ik 表示 A 的行叫 i 列叫 k,kj 表示 B 的行叫 k 列叫 j。右侧 ij 说明我们要的是 i 和 j。k 在左右只有一边出现?不对,k 在左边出现两次,它就是爱因斯坦求和约定里的哑指标,自动求和。所以这一句等价于 A @ B。
理解了这一点,后面所有复杂表达式都是同一个思路的扩展:重复下标求和,单次下标保留。
1.2 用一张表看清常见运算
我整理过一张速查表,后来一直贴在项目文档里,也分享给团队新人。很多看起来很绕的运算,无非是这几种模式的组合。
| 运算 | 手动实现 | einsum 写法 |
|---|---|---|
| 矩阵乘法 | A @ B |
'ik,kj->ij' |
| 批量矩阵乘法 | torch.bmm(A, B) |
'bik,bkj->bij' |
| 点积 | sum(a * b) |
'i,i->' |
| 外积 | a[:, None] * b[None, :] |
'i,j->ij' |
| 转置 | A.T |
'ij->ji' |
| 对角线 | np.diag(A) |
'ii->i' |
| 迹 | np.trace(A) |
'ii->' |
| 逐元素乘 | A * B |
'ij,ij->ij' |
| 降维求和 | A.sum(axis=1) |
'ij->i' |
| 批量点积 | sum(a * b, dim=1) |
'bi,bi->b' |
这张表最值得注意的一点是,所有运算都只用“下标名字”和箭头来描述。你不用管转置、广播、扩维的顺序,库会根据下标关系自动编排。这极大降低了写错维度的概率。
我在实际项目中见过很多新手花大量时间调 reshape 和 permute,最后发现是维度顺序搞反了。用 einsum 基本可以从头避免这类问题,因为下标不匹配时,函数会直接报错,而不会给你一个形状对但语义全错的张量。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 为什么 einsum 能这么快:底层优化逻辑
2.1 省掉中间张量的艺术
很多人一开始觉得 einsum 就是语法糖,包了一层循环或一堆 reshape。其实它背后的优化能力远超这个判断。关键在于,einsum 描述的是整个计算的“收缩路径”,后端可以在高层统一做调度,而不是机械地一步步执行你手写的顺序。
举个具体例子:计算多个矩阵的乘积 A @ B @ C @ D,手动写法可能是 ((A @ B) @ C) @ D,每一步都会生成一个中间张量。中间张量一多,内存占用和访存开销都会变大。而 einsum 的下标表达式 'ij,jk,kl,lm->im' 可以让后端在计算前分析:哪些中间结果可以合并?哪些维度应该先收缩?选哪条路径最省算力和内存?这跟编译器做表达式重组是一个道理。
我实测过一个小矩
