矩阵算子A与B的相对熵：定义、核心性质与数值实现

做量子信息和矩阵分析相关工作时，碰到 S(A||B)=Tr[A(logA-logB)] 这种公式几乎是绕不开的。我第一次认真算这个量，是在比较两个量子信道输出态的差异，本以为套一个矩阵距离就能收工，结果发现它既不对称，又在某些情况下一旦超出支撑集直接给正无穷，数值上还很挑实现方式。后来才意识到，标题里说的“矩阵算子 A 与矩阵算子 B 的相对熵”，本质上就是把经典概率分布之间的 KL 散度推广到密度矩阵这类算子上，但要真正用对，里面藏着不少课本上不会展开讲的细节。

这篇内容适合几类读者：正在读量子信息教材、被相对熵证明卡住的人；做矩阵计算、最近要处理量子态相似度或信道容量的工程师；以及纯粹想知道“矩阵函数怎么进入信息论”的数学爱好者。下面我会把推广逻辑、定义前提、核心性质、一个能手工验证的数值例子，以及我实际踩过的坑串在一起讲，保证从公式到代码都能复现。

1. 从概率向量到密度算子：相对熵是怎么推广过来的

1.1 经典 KL 散度先画好一条迁移路线

先回到最熟悉的有限概率分布。设离散随机变量取值有概率分布 p=(p_1,...,p_n)、q=(q_i,...,q_n)，二者都严格为正时，经典相对熵，也就是 KL 散度定义为：

$$
D(p|q)=\sum_{i=1}^{n}p_i\ln\frac{p_i}{q_i}.
$$

它回答的问题是：如果真实分布是 p，但我错误地用 q 作为编码模型，平均会多付出多少比特，或者说会带来多少额外惊讶。当某个 i 满足 p_i>0 而 q_i=0，那么这一项贡献是正无穷，因为“一个真实可能发生的事件在你假设的模型里被宣判为不可能”，这件事在信息论尺度上就是无法原谅的。

这个定义看起来只涉及“求和”和“标量对数”，但它是后续所有矩阵推广的模板。进入量子世界后，概率向量被替换成密度矩阵，求和被替换成求迹，标量对数被替换成矩阵对数。这个迁移看起来机械，实际是有严格物理动机的。

1.2 用迹与矩阵对数替代求和与标量对数

有限维量子系统里，一个状态用密度算子 ρ 描述，满足三个条件：Hermitian、半正定、迹等于 1。这种对象既是算子也是矩阵，特征值构成一个合法的概率分布，所以 von Neumann 熵：

$$
H(\rho)=-\operatorname{Tr}[\rho\ln\rho]
$$

实际上是经典香农熵在特征值意义上的自然推广，只是“和下标相加”变成了“对算子整体求迹”。

同样地，两个密度算子 A、B 之间的相对熵定义成：

$$
S(A|B)=\operatorname{Tr}[A(\ln A-\ln B)].
$$

公式里 A 是真实状态，B 是参考状态或猜测状态。物理上常见记号是 ρ、σ，不过矩阵分析文献里也常直接用 A、B，所以标题写成“矩阵算子 A 与矩阵算子 B 的相对熵”很准确——研究对象确实是两个矩阵算子，而不只是两个概率向量。

1.3 为什么标题里说的是矩阵算子而不是普通矩阵

这里有一个值得强调的点：矩阵算子和普通数字矩阵在代数性质上没有区别，但在解释层面强调算子视角是很重要的。相对熵关心的是“状态”，而状态在量子力学里是作用在 Hilbert 空间上的算子。A、B 的正定性、迹归一化，都不是可有可无的装饰。

如果把 A、B 理解成一般正定矩阵而不是密度算子，公式依然可以算。例如在矩阵分析里，正定矩阵的 log 定义清晰，相对熵可以当作一种“矩阵散度”使用。但问题马上就来了：如果没有迹等于 1 的限制，这个量还能保证非负吗？答案是不能，这一点我后面会专门说。所以先记住最安全的使用场景：A、B 是密度矩阵，迹都是 1。

从经典到量子的替换逻辑，我习惯用这张表来记：

你会发现，很多量子信息定理其实就是把经典定理中的 Σ 和 log 改写成 Tr 和 ln，但真正的难度来自矩阵乘法的不可交换性。

2. 一个干净定义背后藏着三个容易忽略的前提

2.1 支撑集条件：什么时候答案直接是正无穷

经典 KL 散度里有“如果 p_i>0 但 q_i=0，则结果为 ∞”。量子版本也有同样的逻辑，只不过是用支撑集来表达。

对半正定矩阵来说，支撑集就是它正特征值对应的本征空间，通俗说就是“这个算子在他所处的空间里真正占据的那些方向”。量子相对熵 S(A||B) 要有限，必须满足：

$$
\operatorname{supp}(A)\subseteq \operatorname{supp}(B).
$$

也就是说，A 的所有“活跃方向”都必须存在于 B 的活跃方向里。如果 A 在某个方向上有分量，但 B 在该方向上是零矩阵，那么 S(A||B)=∞。

这个条件的物理含义很直观：真实状态 A 落在某个 Hilbert 空间子空间里，但参考状态 B 完全不知道那个子空间的存在，于是用 B 去描述 A 会产生无限大的惊讶。数值上这一条也特别容易出问题，如果你用 scipy 的 logm 硬算一个奇异矩阵的对数，会得到 nan 或警告，而数学答案其实是正无穷，不是某个很大的数。这一点会在后面数值坑专门讲。

2.2 矩阵对数不是逐元素取对数

第二个易错点是矩阵对数本身。很多初学的人看到 lnB，以为就是把 B 的每个元素取对数，这完全不对。矩阵函数 lnB 的定义依赖于谱分解：如果

$$
B=\sum_{i}\lambda_i P_i,
$$

其中 λ_i 是 B 的特征值，P_i 是对应投影矩阵，那么

$$
\ln B=\sum_{i}(\ln\lambda_i)P_i.
$$

也就是说，矩阵对数作用于整个算子结构，特征向量也参与了计算。对易的两个矩阵可以同时对角化，这时候矩阵对数退化成逐特征值取 log；但 A、B 一旦不对易，情况就完全不同。相对熵之所以比经典 KL 散度复杂，根源就在这里。

另一个容易混淆的点是：公式中写的是 A(lnA−lnB)，A 与 lnA−lnB 之间是矩阵乘法，不是逐元素乘法。由于矩阵乘法不交换，理论推导里经常需要小心处理顺序。好在最终要取迹，而迹具有循环性，所以部分计算中顺序可以调整，但要明白你处理的是算子，不是数组。

2.3 迹归一化到底能不能省

我见过不少工程代码直接拿两个未归一化的正定矩阵算相对熵，结果算出负值，然后怀疑公式写错了。实际上如果 A、B 的迹不相等，这个量完全可以为负，因为它不再是标准意义上的相对熵。

可以做一个快速推导。设 A、B 都是密度矩阵，那么由后面的 Klein 不等式可以得到 S(A||B)≥0。但如果你想用放大的矩阵 aA 和 bB，注意：

$$
S(aA|bB)=\operatorname{Tr}[aA(\ln(aA)-\ln(bB))]
=aS(A|B)+a\ln\frac{a}{b}.
$$

如果 a/b 偏离 1 足够远，第二项会把结果压成负数。这说明相对熵对“迹归一化”不是鲁棒的。所以工程上第一件事是先把输入矩阵分别除以各自的迹，或者干脆只用密度矩阵。不要把相对熵当成一个对缩放无关的距离量。

3. 为什么这个量能在矩阵分析里站得住：三条核心性质串讲

3.1 Klein 不等式给出非负性和零点

相对熵能被称为“熵”，最重要的性质是非负，且当且仅当 A=B 时等于 0。

证明思路不复杂，核心工具是矩阵分析里的 Klein 不等式。设 f 是可微凸函数，A、B 是谱落在 f 定义区间内的 Hermitian 矩阵，则：

$$
\operatorname{Tr}[f(A)]-\operatorname{Tr}[f(B)]
\geq \operatorname{Tr}[(A-B)f'(B)].
$$

取 f(t)=t\ln t，则 f'(t)=\ln t+1，代入后整理就得到：

$$
\operatorname{Tr}[A(\ln A-\ln B)]\geq \operatorname{Tr}(A-B).
$$

如果 A、B 都是密度矩阵，Tr(A−B)=0，所以：

$$
S(A|B)\geq 0.
$$

而且等号成立的条件是 A=B。这个定理在文献里常被单独称作 Klein 不等式，是相对熵非负性最标准的证明路径。

如果 A、B 对易，也就是可以同时对角化，其实我们可以更简单地把它化成经典 KL 散度。在共同本征基底下，A 变成概率向量 p，B 变成 q，S(A||B) 就是 D(p||q)，于是经典 Jensen 不等式已经足够。真正的挑战在于 A、B 不对易，这时矩阵函数的凸性分析要比标量情形复杂得多，Klein 不等式是更通用的工具。

3.2 CPTP 映射下的单调性：数据压缩不等式

相对熵最有价值的性质之一是“单调性”：任何量子操作都不应该让两个状态更容易区分。形式上，设 Φ 是一个完全正且保迹的映射，也就是量子信道，那么：

$$
S(\rho|\sigma)\geq S(\Phi(\rho)|\Phi(\sigma)).
$$

这个不等式在文献里叫数据处理不等式，或者相对熵单调性。物理上特别自然：你进行一次测量、丢弃部分系统、做噪声信道传输，都不应该增加两个量子态的区分度。信息只会丢失，不会凭空变多。

这条性质的推论很多。比如部分求迹就是一类典型的量子信道，所以相对熵在取部分迹后一定减小；酉变换是保迹信道，但酉变换前后相对熵不变。这也是为什么很多量子信息协议里用相对熵作为资源度量——它在可逆操作下不变，在不可逆操作下不增，正好符合资源论的直觉。

需要提醒一句，这个单调性对“非保迹”的完全正映射不一定成立。实际代码里如果用了不归一化的滤波器，或者只保留某一部分测量结果，必须先做迹归一化再讨论单调性。

3.3 联合凸性：混合不会让区分度变容易

第三条核心性质是联合凸性。对任意概率分布 λ_k，有：

$$
S\left(\sum_k\lambda_k\rho_k;\Big|;\sum_k\lambda_k\sigma_k\right)
\leq \sum_k\lambda_k S(\rho_k|\sigma_k).
$$

这个式子的意思是：如果先按概率 λ_k 随机准备一对状态 (ρ_k,σ_k)，再把两组的混合态拿去做比较，混合后的“可区分度”不会大于混合前的平均可区分度。换句话说，随机混合会丢失个体差异信息，这是一种带噪声的粗粒化，自然不应该增加相对熵。

联合凸性也是很多证明的起点。量子信道容量的上界、量子失协的计算、相对熵纠缠度量的下界，背后都要用到它。值得注意的是，单看第一个参数的凸性比较简单，但联合凸性要同时处理两个参数，这个结果是 Lieb 在 1973 年用复分析里的插值定理证明的，难度比 Klein 不等式高一个量级。使用阶段不用自己复现证明，但要清楚这个性质的存在，才能在阅读论文时跟上推导。

4. 2×2 密度矩阵手工算一遍：理解非对易带来的差别

4.1 对角情形：退化成经典 KL 散度

先从最好算的情形开始。取

$$
A=\begin{pmatrix}0.8&0\0&0.2\end{pmatrix},
\quad
B_0=\begin{pmatrix}0.7&0\0&0.3\end{pmatrix}.
$$

A、B_0 都是对角矩阵，共同本征基就是标准基。这时：

$$
S(A|B_0)
=0.8\ln\frac{0.8}{0.7}+0.2\ln\frac{0.2}{0.3}.
$$

数值上，第 1 项是 0.8×0.1335=0.1068，第 2 项是 0.2×(−0.4055)=−0.0811，加起来大约是 0.0257 nats。这个结果和你用经典 KL 公式算完全一样。

4.2 带非对角的 B：矩阵对数要做谱分解

如果保持 A 不变，把参考状态改成带相干项的：

$$
B=\begin{pmatrix}0.7&0.1\0.1&0.3\end{pmatrix}.
$$

B 依然是一个合法的密度矩阵：迹 1、对称、正定。但是 A 和 B 不再对易，不能直接逐元素取对数。这时候需要先对 B 做谱分解。

B 的特征多项式是 λ^2−λ+0.2=0，所以：

$$
\lambda_1=\frac{1+\sqrt{0.2}}{2}\approx 0.7236,
\quad
\lambda_2=\frac{1-\sqrt{0.2}}{2}\approx 0.2764.
$$

对应的自然对数为：

$$
\ln\lambda_1\approx -0.3236,\quad \ln\lambda_2\approx -1.2859.
$$

算出特征向量并组装后，B 的矩阵对数近似为：

$$
\ln B\approx
\begin{pmatrix}-0.3745&0.2151\0.2151&-1.2351\end{pmatrix}.
$$

注意 lnB 并不是逐元素取 log，甚至非对角元素不为 0 也没有关系，这就是矩阵函数和普通函数的差别。

接着算 A\ln A：

$$
A\ln A=
\begin{pmatrix}0.8\ln0.8&0\0&0.2\ln0.2\end{pmatrix}
\approx
\begin{pmatrix}-0.1785&0\0&-0.3219\end{pmatrix}.
$$

于是：

$$
\operatorname{Tr}[A\ln A]\approx -0.5004.
$$

再算 A\ln B 的迹：

$$
\operatorname{Tr}[A\ln B]
\approx 0.8\times(-0.3745)+0.2\times(-1.2351)
\approx -0.5466.
$$

最后：

$$
S(A|B)=\operatorname{Tr}[A(\ln A-\ln B)]
=\operatorname{Tr}[A\ln A]-\operatorname{Tr}[A\ln B]
\approx 0.0462\ \text{nats}.
$$

这个结果很有意思。对角版本 B_0 给出的相对熵只有 0.0257 nats，而带非对角项的 B 给出的相对熵是 0.0462 nats。也就是说，仅仅在 B 中引入相干项，就让 B 和 A 之间的相对熵变大了。这符合直觉：非对易本身是额外的“可区分特征”，A 和 B 不在同一个本征基下，差异自然更大。

4.3 用 Python 验证并处理大规模情形

手工算完以后，用代码验证非常快：

python复制import numpy as np
from scipy.linalg import logm

A = np.array([[0.8, 0.0], [0.0, 0.2]])
B = np.array([[0.7, 0.1], [0.1, 0.3]])

def rel_ent(rho, sigma):
    return np.real(np.trace(rho @ (logm(rho) - logm(sigma))))

print(rel_ent(A, B))  # 约 0.0462
print(rel_ent(B, A))  # 约 0.0493

如果你在算更大的半正定矩阵，我建议不要用 logm 直接处理半正定边界上的矩阵。对 Hermitian 半正定矩阵，更稳的方式是用特征分解：

python复制def logm_psd(X):
    vals, vecs = np.linalg.eigh(X)
    log_vals = np.zeros_like(vals)
    nz = vals > 1e-15
    log_vals[nz] = np.log(vals[nz])
    return vecs @ np.diag(log_vals) @ vecs.conj().T

然后用这个函数替换 logm。因为相对熵计算中，遇到 0\ln0 这类项时，正确的约定是把它当 0 处理，而不是真的取 log(0)。但要注意