1. 互信息:通信中的"信息交换量"到底怎么算?
第一次接触"互信息"这个概念时,我也被这个抽象的名词搞得一头雾水。直到有一天,我在咖啡厅目睹了一个有趣的场景:服务员问顾客"要加糖吗",顾客回答"半糖"。这个简单的对话让我突然理解了互信息的本质——它衡量的是两个系统之间真正传递了多少有效信息。
在通信系统中,互信息量(Mutual Information)的数学定义看起来有点吓人:
code复制I(X;Y) = ΣΣ p(x,y) log[p(x,y)/(p(x)p(y))]
但拆开来看其实很直观。p(x,y)是发送x且收到y的联合概率,p(x)p(y)是如果x和y完全独立时的概率。这个对数比值就是在问:实际传输情况比完全随机情况多了多少信息?
举个实际例子。假设我们有个简单的二进制信道:
- 发送0时,90%概率收到0,10%概率收到1
- 发送1时,85%概率收到1,15%概率收到0
如果发送端等概率发送0和1,通过计算会发现互信息量大约是0.4比特。这意味着每次传输,平均能有效传递0.4比特的真实信息——虽然物理上我们发送了1比特(0或1),但因为有噪声干扰,实际有效信息量打了折扣。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 从互信息到信道容量:寻找传输效率的天花板
理解了互信息之后,信道容量(Channel Capacity)的概念就水到渠成了。我在做第一个通信模块设计时,主管问我:"你知道这个无线信道理论上最快能传多快吗?"当时我就卡壳了——这就是信道容量要回答的核心问题。
信道容量的数学定义很简洁:
code复制C = max I(X;Y)
即在所有可能的输入分布p(x)中,找到使互信息量最大的那个分布。这个最大值就是信道的理论极限传输速率。
但实际操作中会遇到几个关键问题:
- 如何找到这个最优输入分布? 对于简单的对称信道,等概率分布就是最优解。但非对称信道可能需要迭代算法求解
- 工程实现中的代价:实际编码方案要达到这个极限,通常需要很长的编码块长度,带来延迟问题
- 信道特性的影响:比如在无线通信中,多径效应会改变信道特性,需要实时调整
我曾在项目中用Blahut-Arimoto算法计算过一个微波信道的容量。当看到理论值和实测吞吐量的差距时,才真正理解香农极限的意义——它既是目标,也是提醒我们
