1. 信息论的起点:我们每天都在做信息处理,却很少想它是怎么被度量的
你有没有想过一个问题:你说了一句话,对方到底"收到"了多少信息?微信发一张照片,压缩之后体积变小了,画质好像也没差多少,这个"压缩"到底压掉了什么?U盘拷文件,中途提示"数据损坏",又是靠什么把坏掉的数据找回来的?
这些看起来八竿子打不着的问题,其实都被同一门学科管着——信息论。
我最早接触信息论的时候,以为它就是一套数学公式,算算熵、算算信道容量就完事了。后来自己动手做数据传输相关的项目,踩了压缩、纠错、协议设计的坑,回头再看才发现:信息论真正厉害的地方,不是那一堆公式本身,而是它提供了一个非常统一、非常底层的框架,告诉你"信息"这个东西到底是怎么产生、怎么度量、怎么传输、怎么保真的。这也就是标题里说的——信息论的对象与方法。
这篇文章我想从一个从业者的视角,把这个框架给你拆开来讲。不是给你背定义,而是带你过一遍信息论在研究什么、它怎么思考问题、以及这些思考和"编码"是怎么挂上钩的。不管你是在做通信、写代码、搞数据压缩,还是纯粹想搞明白"信息"的本质,这篇文章都值得你看完。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 信息论在解决什么问题:从一次普通的对话说起
2.1 一段对话里藏着的三个问题
设想一个特别普通的场景:你在嘈杂的地铁里给朋友打电话,说"晚上七点老地方见"。结果对方手机信号不好,听成了"晚上吃面老地方见"。虽然"七点"和"吃面"听起来差了十万八千里,但你在说这句话之前和之后,信息的变化是实打实的——你说出去的是一段话,对方收到的是另一段话,中间隔着噪声和失真。
把场景再扩大一点:你往朋友圈上传一张照片,服务器把照片压缩存储,别人下载时再解码还原。照片从拍摄到展示,经历了"编码—存储/传输—解码"的全过程。压缩率太高,图片糊了;压缩率太低,流量扛不住。这里面的度在哪里?视频网站让你选择"流畅""高清""超清",背后其实是同一部电影在不同码率下的编码方案,而不同码率对应着不同大小的信息量。
这些看起来完全不同的场景,抽象到最底层,其实都在问同样三个问题:
- 信息能不能被量化?一段话、一张图、一个视频,到底携带"多少"信息?
- 信息能不能被压缩到极致?压缩到什么程度会丢信息,什么程度不丢?
- 在有干扰的信道里,信息能不能可靠传输?要多花多少代价才能换回来可靠性?
这三个问题,就是信息论研究的对象。
2.2 香农模型:信息论的"解剖图"
1948年,香农发表了一篇划时代的论文,《通信的数学理论》。他做了一件特别绝的事情:把一切通信系统抽象成一个通用的模型。
这个模型特别简单,就五个环节:
- 信源:产生信息的地方,比如说话的人、摄像头、传感器
- 编码器:把信源的信息转成适合传输的形式,比如把语音变成比特流
- 信道:承载信号的媒介,比如空气、网线、无线电波
- 译码器:把收到的信号还原成信息
- 信宿:最终接收信息的一方
你手机里的所有通信行为,从打电话到刷网页,没有一样逃得出这个框架。语音进麦克风是信源,语音编码器把声音变成比特流,比特流经过调制后在无线信道里飞,接收端解调、译码,最后扬声器把声音放出来。
这个模型最厉害的地方在于:它把所有通信问题的共性抽离出来,让"信息"第一次可以被独立研究。在此之前,通信工程师研究的是怎么把电信号做漂亮,怎么把天线设计好,而香农告诉大家:这些都可以先放一边,我们先把"信息本身"的规则搞清楚。
2.3 通信不只是"把信号传出去"
很多非通信专业的人第一次听说信息论,会以为它研究的只是"怎么把数据从A传到B",觉得这事早就被TCP/IP协议解决了。这其实是个很大的误解。
信息论关心的问题要比"传输"大得多。它关心的是在给定信道的条件下,信息传输的理论极限在哪里;在给定信源统计特性的条件下,压缩的理论下限在哪里;在给定噪声水平的条件下,能不能找到一种编码方式,让错误率无限趋近于零。
这些问题的答案,不是某个协议或者某套代码能给出的,而是数学上先证明"能"或者"不能",然后再由工程师去设计具体的方案逼近这个极限。
理解了这一点,你就能理解为什么信息论的数学味道那么浓。因为它本质上是一门先回答"能不能"和"最多能到多少"的学科,而不是一门直接告诉你"怎么实现"的工程学科。但它给出的那些"极限",恰恰是所有通信系统和存储系统的设计基准。
3. 信息的度量:熵,以及它背后的直觉
3.1 信息量和"意外程度"有关
现在要面对一个核心问题:信息怎么度量?
先来做一个思维实
