“信息论之父”香农：最独特的数学天才，最“离谱”的科研玩家

luyuanhong

“信息论之父”香农：最独特的数学天才，最“离谱”的科研玩家

原创 关注全球科研的 科学方程式 2025 年 02 月 24 日 15:46 上海

回溯风云激荡的 20 世纪，如果在人才济济的科学江湖中发起一个“最离谱科学家行为大赏”评选，那有一位“祖师爷”必定榜上有名。不拘泥于传统严谨科研生活的他，把贝尔实验室当成了自己的“游乐场”，骑着独轮车在科研大楼中穿梭；把严肃的学术大会当作杂技舞台，当众上台表演杂耍。


香农（1916.4.30—2001.2.24）美国数学家、发明家、密码学家，信息论创始人

这个人便是克劳德·香农（Claude Shannon）。他以非凡的学术成就和独特的行事风格而备受瞩目，是一个把“玩闹”精神融入科研的天才，而他的信息论，更是让整个世界都“信息爆炸”起来。让我们一同探寻香农充满传奇色彩的人生轨迹，了解他如何凭借独特的思维与卓越的创造力，用“0”和“1”，为信息时代的发展奠定了坚实基础。

NO.1  少年天才，从“数学+机械”开始

1916 年 4 月，欧洲大陆仍深陷一战泥沼，而大洋彼岸的美国却仍是一片安宁祥和。密歇根州盖洛德镇法官克劳德·香农（Claude Shannon）的家中，一个男婴呱呱坠地，并继承了父亲的名字。

香农在 8 岁时就“开发”出了数学天赋，甚至姐姐在他的辅导下，后来也成为了一名大学数学教授。同时，小香农和他的偶像兼远房亲戚托马斯·爱迪生（Thomas Edison）一样，也是个“发明大王”，常爱摆弄电气电子机械，在家中制作了模型飞机、无线电控制的模型船，以及为了与相隔半英里外的朋友玩耍而自制的无线电报系统。




香农还在谷仓里搭建过临时升降机，在自家后院制作手推车。

1932 年，香农进入密歇根大学学习，并接触到了乔治·布尔的理论。1936 年，在获得密歇根大学电气工程和数学双学士学位后，香农加入了人称“信息时代的教父”的范内瓦·布什（Vannevar Bush）的研究小组。在小组项目“思考机器”因庞大的需求和复杂的调试工作而面临供不应求的局面时，他首次用布尔代数进行开关电路分析，简化了设计与维护过程，优化了逻辑控制并进一步拓展了机器的计算功能。

这项研究的具体内容详细展示在他的硕士论文《继电器与开关电路的符号分析》之中。1940 年，香农因这一成果获得了美国工程师学会颁发的 Alfred Noble 奖。


他的硕士论文颠覆传统的逻辑思维，用数学思维解决电学问题。这篇论文证明了可以通过继电器电路来实现布尔代数的逻辑运算，为数字电路的发展奠定了理论基础，从艺术到科学上改变了电路的设计，被认为是 20 世纪最重要的硕士论文之一。

NO.2  跨界大神，从遗传学到密码学

在麻省理工学院（MIT）求学期间，布什发现了香农在数学方面的天赋，于是建议他将其理论应用在遗传学上。香农在读了所有能找到的遗传学领域书籍后，撰写了他的博士论文《理论遗传学的代数》。当时，詹姆斯·沃森（James Watson）和弗朗西斯·克里克（Francis Crick）尚未发现 DNA 螺旋结构，也不知道遗传密码等等，香农敏锐地发现门德尔遗传定律与传统布尔代数之间存在深层的同构关系，在头脑中构想出遗传机制，并用线性代数描述不同遗传性状在遗传中的可能性，用矩阵代数来预测性状是如何世代相传的。


这篇论文当时并未正式发表，只是后来收录在香农的论文选集中，未收到足够重视。直到遗传学家也得出论文中的同样结论，并发现通过借鉴香农的思路可以将这一学科推进好多年，人们才真正感受到他理论的重要性与前瞻性。


在攻读博士学位期间，香农还进行了微分分析仪的研究，曾发表论文《微分分析仪的数学理论》，尝试去理解数字计算机如何来完成与此类似的计算任务。

1940 年 6 月，博士毕业后的香农加入普林斯顿高等研究院。在那儿，香农有机会与约翰·冯·诺依曼（John von Neumann）等数学家讨论他的想法，还偶尔能够遇到爱因斯坦（Albert Einstein）和库尔特·哥德尔（Kurt Godel）。但研究院内多数人以钻研纯粹数学为主的研究氛围，使得同时对更多实际课题感兴趣的香农感到孤独。当意识到自己可以为战争做出的更有效更安全的职业后，他离开了普林斯顿高等研究院，并在贝尔实验室找了一份工作。

最初，他主要参与研究导弹发射系统。同一时期的贝尔实验室中，还有另外一个研究扰乱丘吉尔和罗斯福之间通信系统的小组，香农对隔壁组的这一课题颇感兴趣，也正是在加入这一小组后，香农踏入了后来他拥有恢宏巨著的重要领域——通信（Communication）。

当时，大部分从事相关研究的科学家都如福尔摩斯般，希望以实践用编码破解特定信息，而香农却在从理论问题入手角度方面拥有独特见解。他的疑问可以归结为两个问题：

Q1 ：需要拦截多少信息才能完成破解？

Q2 ：是否能创造一个完全无法被破解的编码？

一开始，他所研究的这些问题以及后世被称为“密码学”的工作能通并未收到重视。1945 年二战结束前夕，香农参与破解德军密码，其研究成果在战后以《保密系统的通信理论》正式发表，将密码学从经验技术提升为科学，推动了现代加密技术的发展。


《保密系统的通信理论》

NO.3  信息论之父，重新定义通信

香农自 1941 年进入贝尔实验室工作，密码学是他工作中所要研究的固定内容，但在下班后的休息时间，他会独自开展信息学的相关研究。此前，贝尔实验室中的哈利·奈奎斯特（Harry Nyquist）与拉尔夫·哈特利（Ralph Hartley）已对通信的数学理论研究有所涉及，香农通过贝尔实验室内部刊物《贝尔系统技术期刊》了解到了他们的工作内容。基于前人的研究成果，如同解决微分分析仪的困境一般，香农再次提出颠覆常规思维的建议——从问题的源头出发，找到诠释通信的新定义和角度。

从这些新视角和新定义出发，他提出了三方面的重要理论：

重新定义信息：比特（Binary digit，BIT）

香农认为衡量信息的前提是忽略信息的意义。他提出了“比特”这一概念，将其定义为二进制数字的位、信息量的度量单位。人们可以把所有信息转化成比特，它们都可以用 0 和 1 来表示。这一思考角度将通信中的问题简化成了 2 个疑问，即：

1. 如何将事物转化成 0 和 1 ？

2. 如何确保这些 0 和 1 ，可以准确通过信道被送达？



压缩信息——香农熵（Shannon entropy）

香农在和妻子贝蒂·香农（Betty Shannon ，原名 Mary Elizabeth Moore）的共同努力下，发现了英语在具体对话和通信中存在信息冗余的现象。针对于此，他提出疑问：是否可以在不丢失任何重要内容的情况下，找到一个信息可以压缩的最小单位？后来，他发现了一个最低限度，并提出了计算方法。


信息熵的概念首次在 1948 年的《通信的数学理论》论文中被提及，它的出现解决了对信息的量化度量问题。

用数学消除噪音——香农极限（Shannon limit）

数学可以消除静态和干扰的误差，可以用数学编码来克服噪音。在香农极限内，可以在回随机发生误码的信道上进行无差错传输的最大传输速率，这也是香农定律在带宽优先的信道上的一个结论。


香农定理包括三大定理：可变长无失真信源编码定理，有噪信道编码定理，保真度准则下的信源编码定理。

这种反直觉的洞见催生了纠错编码理论，其提出的随机编码典型序列思想，为后来涡轮码、LDPC 码等现代编码技术开辟了道路。更具革命性的是，他将信息从物理载体中抽象为概率空间的离散符号，这种认知范式转换使得通信工程从经验技术升华为严谨的科学体系。


信息论对现代科学技术的影响

香农将所有信息都表达为“0”和“1”，然后再压缩这些信息——这些观点的提出使得人类向通用通信理论发展迈出了一大步。此外，考虑到用来通信的通道具有物理限制，噪音一直是困扰着“完美通信”的重要因素。他颠覆了一味重复内容或放大声量的传统解决方法，而是选择精准选词编码，以合适的不同方式，实现更好地通信。


信息论开山之作《通信的数学理论》，证明了信息可以通过二进制编码高效压缩和传输，为包括互联网、5G 等等现代通信技术的发展奠定了理论基础。虽然文章正式发表于 1948 年，但香农在信息论方面的研究工作大多集中在 1943-1945 年。


1949 年，香农又在发表了《噪声下的通信》一文，阐明了通信的基本问题，给出了通信系统的模型，提出了信息量的数学表达式，并解决了信道容量、信源统计特性等一系列基本技术问题。

NO.4  杂耍博士，不断预演“思考机器”

自大学毕业接触到“思考机器”以来，香农从未放弃与之相关的遐想与研究。关于智能机器的想法，也是他后来最大的兴趣课题。他与英国数学家、密码学家阿兰·图灵（Alan Turing）是好朋友，在后者造访贝尔实验室期间，他们就人造思维机器，也就是在今天所说的人工智能，进行了生动的知识交流。

  
在交谈中，图灵（图左）向香农（图右）介绍了通用图灵机的概念，香农则向图灵透露了令后者震惊的奇思妙想：可以在这台「大脑」中输入数据，还希望把“文化”灌输进去。

香农在贝尔实验室期间，在这一领域持续发力——

● 1949 年，香农发表了论文《编程实现计算机下棋》。他发明的“会下棋的机器”是人工智能领域的一个前瞻性成果。

● 1950 年，香农发明了会自我学习走迷宫的机械老鼠“忒修斯”，成为第一台人工智能装置的雏形，其采用的试错学习机制，可以说本质上也是强化学习的原始雏形。次年，他发表了一篇机器学习相关的论文《一个走迷宫机器的介绍》。

● 1953 年，香农设计了“心灵阅读（Mind Reading）”机，可根据观察、记忆和分析过往对方所输出的行为样本，猜测其下一步可能的选择。这一点，让人自然而然地想起如今备受关注的聊天机器人，在与用户的对话中积累信息与素材。


1954 年，香农与未来的诺贝尔奖得主理查德·费曼（Richard Feynman）和詹姆斯·沃森（James Watson）共同被《财富》杂志评为美国 20 位最重要的科学家之一。他还登上了《时代（Times）》、《生活（Life）》以及《时尚（Vogue）》杂志的版面，出现在国家电视台中，成为国民明星。

1956 年 8 月，他出现在了达特茅斯会议的现场，在美国汉诺斯小镇宁静的学院中，与约翰·麦卡锡（John McCarthy）、马文·闵斯基（Marvin Minsky）等在如今被频繁提及的科学家相聚一堂，讨论着一个看似缥缈的主题：用机器来模仿人类学习以及其他方面的智能。


两个月的会议始终无法让在座的“最强大脑”们达成普遍共识，但是却为香农一直关注的“思考机器”暨会议讨论的内容，起了一个统一的名字：人工智能。

20 世纪 50 年代中期，MIT 在科技特别是信息论方面已颇具权威，他们花费大力气招揽香农，希望他继续深入信息论的研究。香农虽然在此后也拥有多个与之相关的理论延伸，但宽松的工作环境，使得他可以将研究重心放到“思考机器”、独轮车、杂技等课题上。此后，他从更多的理论和学术工作中走出来，将枯燥的技术性科学转变为大量富有魅力的谜题，以游戏的方式，解决一个个困扰人类的难题，并开拓前人尚未预见的新领域。

他在制造杂耍机器人时，发现了耍球个数与每个球在空中与手中的时长之间的联系，提出了耍球公式。他用信息论作类比，将其应用到股市中，实践结果喜人，甚至后来他关于股票的讲座更受大家欢迎。在观察到赌场轮盘的摩擦力动态系统中，他与爱德华·索普（Edward Thorp）共同发现了博彩获胜的奥秘，并发明了第一台可穿戴式电脑以支持计算来预测轮盘结果。


香农丰富多彩的发明实践（非完全展示）

香农从不在意发明的商业化与否，只在意在探索发明的过程中，是否解决的是个有趣的问题，或是否发现了一个新方法并受此启发。他的发明看似没有实际作用，但却启发了不同领域的天才们进一步推进科学的发展。

NO.5  科学巨匠，留下改写人类认知的遗产

24 年前的今天—— 2001 年 2 月 24 日，这位 85 岁的思想者最终与阿尔兹海默症告别，却留下了改写人类认知版图的科学遗产。

他是数字通信时代的奠基人，以信息论之父的身份荣膺美国国家科学奖章（1966）、日本京都奖（1985）等顶级学术殊荣。以他命名的“香农奖”成为信息科学界的诺贝尔殿堂，见证着这位科学巨匠对现代文明永续性的馈赠。

香农以好奇心驱动研究，从单纯的兴趣出发创造伟大的成就，并不断鼓励研究人员打破学科边界。当AI的浪潮席卷全球，那些曾被香农用数学语言书写的“0”与“1”，正被一代代科学家赋予温度，而技术的荣光也终将照亮人类思考的无限可能。



参考资料：

https://www.ccf.org.cn/c/2016-12-02/551040.shtml

https://www.eet-china.com/mp/a110695.html

https://mp.weixin.qq.com/s/06Kk0Skzufzgk-nMfriSWA

科学方程式