数学家克罗德·香农与数学信息论

香农与数学信息论

“二战”期间，为了实现最优化的讯息传递（怎样在最短时间内，以最小的损失传递最大量的讯息），美国贝尔电话实验室（Bell Telephone Laboratories）的电子工程师、数学家克罗德·香农（Claude Shannon）致力于解读密码信息的构成和表述过程，在研究电报和密码学的过程中，提出了数学传播理论。该理论自诞生之初就主张将传播工具化，认为传播纯粹是从一极向另一极传递信息，且力求在传递过程中让信息完整复制和再现的过程。以电报中的信息传播为例，香农提出了“传播流程图”，沃伦·韦弗（Warren Weaver）又将其加以完善：信息源连着信息发出者，发出者制造信号，通过渠道抵达接收者和目的地，其间噪音可能改变讯息，造成损失。

在口头交流的情况下，传播链表现为：

把传播分解成物理过程，这样的信息论认为信息是可以统计的量。一条信息就是一次收益，就是知识的一次增长，信息可以用事件发生的概率来衡量：这件事会不会发生？每个答案（无论肯定还是否定）都是一个二进制字节的信息（binary digit）。讯息的信息量，就是一系列潜在事件和这些事件的相对概率之间的关系。事件越可预见、发生的概率越大，讯息所包含的信息就越少（“八月不下雪”），反之则越多（“八月下雪”就是大新闻）。

香农模型对计算机、声学、生物学和自动化等学科（主要研究信息发送者与接收者之间的随机现象）的发展至关重要。实际上，香农模型是受了阿兰·图灵（Alan Turing）和约翰·冯·诺伊曼（John von Neumann）的启发——他们在计算器的基础上发明了信息处理器，即20世纪40年代问世的计算机，也受了生物遗传学（染色体与人类发展的关系）和诺伯特·维纳（Norbert Wiener）的启发。