信号编码和数字编码

信息论的提出和应用

1948年，美国工程师香农在贝尔电器研究所出版的专门杂志上，发表了两篇有关“通信的数学理论”的文章，系统地讨论了通信的基本问题，由此奠定了信息论的基础。

大千世界，林林总总；人类社会，纷繁复杂。这其间有没有共同的东西贯通着?有。现代科学家认为，物质、能量、信息是世界的三大支柱。只要有运动的事物，就需要有能量，也就会存在信息。人类在认识世界和改造世界的一切活动中无不牵涉到信息的交换和利用。有人说，通信(信息)是使社会结构粘合在一起的混凝土。在当今的信息时代，这种比喻是十分贴切的。

科学来源于实践，科学上许多术语往往来自日常生活，信息这个词语就是如此。在日常生活中，我们经常听到人们在谈论“商品信息”、“市场信息”、“科技信息”。而当人们在早晨从收音机里听到气象预报，或看了电视里的新闻之后，就说得到了“信息”。信息是一个常用词，但要问“信息”到底是什么，恐怕很多人回答不上来或说不清楚。

作为一个科学概念，“信息”有其特定的含义。比如，我们听到气象预报说“晴到多云”，这是对气象状态这一事物的具体描述，而一位朋友在电话中对你说“我想去上海”，这是存在于他头脑里的思维活动。从科学的角度讲，以文字、语言、图像等把客观物质运动和主观思维运动的状态表达出来就成为信息。从通信的观点出发，信息要具备两个条件：一是能为通信双方所理解，二是可以传递。(www.guayunfan.com)

任何信息传递系统，如电话、电视等都有一个发出信息的发送端(信源)、接受信息的接受端(信宿)、连接两者的通道(信道)及编译码器。信息要通过信道传输，须把它变换成适合信道传输的物理信号(如电信号、光信号、声信号等)，编码把信息变换成信号，而译码则将信号还原为信息。信息只有通过编码，才能发出和传送，只有通过译码，才能被接受和理解。就连最简单的信息交流也必须经过编码和译码。如两个人面对面地交谈，讲者把信息变成适于空气传递的声信号，变成语言，就得经过大脑用字词组成句子。这个过程就是编码。听者的耳朵接收到声音信号，经过大脑的理解，明白话音、句子所包含的意思。这个过程就是译码。

香农在1948年发表的文章的序言中有这样一句话：“通信的基本问题是要在某一端准确地或近似地再现从另一端选择出来的信息。”这句话恰如其分地表达了信息论研究的目的就是为了提高通信系统的可靠性和有效性。香农研究的对象是从信源到信宿之间的全过程，是收、发端联合最优化问题，其重点放在编码上。他指出，只要在传输前后对信息进行适当的编码和译码，就能保证在有干扰的情况下，最佳地传送和准确或近似地再现信息。为此他又发展了信息测度理论、信道容量理论和编码理论等等，为各种信息快捷准确地传输作出了贡献。