信息论

出处：按学科分类—交通运输 上海交通大学出版社《交通大辞典》第889页（643字）

关于信息及其传输的基本规律的理论。

狭义指研究通信和控制系统中信息处理和信息传递的普遍规律以及如何提高信息传递系统的有效性和可靠性的一门通信理论；广义指利用狭义信息论观点来研究一切问题的理论。创始人是美国数学家香农(Claude Elwood Shannon，1916～)。

他在1948年发表的《通信的数学理论》一文，奠定了信息论的基础。他认为通信的基本问题就是精确地或近似地在一点复现另一点选择的信号。

一般的通信过程包括五个基本部分：信息源、发送机(编码器)、信道、接收机(解码器)和信息接收者(信宿)。他从理论上阐明了信源、信宿、信道和编码等有关通信方面的一些基本问题，创立了通信系统模型；建立了度量信息量的公式；初步解决了如何从信息接受端提取由信息源发来信息的技术问题；提出了充分利用信道的信息容量，在有限的信道中以最大的速率传递最大的信息量的基本途径；并着手解决充分表达信息源的信息，较好地利用信道容量的有关编、译问题。对信息论作出独特贡献的还有维纳(Norbert Wiener，1894～1964)。他在《平稳时间序列的外推、内摘和平滑化》、《控制论》等论着中对信息概念作了解释；建立了着名的维纳滤波理论和信号预测理论；阐明了信息定量化的原则和方法；并独立地提出了度量信息量的公式，为信息论的应用开辟了广阔的前景。当前，信息论已推广和渗透到科学技术的各个领域，不但推动了这些学科的发展，而且也促进了系统的信息科学的形成和发展。