信息论
研究信息、信息熵等的应用数学学科
条目
历史版本
信息论（Information Theory[2]）又称通信的数学理论[3]、通讯理论[4]、通信的统计理论[5]，它是运用概率论与数理统计的方法研究信息、信息熵、通信系统、密码学和数据压缩等问题的应用数学学科[13]。
信息论的起源可以追溯到19世纪，美国物理学家吉布斯（Josiah Willard Gibbs）和奥地利物理学家玻尔兹曼（Ludwig Boltzmann）分别将偶然性、熵函数引进物理学，为信息论的产生提供了思想前提[6]。信息论的早期研 究工作开端与20世纪20年代[2]。1928年，科学家哈特莱（Hartley）发表了《信息传输》一文，区分了信息和消息在概念上的差异，并提出用消息出现的概率的对数来度量其中所包含的信息，为理论的创立奠定了初步基础[6]。美国数学家克劳德·艾尔伍德·香农（Claude Elwood Shannon）于1948年和1949年先后发表了论文——《通信的数学理论》和《在噪声中的通信》，标志着信息论正式诞生[7]。20世纪50年代，信息论开始向各学科发起冲击，以物理学为代表。[14]60年代，该理论进入了一个消化、理解的时期，在已有的基础上进行了一些重大建设，研究重点是信息和信源编码问题。后来，学者们越来越认识到信息的重要性，它迫切要求突破香农信息论的狭隘范围，以便使它能够成为人类各种活动中所碰到的信息问题的基础理论，从而推动其他许多新兴学科进一步发展[9]。
信息论的研究对象是广义通信系统，它 把所有的信息流通系统都抽象成一个统一的模型[15]。编码理论为信息论的基本理论[12]，主要分为信源编码和信道编码两个部分[16]。与该学科相关的观点是信息论假说[17][18]。此外，信息论的理论与成果在自然科学、社会科学的各个领域中应用广泛[3]，如，在生物学中，基于信息论的特征提取方法可以对生物序列中的必需基因和启动子进行分析与预测[8]。