1.2.3　信息论的近期发展

信息论近期发展的主要特征是向多学科结合方向发展，有以下3个重要的发展方向。

1．信息论与密码学

通信中的安全与保密问题是通信编码问题的又一种表示形式。香农在论文《保密通信的信息理论》中首次用信息论观点对信息保密问题做了全面的论述，给出了“绝对安全”的定义。由香农提出的保密系统模型仍然是近代密码学的基本模型，其中加密运算中的许多度量性指标，如完全性和剩余度等指标，与信息量密切相关。香农结合绝对安全的定义，推导出实现绝对安全的加密方法，即“一次一密”方法，该方法也是当前DES算法（数据加密标准算法）和RSA算法（非对称性加密算法）的理论基础。当今，进入了网络经济时代，信息的安全和保密问题更加突出和重要。人们把线性代数、数论和近世代数等引入保密问题的研究，并构成了一个重要分支，称为密码学。

2．算法信息论与分形数学

由于香农熵、科尔莫戈罗夫（Kolmogorov）复杂度与豪斯多夫（Hausdorff）维数的等价性在理论上得到证明，从而使信息论、计算机科学与分形理论找到了交叉点。人们发现香农熵、科尔莫戈罗夫复杂度与豪斯多夫维数都是某种事物复杂性的度量，而且在一定的条件下可以相互等价转化。由这3种度量分别产生了信息论、计算复杂度与分形理论，它们在本质上有共同之处。三者结合后所产生的新兴学科方向具有跨学科的特点，如算法信息论就是信息论与计算复杂性理论融合所产生的新学科。

3．信息论在统计与智能计算中的应用

信息论与统计理论的结合已出现许多突出的成果，其主要特点是统计理论正在从线性问题转向非线性问题，信息的度量可以作为研究非线性问题的手段。例如，可用互信息取代统计中的相关系数，从而更好地反映两个随机变量的相互依赖程度。信息量的统计计算较为复杂，因此在统计中一直没有得到广泛的应用。但由于近期大批数据的出现（如金融数据、股票数据和生物数据等），使许多统计计算问题成为可能。信息论也必将在统计中发挥更大的作用。

1）智能计算中的信息统计问题

信息量与统计量存在许多本质的联系，在概率分布族所组成的微分流形中，Fisher信息矩阵是Kullback-Laiber熵的偏微分，由此关系所引出的信息几何理论是智能计算的基础，出现了一系列重要的智能计算方法，如最大化算法（ExpectationMaximizationAlgorithm，EMA）、ACI算法和Ying-Yang算法。

2）信息计算与组合投资决策

T.Cover把组合投资决策问题转换成信息论的问题，并在最优决策的计算中给出了一个渐近递推算法，利用熵性质证明了该算法的单调性与收敛性。

3）编码理论与试验设计、假设检验理论相结合

在信息编码理论中有许多码的构造理论与方法，这些码在一定意义下具有正交性。因此，这些码可直接用来设计与构造试验设计表。另外，利用信息编码定理可以证明假设检验中的两类误差具有指数下降性，并给出这两类误差的下降速度。