第2章
信源与信息熵

2.1　预备知识

香农信息论所研究的信源的最大特性是不确定性。事件发生的不确定性与事件发生的概率有关：

概率越大，不确定性越小，事件发生以后所含有的信息量就越小。小概率事件的不确定性大，一旦出现必然使人感到意外，因此产生的信息量越大。为了理解信息论中的信息，本章首先介绍概率的概念和性质，并在此基础上，进一步描述香农信息论中的信源和信息熵。