熵是随机变量不确定性的度量，不确定性越大，熵值越大;若随机变量退化成定值，熵为0。

　　如果没有外界干扰，随机变量总是趋向于无序，在经过足够时间的稳定演化，它应该能够达到的最大程度的熵。

　　为了准确的估计随机变量的状态，我们一般习惯性最大化熵，认为在所有可能的概率模型(分布)的集合中，熵最大的模型是最好的模型。

　　换言之，在已知部分知识的前提下，关于未知分布最合理的推断就是符合已知知识最不确定或最随机的推断，其原则是承认已知事物(知识)，且对未知事物不做任何假设，没有任何偏见。