信息论与编码之信息熵

集X的平均自信息量又称作是集X的信息熵，简称熵，它是为了在观测之前，确定集X中出现一个事件平均所需的信息量。下面小编就用一个例题来跟大家介绍一下它的求法，希望对大家有所帮助。

操作方法

【步骤01】

首先画出它的一阶马尔克夫信源的状态图，如下图所示。

【步骤02】

然后根据切普曼—柯尔莫哥洛夫方程，可以得到相关表达式，如下图所示。

【步骤03】

接着把p(0），p(1)，p(2)求出来。

【步骤04】

然后根据第一小问的答案，求出它的信源熵，注意不要漏了单位。

【步骤05】

接着根据题意可知:无记忆信源的符号的概率分布等于平稳分布。

【步骤06】

可以写出此时信源的概率空间。

【步骤07】

然后求出信源的信息熵。

【步骤08】

最后可以比较出它们的大小。