資訊理論與編碼之資訊熵

集X的平均自資訊量又稱作是集X的資訊熵，簡稱熵，它是為了在觀測之前，確定集X中出現一個事件平均所需的資訊量。下面小編就用一個例題來跟大家介紹一下它的求法，希望對大家有所幫助。

操作方法

（01）首先畫出它的一階馬爾剋夫信源的狀態圖，如下圖所示。

（02）然後根據切普曼—柯爾莫哥洛夫方程，可以得到相關表示式，如下圖所示。

（03）接著把p(0），p(1)，p(2)求出來。

（04）然後根據第一小問的答案，求出它的信源熵，注意不要漏了單位。

（05）接著根據題意可知:無記憶信源的符號的概率分佈等於平穩分佈。

（06）可以寫出此時信源的概率空間。

（07）然後求出信源的資訊熵。

（08）最後可以比較出它們的大小。