資訊理論與編碼之求平均自資訊量

資訊理論與編碼中經常要求的就是平均自資訊量，它是一個隨機變數，不能用來作為整個信源的資訊測度，但是能夠反應一個事件平均所需的資訊量。下面小編就來跟大家介紹一下它的求法，希望對大家有所幫助。

操作方法

（01）首先要理解題意，要求的就是資訊熵。

（02）然後可以得出質點落入任一格的概率空間，如下圖所示。

（03）接著可以求出信源的平均自資訊量。

（04）第二問要求的當質點A落入後，B落入的平均自資訊量，即為H(B|A)。

（05）因為A已落入，則B落入的格可能有47個，可以寫出條件概率，如圖所示。

（06）然後求出此題的平均自資訊量。

（07）A和B同時落入的平均自資訊量也可以求出，如圖所示。