A(n)=Klog(n) からエントロピーの式を導く

シャノンは、先のセッションで証明した A(n)=Klog(n) の式から、エントロピーの式を導き出します。シャノンの推論を追いかけてみましょう。

n 個の自然数 ni が与えられた時、ni=N とすれば、pi=ni/N として、ある確率分布を得ることができます。この確率分布のエントロピーは、H(p1,p2,,pn) で表すことができます。

まず、このn個の可能性から i番目を選んで(その確率は、pi)で、続いて、等確率 1/niの選択を行うことにしましょう。これがルールです。

このルールのもとでは、ある二つの連続した選択が行われる確率は、pi×1/ni=ni/N×ni=1/Nになります。どの i を選んでも、その後に等確率 1/ni の選択が続くのなら、二つの選択が連続してなされる確率は、等しく、1/N になります。

このルールのもとでは、二番目の等確率 1/niの選択には、ni 個の可能性があります。ですから、二つの選択が連続してなされる場合の数は、n1+n2+...+nn=ni=N となります。

このことは、N個の可能性から等確率の1/Nを選ぶ選択は、n個から確率piで一つを選ぶ選択と、ni 個から等確率の1/niを選ぶ選択に分解できることを示しています。

「条件 (3)」を使えば、このことは、次の式が成り立つことを意味します。
A(N)=H(p1,p2,,pn)+p1A(n1)+p2A(n2)++pnA(nn)

ここで、前回のセッションで証明した A(n)=Klog(n)を使うと、次の式が得られます。
Klog(N)=H(p1,p2,,pn)+p1Klog(n1)+p2Klog(n2)++pnKlog(nn)

これから、

H(p1,p2,,pn)=Klog(N)(p1Klog(n1)+p2Klog(n2)++pnKlog(nn))
=(p1+p2++pn)Klog(N)(p1Klog(n1)+p2Klog(n2)++pnKlog(nn))
=(p1Klog(N)+p2Klog(N)++pnKlog(N)(p1Klog(n1)+p2Klog(n2)++pnKlog(nn))
=p1Klog(N/n1)+p2Klog(N/n2)++pnKlog(N/nn)
=K(p1log(1/p1)+p2log(1/p2)++pnlog(1/pn))
H(p1,p2,,pn)=Kpilog(pi)




 

コメント

このブログの人気の投稿

初めにことばありき

宇宙の終わりと黒色矮星

密度行列とは何か?