A(n)=Klog(n) からエントロピーの式を導く
シャノンは、先のセッションで証明した A(n)=Klog(n) の式から、エントロピーの式を導き出します。シャノンの推論を追いかけてみましょう。
n 個の自然数 ni が与えられた時、∑ni=N とすれば、pi=ni/N として、ある確率分布を得ることができます。この確率分布のエントロピーは、H(p1,p2,…,pn) で表すことができます。
まず、このn個の可能性から i番目を選んで(その確率は、pi)で、続いて、等確率 1/niの選択を行うことにしましょう。これがルールです。
このルールのもとでは、ある二つの連続した選択が行われる確率は、pi×1/ni=ni/N×ni=1/Nになります。どの i を選んでも、その後に等確率 1/ni の選択が続くのなら、二つの選択が連続してなされる確率は、等しく、1/N になります。
このルールのもとでは、二番目の等確率 1/niの選択には、ni 個の可能性があります。ですから、二つの選択が連続してなされる場合の数は、n1+n2+...+nn=∑ni=N となります。
このことは、N個の可能性から等確率の1/Nを選ぶ選択は、n個から確率piで一つを選ぶ選択と、ni 個から等確率の1/niを選ぶ選択に分解できることを示しています。
「条件 (3)」を使えば、このことは、次の式が成り立つことを意味します。
A(N)=H(p1,p2,…,pn)+p1A(n1)+p2A(n2)+⋯+pnA(nn)
ここで、前回のセッションで証明した A(n)=Klog(n)を使うと、次の式が得られます。
Klog(N)=H(p1,p2,…,pn)+p1Klog(n1)+p2Klog(n2)+⋯+pnKlog(nn)
これから、
H(p1,p2,…,pn)=Klog(N)−(p1Klog(n1)+p2Klog(n2)+⋯+pnKlog(nn))
=(p1+p2+⋯+pn)Klog(N)−(p1Klog(n1)+p2Klog(n2)+⋯+pnKlog(nn))
=(p1Klog(N)+p2Klog(N)+⋯+pnKlog(N)−(p1Klog(n1)+p2Klog(n2)+⋯+pnKlog(nn))
=p1Klog(N/n1)+p2Klog(N/n2)+⋯+pnKlog(N/nn)
=K(p1log(1/p1)+p2log(1/p2)+⋯+pnlog(1/pn))
H(p1,p2,…,pn)=−K∑pilog(pi)
コメント
コメントを投稿