なぜ情報の尺度に対数が現れるのか？

【 なぜ情報の尺度に対数が現れるのか？ 】

シャノンのエントロピーの式には、いろいろな導きかたがあります。

例えば、以前のセミナーで、ボルツマンのエントロピーからシャノンのエントロピーが導かれることを見てきたことがあります。

「情報とエントロピー入門」https://www.marulabo.net/docs/info-entropy/ の「ボルツマンのエントロピーからシャノンのエントロピーを導く」https://drive.google.com/file/d/1bXyIxN7ASmfkBM8QRle69U56C_fo-Vak/view を参照ください。ここでは、ボルツマンのエントロピーが、「可能なミクロな状態の数の対数」であることが、利用されていました。

しかし、シャノンはこのようにして情報量としてのエントロピーを導いたわけではありません。シャノンは、通信システムの分析を通じて、情報量＝エントロピーの概念に到達しました。

一つのポイントは、なぜ、情報の尺度に対数が現れるのかということです。彼が、どういうことを考えていたかを、あらためて（現代風に言い換えて）振り返ってみようと思います。

1bit の情報を蓄えるメモリーがN個あったとしましょう。このN個のメモリーがとりうる状態の数は、$2^N$です。ただ、「このN個のメモリーは $2^N$個の情報を蓄える」というより、その対数をとって、$\log 2^N = N \log 2 = N$ として、「このN個のメモリーは N bitの情報を蓄える」と言った方はわかりやすいです。（bitは、前回見たように、対数をとって得られるエントロピーの単位なのです。）

K個の情報を蓄えうるディスクが二つあったとしましょう。二つのディスクが蓄えうる可能な情報の組合せの数は、$K \times K = K^2$ です。ただ、「2台のディスクで$K^2$個の情報を蓄える」というより、対数をとって、$\log K^2 = 2 \log K$ として「2台のディスクで、ディスク一台( その情報量は $\log K$ で表されます)の二倍の情報を蓄える」と言った方がわかりやすいと思います。

C個の状態を取る回路に、on/off 二つの状態を取るスイッチを一つ追加したとしましょう。新しい回路は、追加されたスイッチのon/offによって、2C個の状態を取ることができます。これも対数をとって、$\log 2C = \log 2 + \log C = 1 + \log C$ として、「一個のスイッチの追加で、回路の情報量は 1(bit)だけ増えた」（元の回路の情報量を $\log C$で表しています）というのがスマートです。

ネットワークの帯域・チャンネル数・通信時間についても同様です。それら（ Lとしましょう）が二倍になれば可能な情報の組合せの数は、$L^2$ になるのですが、これも log をとって、「情報量は2倍になった」(元の情報量は $\log L$で表されます)というのが、直感的です。

ショートムービー：
https://youtu.be/cvjF23o2q6Q?list=PLQIrJ0f9gMcO_b7tZmh80ZE1T4QqAqL-A

ショートムービーのpdf:
https://drive.google.com/file/d/1Pc76V7K0KnW2Yz2drUcn_cvxSv9cjSwa/view?usp=sharing

5/28 マルゼミ「エントロピー論の現在」のまとめページを作りました。ほぼ毎日更新されると思います。ご利用ください。https://www.marulabo.net/docs/info-entropy5/

5/28 マルゼミの申し込みページも作成しました。
https://entropy-theory.peatix.com/
お申し込みお待ちしています。