「サプライズ」としての情報量

【「サプライズ」としての情報量 】

シャノンは、情報が生成されるプロセスについて考えます。

それが生起する確率が、$p_1, p_2, \dots , p_n$であることはわかっていても、我々が知っていることのすべては、どれかのイベントが起きるだろうと言うことのみであるという状況を考えます。

情報が生まれるというのは、あるイベントが選び出されたということで、そこにはある「選択」が働いたということです。ただ、ある情報の背後にどれほどの「選択」が含まれているのか、一般には我々は知ることはできません。

ひるがえって、その情報について、我々はいかに不確かなのかを測定する尺度を見つけ出すことはできないだろうかと、彼は考えます。こうして彼は、「不確かさの尺度」として、情報量＝エントロピーを考えます。

こうした「不確かさの尺度」が満たすべき条件について、彼は考えを進めていきます。彼は、エントロピーが満たすべき三つの条件を見出すのですが、その中で最も重要なのは、「選択」の「連鎖」が、この量を決めるという考えです。

情報量＝エントロピーについては、さまざまな解釈があります。

その一つが、「情報量は、その情報が与える「サプライズ」で決まる」というものです。

もう少し正確にいうと、確率 $p_i$ で生起する事象の「サプライズ」を $−\log p_i$ で定義します。この「サプライズ」の期待値 $ \sum p_i (−\log p_i ) $ として、エントロピーは定義されます。

なぜ、「サプライズ」かというかというと、確率 $p_i$ が小さくなればなるほど「サプライズ」$−\log p_i$ は大きなものになるからです。あり得ないものであればあるほど、それが起きた時に、我々は驚きます。 

ただ、この解釈は、エントロピーの式の解釈としては正しいといっていいのですが、いくつかの注意が必要だと、僕は感じています。

一つは、情報量＝エントロピーは、もともと、メッセージあるいは起きた事象の意味については、関心を持っていません。「サプライズ」（英語だと、このケースでは surprisal といいます）は、エントロピーの起源の確率分布より、人間が受け取る意味に寄せた解釈になりがちです。

もう一つは、シャノンは最初から「サプライズ」の期待値としてエントロピーを定義しようとは考えていなかったということです。出来上がったエントロピーの定義式が、そうした一つの解釈を可能にしたとしても、それからでは、シャノンが何を考えてこうした定式化にたどり着いたかを理解する助けにはなりません。

今回のセッションの最後にあげた、エントロピーが満たすべきシャノンがあげた三つの条件は、とても大事なものです。そこからシャノンは、エントロピーの定式化にたどり着いたのですから。

また、エントロピー論の新しい発展は、この三つの条件の見直しとして特徴づけることができると思います。

ショートムービー：
https://youtu.be/Znv1Ydmp7Q0?list=PLQIrJ0f9gMcO_b7tZmh80ZE1T4QqAqL-A

ショートムービーのpdf:
https://drive.google.com/file/d/1P2tidK-M_e9DoMi4ZtprPxlwten7cNOQ/view?usp=sharing

5/28 マルゼミ「エントロピー論の現在」のまとめページを作りました。ほぼ毎日更新されると思います。ご利用ください。https://www.marulabo.net/docs/info-entropy5/

5/28 マルゼミの申し込みページも作成しました。
https://entropy-theory.peatix.com/
お申し込みお待ちしています。