論文を読んで分かることと分からないこと
【 論文を読んで分かることと分からないこと 】
このセッションから、シャノンがどのようにしてエントロピーの式を導出したかについての解説が始まります。
情報量としてのエントロピーは、シャノンが初めて導入した概念です。全く新しい概念についての公式を導き出すというのは、どういうことなのか少し考えてみましょう。
全く新しいのだから、突然、正しい式がインスピレーションとして生まれるということがあるのかもしれません。ただそれでは、本人以外にその式の正しさを納得してもらうのは難しいことになります。
そういう時には、その新しい概念について、その概念が満たすべき性質をいくつか仮定します。その仮定は、新しい概念そのものより分かりやすく理解しやすいものを選びます。大事なことは、この仮定は証明なしで述べることができるということです。（こうした仮定を「公理」と呼ぶことがあります。）この仮定が正しいものと前提して、初めて「証明」が始まります。この「証明」自体は、その仮定にのみに基づいて、数学的に正しいものでなければなりません。
シャノンは、エントロピーHが満たすべき性質を、三つ挙げます。
第一。Hは、それを定義する確率pi について、連続的であること。（確率 pi が少しだけ変化すれば、Hも少しだけ変化するということです。）
第二。n個の事象全てが等確率で、すなわち、1/n の確率で起きる場合、エントロピーHはnについて単調に増加する。（起きるべき等確率のイベントの数nが増えれば増えるほど、どのイベントが実際に起きるかは不確実になり、「不確実さの尺度」としてのエントロピーは増加するということです。）
第三。もし選択が、連続的に行われる二つの選択に分解されるのなら、求めるHは、個々の選択のHの値の、重みづけられた和になるべきである。（エントロピーは「不確実さの尺度」だとしても、それがある「選択」によって特徴づけられているのは「確実」なことです。しかも、その「選択」は、エントロピーの量的な関係を規定しています。この「切り口」は、とても重要です。事実、シャノンの「証明」の基本的なステップで、この「第三の仮定」は重要な役割を果たすことになります。）
話題を変えましょう。
論文を読むことと、それを理解するというのは別のことです。論文は読んだものの、その意味がわからない箇所が残るのは、よくあることです。
僕は、シャノンが２〜3行で片付けている「第三の仮定から、$A(s^m) = mA(s)$ という式が成り立つ」と述べている箇所でつまづきました。幸いなことに、ここはすぐに理解できたのですが、論文の後半の「第三の仮定から導かれる」ある式の導出がわからず、そこは一晩考えました。分かってしまえば当たり前に思えるのは不思議なのですが、分かった時には嬉しいものです。
その意味では、シャノンの証明の「解説」は、僕の理解のプロセスを反映したものです。ただ、それは「個人的な体験」に思えますが、理解した内容は、個人的なものではありません。それは、シャノンが考えたことに直接つながっているはずです。
読んでわからないことがあるのは恐れる必要はないのですが、ただ公開されているドキュメントが全て正しいとは限りません。Wikipediaに Entropy (Information Theory)というアーティクルがあります。https://en.wikipedia.org/wiki/Entropy_(information_theory)
ここでエントロピーの式の「証明」がされているのですが、多分、厳密なものではありません。まず、エントロピーが満たすべき条件が、シャノンのものとは違っています。これは、「仮定（公理）」の選択の問題ですので、めくじらを立てる必要はないと思います。
ただ、その証明は、仮定されている $ I(p1·p2) = I(p1) + I(p2)$ という式を二回微分するというものでした。関数 I の連続性は仮定しているようですが、連続だからといって微分可能だとは限りません。微分して証明するなら、仮定の中に、I は微分可能だと述べておかなければいけません。それは、I の連続性より、ずっと強い仮定です。
面白いのは、Wikipedea が前提として仮定している $ I(p1·p2) = I(p1) + I(p2) $という式のシャノン流の対応物、$ A(mn) = A(m) + A(n) $ は、シャノンの「第三の仮定」を使うと、簡単に証明できるということです。もちろん、微分など使わずに。是非、僕の「解説」を読んで、チャレンジしてみてください。
ショートムービー：
https://youtu.be/WaXUAofi6l8?list=PLQIrJ0f9gMcO_b7tZmh80ZE1T4QqAqL-A
ショートムービーのpdf:
https://drive.google.com/file/d/1QItypxSBoqpzE_K5H5YEzAisYrb87yLL/view?usp=sharing
5/28 マルゼミ「エントロピー論の現在」のまとめページを作りました。ほぼ毎日更新されると思います。ご利用ください。https://www.marulabo.net/docs/info-entropy5/
5/28 マルゼミの申し込みページも作成しました。
https://entropy-theory.peatix.com/
お申し込みお待ちしています。
コメント
コメントを投稿