なぜ情報の尺度に対数が現れるのか？

【 なぜ情報の尺度に対数が現れるのか？ 】

シャノンのエントロピーの式には、いろいろな導きかたがあります。

例えば、以前のセミナーで、ボルツマンのエントロピーからシャノンのエントロピーが導かれることを見てきたことがあります。

「情報とエントロピー入門」https://www.marulabo.net/docs/info-entropy/ の「ボルツマンのエントロピーからシャノンのエントロピーを導く」https://drive.google.com/file/d/1bXyIxN7ASmfkBM8QRle69U56C_fo-Vak/view を参照ください。ここでは、ボルツマンのエントロピーが、「可能なミクロな状態の数の対数」であることが、利用されていました。

しかし、シャノンはこのようにして情報量としてのエントロピーを導いたわけではありません。シャノンは、通信システムの分析を通じて、情報量＝エントロピーの概念に到達しました。

一つのポイントは、なぜ、情報の尺度に対数が現れるのかということです。彼が、どういうことを考えていたかを、あらためて（現代風に言い換えて）振り返ってみようと思います。

1bit の情報を蓄えるメモリーがN個あったとしましょう。このN個のメモリーがとりうる状態の数は、$2^N$です。ただ、「このN個のメモリーは $2^N$個の情報を蓄える」というより、その対数をとって、$\log 2^N = N \log 2 = N$ として、「このN個のメモリーは N bitの情報を蓄える」と言った方はわかりやすいです。（bitは、前回見たように、対数をとって得られるエントロピーの単位なのです。）

K個の情報を蓄えうるディスクが二つあったとしましょう。二つのディスクが蓄えうる可能な情報の組合せの数は、$K \times K = K^2 $ です。ただ、「2台のディスクで$ K^2$個の情報を蓄える」というより、対数をとって、$\log K^2 = 2 \log K$ として「2台のディスクで、ディスク一台( その情報量は $\log K$ で表されます)の二倍の情報を蓄える」と言った方がわかりやすいと思います。

C個の状態を取る回路に、on/off 二つの状態を取るスイッチを一つ追加したとしましょう。新しい回路は、追加されたスイッチのon/offによって、2C個の状態を取ることができます。これも対数をとって、$\log 2C = \log 2 + \log C = 1 + \log C$ として、「一個のスイッチの追加で、回路の情報量は 1(bit)だけ増えた」（元の回路の情報量を $\log C$で表しています）というのがスマートです。

ネットワークの帯域・チャンネル数・通信時間についても同様です。それら（ Lとしましょう）が二倍になれば可能な情報の組合せの数は、$L^2 $ になるのですが、これも log をとって、「情報量は2倍になった」(元の情報量は $\log L $で表されます)というのが、直感的です。

ショートムービー：
https://youtu.be/cvjF23o2q6Q?list=PLQIrJ0f9gMcO_b7tZmh80ZE1T4QqAqL-A

ショートムービーのpdf:
https://drive.google.com/file/d/1Pc76V7K0KnW2Yz2drUcn_cvxSv9cjSwa/view?usp=sharing

5/28 マルゼミ「エントロピー論の現在」のまとめページを作りました。ほぼ毎日更新されると思います。ご利用ください。https://www.marulabo.net/docs/info-entropy5/

5/28 マルゼミの申し込みページも作成しました。
https://entropy-theory.peatix.com/
お申し込みお待ちしています。　



コメント

コメントを投稿

このブログの人気の投稿

初めにことばありき

旧約の「創世記」の「光よあれ」は、ビッグバンを思わせて、物理学者はちょっと萌えるかもしれないのだが、新約の「ヨハネによる福音書」には、言語学者が喜びそうなフレーズがある。 「初めに言があった。言は神と共にあった。言は神であった。」 僕が知っていたのは、「はじめにことばありき」という訳だったのだが。この口語訳での「言」は、英訳だとこうなっている。 "In the beginning was the Word, and the Word was with God, and the Word was God." 「言」= "Word" である。はじめにあったのは、Wordであって、Language ではない。だから、新しい口語訳では、普段、あまり馴染みない「言」という訳語を使ったのかも。「初めに語があった」では、なんかしまらないんだろうな。（僕は、「はじめにことばありき」というフレーズの方が好きだ。） ちなみに、「ヨハネによる福音書」は、英語では、"Gospel of John" という。「ジョンのゴスペル」である。でも、そう日本語に訳してしまうと、ジョン・レノンがバラードではなく、ゴスペルを歌っているようで、まずいんだろうな。 「ことば」・「言」・"Word" と訳されている、元々の言葉を調べてみると面白い。 キリスト教のオーソドックスな原典であるラテン語訳聖書では、この部分は、こうなる。 "In principio erat Verbum, et Verbum erat apud Deum, et Deus erat Verbum" 「イン・プリンキピオー・エラト・ウェルブム」 英訳 Word のラテン語の原語は、Verbum である。この単語、英語に直訳すれば、Verbである。「初めに、動詞があった。」　言語学の「従属性文法 (Dependency Grammar) 」理論の人たち、喜びそう。 もっとも、英語のVerbは、元々は、動詞というより広く言葉全体をさしてたらしい。そのことは、「ノンバーバル・コミュニケーション (Non-Verbal Communication) 」というのが、動詞を使わないコミュニケーション...
続きを読む

宇宙の終わりと黒色矮星

イメージ
【宇宙の終わりと黒色矮星】 図のようなストーリーで、「宇宙の終わりとエントロピー」という投稿を準備していたのだが、いろいろ雑念が湧いて気がすすまなくなる。その理由は別稿で。 この図は、「閉じられた部屋でのガスの拡散」というわかりやすいモデルで理解されるエントロピーの増大の法則が、あるフェーズから、宇宙規模でみれば、「全ての物質のブラックホールへの吸収・収斂」として現れると言うことを主張している。最初、ペンローズのこの話を読んだときには、目からウロコだった。 このストーリーにはもっと先がある。最近のシミュレーションでは、指数関数的に膨張する宇宙では、巨大なブラックホールに捕捉されるのは、宇宙全体の物質の10%程度だという。恒星起源のブラックホールは 10^67 年で、銀河系中心の巨大ブラックホールも 10^99年で、ホーキング放射で「蒸発」し姿を消す。 ブラックホールに捕捉されなかった宇宙の残りの90%の物質は、元それが属した銀河系から孤立したまま星の一生の進化を続ける。太陽の1.2倍程度の質量を持つ星は「白色矮星」になるのだが、「白色矮星」は 10^17年で「黒色矮星」に変わる。 「黒色矮星」は、現代の「宇宙の終末論」では、もっとも注目されている天体なのだが、それはまだ観測されていないと言う。というのも、この天体は光を出さないからだ。「黒色矮星」の中心は、最も安定な原子である鉄の「結晶」でできていて、温度は絶対零度近くに冷却されている。 「黒色矮星」は、とても長生きする天体である。陽子崩壊がおきるなら、黒色矮星の寿命は 10^32年程度だが、もし陽子が安定しているとすれば、太陽の 1.24倍程度の質量を持つ「黒色矮星」は、10^1600年後に突然崩壊して超新星爆発を起こす。もっと軽い、太陽の1.16倍程度の質量を持つ「黒色矮星」は、10^32000 年後（！）に超新星爆発を起こす。 このシナリオによれば、宇宙は、とてつもなく長い長い退屈な時間をかけて、その死を迎える。「黒色矮星」の超新星爆発は、宇宙の死を飾る最後の打ち上げ花火である。その後には、宇宙には何も起こらない。 この記事は、ジョン・バエズの "Black Dwarf Supernovae" を基にしたものだ。https://johncarlosbaez.wordpress.com/202...
続きを読む

Google翻訳での日本語の点数の低さについて

イメージ
Google翻訳は、なかなかスゴイのだが、他の欧米系の言語での翻訳と比べると、日本語の翻訳精度は、かなり低い。 この表は、Google翻訳の「Zero-Shot論文」の、ある意味「目玉」の結果の一つである。 機械翻訳のシステムを、ドイツ語 -> 英語、フランス語 -> 英語 というように、一対一の言語の組み合わせで別々のシステムで訓練させるより、{ ドイツ語、フランス語} -> 英語 のように、一つのシステムで同時に複数の言語（この場合は二つの言語）の一つの言語（この場合は、英語）への翻訳を訓練した方が翻訳精度が上がるという、驚くべきものである。 人間で言えば、日本語の英語への翻訳をもっとうまくやりたいなら、韓国語から英語への翻訳も、同時に学習する方がいいということ。 このメリットを説明する可能性のある仮説の1つは、モデルがより多くの英語データをターゲット側に持ち、ソース言語が同じ言語ファミリに属していること。それで、モデルは有用な一般化を学んでいると思われる。 こうした 発見は、とても興味深いものだが、ここでは、別のことに注目しよう。 ここでの翻訳精度の改善は、BLEUのスコアで、+0.05〜+0.79の改善である。（表の赤い枠の部分。） ただ、日本語 -> 英語の翻訳精度は高いスコアで 23.87で、フランス -> 英語の 36.77と比べるとずいぶん低い。この表の中では、最低だ。実験で最高得点をたたき出している ポルトガル語 -> 英語の 45.19と比べると、半分程度だ。 実は、このポルトガル語の高得点も、僕には不思議に見える。WMTのコーパスでは、英語・フランス語のパラレル・データが3,600万ペアで、英語・ドイツ語のペア500万と比べても圧倒的に多い。ポルトガル語の高得点は、Google内部のコーパスを使ったものだが、アメリカなら、英語・スペイン語のデータは多いと予想できるのだが、英語・ポルトガル語のデータが、それ以上に多いとは思えない。でも、スペイン語 -> 英語より、ポルトガル語 -> 英語の方が、ずっと成績がいいのだ。 きっとGoogle翻訳は、英訳に関して言えば、日本語とは相性が悪く、ポルトガル語とはとても相性がいいのだ。なぜか？　僕にはわからない。 ...
続きを読む