「最大エントロピー原理」とは何か？ -- 推計から推論へ
【 「最大エントロピー原理」とは何か？ -- 推計から推論へ 】
==============================
今回は、少し情報発信の順序を変えようと思っています。
今回のセミナーは、Part 1, Part 2, Part 3 の三部構成を予定しているのですが、今までだと、Part 1-1, 1-2, 1-3, ... ; Part 2-1, 2-2, 2-3, ... ; Part 3-1, 3-2, 3-3 ... のように、各 Partの展開が終わってから、深さ優先で次のPartに移っていました。
今回は、1-1, 2-1, 3-1, 1-2 ; 2-2, 3-2 ; 1-3, 2-3, 3-3 ; ... のように、巾優先で情報発信をしたいと思っています。
そのほうが、概説から細かい議論に進みますので、セミナー全体の趣旨が、分かりやすいのではないかと考えたからです。また、最後のPartが時間切れでしりきりトンボになることは避けられそうです。やってみないと分かりませんが。
ですので、次回は、Part 3 の概説をする予定です。
==============================
このセッションでは、Jaynesの「最大エントロピー原理」を紹介します。
サブタイトルの「推計から推論へ」の「推計」も「推論」も、英語では “inference” ですので、このサブタイトルを英語に翻訳すると、奇妙なことになります。
ただ、このサブタイトルで示したかったことは、Jaynesの関心は、統計学の「推定」の手法に限られていたわけではなく、もっと広い人間あるいは生物の認識の方法としての「推論」にあったのではということです。
統計学の手法としての「推定」と、認識の機能としての「推論」は異なるものです。
また、熱力学から生まれた「エントロピー」概念は、統計的「推計」手法とも、認識の「推論」能力とも、直接には関係がないように見えます。
あとで述べるように、Jaynesの「最大エントロピー原理」は、一見するとバラバラに見えるこれらを一つに束ねる強力な原理なのですが、これらを結びつけるものは、何なのでしょう？
それは、熱力学的エントロピーと情報論的エントロピーとが、同一のものであるという認識です。
1940年、それまでの熱力学的エントロピー概念の系譜とは全く独立に、Shannonが発見した「不確実さの関数」=「情報量」の概念に、「エントロピー」という名前をつけることを勧めたのは、Von Neumannだと言われています。
https://www.eoht.info/page/Neumann-Shannon%20anecdote
https://en.wikipedia.org/wiki/Talk%3AHistory_of_entropy
その時、その理由として、Von NeumannはShannonに次のように言ったそうです。
「第一に、その関数は、すでに熱力学ではエントロピーという名前で使われている。第二に、どうせ誰もエントロピーがどんなものかわかっていないんだから。もしも、君がエントロピーという言葉を使えば、いつだって議論に勝てるよ。」
Jayensの、大きな仕事の一つは、当時、Von Neumannぐらいしか明確な認識を持てなかった、二つのエントロピー概念の同一性を明確に示したことです。 （先の’anecdote’の記事の中にもJaynesの名前が出ています。）
Jaynesが、「最大エントロピー原理」を提唱したのは、1957年の二つの論文、「情報理論と統計力学」においてでした。簡単にその概要を述べてみたいと思います。
彼は、統計力学的エントロピーではなく、情報理論とそのエントロピーの役割に注目します。
「情報理論は、部分的な知識の上に、（新しい知識の）確率分布を設定する構成的な基準を提供する。そして、それは最大エントロピー評価という統計的推論の一つの型を導く。それは、与えられた情報についての最もバイアスの少ない評価である。すなわち、それは（部分的知識では）失われた情報に関しては、あいまいなものとして最大限コミットしないという評価である。」
Jaynesの基本的な主張は、情報理論が、ある「部分的な知識」から「新しい知識」を「推論」する枠組みを提供するというものです。
この出発点としての「部分的な知識」は、「与えられた情報についての最もバイアスの少ない」情報として特徴づけられてます。こうした特徴づけは、統計力学的特徴というよりは、情報理論的、もっと強く言えば、認識論的特徴です。
元の「部分的知識」の情報理論的エントロピーが最大である時、そのことから、「新しい知識」を推論する「統計的推論」のルールを導くことができると彼は言います。彼は、それを「最大エントロピー原理」と呼びます。
統計力学的エントロピーと情報理論的エントロピーが、基本的に同一であることが議論の出発点でした。ただ、エントロピーを情報理論の言葉である「情報」あるいは「知識」で置き換えることで、先のような議論が可能になるのはイメージとしてはわかると思いますが、まだ釈然としないことがあると思います。
例えば、ここで導かれた「統計的推論」というのは、客観的な物理学としての統計力学に根拠を持つことになるのでしょうか？ あるいは、こうした議論の物理学的側面と統計学的側面を明確に区別することはできるのでしょうか？
Jaynesの「最大エントロピー原理」は、これらの疑問にも答を用意しています。それについては、次の機会に触れようと思います。
-------------------------------------
ショートムービー「「最大エントロピー原理」とは何か？ -- 推計から推論へ 」を公開しました。
https://youtu.be/SCGbsKTX1Bg?list=PLQIrJ0f9gMcM1CSCpFfUuf25kD7b1JMM2
資料 pdf「 「最大エントロピー原理」とは何か？ -- 推計から推論へ 」
https://www.marulabo.net/docs/emergence/
コメント
コメントを投稿