「統計的推論」の新しい見方

【 「統計的推論」の新しい見方 】

このセッションでは、Jaynesが「最大エントロピー推論」という考えに至るまで、彼が「統計的推論」について考えたことを、もう少し追いかけてみようと思います。基本的には、1957年の Jaynesの論文 "Information Theory and Statistical Mechanics" からの引用です。

僕の興味で言うと、人間は「推論する能力」を持つ存在なのですが、その「推論する能力」は、生物の進化の過程で、ある時点で人類が突然獲得したようにも見えます。

もちろん、人間の「推論する能力」は、さまざまな過程が複雑に入り組んだマクロな現象です。もしも、そのマクロな現象の基礎に、ミクロなレベルでの必然性が働いているとしたら、我々の「推論する能力」の捉え方は、どのように変わるのでしょう？

Jaynesの議論は、その点ではとても示唆的です。後で見るように、Fristonも、こうした議論から大きな影響を受けています。

【 時代背景：統計力学の到達点 】

「最近、古典力学や量子力学の観点から統計力学の方法を正当化しようとした過去の試みを非常に包括的に調査したものが出版され、この分野の未解決の問題を強調する上で、非常に好都合な時期に大いに役立っている。」

「このテーマの研究は、何年ものあいだ取り組まれてきたにもかかわらず、物理学者にあらゆる面で確信を与えるような、ミクロな力学の法則からマクロな現象に進む議論の道筋がないという意味で、我々はいまだ、完全で満足のいく理論をもっていないのだ。」

「ギブスの統計力学には、古典力学の観点からは理解できないいくつかの困難があり、彼が構築したモデルを観測された事実に対応させる前に、古典力学の法則には含まれていない追加の制約を組み込む必要があった。

しかし、量子力学の発展により、当初は恣意的であった仮定が、現在では物理法則の必然的帰結とみなされるようになった。

このことは、統計力学がもはや物理的仮説に依存することなく、単なる統計的推論の一例となりうる状態に到達した可能性を示唆している。」

「現在がこれらの問題を再検討する好機であると考えられるのは、2つの最近の進展によるものである。

統計的手法は不可逆的過程を含む様々な具体的現象に適用されつつあるが、成功を収めた数学的手法はまだ統計力学の基本装置に組み込まれていない。

加えて、「情報理論」の発展が統計力学にとって大きな意味を持つと多くの人が感じているが、その具体的な適用方法は曖昧なままである。」

【 統計力学と情報理論 】

「これに関連して、次のことに注意する必要がある。

エントロピーを表す同じ数式が統計力学と情報理論の両方に現れるという事実だけでは、これらの分野の間に何のつながりもない。

これは、熱力学的エントロピーと情報理論的エントロピーが同じ概念に見えるような新しい視点を見つけることによってのみ可能である。」

「この論文では、統計力学の正当化の問題に情報理論を適用できるように、これを達成する統計力学の再解釈を提案する。」

「第2節で示されるようなエントロピーの最大化に関する数学的事実は、はるか昔にギブスによって指摘されていた。

しかし、過去においては、これらの性質は理論にとって本質的なものではなく、それ自体統計力学の方法を正当化するものでもない、副次的なものであった。」

【 推論を逆転する 】

「最近になってシャノンが、エントロピーの表現が熱力学とは全く独立した深い意味を持っていることを証明した。これにより、統計力学における通常の推論を逆転させることが可能になった。

以前は、運動方程式に基づいて理論を構築し、エルゴード性、計量的他律性、あるいは等しい先験的確率といった付加的な仮説を補い、エントロピーの同定は最後に、得られた方程式を現象学的熱力学の法則と比較することによってのみ行われていた。

しかし現在では、エントロピーを出発概念とすることができ、ある確率分布がある制約条件下でエントロピーを最大化するという事実が、その分布を推論に用いることを正当化する本質的な事実となる。」

「しかし、この視点の逆転がもたらす最も重要な結果は、概念的・数学的な単純化ではない。

上記のような物理的仮説への依存から理論を解放することで、統計力学をより一般的な観点から見ることができるようになる。その原理と数学的方法は、多くの新しい物理的問題を扱うために利用できるようになる。」

【 結論 】

「上記の議論において重要な点は、フォン・ノイマン・シャノンのエントロピーの式を、文字どおり、確率分布によって表される不確定性の大きさの尺度として受け入れることである。

さらに、統計力学の予測問題を主観的な意味で解釈し直せば、アンサンブルを考慮したり、エルゴード性や等しい先験的確率に関する通常の議論に訴えたりすることなく、非常に初歩的な方法で通常の関係を導くことができる。統計力学の原理と数学的方法は、従来の議論から想像されるよりもはるかに一般的な応用が可能であることがわかる。

予測の問題では、エントロピーの最大化は物理法則の適用ではなく、無意識のうちに恣意的な仮定が導入されていないことを保証する推論方法にすぎない。」

-------------------------------------

「創発について考える」セミナー申し込みページ
https://emergence-in-ai.peatix.com/

ショートムービー「 「統計的推論」の新しい見方」を公開しました。

https://youtu.be/NXZJo4mv9QQ?list=PLQIrJ0f9gMcM1CSCpFfUuf25kD7b1JMM2

資料 pdf「「統計的推論」の新しい見方」

https://drive.google.com/file/d/11mei4xPRLfA7lJUybXeuGhN-8mwN-KVn/view?usp=sharing

blog：「「統計的推論」の新しい見方 」　

https://maruyama097.blogspot.com/2023/07/blog-post_21.html

セミナー「創発について考える」まとめページ
https://www.marulabo.net/docs/emergence/

セミナー「創発について考える」に向けたショートムービー再生リスト
https://www.youtube.com/playlist?list=PLQIrJ0f9gMcM1CSCpFfUuf25kD7b1JMM2