過去・現在・未来

【 「統計的推論」の新しい見方 】 このセッションでは、Jaynesが「最大エントロピー推論」という考えに至るまで、彼が「統計的推論」について考えたことを、もう少し追いかけてみようと思います。基本的には、1957年の Jaynesの論文 " Information Theory and Statistical Mechanics " からの引用です。 僕の興味で言うと、人間は「推論する能力」を持つ存在なのですが、その「推論する能力」は、生物の進化の過程で、ある時点で人類が突然獲得したようにも見えます。 もちろん、人間の「推論する能力」は、さまざまな過程が複雑に入り組んだマクロな現象です。もしも、そのマクロな現象の基礎に、ミクロなレベルでの必然性が働いているとしたら、我々の「推論する能力」の捉え方は、どのように変わるのでしょう？ Jaynesの議論は、その点ではとても示唆的です。後で見るように、Fristonも、こうした議論から大きな影響を受けています。 【 時代背景：統計力学の到達点 】 「最近、古典力学や量子力学の観点から統計力学の方法を正当化しようとした過去の試みを非常に包括的に調査したものが出版され、この分野の未解決の問題を強調する上で、非常に好都合な時期に大いに役立っている。」 「このテーマの研究は、何年ものあいだ取り組まれてきたにもかかわらず、物理学者にあらゆる面で確信を与えるような、ミクロな力学の法則からマクロな現象に進む議論の道筋がないという意味で、我々はいまだ、完全で満足のいく理論をもっていないのだ。」 「ギブスの統計力学には、古典力学の観点からは理解できないいくつかの困難があり、彼が構築したモデルを観測された事実に対応させる前に、古典力学の法則には含まれていない追加の制約を組み込む必要があった。 しかし、量子力学の発展により、当初は恣意的であった仮定が、現在では物理法則の必然的帰結とみなされるようになった。 このことは、統計力学がもはや物理的仮説に依存することなく、単なる統計的推論の一例となりうる状態に到達した可能性を示唆している。」 「現在がこれらの問題を再検討する好機であると考えられるのは、2つの最近の進展によるものである。 統計的手法は不可逆的過程を含む様々な具体的現象に適用されつつあるが、成功を収めた数学的手法はまだ

【 「局所平衡仮説」の導入と不可逆過程の熱力学の基本式 】 今回のセッションでは、プリゴジンの非平衡熱力学の基礎となった系のエントロピー生成の基本式の定式化の話をしようと思います。 その話に入る前に、前回、途中まで述べかけたLyapunov関数の話を続けようと思います。 エントロピーSは孤立系に対するLyapunov関数です。ヘルムホルツ自由エネルギーやギブス自由エネルギーなどの熱力学ポテンシャルも、また、Lyapunov関数であることは、先のセッションで見てきました。 これらすべての場合において、系は熱力学的ポテンシャルの存在を特徴とする平衡状態へと発展します。平衡状態は、非平衡状態がそれへと引き寄せられる「アトラクター」なのです。 【 Lyapunov関数と系の安定性 】 Lyapunov関数とは、力学系で定義される連続なスカラー関数$V$で、$y≠0$の時、常に正の値を取る関数のことです。 「連続なスカラー関数$V$」はポテンシャルの関数として解釈できます。 スライドに、Lyapunov関数 $V$が位置エネルギーであるときに、高い場所に置かれた物体は不安定で、位置エネルギーを運動エネルギーに変えて、位置エネルギーは最小の位置である平衡点に移動しようという傾向を持つことを絵にしてみました。この平衡点で物体は安定します。Lyapunov関数は、系の「安定性」に関わっています。 系の「安定性」の議論は、プリゴジンの非平衡熱力学の重要な概念である、「ゆらぎ」「分岐」「散逸構造」に繋がっていきます。それらは、生命過程を一つのモデルとする「自己組織系」の「創発」を基礎付けるものです。 【 非平衡の熱力学の基本式 】 先のセッションでは、エントロピーの生成を表す式として$𝑑_𝑖 𝑆≥0$を考えていたのですが、この不等式から得られる情報は、平衡状態$𝑑_𝑖 𝑆=0$が与える情報に比べても、とても少ないものです。 熱力学第二法則の不等式による定式化は、通常の意味で明確に定義された理論というよりは、(符号を除いて) エントロピーの生成については正確なことは何も語っていないことに注意する必要があります。この不等式の有効範囲さえも特定されていないのです。 これが、熱力学の応用が基本的に平衡過程に限られていた主な理由の一つです。熱力学を非平衡過程に拡張するには、エントロピ

【 自由エネルギーと脳】 今回のセッションでは、現在、脳研究の新しいフレームとして注目を集めているFristonらの研究の概要を紹介します。基本的には、論文の引用です。 依拠したのは、彼らの初期の論文 “Free-Energy and the Brain” (2007年) です。 https://link.springer.com/article/10.1007/s11229-007-9237-y 　 【　Helmholtzの知覚論-- 「無意識的推論」 】 「ヘルムホルツは、視覚的印象の形成は主に無意識の判断によって達成され、その判断結果は「一度も意識的判断の平面に昇格することができない」ため、「意識的思考の浄化と精査の作業を欠いている」。にもかかわらず、無意識の判断結果は意識的な制御を受けにくく、矛盾に強いため、「取り除くことは不可能」であり、「その影響を克服することはできない」　とした。  その理由は、視覚的な感覚的印象が神経学的に処理される方法にある、とヘルムホルツは示唆した。意識的な熟考を担う高次皮質中枢は、視覚的印象の形成には関与していない。 しかし、このプロセスは自発的かつ自動的であるため、私たちはどのようにして判断に至ったかを説明することができない。なぜなら、無意識的な結論の結果は、「あたかも外部の力がわれわれを拘束するかのように、いわばわれわれの意識に促されて、われわれの意志ではどうすることもできない」解釈だからである。」 【　Helmholtzの知覚論の影響 】 細胞や脳のような自己組織化する生物学的システムは、変分自由エネルギーを最小化するものとして理解できるという考え方は、無意識の推論に関するヘルムホルツの観察と、それに続く心理学や機械学習における研究に基づいている。 「ヘルムホルツに倣い、我々は人間の知覚システムを、感覚入力の原因を推論する統計的推論エンジンとみなす。この種の装置は、教師が各感覚入力ベクトルにその根本的な原因をラベル付けしなくても、これらの推論を実行する方法を学習できることを示す。」 Dayan, P., Hinton, G. E., & Neal, R. (1995). The Helmholtz machine. Neural Computation , 7, 889–904. https://en.wi

【  Gibbsの方法の不思議なパワー】 Jaynesの「最大エントロピー原理」の提唱には、先行した理論的なモデルがあります。彼にインスピレーションをあたえたのは、統計力学で行われたある巧妙な計算の方法でした。この計算を行ったのは、Gibbsです。 「統計力学的エントロピー = 情報理論的エントロピー」という同一性に基づき、彼はGibbsの強力な統計力学的導出に情報理論的推論という解釈を与えたのです。 このセッションでは、Gibbsが行った計算の例を見てみようと思います。 彼が考えたのは、次のような問題です。 「観測によって、ある系の平均エネルギーがEであることを知っているとしよう。もし、我々が知っていることが、この E だけだとしたら、我々はこの系のエネルギーの分布について、なにか知ることができるだろうか？」 それは、ある人の支出の総計が与えられたとして、それだけから、その人の支出の構成を予測しなさいという問題に似ているかもしれません。 Gibbsの方法は、不思議なパワーを持っています。Gibbsは、一見すると不可能のように思える、与えられたエネルギーの観測値からそれが従う分布式を導くことができることを示したのです。（不思議と言っても秘密の方法ではなく、統計力学の教科書には大抵載っていると思います。） まず、与えられている情報を整理してみましょう。 ある系の部分系のエネルギーを E_i とし、系のエネルギーの確率分布を𝑝_𝑖とします。この時、この系のエネルギーの平均値はEであるという条件は次の式で表すことができます。 　　∑ 𝑝_𝑖 𝐸_𝑖 = 𝐸 出発点で与えられているのは、この情報だけのように見えます。 ただ、もう一つ、我々が知っていることがあります。それは、𝑝_𝑖は確率なので、それらの和は1になるという、ある意味自明の関係です。 　　∑ 𝑝_𝑖 = 1 Gibbsは、このように、与えられた情報の不足を、利用できる他の情報で補おうとします。 次に彼は、系のエントロピーSに注目します。もっとも、エントロピーSの値をなんとかして観測しようというのではありません。エントロピーSの定義式の形に注目するのです。 Gibbsは、利用できる情報をまとめて一つの式をたてます。基本的には、S = S + α[...] + β[...] という形の式なので

【 エントロピーの生成】 前回見たように、古典的な熱力学では、ある系のエントロピー𝑆は、次の式で特徴づけられます。それを熱力学の第二法則と言います。 　　𝑑𝑆 ≥ 0 古典的な熱力学は、エントロピーが定義されている系が外部の世界とエネルギーや物質を交換することを想定していません。 ですので、古典的な熱力学での第二法則は、孤立した系では、熱力学的平衡状態と呼ばれるエントロピーが最大の値を取るまでエントロピーは単調に増大することを意味します。 古典論での孤立した系のエントロピーの変化𝑑𝑆を、「外部」を持つ系に拡張することは容易です。 𝑑_𝑒𝑆を、系が外部との境界を通じて外部と交換するエントロピーの変化とし、 𝑑_𝑖𝑆を系の内部で生成されるエントロピーの変化として、 　　𝑑𝑆 = 𝑑_𝑒𝑆 + 𝑑_𝑖𝑆 と表せばいいのです。 エントロピーの変化が 𝑑𝑆 = 𝑑_𝑒𝑆 + 𝑑_𝑖𝑆 で表される時、 一般的には、𝑑𝑆 ≥ 0 は成り立ちません。 この時、外部を持つ系のエントロピーの変化を表す第二法則は、次の式で表されることになります。 　　𝑑_𝑖𝑆 ≥ 0 ここでは、可逆過程と不可逆過程の区別が重要です。不可逆過程のみが、エントロピーの生成に寄与します。 明らかに第二法則は、不可逆過程が時間の流れの一方向性を導くという事実を表現しています。時間の正の方向がエントロピーの増大に関連しています。 次に、その中で第二法則の時間の一方向性が表れる、もっと強くかつ特別な方法を紹介したいと思います。 この定式化に従えば、孤立した系では、それは時間の中で増加するだけであるという事実で表現される特別な性質を持つある関数の存在が導かれます。 このような関数は、Lyapunovの研究によって始まった「安定性理論」において重要な役割を果たします。このため、これらの関数はLyapunov関数と呼ばれています。 エントロピーSは、孤立した系のLyapunov関数です。HelmhortzやGibbsの自由エネルギーといった熱力学的ポテンシャルも、ある「制約条件」のもとで、 Lyapunov関数になります。 ------------------------------------- ショートムービー「 エントロピーの生成 」を公開しまし

【 脳研究の動向】 セミナーのこのパートでは、Fristonらの「脳の理論モデル」を紹介しようと思います。 ただ、今回のセッションでは、 本論の「脳の理論モデル」の話に入る前に、2014年にEUの “Human Brain Project” で起きた、脳研究の方法をめぐる大きなトラブルと“Human Brain Project”の一時的挫折を振り返ってみようと思います。 それは、今回取り上げる「脳の理論モデル」への関心の高まりの、背景の一因だと、僕は考えています。 【 10年前の脳研究の失敗を振り返る 】 10年前の脳研究を振り返る時、そこには、新しい研究手法への期待があったことがわかります。一つは、非侵襲的な脳のモニター技術が大きく進化したことです。脳の血流を、MRIやCTよりもはるかに正確に、かつリアルタイム(200ms間隔)に、観察する新技術が登場します。 もう一つは、DNAシークエンサーの性能が飛躍的に進歩します。最初のヒトゲノムの解析には、10年と30億ドルかかりました。2010年までには、ヒトゲノムの解析は、一ヶ月以内で3万ドルで出来るようになりました。 2013年当時は、ヒトゲノムの解析は、数日で4000ドル以下で出来ます。DNAシーケンサーのコスト・パフォーマンスは、コンピュータでのMooreの法則よりも速いスピードで向上しているといいます。 当時 Blue Brain Project を率いていた、Henry Markramは次のように語っていました。 「私は、脳のモデルが欲しかった。なぜなら、我々は脳を理解していなかったからだ。」 「あるものがどう動いているのかを理解する最良の方法は、それをスクラッチから作ってみることだ。」 彼のリーダーシップの下に、2013年10月、EU Human Brain Project が立ち上がります。10年間で総額12億ユーロが投じられる一大プロジェクトでした。その「ビジョン」は、次のようなものでした。 「 人間の脳を理解することは、21世紀の科学が直面している最も偉大な挑戦の一つである。もしも、我々が、それに対して立ちあがることが出来るならば、我々は、我々を人間にしているものが何であるかについて深い洞察を得て、革命的なコンピュータ技術を構築し、脳の異常に対して新しい治療法を開発出来るだろう。今日、初めて、現代

【 「最大エントロピー原理」とは何か？ -- 推計から推論へ 】 ============================== 今回は、少し情報発信の順序を変えようと思っています。 今回のセミナーは、Part 1, Part 2, Part 3 の三部構成を予定しているのですが、今までだと、Part 1-1, 1-2, 1-3, ... ;  Part 2-1, 2-2, 2-3, ... ;  Part 3-1,  3-2, 3-3 ... のように、各 Partの展開が終わってから、深さ優先で次のPartに移っていました。 今回は、1-1, 2-1, 3-1, 1-2 ; 2-2, 3-2 ;  1-3, 2-3, 3-3 ; ... のように、巾優先で情報発信をしたいと思っています。 そのほうが、概説から細かい議論に進みますので、セミナー全体の趣旨が、分かりやすいのではないかと考えたからです。また、最後のPartが時間切れでしりきりトンボになることは避けられそうです。やってみないと分かりませんが。 ですので、次回は、Part 3 の概説をする予定です。 ============================== このセッションでは、Jaynesの「最大エントロピー原理」を紹介します。 サブタイトルの「推計から推論へ」の「推計」も「推論」も、英語では “inference” ですので、このサブタイトルを英語に翻訳すると、奇妙なことになります。 ただ、このサブタイトルで示したかったことは、Jaynesの関心は、統計学の「推定」の手法に限られていたわけではなく、もっと広い人間あるいは生物の認識の方法としての「推論」にあったのではということです。 統計学の手法としての「推定」と、認識の機能としての「推論」は異なるものです。 また、熱力学から生まれた「エントロピー」概念は、統計的「推計」手法とも、認識の「推論」能力とも、直接には関係がないように見えます。 あとで述べるように、Jaynesの「最大エントロピー原理」は、一見するとバラバラに見えるこれらを一つに束ねる強力な原理なのですが、これらを結びつけるものは、何なのでしょう？ それは、熱力学的エントロピーと情報論的エントロピーとが、同一のものであるという認識です。 1940年、それまでの熱力学的エントロピー概念の系譜