過去・現在・未来

  【 5月のマルレク「GPT-4 Technical Report を読む」の講演ビデオと講演資料を公開しました 】 5月に開催したセミナー「GPT-4 Technical Report を読む」は、今年(2023年) 3月に発表されたOpenAIのレポート"GPT-4 Technical Report" を紹介したものです。このレポートは、現在のいわゆる「生成AI」技術の到達点と問題点を知る上で、もっとも基本的なドキュメントの一つだと僕は考えています。 このOpenAIのレポートは、少し奇妙な構成をしています。"GPT-4 Technical Report" と名付けられたレポート本体の「付録 Appendix」に "GPT-4 System Card" という奇妙な名前の別の論文が添付されています。しかもこの付録の文書の方が、本体の文書よりはるかに大きいのです。 問題は、付録の文書の大きさではありません。 この "GPT-4 System Card" は、その冒頭のAbstractで次のように述べます。 「このSystem Cardは、GPTファミリーの最新LLM、GPT-4を解析する。このモデルの限界（微妙に偽りのある説得力のある文章を作成する）と能力（不正なアドバイスを巧妙に提供する、商業的だけでなく軍事的にも両面で性能を発揮しうる、非常時の危険な振る舞いなど）がもたらす安全上の課題を明らかにする。  ・・・ 私たちの緩和策やプロセスは、GPT-4の挙動を変化させ、ある種の悪用を防ぐことができるものの、その効果は限定的で、ある場合には脆いままであることを実証した。これは、先を見越しての計画とガバナンスの必要性を指摘するものである。」 この文書は、GPT-4の脆弱性を「実証」し、さらなる対策の必要性を指摘した重要な文書なのです。残念ながら、この文書の重要性は、あまり広く知られていないように思います。 自分の仕事にとっての生成AIの「能力」にだけ関心のある人が、生成AIが他の分野でもたらす可能性のある「安全性への危険」に大きな興味を持たないのは、ある意味仕方がないことかもしれません。 しかし、その点では、僕は、OpenAIが "GPT-4 Technical Report

【 おわりに -- 今後の展望について 】 最初に、今回取り上げたトピックについて、補足したいと思います。 今回のセミナーは、人工知能上で創発が起きるのかという問題意識に触発されたものですが、ここで取り上げたトピックは、散逸構造の遍在や新しい推論能力の生成や人間の脳の進化を対象としたもので、人工知能を対象にしたものではありません。 取り上げたトピックは、主要にエントロピー論との関連で、新しい構造・新しい機能の発生について論じたものです。ただ、これらのトピックスは、新しい創発について考える上での参考になると僕は考えています。 すでにプリゴジンが論じたように、こうしたエントロピーによる新しい構造の生成は、不可逆な過程が生み出すもので、決定論的で可逆な法則に支配される「機械」の中では起こりません。 どんな大規模なコンピュータシステムでも、どんなに長いこと電源を入れていたとしても、100万年後にその中から新しいコンピュータシステムの赤ちゃんが自発的に産まれることはありえません。 ただ、コンピュータの中で生成される情報の世界は、コンピュータそのものとは異なるものだと思います。もしも、それが明確な「存在する過程」として形を取りうるなら、新しい構造・新しい機能が生まれる可能性はあるかもしれないと考えています。 熱力学やエントロピーというと、何か古い学問だというイメージがあるかもしれません。でも、それは誤解だと思います。 19世紀の熱力学は統計力学に姿を変え、20世紀の量子論の登場を準備しました。ただ、量子論によって、ミクロの世界とマクロな世界のリンクが完全に解明されたわけではありません。宇宙のようなマクロな世界を支配する重力理論と量子論との統合は、まだ未解決の課題です。 量子論と相対論の統一の研究の中で注目されているのが、量子情報理論です。それは、シャノンの情報理論の洗礼を受けた、熱力学の直系の子孫に他なりません。 【 創発と還元 】 僕は、創発という現象に興味を持っています。ただ、そうした現象に興味を持つことと、そうした現象の根拠を問うこととは、別のことだと考えています。 創発という現象への関心は、それだけだと我々の認識の発展に大きく寄与することはないと感じています。我々の認識が飛躍的に発展するのは、現象の背後にある根拠が明確になった時です。 それは科学では一般には、上位の階層

【 こころの時間の数学】 このセッションでは、前回に引き続き、Fristonの 「こころの時間の数学」の後半の紹介をします。 タイトルには「数学」という言葉が入っているのですが、ここには全く数学の話は出てきません。とても平易な文章です。 少し長くなりましたが、ぜひ、スライドのpdfで、ゆっくりお読みください。 ------------------------------------- 「創発について考える」セミナー申し込みページ https://emergence-in-ai.peatix.com/ ショートムービー「 こころの時間の数学」を公開しました。 https://youtu.be/3AQe8XDAKT4 ?list=PLQIrJ0f9gMcM1CSCpFfUuf25kD7b1JMM2 資料 pdf「こころの時間の数学」 https://drive.google.com/file/d/13jqqlaWEkByjbqoG_sOCotoySOcfUO2k/view?usp=sharing blog：「 こころの時間の数学 」　 https://maruyama097.blogspot.com/2023/07/blog-post_267.html セミナー「創発について考える」まとめページ https://www.marulabo.net/docs/emergence/ セミナー「創発について考える」に向けたショートムービー再生リスト https://www.youtube.com/playlist?list=PLQIrJ0f9gMcM1CSCpFfUuf25kD7b1JMM2

【 今回のマルレクへの参考文献 】 hrk. さんが、note で今回のマルレクへの参考文献をまとめてくれていました。 「ChatGPT、エントロピー、ゆらぎと非平衡、そして脳の自由エネルギー原理」 https://note.com/mhrk/n/n6069b4baae82 ありがたいことです。 hrk. さんから引用の許可をえることができましたので、今回のマルレクへの参考文献として紹介したいと思います。 Part 1:「非平衡熱力学と散逸構造」-- Prigogine(プリゴジン) イリア・プリゴジン(男性です)は非平衡熱力学研究で知られる化学者・物理学者です。プリゴジンは、対象に化学平衡を扱うことが多く、どちらかというと化学熱力学に相当するため、物理の方には馴染みがないかもしれません。1977年にノーベル化学賞(散逸構造の理論)を受賞されています。プリゴジンの物理学的業績では、物理学上の未解決問題である「 時間の矢 」についての考察の方が、物理の人には知られているかもしれません。 プリゴジン、その人と思想・理論について 北原和夫,プリゴジンの考えてきたこと,岩波科学ライブラリー,1999 新版,2018 著者である北原和夫先生はプリゴジン(ベルギー・ブリュッセル自由大学)に師事しました(1971-1974年)。北原和夫先生は非平衡物理を専門とされており、単著で『 非平衡系の統計力学 』を書かれています。 散逸構造、複雑系について プリゴジン,混沌からの秩序,みすず書房 プリゴジン,複雑性の探究,みすず書房 時間の矢について プリゴジン,確実性の終焉-時間と量子論、二つのパラドクスの解決,みすず書房 大学で専門的に熱力学・統計力学を学ばれた方には、 イリヤ・プリゴジン,存在から発展へ【新装版】,訳:小出 昭一郎, 安孫子 誠也,みすず書房 イリヤ・プリゴジン,現代熱力学：熱機関から散逸構造へ,朝倉書店 また、 A・カチャルスキー,ピーター・F・カラン生物物理学における非平衡の熱力学 【新装版】,みすず書房,2017 が、アドバンスドな熱力学、量子統計力学、非平衡物理の本として参考になります。ただし、これらの書籍で述べられる非平衡系の研究は、プリゴジン以降、近年まで進展が芳しくありませんでした。 しかしながら、ここ数年、精力的な研究が進められて、成果が出つつあるよう

【 コンピュータ上では「創発」は起きそうもないこと 】 今回のセッションでは、プリゴジンの「機械と生物」との違いについての議論を紹介します。 依拠したのは、プリゴジンの死後(2003年）に第二版が出た、 “ Modern Thermodynamics -- From Heat Engines to Dissipative Structures”です。（第一版は、1998年出版されました。） プリゴジンの「散逸構造論」は、オープンな系での「自己組織」構造の自発的な発生を非平衡の熱力学で基礎付けたものです。彼の散逸構造論は、分子から宇宙の構造まで、非常に広い範囲の現象に適応可能です。 この本の、「生物の熱力学的理論に向けて」という節は、生物に焦点を合わせて、生物の生み出す散逸構造を論じたものです。この中で、彼は生物と機械との区別を論じています。 ここでの彼の議論は、「機械自身の運動からは、散逸構造のような新しい構造は生まれない」と言っているのだと思います。それは正しいものだと思います。 以下、彼の議論を紹介します。「機械」というのを「コンピュータ」に置き換えて読むといいと思います。また、「生物」の発生についても、まだまだ不完全な理論しか持っていないことが強調されていることに留意ください。 【 機械と生物 】 「機械の組織、その構造と機能は、機械の外部のプロセスから生まれる。そのため、これまで遭遇したことのない機械に遭遇したとき、それを分解し、その構成部品がどのように作られ、配置されているかを分析することで、私たちは機械を作る方法を得ることができる。」 「生物はそうではない。私たちは100年以上にわたって、生きた細胞の構造と組織について分析を行ってきた。分子レベルに至るまで、その構成については膨大な知識を持っているにもかかわらず、生きた細胞の作り方や、それに漠然と似た細胞の作り方すら知らないのだ。」 「生物は、不可逆的な内部プロセスによってもたらされる自己組織化に基づいている。機械の組織は、機械の外部にあるプロセスからもたらされ、理想的な機械は可逆的である。私たちはまだ、不可逆的過程とそこから生まれる自己組織化に基づく技術を開発していない。50年以上前に始まった散逸構造の研究は、生物を生み出すプロセスについての洞察をまだ得られていない。」 「機械と生物になぜこのような違

【  Jaynesは、どのように Bayes に接近したのか 】 今回のセッションでは、JaynesがどのようにBayesに接近したのかを考えます。 前回紹介したJanesの 「MAXENT – 最大エントロピー原理」は、ある系に対する現在の認識の状態を最もよく表現する確率分布は、もっともエントロピー の大きいもの、すなわち、もっともその系の情報が少ない確率分布だと考えようと言うことを表しています。 ある系に対する認識が発展するのなら、その認識の発展は、現在の系が含んでいる最少の情報（それは最大のエントロピーを持ちます）からも得られるはずだと言うことです。それは、私たちの「推論」の原理としても理解できます。 「推論」は「認識の発展」に他なりません。 【 確率分布が先か、情報が先か？ 】 ある確率分布 $p_i$が与えられた時、そのエントロピー S は、ある意味自動的に与えられます。ただ、どんな確率分布についても、アプリオリに一つのエントロピーが先の公式で天下り的に定まるということに、すこし違和感を持つ人がいるかもしれません。 そもそも、確率分布がアプリオリに与えられるものかは、自明ではありません。 そういう人には、次の「相対的なエントロピー」という考え方の方が、納得が行きやすいと思います。「エントロピー」は、絶対的な確定したものではなく、事前に知っていたこととの関係で決まる、相対的なものだと考えるのです。 事前に知っていた確率分布をpとし、実際に、観測して得られた新しい確率分布 qとします。 この時、次の式で確率分布pに対する確率分布qの「相対エントロピー」 $H_rel (q,p)$を定義します。$$H_{rel}=\sum_x q(x) \log \frac { p(x) }{ q(x) }$$ 確率分布pに対する確率分布qの「相対エントロピー」を $𝐻(𝑞(𝑥)||𝑝(𝑥))$ と表すことがあります。 確率分布pに対する確率分布qの相対エントロピー$H(q||p)$で、 　　p を、「事前確率」 = ‘Prior’ 　　q を、「事後確率」 = ‘Posterior’ と呼びます。 こうした考え方は、Bayesianのものです。 「相対エントロピー」というのは、アプリオリな「シャノンのエントロピー」を、Bayesianの考え方で、相対化したエントロ