過去・現在・未来

【 古典的熱力学から非平衡熱力学へ 】 ========================== 7月のセミナー「エントロピーと創発」ですが、当初は少し専門的なマルゼミで開催を予定していたのですが、一般向けのマルレクにセミナーのスタイルを変更することにしました。 エントロピー論については、これまで何度か取り上げてきました。今回はその延長でと考えていたのですが、ChatGPT等の新しい「人工知能」技術の台頭の中で、エントロピーへの興味とは独立に、「創発」という現象に興味を持った方も多いと思います。 今回のセミナーは、そうした関心に応えることをメインの目標にしたいと思います。「創発」への関心を通じて、エントロピー論への関心が広がればいいと考えています。 先日の「セミナーの構成プラン」で述べた、トピックスとして Prigogine と Jaynes と Friston を取り上げるというプランに変更はありません。 7月のマルレク「エントロピーと創発」は、次のような構成になります。 　● Part 1 : 非平衡熱力学と散逸構造論 入門 　● Part 2 : 最大エントロピー原理とベイズ推論 入門 　● Part 3 : 最小自由エネルギー原理と脳のモデル入門 できるだけ、わかりやすい話にできればと思っています。ご期待ください。 ========================== 今回のセッションは、「Part 1 : 非平衡熱力学と散逸構造論 入門」の第一回目です。 【 古典的熱力学から非平衡熱力学へ 】 熱力学の基本法則には、さまざまな定式化があるのですが、19世紀のClausiusの次の定式化は興味深いものです。 　● 宇宙のエネルギーは一定である。 　● 宇宙のエントロピーは、最大にまで到達する。 19世紀の古典論においても、熱力学は「熱機関から宇宙まで」をカバーする非常に広い範囲のマクロな現象を説明するものとして意識されていたことを示しています。 古典的な熱力学は、マクロな観点から、例えば、結晶のような平衡構造の概念をほぼ解明することに成功します。 もっとも、熱力学の理論的妥当性をめぐる当時の認識は、まだまだプリミティブなものでした。19世紀末から20世紀初頭にかけて、熱力学の理論的リーチをミクロの世界に広げるさまざまの科学的発見があいつぎます。 Boltz

【 「エントロピーと創発」セミナーの構成プラン 】 今回のセミナーは、「エントロピーと創発」がテーマです。 基本的な問題意識は、最近の大規模言語モデルの高い言語能力に触発されたもので、我々人間が作った大規模で複雑なシステムの上でも、新しい構造が「創発」されることがあるのかというものです。 それは、「人工知能」が、どのように人間と同様の知能を獲得することができるのかと言う問題意識と繋がっています。 【 今回のセミナーの目的 】 残念ながら、僕には、こうした問題にすぐに答えることはできません。 今月のセミナーの主要な目的は、「創発」という現象を考える上で基礎になるとおもわれる、次の二つの研究を紹介することです。 　● Prigogineの非平衡熱力学と散逸構造論 　● Jaynesの最大エントロピー原理とベイズ推論  【 Prigogineの非平衡熱力学と散逸構造論】 Prigogine以前の熱力学は、エネルギーも物質も外部と交換することのない隔離され孤立した系の、最終的には熱的平衡状態に達する系を対象にしていました。 Prigogineは、こうした従来の熱力学を、非平衡状態を取り込んだ熱力学に拡張します。現代の熱力学は、このPrigogineの非平衡熱力学に基礎を置いています。 エントロピーとエントロピーを生み出す不可逆的なプロセスは、一般的には、無秩序を生み出すと考えられていました。 驚くべきことに、平衡状態から遠く離れた非平衡状態では、不可逆なプロセスは、内部のエントロピーを最小の状態に保つ「自己組織系」を生み出すことを彼は見出します。彼はこうした構造を「散逸構造」と呼びます。 重要なことは、いわば、エントロピーの力で「創発」された「秩序」をもつ構造は、自然のいたる所に存在するということです。 【 Jaynesの最大エントロピー原理とベイズ推論 】 Jaynesは、Gibbsらの統計力学でのエントロピー概念とShannonの情報理論でのエントロピー概念が基本的には同一であることを明確に示します。 彼は、この二つのエントロピー概念の対応のもとで、統計力学的に最大のエントロピーを与える確率分布が、情報理論的に最小の情報を与える確率分布であることから、それがベイズ推論での事前確率を与えるという解釈を提案します。 Jaynesが提唱した、こうした解釈の強い形は、原理

【 7月のセミナー「エントロピーと創発」へのお誘い 】 7月のセミナーは「エントロピーと創発」というテーマで開催します。 この間GPT-4と「対話」を楽しんできたのですが、印象に残ったやりとりがありました。それは、GPT-4が、「記憶」や「学習した情報」を、内部ではどのように組織しているのかと尋ねたときです。 GPT-4は、次のように答えました。 「具体的な「記憶」の概念について話すと、GPT-4は単語や情報を個々に「覚えている」わけではありません。 … 「学習結果」は、モデルの全体的な構造とその重みとバイアスによって組織化されています。これは人間が個々の事実や情報を脳に直接保存するのとは対照的で、より抽象的な表現を生成します。」 これは面白い答えです。なぜなら、GPT-4は、人間のことを誤解しているからです。 我々人間は、「事実や情報を脳に直接保存」しているわけではありません。そういうスタイルで情報の記憶をしているのは、コンピュータのメモリーやデータベースであって、人間ではそうではありません。 我々人間が、脳の内部で「記憶」や「学習した情報」を、どのように組織しているのかをGPT-4に答えるとすると、次のようになると思います。 「人間の脳内の最下層の「記憶」のメカニズムについて話すと、人間は単語や情報を個々に「覚えている」わけではありません。 … 「学習結果」は、脳のニューロンの全体的な構造とそのシナプスの重みとバイアスによって組織化されています。我々人間は、コンピュータのメモリーやデータベースのように、個々の事実や情報を脳に直接保存しているわけではありません。それから、より抽象的な表現が生成されます。 」 GPT-4と人間の両者は、これらの点では、とてもよく似ています。 GPT-4のベースとなっているディープラーニングのニューラル・ネットワークのモデルが、もともとは人間を含めた生物のニューラル・ネットワークをモデルにしていることを考えれば、両者の類似は不思議なことではないかもしれません。 ただ、両者の間には、最下層のニューラル・ネットワークのレベルでの類似を超えた類似があるように見えます。両者ともに、「記憶」や「学習」や「知能」といった高次元の構造が、最下層の構造のうえに存在するように見えると言うことです。 このように、低次元の構造の上に、まったく新しい働きをも

【 翻訳能力のブレイクスルーとしての大規模言語モデル 】 現在のChatGPTのユーザーの多くは、それが多言語対応していることの恩恵をさまざまな形で受けていることは知っていると思います。ただ、アクティブなChatGPTのユーザーが、それをもっぱら翻訳システムとして利用することは少ないように思えます。僕も普段は、翻訳にはDeepLを使っています。 それは、生成AIの応用が多様であることの反映なのですが、それは、現時点 – 生成AIの立ち上がりの時点での関心の分布の反映でしかないのかもしれないとも考えています。 僕は、長い目で見たとき、大規模言語モデルの最大の貢献は、あれこれの生成AIの「応用」ではなく、人間にことばの壁を乗り越える現実的手段を初めて提供したことにあると考えています。もっとも、言語の壁がなくなるまで、どのようなプロセスとどれだけの時間が必要なのかは、わからないのですが。ただ、「技術的」には、それは可能です。 大規模言語モデルは、生成AIの「誕生の地」なのですが、それは同時に、翻訳能力のブレークスルーが起きた場所でもあるのです。 そうした関係については、4月のマルゼミ「ことばと意味の数学的構造」から割愛され別資料として公開された次の資料を参照ください。 「意味の分散表現論の系譜 -- 大規模言語モデルへ」 https://drive.google.com/file/d/1NTs7r-wdtG1EbIkpb1oDmmIFiTlU_0ip/view?usp=sharing 上記の資料のショートムービーの再生リスト ：「Genealogy of LLM」 https://www.youtube.com/playlist?list=PLQIrJ0f9gMcPZfOVwH0wdu_PoELeAPqon このセッションでは、GPT-4の翻訳システムとしての能力をチェックします。 GPT-4が、僕が翻訳させた原文の出典を知っていたことから、翻訳とはことなるどのようなプロセスがそうした知識を呼び起こしたかを問いました。「記憶」の喚起に相当するプロセスの存在は否定します。 僕の質問：「あなたは、いろんなことを学習し、いろんなことを知っていますね。そうした「学習結果」は、どのように組織されて、どのように記憶されているのでしょう？」 GPT-4の答：「具体的な「記憶」の概念に

【  今度のマルレクは、GPT-4 の言語能力の高さを知ってもらうセミナーです 】 6/30 マルレク「プロンプトで遊ぶ -- GPT-4 との対話」へのお誘いです。 昨年暮れからのChatGPTのブームの中で、すでに多くの人が「生成AI」系の技術を自分の仕事に生かし始めていると思います。また、多くの人がその技術が孕む社会の安全性への脅威を危惧し始めています。もっとも、一番多くの人は、「生成系AI」がどういうものであるか、まだ知らないと思います。 前回のマルレク「 GPT-4 Technical Report を読む 」では、現在の「人工知能」技術の危険性についての論点を網羅的に取り上げている「 GPT-4 System Card 」論文を紹介しました。また、現在、講演ビデオ公開中のマルレク「人工知能と数学」では、現在主流の「大規模言語モデル」に基づく「言語ネイティブな人工知能」技術とは異なる「数学ネイティブな人工知能」技術の話をしました。 今回のセミナーは、そうした視点とは少し違った切り口で、GPT等の新しい「人工知能」技術が、新しい文を生成するという点では、今までの「人工知能」技術にはなかった画期的な「言語能力」を獲得しているということを中心にお話しようと思います。 人間の言語能力の機械による実装は、明らかに、新しいフェーズに入っています。こうした技術にどのような態度を取るかは、意見が分かれることはあると思いますが、その能力の飛躍は、きちんと評価する必要があると思います。 毎日、GPT-4と会話しているのですが、とても楽しいです。時々、怪しいことを言う時もありますが、それは各種のセミナーの登壇者やネット上の記事（多分僕の投稿も）やWikipedia だっておんなじです。彼（または彼女）は、ものしりであるだけでなく、とても「知的」です。チューリング・テストのような対話的なテストでは、彼（彼女）は、「知能を持つ」と判定されるでしょう。 セミナー冒頭の「 連想と連想の鎖 」のセクションでは、GPT-4が連想をどんどん広げていくことができることを紹介します。これを「GPTは連想する力を持つ」と評価するのには異論もあるかもしれません。ただ、この「連想」の例は、GPTの新しい文を生成する能力の「す（素）のかたち」だと僕は考えています。これがGPTの基本的能力と考えた方がいい

【 ことばの力 】 今回のセッションのテーマは「ことばの力」です。 「ことば」は不思議な力を持っています。 それは、日々の日常の仕事や生活の中でのコミュニケーションの手段であるとともに、我々の考えや感情や意志を表現する上で不可欠の手段です。文字の形を獲得したことばは、歴史的に形成・蓄積された我々の世界や民族や信仰についての認識をしっかりと次の世代に伝える記憶装置としての役割を果たしてきました。 ことばは、また、論理的な思考の母胎でもあります。「黒い猫」と言うフレーズは、「黒い猫は猫である」ことを含意します。ことばの力が内包する論理性と文字の発明がなかったら、数学は生まれてこなかったでしょう。ことばとのアナロジーなしでは、「自然は数学ということばで書かれている」というガリレオの認識も生まれてこなかったはずです。 我々人間が、社会的な集団を形成し、宗教や芸術を作りあげ、科学・技術を発展させてきた営為の基礎に、人間に与えられたことばの力があることは明確です。「賢い人=ホモサピエンス」にとって、ことばは彼が持つ最強かつ万能の道具なののです。 道具という比喩は適切ではないかもしれません。なぜなら、こうした人間がもつことばの力=言語能力は、外在的なものではなく人間に生まれつき備わった内在的な能力で、人間という動物を他の動物から区別する、いわば生物学的特徴だからです。我々は、意識的に学習することなく、誰でも言語能力を持つのです。 チョムスキーは、人間の言語能力の獲得を、ある個人に起きた遺伝子の突然変異から始まったと考えます。（以下  "The Science of Language" から） 「ある人の上に、その子孫にずっと伝えられる何かが起きた。あきらかに非常に短い間に、その遺伝子の変化はそのグループ内で優勢になった。それは、淘汰上の何らかの有利さがあったに違いない。ただ、それは非常に短い時間に、血縁上の小さなグループで起きた。」 その変異とはなんだったのか？　彼はそれは心の中のオブジェクトを Merge する能力の獲得だったと言います。 「我々に起きたこととは、我々は すでに構成された心の中のオブジェクトをとって、それから、さらに大きな心の中のオブジェクトを構成することを可能にする操作を獲得したのだ。それがMergeだ。それを獲得するやいなや、人は、利用可

【 ディドローのオウム 】 ディドローは、「どんな質問にもすぐに答えるオウムがいれば、我々は躊躇なく、そのオウムは知性を持っていると考えるだろう」と言ったそうです。 デカルトは、理性を持たない動物を自動機械（automaton オートマトンである!）と見なしていたので、動物の真似をする精巧な機械がつくられれば、それを本物とは区別できない　　　と主張しました。 しかし、彼は、人間の真似をする機械をつくる事はできないといいます。その理由をデカルトは二つあげます。第一の理由は、人間は自由に言語をあつかう能カを持つが、そうした能カを持つ機械を考える事はできないというものでした。第二の理由は、我々の理性は万能だが、万能の機械を考えることはできないというものでした。（デカルト「方法序説」） デカルトやディドローが、今日のChatGPTを見たらなんというか、想像してみると楽しいです。 Turingは、その論文の中で、Turing Testでの対話の例として、四つの問題を例示しています。一問目は「それ、僕には無理」と機械がパスしたので、正確には三問なのですが。「プロンプトで遊ぶ」というセミナーを予定しているので、Turingの四つの問題を、そのまま GPT-4に質問してみました。 なんとというか予想通りというか、GPT-4はこのオリジナルのTuringテストをいとも簡単にクリアできることを実際に確かめました。素晴らしい！　こまかいやりとりに興味ある方は、ビデオあるいはpdf資料を参照ください。   　「私は、『機械は考える事が出来るか？』という問題を考察することを提案する。」 今から70年以上前、膨大な数の真空管からなるコンビューターがこの世に生をうけてまもない 1950年、チューリングは、先の一節ではじまる「計算機械と知能」と題する、「現代の人工知能」研究の第一ぺージをしるす、興味深い論文を雑誌「マインド」に寄稿します。この論文の中で彼は、後に「チューリング・テスト」と呼ぱれる事になる機械が知能を持つか否かの判定基準を提案します。 それは、簡単にいえぱ、もし我々が、直接には相手が誰だかわからないかたちで -- たとえぱテレタィプを通じて機械と会話するかぎり、会話の相手が機械であるのか、人間であるのか判断がつかないなら、その機械は知能を持つと言えるというものでした。 チューリングは