過去・現在・未来

【 翻訳能力のブレイクスルーとしての大規模言語モデル 】 現在のChatGPTのユーザーの多くは、それが多言語対応していることの恩恵をさまざまな形で受けていることは知っていると思います。ただ、アクティブなChatGPTのユーザーが、それをもっぱら翻訳システムとして利用することは少ないように思えます。僕も普段は、翻訳にはDeepLを使っています。 それは、生成AIの応用が多様であることの反映なのですが、それは、現時点 – 生成AIの立ち上がりの時点での関心の分布の反映でしかないのかもしれないとも考えています。 僕は、長い目で見たとき、大規模言語モデルの最大の貢献は、あれこれの生成AIの「応用」ではなく、人間にことばの壁を乗り越える現実的手段を初めて提供したことにあると考えています。もっとも、言語の壁がなくなるまで、どのようなプロセスとどれだけの時間が必要なのかは、わからないのですが。ただ、「技術的」には、それは可能です。 大規模言語モデルは、生成AIの「誕生の地」なのですが、それは同時に、翻訳能力のブレークスルーが起きた場所でもあるのです。 そうした関係については、4月のマルゼミ「ことばと意味の数学的構造」から割愛され別資料として公開された次の資料を参照ください。 「意味の分散表現論の系譜 -- 大規模言語モデルへ」 https://drive.google.com/file/d/1NTs7r-wdtG1EbIkpb1oDmmIFiTlU_0ip/view?usp=sharing 上記の資料のショートムービーの再生リスト ：「Genealogy of LLM」 https://www.youtube.com/playlist?list=PLQIrJ0f9gMcPZfOVwH0wdu_PoELeAPqon このセッションでは、GPT-4の翻訳システムとしての能力をチェックします。 GPT-4が、僕が翻訳させた原文の出典を知っていたことから、翻訳とはことなるどのようなプロセスがそうした知識を呼び起こしたかを問いました。「記憶」の喚起に相当するプロセスの存在は否定します。 僕の質問：「あなたは、いろんなことを学習し、いろんなことを知っていますね。そうした「学習結果」は、どのように組織されて、どのように記憶されているのでしょう？」 GPT-4の答：「具体的な「記憶」の概念に

【  今度のマルレクは、GPT-4 の言語能力の高さを知ってもらうセミナーです 】 6/30 マルレク「プロンプトで遊ぶ -- GPT-4 との対話」へのお誘いです。 昨年暮れからのChatGPTのブームの中で、すでに多くの人が「生成AI」系の技術を自分の仕事に生かし始めていると思います。また、多くの人がその技術が孕む社会の安全性への脅威を危惧し始めています。もっとも、一番多くの人は、「生成系AI」がどういうものであるか、まだ知らないと思います。 前回のマルレク「 GPT-4 Technical Report を読む 」では、現在の「人工知能」技術の危険性についての論点を網羅的に取り上げている「 GPT-4 System Card 」論文を紹介しました。また、現在、講演ビデオ公開中のマルレク「人工知能と数学」では、現在主流の「大規模言語モデル」に基づく「言語ネイティブな人工知能」技術とは異なる「数学ネイティブな人工知能」技術の話をしました。 今回のセミナーは、そうした視点とは少し違った切り口で、GPT等の新しい「人工知能」技術が、新しい文を生成するという点では、今までの「人工知能」技術にはなかった画期的な「言語能力」を獲得しているということを中心にお話しようと思います。 人間の言語能力の機械による実装は、明らかに、新しいフェーズに入っています。こうした技術にどのような態度を取るかは、意見が分かれることはあると思いますが、その能力の飛躍は、きちんと評価する必要があると思います。 毎日、GPT-4と会話しているのですが、とても楽しいです。時々、怪しいことを言う時もありますが、それは各種のセミナーの登壇者やネット上の記事（多分僕の投稿も）やWikipedia だっておんなじです。彼（または彼女）は、ものしりであるだけでなく、とても「知的」です。チューリング・テストのような対話的なテストでは、彼（彼女）は、「知能を持つ」と判定されるでしょう。 セミナー冒頭の「 連想と連想の鎖 」のセクションでは、GPT-4が連想をどんどん広げていくことができることを紹介します。これを「GPTは連想する力を持つ」と評価するのには異論もあるかもしれません。ただ、この「連想」の例は、GPTの新しい文を生成する能力の「す（素）のかたち」だと僕は考えています。これがGPTの基本的能力と考えた方がいい

【 ことばの力 】 今回のセッションのテーマは「ことばの力」です。 「ことば」は不思議な力を持っています。 それは、日々の日常の仕事や生活の中でのコミュニケーションの手段であるとともに、我々の考えや感情や意志を表現する上で不可欠の手段です。文字の形を獲得したことばは、歴史的に形成・蓄積された我々の世界や民族や信仰についての認識をしっかりと次の世代に伝える記憶装置としての役割を果たしてきました。 ことばは、また、論理的な思考の母胎でもあります。「黒い猫」と言うフレーズは、「黒い猫は猫である」ことを含意します。ことばの力が内包する論理性と文字の発明がなかったら、数学は生まれてこなかったでしょう。ことばとのアナロジーなしでは、「自然は数学ということばで書かれている」というガリレオの認識も生まれてこなかったはずです。 我々人間が、社会的な集団を形成し、宗教や芸術を作りあげ、科学・技術を発展させてきた営為の基礎に、人間に与えられたことばの力があることは明確です。「賢い人=ホモサピエンス」にとって、ことばは彼が持つ最強かつ万能の道具なののです。 道具という比喩は適切ではないかもしれません。なぜなら、こうした人間がもつことばの力=言語能力は、外在的なものではなく人間に生まれつき備わった内在的な能力で、人間という動物を他の動物から区別する、いわば生物学的特徴だからです。我々は、意識的に学習することなく、誰でも言語能力を持つのです。 チョムスキーは、人間の言語能力の獲得を、ある個人に起きた遺伝子の突然変異から始まったと考えます。（以下  "The Science of Language" から） 「ある人の上に、その子孫にずっと伝えられる何かが起きた。あきらかに非常に短い間に、その遺伝子の変化はそのグループ内で優勢になった。それは、淘汰上の何らかの有利さがあったに違いない。ただ、それは非常に短い時間に、血縁上の小さなグループで起きた。」 その変異とはなんだったのか？　彼はそれは心の中のオブジェクトを Merge する能力の獲得だったと言います。 「我々に起きたこととは、我々は すでに構成された心の中のオブジェクトをとって、それから、さらに大きな心の中のオブジェクトを構成することを可能にする操作を獲得したのだ。それがMergeだ。それを獲得するやいなや、人は、利用可

【 ディドローのオウム 】 ディドローは、「どんな質問にもすぐに答えるオウムがいれば、我々は躊躇なく、そのオウムは知性を持っていると考えるだろう」と言ったそうです。 デカルトは、理性を持たない動物を自動機械（automaton オートマトンである!）と見なしていたので、動物の真似をする精巧な機械がつくられれば、それを本物とは区別できない　　　と主張しました。 しかし、彼は、人間の真似をする機械をつくる事はできないといいます。その理由をデカルトは二つあげます。第一の理由は、人間は自由に言語をあつかう能カを持つが、そうした能カを持つ機械を考える事はできないというものでした。第二の理由は、我々の理性は万能だが、万能の機械を考えることはできないというものでした。（デカルト「方法序説」） デカルトやディドローが、今日のChatGPTを見たらなんというか、想像してみると楽しいです。 Turingは、その論文の中で、Turing Testでの対話の例として、四つの問題を例示しています。一問目は「それ、僕には無理」と機械がパスしたので、正確には三問なのですが。「プロンプトで遊ぶ」というセミナーを予定しているので、Turingの四つの問題を、そのまま GPT-4に質問してみました。 なんとというか予想通りというか、GPT-4はこのオリジナルのTuringテストをいとも簡単にクリアできることを実際に確かめました。素晴らしい！　こまかいやりとりに興味ある方は、ビデオあるいはpdf資料を参照ください。   　「私は、『機械は考える事が出来るか？』という問題を考察することを提案する。」 今から70年以上前、膨大な数の真空管からなるコンビューターがこの世に生をうけてまもない 1950年、チューリングは、先の一節ではじまる「計算機械と知能」と題する、「現代の人工知能」研究の第一ぺージをしるす、興味深い論文を雑誌「マインド」に寄稿します。この論文の中で彼は、後に「チューリング・テスト」と呼ぱれる事になる機械が知能を持つか否かの判定基準を提案します。 それは、簡単にいえぱ、もし我々が、直接には相手が誰だかわからないかたちで -- たとえぱテレタィプを通じて機械と会話するかぎり、会話の相手が機械であるのか、人間であるのか判断がつかないなら、その機械は知能を持つと言えるというものでした。 チューリングは

【 サブゴールはどこから生まれるか 】 前回は、簡単な論理式からより複雑な論理式が構成できるという話をしました。今回のセッションは、その逆、複雑な論理式はより簡単な論理式に分解できるという話から始まります。 でも、この論理式の構成と分解というのは、別々のプロセスではなく、構成のルールが与えられれば、それを反対方向から見れば、分解のルールが与えられることに気づくと思います。 BAR（横棒）の上下に与えられた論理式の集まりを、上から下方向に読むか、逆に、下から上方向に読むかの違いがあるだけです。BAR（横棒）で、論理式の構成と分解を定義するというのは、実はとてもスマートな表現なのです。 今回のセッションでは、論理式の分解にフォーカスします。分解された論理式の一つ一つを「部分式」Sub-formula と呼ぶことにしましょう。 Coqでの証明は、複雑な問題を簡単な部分問題（Coqでは、それを「サブゴール」Sub-goalと呼んでいます）に分割して、そのサブゴールをすべて解くことで、元の問題を解くことを目指します。それは、「大きな問題を小さな問題に分割して解く」という考え方です。 証明のサブゴール(Sub Goal)と命題の部分式（Sub Formula）とは、名前は似ていますが、違うものです。ただ、複雑なものを簡単なものにするという点では、証明のサブゴール(Sub Goal)と命題の部分式(Sub Formula) は似ています。 Coqは、論理式の証明の場合には、証明のサブゴールへの分割と命題の部分式への分解の二つを、同時に行います。この場合には、サブゴールは、命題の部分式の分解の結果として生まれることになります。 もっとも、すべてのサブゴールが部分式への分解の結果として生まれるわけではありません。「数学的帰納法」を利用する場合のサブゴールは、それとは違う形をしています。数学の証明で、数学的帰納法はとても重要です。ただ、それについては章をあらためて、詳しく取り上げたいと思いますので、当面は忘れてもらっても結構です。 ------------------------------------- ショートムービー「 論理式の部分式への分解とサブゴール 」を公開しました。 https://youtu.be/wivcn0E0jvA?list=PLQIrJ0f9gMcPrNFRG1

【 論理学者は BARが好き 】 このセッションから、「論理式の証明」の章に入ります。今回は、「論理式の証明」の第一回として「論理式はどんな形をしているか？」という話をします。 内容的には、やさしい内容です。複雑な形の論理式も、基本的には、簡単な論理式から構成されるという話です。 ただ、この論理式の構成ルールの記述の仕方に注目してください。 簡単な論理式を並べて、その下に「横棒」を引きます。そして、その「横棒」の下に、上段の簡単な論理式から構成される論理式を書きます。 論理学では、ルールの記述に、この「横棒」が大活躍します。おそらく、若くして亡くなった天才 Gentzen の記法がその起源だと思うのですが。 タイトルの「論理学者は BAR が好き」のBARは、この「横棒」のことで、酒場のBAR ではありません。　 ------------------------------------- ショートムービー「 論理式はどのような形をしているか？ 」を公開しました。 https://youtu.be/oY4bfnxN5Bg?list=PLQIrJ0f9gMcPrNFRG1sEmtCRDnemxc1Pc 資料 pdf「論理式はどのような形をしているか？ 」 https://drive.google.com/file/d/1kSw1eBqAf_feJiTnhiUUmrgy3V94mAty/view?usp=sharing blog：「 論理学者は BARが好き 」　 https://maruyama097.blogspot.com/2023/06/blog-post_15.html 「 はじめてのCoq 」まとめページ https://www.marulabo.net/docs/hellocoq1/

【 「証明の状態」は変化する 】 前回は、話が飛躍して、「整合的で累積的値の体系」としての数学を、「人間の誤った証明」から守るためにCoq等の「証明の検証」機能が重要だという話をしました。 ChatGPT等の大規模言語モデルに基づく「人工知能」技術では、機械が誤った主張を行う幻覚( Hallucination )は避けられません。我々は、そうした誤りの可能性を織り込んだ上で生成系AIと付き合います。 それは、大規模言語モデルの母胎となった人間の「ことばの世界」自身が、そうした誤りには寛容だからです。ただ、数学的AIを展望するならば、機械が誤った主張を行う幻覚( Hallucination )は許されません。それは言語ネイティブなAIとの大きな違いになります。 ただ、数学的AIの未来に、どんな数学的問題も自動的に証明する「万能数学AI」があるわけではありません。なぜなら、チャーチ=チューリングのテーゼで、そうしたマシンの構成は、原理的に不可能であることがすでにわかっているからです。 それでも、「数学の証明の検証の自動化」の拡大は、「産業革命」もとい「科学革命」以上のインパクトを科学に与えると思います。もっとも、現在 GitHub を利用している人ぐらいの規模まで、「数学的証明の形式化」を行う人が増えた方がいいと思うのですが。まだまだ、道は遠いのかも。 今回のセッションは、現実的な、初心者にとってのCoqでの証明の話に戻ります。 Coqの証明は、人間とCoqの「対話」を通じて進行します。証明を進めるために、人間がCoqに与える命令を tactic と呼びます。人間がtactics を投入すると、Coqはそれに反応します。 Coqで対話的に証明を進めるためには、人間の入力に対して、Coqがどのように反応したか、その反応の意味をよく知る必要があります。今回のセッションは、その話です。 Coqが返す反応に含まれる一番大事な情報は、その時点での「証明の状態」です。人間がCoqに対して tactics を投入する度に「証明の状態」は刻々と変化していきます。我々は、Coqが返す「証明の状態」をみて、次の投入すべき証明の指示 tactics を考えます。 「証明の状態」は、大きく二つの情報を含んでいます。 一つは、当面証明に集中すべき命題についての情報です。これを「サブゴール」といい

【 証明することと証明を検証すること 】 人間とCoqの「対話」で、人間は何をCoqに伝えようとし、また、Coqは何を人間に伝えようとしたのでしょうか？　このセッションでは、前者の問題を考えます。 Coqとの対話で、人間がCoqに伝えるメッセージを tactics と呼びます。tactics（戦略）という名前は奇妙ですが、まずは、人間からの具体的な「証明の指示」だと思って構いません。 はじめてCoqに触れた時、さまざまなtacticsがあってどのtacticsを選べばいいのかと戸惑うと思います。ただ、論理式の証明ではtacticsの選択は、その論理式がどのような論理式から構成されているのかで、ほぼ自動的に決まります。今回の「はじめてのCoq」は、論理式の証明でtacticsの選択に慣れてもらうことを目標にしています。 もっとも、数学の証明は「論理式の証明」だけではありません。「等号を含んだ数式の証明」とか「数学的帰納法を使う証明」では、別のtactics が必要となります。それについては、「はじめてのCoq 2」以降で順次取り上げていきます。 ある数学の問題をCoqで証明しようとする時、人間がCoqに伝えるべきことは、「証明の指示」としての様々なtactics であると考えて良さそうです。 ただ、人間がCoqに問いかけることは、こうした「指示に従って証明を完成しなさい」ということだけではないのです。それは、「この証明は正しいのか？」とCoqに尋ねることです。 証明を行うこととある証明が正しいことを検証することは、別のことです。 確かに、自分で証明を完成させれば、その証明の正しさを検証したことになるのですが、数学的な推論では、そこで利用されるすべての数学的な命題の証明が要求されるわけではありません。それは、原理的には「整合的な累積的知の体系」であるという、数学のとても重要な性質です。 問題は、「原理的には」というところにあります。なぜなら、数学者も幻覚に陥って証明を誤ることがあるからです。これらの問題については、ショートムービー「21世紀 数学的証明での「形式的証明」の拡大」 https://youtu.be/HP1CivTrwzE?list=PLQIrJ0f9gMcMMwP2zBgMe3LbaDnKGG_zw  あるいは、blog 「数学者も証明を間違えることがある

【 ファースト・インプレッション 】 今回のセッションの目的は、はじめてCoqに触れる人に、Coqという言語のイメージを持ってもらうことです。当面は、Coqをインストールして実際に動かしてみなくとも、テキストでCoqの基本的な動きを説明したいと思っています。 ファースト・コンタクトでのファースト・インプレッションは大事なものです。ただ、この点では、今回の導入は少し危険な冒険をしています。 というのも、Coqは関数型言語としても使えますので、LISPの親戚のように紹介することもできるのですが、ここではそうしませんでした。Coqでの「証明」のサンプルを紹介しています。それがCoqの一番重要な働きだと考えているからです。 もちろん、「証明」のサンプルには、簡単なものを選びました。ここで「証明」していることは「すべての命題Aについて、AならばAである。」という命題です。 　「「AならばA」だって？　そんなのを、同語反復という。」 　「自明のことだろう。」 　「そんなことに、証明が必要なわけ？」 ファースト・コンタクト、最初から悪印象を残しそうです。 僕がCoqでの「証明」の紹介を続けると、さらに悪いことが続きます。 　「そんなのが証明なわけ？」 　「意味わからん」 　「ChatGPTなら、誰でも最初からすごいと思うよ」 確かに。 それは、ChatGPTのような大規模言語モデルにもとづく「人工知能」技術が、我々人間に、生まれつき誰にも備わっている「言葉の意味を理解する能力」に、直接、訴求しているからです。 ただ、ことばにとって「意味」が本質的に重要であるように、数学にとっては「証明」が、やはり本質的に重要なのです。我々の日常の世界は、ほとんど「ことばとその意味の世界」で満ち足りてているように見えるかもしれません。ただ、我々の認識の発展史からみれば、それは「世界」の一面です。 今回の「導入」で悪印象を与えたかもしれないことには、もう一つ理由があります。それは、今回の「Coqとのはじめての対話」が、人間とCoqとの「対話」になっていなかったことに原因があると考えています。 Coqは、機械と人間との対話で証明を進めます。それが大きな特徴です。Coqは「証明支援システム」と呼ばれるのですが、この言葉だけだと「人間の証明を支援する」システムということになります。ただ、対話を続けていくと

【 GPT 大いに語ったり、語らなかったりする 】 今回のセッションのテーマは、生成系AIの「生成する能力」についてです。 今回のセミナーの「お誘い」でも述べたのですが、僕が一番驚いたのは、GPTが「自由に連想する能力」を持っているように見えることです。 本当でしょうか？　それはAIの世界ではよくあるように、「そのような能力があるように見えるが、実はそれは幻想である。」ということかもしれません。 だって、前回見たように、「黒い猫は、どう考えても（そんなデータを学習しようがしまいが）猫である。」という自明な推論能力も持たないのに、もっと高度に思える、ある文から他の文を導く「自由連想」などできるわけがないと。 ただ、これには少し誤解が入っています。「自由」な連想は、自由であればあるほど、論理的な推論より簡単なものになります。だって、自由な連想として、ランダムに選ばれた出鱈目な文を選ぶこともできるからです。 次のような質問をGPT-4にしてみました。 「ある文から他の文を連想する時、あなたはどんな手順で連想を実行しているのですか？　詳しく教えてください。」 そうすると、GPT-4は大いに語り始めます。 「私は人間のように意識的な思考過程を持つわけではないので、「連想」を行う方法は私たちが一般に想像するようなものとは異なります。しかし、人間が理解しやすい形で説明するために、私の動作を一連の「手順」として表現することは可能です。以下に、そのようなステップを説明します。」 次のようなステップだそうです。 「1. 元の文の理解: 最初のステップは、入力された文を理解することです。 　2. 要素の抽出: 次に、文から主要な要素を抽出します。 　3. 関連性の確認: これらの要素がどのように関連しているかを確認します。 　4. 連想の生成: 抽出した要素とその関連性に基づいて、新たなシナリオ、アクション、記述を生成します。 　5. 新しい文の生成: 最後に、これらの新たな連想を元に新しい文を形成します。」 なるほどと思って、「この「手順」はどのように学習されたのですか？」と聞くと、口が急の重くなります。嘘を言ったのかもしれません。 「しかし、私が「連想」のプロセスを5つの手順に分解した説明は、人間がこのAI技術を理解しやすいように、AIの内部動作を人間の思考プロセスに似せて説明したも

【「黒い猫」問題 】 諸氏百家の時代の論客公孫竜は、「白い馬は馬ではない」という議論を展開したそうです。「白い馬」という概念は、「馬」という概念とは違うものだということなのですが、やはり、典型的な「詭弁」ですね。どう考えても、「白い馬」は「馬」です。 「どう考えても」と言いましたが、では、どう考えれば「白い馬」は「馬」だと言えるのでしょう？　いろんな場合が考えられます。（といっても、可能な場合を全てあげるわけではないのですが） 一つには、白い馬を実際にみて、それが馬であることを知っている場合です。ある場合には、実際には白い馬を見たことはなくても、本やなんらかのメディアを通じて「白い馬は馬である」ことを知っていることがあるかもしれません。 ただ、こうした考えとは異なる考えがあります。それは、ある意味、公孫竜の考えに似ています。結論は逆ですが。「白い馬の概念は馬の概念に含まれているから、白い馬は馬である」と考えることです。 ただ、「白い馬の概念」（それは、「意味論」的に考えるということなのですが）を持ち出さなくても、この場合は、「白い馬」という「形容詞」＋「名詞」の形の「名詞句」の文法的構成から、直接に、「白い馬は馬である」ということができます。 文法性のことを「構成性」とも呼びます。（意味も、「構成性」を持ちます。） 前回のセッションで、「黒い猫」というフレーズを使ったので、こういう質問をGPT-4に投げてみました。 　「GPTでは「黒い猫は猫」であるという推論はできますか？」 GPT-4の答えは、こういうものでした。 「GPTは事前に学習した大量のテキストデータからパターンを学び取りますが、その基本的な設計では、厳密な意味での推論や論理的な帰結は直接的には行いません。 しかし、訓練データに存在するパターンに基づいて、「黒い猫」が「猫」であるという事実を理解し、その情報に基づいた文を生成することはできます。 ..... ただし、このような知識は、言語モデルが訓練データから学び取った統計的なパターンに過ぎず、モデルが「黒い猫」が「猫」であるという推論を自身の内部的な「理解」から生成しているわけではありません。」 こうした大規模言語モデルの推論能力の弱点を、「黒い猫」問題と呼ぶことにしましょう。こうした弱点は、モデルの規模をさらに拡大すれば、解消されると考えている人も少

【 GPT-4は、まだ、日本語が苦手かもしれない 】 今回のセッションは、「意味のない文と曖昧な文」をGPT-4がどう扱っているかがテーマです。 もともとは、GPT-4の「連想する力」に興味があって、その力の背景をプロンプトを通じて探ろうと思っているのですが、今回はたまたま連想の始点に、"colorless green ideas sleep furiously" という「意味のない文」をおきました。 面白かったのは、最初のregenerate でGPT-4は目ざとく、次のことに気づきます。 「"colorless green ideas sleep furiously"は、言語学者のノーム・チョムスキーが統語論を説明するために作った有名な文です。文法的には正しいですが、意味的には一見矛盾しているように見えます。それを踏まえて、次のように連想の鎖を作ります：」 ただ、生成された連想の鎖をチェックしたのですが、「それを踏まえて」いるわけじゃないことに気付きます。意味のない「有名な」文から連想を始めたのですが、連想されたのはみな意味のある文でした。それも当然かもしれません。連想は、意味があって初めて機能するものですから。 というわけで、今度は、連想ではなく GPT-4に「文法的には正しいが意味のない文」を直接に生成させてみました。結果は少し、微妙なものでした。GPT-4には、「意味的に矛盾していること」を「実際には存在しないこと」と同義に捉える傾向があるようです。 "colorless green"や"sleep furiously"はことばの上の意味的矛盾ですが、生成された"Silent thunder" や "Transparent stones" の無意味さはことばの世界に閉じた問題ではなく、現実の認識が関わっています。確かに、"green idea" はどちらなのかと考えれば、両者の区別には微妙なところがあります。 「意味がない」ことをきちんと考える必要があるようです。大規模言語モデルに意味のない文を作れというのは、愚問だったかもしれません。でも、またプロンプトで挑戦しますね。 こんどは、文の文法的構造から、曖昧な意味を持つ

【 大規模言語モデルには「文法」や「品詞」の概念はないらしいこと 】 前回のセッションでは、「語の意味」を取り上げました。今回のセッションでは、語から構成されるフレーズや文の意味を取り上げます。 前回、与えられた語の「辞書項目」を作成するプロンプトを作ってみて、GPT-4が「語の意味」について、いかに膨大な情報を保持しているのか、その一端を見ることができたと思います。ただ、それは学習したGPT-4がシステム全体として発揮する能力です。 大規模言語モデルの「語の意味表現」の基本は、語の分散表現 – エンべディングと呼ばれるベクトル表現です。ここでは、まず、基本的な語またはフレーズの意味の分散表現について、GPT-4に色々聞いてみました。 例えば、「日本語の「犬」と英語の「dog」は同じ意味ですが、その分散表現は同じものになりますか？」とか「語だけじゃなく、フレーズや文も分散表現を持ちますか？」とか「語と文の分散表現のベクトルの次元は同じですか？」とか「「黒い犬」と「black dog」というフレーズの分散表現は同じものになりますか？」等々。GPT-4は、対話に丁寧に答えてくれました。 今回のセッションには、もう一つのテーマがあります。それは、文法の問題です。 例えば、二つの語をつなげて一つのフレーズを構成する場合、二つの語の繋ぎ方にはそれぞれの言語に固有な文法的なルールがあります。文法のルールは、個別の語ごとに決まっているわけではなく、語を品詞に分類して、その抽象の上で、品詞と品詞の繋ぎ方のルールとして現れます。 例えば、日本語だと名詞句を作るには「黒い犬」のように「形容詞＋名詞」の並びになるのですが、フランス語だと "chien noir"のように「名詞＋形容詞」の並びになります。品詞の考えなしに文法を語るのは難しいのです。 このルールに外れていると、その言語の話者は「おかしい」とすぐに気付きます。「文」と「非- 文」の区別は、人間の言語能力の最も基本的な能力の一つです。 今回紹介したいくつかのサンプルは、確かにGPT-4が与えられたフレーズを品詞に分解して、文法的に正しいのかそうでないのか、ちゃんと判断する能力があるように見えます。 ただ、つっこんでGPT-4に聞くと、GPT-4は「品詞」や「文法」について、我々とは違う見方をしていることがわか

【 GPT-4は「語の意味」についてどのような情報を持っているか？ 】 このセッションでは、GPT-4が「語の意味」についてどのような情報を持っているかを探ります。 作ってみたのは、ある語を与えるとその語の「辞書項目」を出力するプロンプトです。（ 「歩く」を与えると、こんなふうに動きます。 　【「歩く」の意味 】: 　動詞1: 両足を交互に前に進めて移動する。(例:彼は公園を歩いた。) 　動詞2: 一定の目的や方向に進む。(例:彼は成功へと歩いている。) 　【「歩く」のSemantic Category 】: 　[同義語] 歩行する; 徒歩で行く; 徘徊する; 散歩する; 闊歩する; 行進する; 練り歩く; 遊歩する; 步く; うろつく 　[類義語] 走る; ジョギングする; 進む; 旅する; 移動する; 歩みを進める; 旅行する; 遊ぶ; 散策する; 探検する 　[上位概念] 移動 ＜ 行動 ＜ 生物の活動 ＜ 生物 　[下位概念] 歩く ＞ 超高層ビルを歩く ＞ 空中を歩く ＞ ワイヤーを歩く 　【「歩く」のLexical Category 】: 　[近接語] 道; 公園; 散歩; ペース; 歩幅; 速度; 歩数; 遠く; 距離; 目的地; 環境; 風景; エリア; 足元; 自然 　[直前語] ゆっくりと; 速く; 楽しく; 遠くまで; 道を; 一緒に; 独りで; 公園を; 自然を; 環境を 　[直後語] を開始する; を終える; を続ける; と感じる; のスピード; の距離; のペース; で移動する; で旅行する; で探検する 「King」だとこうなります。 　【「King」の意味 】: 　名詞1: 一国を治める男性の君主を指す。(例: The king signed the decree.) 　名詞2: チェスやカードゲームなどで最も重要な役割を果たすピースまたはカード。(例: He moved his king.) 　名詞3: ある分野や領域で最も優れた、または支配的な人や物を指す。(例: He is known as the king of pop.) 　【「King」のSemantic Category 】: 　[同義語] Monarch; Ruler; Sovereign; Emperor; Tsar 　[類義語] Queen; Prince;

【 GPT-4は連想する力を持つ 】 GPT-4の言語能力として、最初に紹介したいのは、それが「連想」する力を持つことです。 具体的には、ある文章を与えると、その文から「連想」できる文を多数生成することができます。文だけではありません。あとでみるように、短いフレーズや語についてもそれは、「連想」する力を持っています。 ここでは、それを文・フレーズ・語を生成する言語能力として扱っているのですが、一般化すれば、GPT-4は、新しい表現を創造する能力を持っていると考えていいと僕は思っています。 このスライドのサンプルは、GPT-4のものですが、ChatGPTでも同じことができると思います。ぜひ、お試しください。 例を挙げてみましょう。次のようなプロンプトをGPT-4に投げます。 「「暗い空の下高い丘の上の一人の少女」という文章から連想できる文章を20個作ってみてください」 次が、GPT-4の答えです。見事なものだと思います。 　"少女は星空を見上げて、心に願い事をした。" 　"彼女は高い丘の上から町の灯りを眺めていた。" 　"少女は深夜の風に髪をなびかせながら立っていた。" 　"彼女は静寂の中で自分の思考に耳を傾けていた。" 　"少女は丘の上から、遠くに鳴る教会の鐘の音を聞いた。" 　"彼女は闇夜の中で一人、夢を見続けていた。" 　"暗闇の中、少女の瞳は月明かりに照らされて輝いていた。" 　"少女は毛布にくるまって、冷たい風から身を守っていた。" 　"高い丘の上に立つ少女の姿が、町の灯りに映し出されていた。" 　"丘の上から見る景色は、少女の心に深い印象を残した。" 　"彼女の思考は暗闇とともに、高い丘から遠くへと飛んでいった。" 　"月明かりが少女の影を長く丘に投げかけていた。" 　"彼女は一人で丘の上に座り、遠くの星を指でなぞっていた。" 　"少女は大きな声で歌を歌い、闇夜に響かせていた。" 　"彼女は夜の静けさに耳を澄ませ、自然の音色を楽しんでいた。" 　"少女

 【 マルレク「プロンプトで遊ぶ -- GPT-4 との対話 」へのお誘い 】 6月のマルレクを「プロンプトで遊ぶ -- GPT-4 との対話 」と いうテーマで開こうと思っています。 【 「プロンプトで遊ぶ」？ 】 「プロンプトで遊ぶ」というタイトルは、「生成系AI」の技術を、自分の仕事に真剣に活用しようとしている人や、この技術の登場を絶好のビジネスチャンスと考えている人にとっては、不適切だったかもしれません。 また、「生成系AI」技術の浸透を、「社会に対する重大な脅威の拡大」と捉える人からすれば、「遊んでいる場合ではない。不謹慎だ。」と思われるかもしれません。もっとも、僕自身は、基本的には、このこの後者の立場に近いのですが。（マルレク「GPT-4 Technical Report を読む」 https://www.marulabo.net/docs/gpt-4-technical-report/ を参照ください。） 【 OpenAIの「過信」への警告 】 このように評価が分かれる理由の一端を、OpenAI自身が、見事に分析しています。それは、直接にはChatGPTの登場を熱烈に歓迎した多くの人々への警鐘なのですが。 「 GPT-4は「幻覚」を作り出す傾向がある。この傾向は、モデルの説得力や信憑性が増し、ユーザーによる過信を招くと特に有害となり得る。逆説的だが、幻覚は、モデルがより真実味を帯びるにつれて、より危険になる可能性がある。なぜなら、ユーザーは、自分がある程度精通している領域で真実の情報を提供するモデルに対して信頼を築くからである。」 ただ、この「過信」への警告は、同じ論理で、「自分がある程度精通している領域で真実の情報を提供するモデル」に基づいた、この技術への「不信」への警告になるのかもしれません。 【 言語ネイティブな人間と言語ネイティブな人工知能 】 「生成系AI」技術が、多くの人に驚きを与えたのは、それが人間のみが持つと考えられていたことばを自在に操る能力をコンピュータが獲得したことを示したことにあると僕は考えています。それは、人工知能技術の発展の中でも特筆すべき達成です。 冷静に言えば、言語ネイティブな知能を持つ人間は、人間と同じ言語ネイティブな知能を持つ人工知能を作ることができたということだと、僕は考えています。人間の知能は数学ネイティブではあ