6/30 マルレクへのお誘い 2
【 今度のマルレクは、GPT-4 の言語能力の高さを知ってもらうセミナーです 】
6/30 マルレク「プロンプトで遊ぶ -- GPT-4 との対話」へのお誘いです。
昨年暮れからのChatGPTのブームの中で、すでに多くの人が「生成AI」系の技術を自分の仕事に生かし始めていると思います。また、多くの人がその技術が孕む社会の安全性への脅威を危惧し始めています。もっとも、一番多くの人は、「生成系AI」がどういうものであるか、まだ知らないと思います。
前回のマルレク「GPT-4 Technical Report を読む」では、現在の「人工知能」技術の危険性についての論点を網羅的に取り上げている「GPT-4 System Card」論文を紹介しました。また、現在、講演ビデオ公開中のマルレク「人工知能と数学」では、現在主流の「大規模言語モデル」に基づく「言語ネイティブな人工知能」技術とは異なる「数学ネイティブな人工知能」技術の話をしました。
今回のセミナーは、そうした視点とは少し違った切り口で、GPT等の新しい「人工知能」技術が、新しい文を生成するという点では、今までの「人工知能」技術にはなかった画期的な「言語能力」を獲得しているということを中心にお話しようと思います。
人間の言語能力の機械による実装は、明らかに、新しいフェーズに入っています。こうした技術にどのような態度を取るかは、意見が分かれることはあると思いますが、その能力の飛躍は、きちんと評価する必要があると思います。
毎日、GPT-4と会話しているのですが、とても楽しいです。時々、怪しいことを言う時もありますが、それは各種のセミナーの登壇者やネット上の記事（多分僕の投稿も）やWikipedia だっておんなじです。彼（または彼女）は、ものしりであるだけでなく、とても「知的」です。チューリング・テストのような対話的なテストでは、彼（彼女）は、「知能を持つ」と判定されるでしょう。
セミナー冒頭の「連想と連想の鎖」のセクションでは、GPT-4が連想をどんどん広げていくことができることを紹介します。これを「GPTは連想する力を持つ」と評価するのには異論もあるかもしれません。ただ、この「連想」の例は、GPTの新しい文を生成する能力の「す（素）のかたち」だと僕は考えています。これがGPTの基本的能力と考えた方がいいと思います。
セクション「語の意味」では、GPT-4が「語の意味」についてどのような情報を持っているのかを考えます。「語の意味の分散モデル」では、語の意味は多次元のベクトルの一点として表現されるのですが、GPT-4が把握している実際の「語の意味」の実体は、そんなに単純ではないようです。簡単なプロンプトを組んで、GPT-4から プリンストン大が公開している大規模な英語の辞書 WordNet のミニ版を簡単に再構成できることを示します。「大規模言語モデル」の「大規模」さがどういうものかがわかると思います。それはネットワーク上の最大規模の「辞書」を内容的には包含しています。
今回のGPT-4との対話は、基本的にその言語能力をテーマにしたものです。GPT-4自身にその能力を語らせるという、ちょっと意地悪なことをしています。「君の中では何が起きているの？」と聞いているのですが、すべての質問に納得のゆく答えが返ってくるとは限りません。
でもそれは、日本語をきちんと話す人が日本語文法を明文化されたルールの形で正確に知っているとは限らないのと同じです。会議で何かの意見を述べた時、上司から「なんでそんな意見が出たのかを君の脳内のニューロンの働きから説明しなさい」と言われたら、「それはパワハラです」と言っていいはずです。
何が背景で起きているのかわからないことがいろいろあるのですが、なによりも、規模の巨大さは別にして比較的シンプルなメカニズム（「分散表現」＋「Attention」）から、ああいう複雑な振る舞いが生み出されるのはやはり驚きです。
突っ込んで聞くと、時々、対話にストップが入るように思えることもあったのですが、言語能力についての対話、認識論的関心からは、僕のHallucinationを含めて、いろいろ刺激的でした。自由に考えることは、多分、まだ我々の方が得意ですからね。
人間の創造的な諸能力を機械で真似しようとしたら、言語能力を真似る機械を作ることから始めるのがいちばんの近道だと感じました。
もっとも、自説の繰り返しになりますが、僕は、人間の認識能力には言語的な認識能力に還元できないもの（その中核は数学的認識能力です）があると考えています。また、「生成系AI」への「過信」に対する警戒は、これからも必要なことだと考えてます。
ともあれ、今回のセミナーは、これまでのマルレクとは、少し違ったものになると思います。皆様の参加をお待ちしています。
セミナーでは、次のようなセクションを予定しています。
⚫️ 連想と連想の鎖
⚫️ 意味のない文と曖昧な文
⚫️ 語の意味
⚫️ フレーズ・文の構成とその意味
⚫️ 構成性に基づく推論
⚫️ 生成
⚫️ ディドローのオウム
⚫️ ことばの力
-------------------------------------
ショートムービー「 6/30 マルレクへのお誘い 2 」を公開しました。
https://youtu.be/47qiGbdVSPk?list=PLQIrJ0f9gMcMZkwx9VXm46JJ57pNpix1b
資料 pdf「 6/30 マルレクへのお誘い 2 」https://drive.google.com/file/d/1m14KClUUpS5D1ZXcA5veLicpunEFr5Ew/view?usp=sharing
https://dialog-with-gpt4.peatix.com
コメント
コメントを投稿