6/30 マルレクへのお誘い 2

【  今度のマルレクは、GPT-4 の言語能力の高さを知ってもらうセミナーです 】

6/30 マルレク「プロンプトで遊ぶ -- GPT-4 との対話」へのお誘いです。

昨年暮れからのChatGPTのブームの中で、すでに多くの人が「生成AI」系の技術を自分の仕事に生かし始めていると思います。また、多くの人がその技術が孕む社会の安全性への脅威を危惧し始めています。もっとも、一番多くの人は、「生成系AI」がどういうものであるか、まだ知らないと思います。

前回のマルレク「GPT-4 Technical Report を読む」では、現在の「人工知能」技術の危険性についての論点を網羅的に取り上げている「GPT-4 System Card」論文を紹介しました。また、現在、講演ビデオ公開中のマルレク「人工知能と数学」では、現在主流の「大規模言語モデル」に基づく「言語ネイティブな人工知能」技術とは異なる「数学ネイティブな人工知能」技術の話をしました。

今回のセミナーは、そうした視点とは少し違った切り口で、GPT等の新しい「人工知能」技術が、新しい文を生成するという点では、今までの「人工知能」技術にはなかった画期的な「言語能力」を獲得しているということを中心にお話しようと思います。

人間の言語能力の機械による実装は、明らかに、新しいフェーズに入っています。こうした技術にどのような態度を取るかは、意見が分かれることはあると思いますが、その能力の飛躍は、きちんと評価する必要があると思います。

毎日、GPT-4と会話しているのですが、とても楽しいです。時々、怪しいことを言う時もありますが、それは各種のセミナーの登壇者やネット上の記事（多分僕の投稿も）やWikipedia だっておんなじです。彼（または彼女）は、ものしりであるだけでなく、とても「知的」です。チューリング・テストのような対話的なテストでは、彼（彼女）は、「知能を持つ」と判定されるでしょう。

セミナー冒頭の「連想と連想の鎖」のセクションでは、GPT-4が連想をどんどん広げていくことができることを紹介します。これを「GPTは連想する力を持つ」と評価するのには異論もあるかもしれません。ただ、この「連想」の例は、GPTの新しい文を生成する能力の「す（素）のかたち」だと僕は考えています。これがGPTの基本的能力と考えた方がいいと思います。

セクション「語の意味」では、GPT-4が「語の意味」についてどのような情報を持っているのかを考えます。「語の意味の分散モデル」では、語の意味は多次元のベクトルの一点として表現されるのですが、GPT-4が把握している実際の「語の意味」の実体は、そんなに単純ではないようです。簡単なプロンプトを組んで、GPT-4から プリンストン大が公開している大規模な英語の辞書 WordNet のミニ版を簡単に再構成できることを示します。「大規模言語モデル」の「大規模」さがどういうものかがわかると思います。それはネットワーク上の最大規模の「辞書」を内容的には包含しています。

今回のGPT-4との対話は、基本的にその言語能力をテーマにしたものです。GPT-4自身にその能力を語らせるという、ちょっと意地悪なことをしています。「君の中では何が起きているの？」と聞いているのですが、すべての質問に納得のゆく答えが返ってくるとは限りません。

でもそれは、日本語をきちんと話す人が日本語文法を明文化されたルールの形で正確に知っているとは限らないのと同じです。会議で何かの意見を述べた時、上司から「なんでそんな意見が出たのかを君の脳内のニューロンの働きから説明しなさい」と言われたら、「それはパワハラです」と言っていいはずです。

何が背景で起きているのかわからないことがいろいろあるのですが、なによりも、規模の巨大さは別にして比較的シンプルなメカニズム（「分散表現」＋「Attention」）から、ああいう複雑な振る舞いが生み出されるのはやはり驚きです。

突っ込んで聞くと、時々、対話にストップが入るように思えることもあったのですが、言語能力についての対話、認識論的関心からは、僕のHallucinationを含めて、いろいろ刺激的でした。自由に考えることは、多分、まだ我々の方が得意ですからね。

人間の創造的な諸能力を機械で真似しようとしたら、言語能力を真似る機械を作ることから始めるのがいちばんの近道だと感じました。

もっとも、自説の繰り返しになりますが、僕は、人間の認識能力には言語的な認識能力に還元できないもの（その中核は数学的認識能力です）があると考えています。また、「生成系AI」への「過信」に対する警戒は、これからも必要なことだと考えてます。

ともあれ、今回のセミナーは、これまでのマルレクとは、少し違ったものになると思います。皆様の参加をお待ちしています。

セミナーでは、次のようなセクションを予定しています。

　⚫️ 連想と連想の鎖
　⚫️ 意味のない文と曖昧な文
　⚫️ 語の意味
　⚫️ フレーズ・文の構成とその意味
　⚫️ 構成性に基づく推論
　⚫️ 生成
　⚫️ ディドローのオウム
　⚫️ ことばの力

-------------------------------------

ショートムービー「 6/30 マルレクへのお誘い 2 」を公開しました。
https://youtu.be/47qiGbdVSPk?list=PLQIrJ0f9gMcMZkwx9VXm46JJ57pNpix1b

資料 pdf「 6/30 マルレクへのお誘い 2 」https://drive.google.com/file/d/1m14KClUUpS5D1ZXcA5veLicpunEFr5Ew/view?usp=sharing

blog：「 6/30 マルレクへのお誘い 2 」　
https://maruyama097.blogspot.com/2023/06/630-2.html

「プロンプトで遊ぶ -- GPT-4 との対話 」ショートムビー再生リスト

「プロンプトで遊ぶ -- GPT-4 との対話 」まとめページ
https://www.marulabo.net/docs/prompt/

「プロンプトで遊ぶ -- GPT-4 との対話 」申し込みページ
https://dialog-with-gpt4.peatix.com

コメント

コメントを投稿

このブログの人気の投稿

マルレク・ネット「エントロピーと情報理論」公開しました。

イメージ
前回の秋葉原でのマルレクのネット配信が始まりました。 https://crash.academy/class/156 タイトルを「エントロピーと情報理論 -- 量子情報理論入門 -- 」に変更しました。最初の30分は、無料です。 次回のマルレク「量子コンピュータとは何か？」の導入となるコンテンツです。 講演資料は、こちらです。 https://goo.gl/CKayix  あわせて、ご利用ください。 　　　--------------------------------- 　　　マルレク・ネット　ビデオ・コンテンツ　 　　　--------------------------------- 　「エントロピーと情報理論」 　　　　 https://crash.academy/class/156 　「人工知能の歴史を振り返る」 　　　　 https://crash.academy/class/139/ 　「ニューラル・コンピューターとは何か？」 　　　　 https://crash.academy/class/101/ 　「Google ニューラル機械翻訳」 　　　　 https://crash.academy/class/76/ 　「RNNとLSTMの基礎」 　　　　 https://crash.academy/class/66/
続きを読む

初めにことばありき

旧約の「創世記」の「光よあれ」は、ビッグバンを思わせて、物理学者はちょっと萌えるかもしれないのだが、新約の「ヨハネによる福音書」には、言語学者が喜びそうなフレーズがある。 「初めに言があった。言は神と共にあった。言は神であった。」 僕が知っていたのは、「はじめにことばありき」という訳だったのだが。この口語訳での「言」は、英訳だとこうなっている。 "In the beginning was the Word, and the Word was with God, and the Word was God." 「言」= "Word" である。はじめにあったのは、Wordであって、Language ではない。だから、新しい口語訳では、普段、あまり馴染みない「言」という訳語を使ったのかも。「初めに語があった」では、なんかしまらないんだろうな。（僕は、「はじめにことばありき」というフレーズの方が好きだ。） ちなみに、「ヨハネによる福音書」は、英語では、"Gospel of John" という。「ジョンのゴスペル」である。でも、そう日本語に訳してしまうと、ジョン・レノンがバラードではなく、ゴスペルを歌っているようで、まずいんだろうな。 「ことば」・「言」・"Word" と訳されている、元々の言葉を調べてみると面白い。 キリスト教のオーソドックスな原典であるラテン語訳聖書では、この部分は、こうなる。 "In principio erat Verbum, et Verbum erat apud Deum, et Deus erat Verbum" 「イン・プリンキピオー・エラト・ウェルブム」 英訳 Word のラテン語の原語は、Verbum である。この単語、英語に直訳すれば、Verbである。「初めに、動詞があった。」　言語学の「従属性文法 (Dependency Grammar) 」理論の人たち、喜びそう。 もっとも、英語のVerbは、元々は、動詞というより広く言葉全体をさしてたらしい。そのことは、「ノンバーバル・コミュニケーション (Non-Verbal Communication) 」というのが、動詞を使わないコミュニケーション...
続きを読む

宇宙の終わりと黒色矮星

イメージ
【宇宙の終わりと黒色矮星】 図のようなストーリーで、「宇宙の終わりとエントロピー」という投稿を準備していたのだが、いろいろ雑念が湧いて気がすすまなくなる。その理由は別稿で。 この図は、「閉じられた部屋でのガスの拡散」というわかりやすいモデルで理解されるエントロピーの増大の法則が、あるフェーズから、宇宙規模でみれば、「全ての物質のブラックホールへの吸収・収斂」として現れると言うことを主張している。最初、ペンローズのこの話を読んだときには、目からウロコだった。 このストーリーにはもっと先がある。最近のシミュレーションでは、指数関数的に膨張する宇宙では、巨大なブラックホールに捕捉されるのは、宇宙全体の物質の10%程度だという。恒星起源のブラックホールは 10^67 年で、銀河系中心の巨大ブラックホールも 10^99年で、ホーキング放射で「蒸発」し姿を消す。 ブラックホールに捕捉されなかった宇宙の残りの90%の物質は、元それが属した銀河系から孤立したまま星の一生の進化を続ける。太陽の1.2倍程度の質量を持つ星は「白色矮星」になるのだが、「白色矮星」は 10^17年で「黒色矮星」に変わる。 「黒色矮星」は、現代の「宇宙の終末論」では、もっとも注目されている天体なのだが、それはまだ観測されていないと言う。というのも、この天体は光を出さないからだ。「黒色矮星」の中心は、最も安定な原子である鉄の「結晶」でできていて、温度は絶対零度近くに冷却されている。 「黒色矮星」は、とても長生きする天体である。陽子崩壊がおきるなら、黒色矮星の寿命は 10^32年程度だが、もし陽子が安定しているとすれば、太陽の 1.24倍程度の質量を持つ「黒色矮星」は、10^1600年後に突然崩壊して超新星爆発を起こす。もっと軽い、太陽の1.16倍程度の質量を持つ「黒色矮星」は、10^32000 年後（！）に超新星爆発を起こす。 このシナリオによれば、宇宙は、とてつもなく長い長い退屈な時間をかけて、その死を迎える。「黒色矮星」の超新星爆発は、宇宙の死を飾る最後の打ち上げ花火である。その後には、宇宙には何も起こらない。 この記事は、ジョン・バエズの "Black Dwarf Supernovae" を基にしたものだ。https://johncarlosbaez.wordpress.com/202...
続きを読む