1/28マルレクへの招待

【 1/28マルレク「AIは意味をどのように扱っているのか? -- ChatGPTの不思議」への招待 】 

1月28日「ChatGPTの不思議」の続編のセミナーを開催します。

前回の1月14日のセミナーでは、ChatGPTが「大規模言語モデル」の中から生まれながら、「人間からのフィードバックによる強化学習」という方法で、人間の教師による教育と評価をうけて成長した、人間との「対話」に特化したAIシステムであることを見てきました。

それにしても、ChatGPTが、多くの人に強い印象を与えたのは、それが滑らかに「対話」する不思議な能力をもっていることだったと思います。その能力は、ChatGPTが「対話」の意味を的確に理解していることに主要に依拠しています。そして、その能力はChatGPTの産みの母である「大規模言語モデル」から受け継いだものに他なりません。

今度の1月28日のセミナーでは、前回のセミナーでは取り上げることのできなかった、ChatGPTをはじめとする現代のAI技術が、どのように意味を扱ってきたかを、すこし歴史的に振り返って見たいと思います。

次のような三つの内容でセミナーを構成しようと思っています。

 ● 意味理解への様々なアプローチ
 ● 意味の分散表現の登場
 ● 大規模言語モデルの成立

【 意味理解への様々なアプローチ 】

「IBM Watson」や「Google 音声検索」、また「Amazon Alexa」等のボイス・アシスタンス等の「対話型」のシステムは、それぞれ異なる意味理解のモデルに基づいています。言語の意味理解のコンピュータでの実装のいくつかの取り組みとその特徴を簡単に紹介します。

【 意味の分散表現の登場 】

ただ、ある時点から、ディープ・ラーニングでの「意味の分散表現」が、それまでの様々な意味の実装方法を凌駕するようになります。自然言語の理解に統計的手法を使うという流れは古くからあったのですが、ここでは「意味」は明確にベクトルで表現されることになります。具体的には、次のトピックスを紹介しようと思います。

 ○ Auto Encoder
 ○ Word2Vec
 ○ Sequence to Sequence
 ○ Attention Mechanism

【 大規模言語モデルの成立 】

「意味の分散モデル」の成功は、次の「大規模言語モデル」の成立で、決定的なものになりました。ここでは、次のトピックスを紹介しようと思います。

 ○ Google 機械翻訳
 ○ BERT
 ○ GPT-3

ChatGPTの不思議な意味の世界を知る上で、ChatGPTに先行したこれらのプロジェクトから、学ぶことは多いとおもいます。

【 今後の予定 】

「意味の分散表現論」は、いまも大きな変化の中にあります。基本的には、意味を「ベクトルで表現する」という現在のスタイルから、「意味を密度行列」で表現するという研究が進行中だと思います。それらについても、今後、セミナーで紹介していきたいと思います。ご期待ください。

--------------------------------

「1/28マルレク「AIは意味をどのように扱っているのか? -- ChatGPTの不思議」への招待 」 を公開しました。

https://youtu.be/52clIQKS_fI?list=PLQIrJ0f9gMcMl-rOnfK6S5EPXazITzFeK

資料pdf
https://drive.google.com/file/d/1XBR6d6XfKb2Zd0T8ffUUN10_Pj046qYf/view?usp=sharing

blog:「1/28 マルレクへの招待 」
https://maruyama097.blogspot.com/2023/01/128-ai-chatgpt.html

まとめページ
https://www.marulabo.net/docs/meaning/

セミナー申し込みページ
https://chatgpt2.peatix.com/

コメント

このブログの人気の投稿

マルレク・ネット「エントロピーと情報理論」公開しました。

初めにことばありき

人間は、善と悪との重ね合わせというモデルの失敗について