翻訳能力
【 翻訳能力のブレイクスルー としての大規模言語モデル 】
現在のChatGPTのユーザーの多くは、それが多言語対応していることの恩恵をさまざまな形で受けていることは知っていると思います。ただ、アクティブなChatGPTのユーザーが、それをもっぱら翻訳システムとして利用することは少ないように思えます。僕も普段は、翻訳にはDeepLを使っています。
それは、生成AIの応用が多様であることの反映なのですが、それは、現時点 – 生成AIの立ち上がりの時点での関心の分布の反映でしかないのかもしれないとも考えています。
僕は、長い目で見たとき、大規模言語モデルの最大の貢献は、あれこれの生成AIの「応用」ではなく、人間にことばの壁を乗り越える現実的手段を初めて提供したことにあると考えています。もっとも、言語の壁がなくなるまで、どのようなプロセスとどれだけの時間が必要なのかは、わからないのですが。ただ、「技術的」には、それは可能です。
大規模言語モデルは、生成AIの「誕生の地」なのですが、それは同時に、翻訳能力のブレークスルーが起きた場所でもあるのです。
そうした関係については、4月のマルゼミ「ことばと意味の数学的構造」から割愛され別資料として公開された次の資料を参照ください。
「意味の分散表現論の系譜 -- 大規模言語モデルへ」https://drive.google.com/file/d/1NTs7r-wdtG1EbIkpb1oDmmIFiTlU_0ip/view?usp=sharing
上記の資料のショートムービーの再生リスト ：「Genealogy of LLM」
https://www.youtube.com/playlist?list=PLQIrJ0f9gMcPZfOVwH0wdu_PoELeAPqon
このセッションでは、GPT-4の翻訳システムとしての能力をチェックします。
GPT-4が、僕が翻訳させた原文の出典を知っていたことから、翻訳とはことなるどのようなプロセスがそうした知識を呼び起こしたかを問いました。「記憶」の喚起に相当するプロセスの存在は否定します。
僕の質問：「あなたは、いろんなことを学習し、いろんなことを知っていますね。そうした「学習結果」は、どのように組織されて、どのように記憶されているのでしょう？」
GPT-4の答：「具体的な「記憶」の概念について話すと、GPT-4は単語や情報を個々に「覚えている」わけではありません。しかし、学習過程で得られた知識は、ネットワークの重みとバイアスとして格納されます。」
「したがって、「学習結果」は、モデルの全体的な構造とその重みとバイアスによって組織化されています。これは人間が個々の事実や情報を脳に直接保存するのとは対照的で、より抽象的な表現を生成します。私は単純に情報を「覚えている」わけではなく、大量のデータから抽出したパターンを用いて新しい情報を生成します。」
ただ、人間は、「個々の事実や情報を脳に直接保存」しているわけではないですね。
人間も、情報を最下層では脳内のニューロンのネットワークの「全体的な構造とその重みとバイアスによって組織化」しています。同じなんです。
階層が一つ上がると、新しい何かが「創発」されるのだと思うのですが、我々同様、GPT-4もそのメカニズムは理解していないのかもしれません。
-------------------------------------
ショートムービー「 翻訳能力 」を公開しました。
https://youtu.be/GwLJiHXMayA?list=PLQIrJ0f9gMcMZkwx9VXm46JJ57pNpix1b
資料 pdf「 翻訳能力 」
https://drive.google.com/file/d/1nCoaFgdwF7G3x1rtYbu-bapCEO59SU1O/view?usp=sharing
https://maruyama097.blogspot.com/2017/03/blog-post_11.html
https://dialog-with-gpt4.peatix.com
コメント
コメントを投稿