翻訳能力
【 翻訳能力のブレイクスルー としての大規模言語モデル 】 現在のChatGPTのユーザーの多くは、それが多言語対応していることの恩恵をさまざまな形で受けていることは知っていると思います。ただ、アクティブなChatGPTのユーザーが、それをもっぱら翻訳システムとして利用することは少ないように思えます。僕も普段は、翻訳にはDeepLを使っています。 それは、生成AIの応用が多様であることの反映なのですが、それは、現時点 – 生成AIの立ち上がりの時点での関心の分布の反映でしかないのかもしれないとも考えています。 僕は、長い目で見たとき、大規模言語モデルの最大の貢献は、あれこれの生成AIの「応用」ではなく、人間にことばの壁を乗り越える現実的手段を初めて提供したことにあると考えています。もっとも、言語の壁がなくなるまで、どのようなプロセスとどれだけの時間が必要なのかは、わからないのですが。ただ、「技術的」には、それは可能です。 大規模言語モデルは、生成AIの「誕生の地」なのですが、それは同時に、翻訳能力のブレークスルーが起きた場所でもあるのです。 そうした関係については、4月のマルゼミ「ことばと意味の数学的構造」から割愛され別資料として公開された次の資料を参照ください。 「意味の分散表現論の系譜 -- 大規模言語モデルへ」 https://drive.google.com/file/d/1NTs7r-wdtG1EbIkpb1oDmmIFiTlU_0ip/view?usp=sharing 上記の資料のショートムービーの再生リスト ：「Genealogy of LLM」 https://www.youtube.com/playlist?list=PLQIrJ0f9gMcPZfOVwH0wdu_PoELeAPqon このセッションでは、GPT-4の翻訳システムとしての能力をチェックします。 GPT-4が、僕が翻訳させた原文の出典を知っていたことから、翻訳とはことなるどのようなプロセスがそうした知識を呼び起こしたかを問いました。「記憶」の喚起に相当するプロセスの存在は否定します。 僕の質問：「あなたは、いろんなことを学習し、いろんなことを知っていますね。そうした「学習結果」は、どのように組織されて、どのように記憶されているのでしょう？」 GPT-4の答：「具体的な「記憶」の概念に