構成性に基づく推論
【「黒い猫」問題 】
諸氏百家の時代の論客公孫竜は、「白い馬は馬ではない」という議論を展開したそうです。「白い馬」という概念は、「馬」という概念とは違うものだということなのですが、やはり、典型的な「詭弁」ですね。どう考えても、「白い馬」は「馬」です。
「どう考えても」と言いましたが、では、どう考えれば「白い馬」は「馬」だと言えるのでしょう？ いろんな場合が考えられます。（といっても、可能な場合を全てあげるわけではないのですが）
一つには、白い馬を実際にみて、それが馬であることを知っている場合です。ある場合には、実際には白い馬を見たことはなくても、本やなんらかのメディアを通じて「白い馬は馬である」ことを知っていることがあるかもしれません。
ただ、こうした考えとは異なる考えがあります。それは、ある意味、公孫竜の考えに似ています。結論は逆ですが。「白い馬の概念は馬の概念に含まれているから、白い馬は馬である」と考えることです。
ただ、「白い馬の概念」（それは、「意味論」的に考えるということなのですが）を持ち出さなくても、この場合は、「白い馬」という「形容詞」＋「名詞」の形の「名詞句」の文法的構成から、直接に、「白い馬は馬である」ということができます。
文法性のことを「構成性」とも呼びます。（意味も、「構成性」を持ちます。）
前回のセッションで、「黒い猫」というフレーズを使ったので、こういう質問をGPT-4に投げてみました。
「GPTでは「黒い猫は猫」であるという推論はできますか？ 」
GPT-4の答えは、こういうものでした。
「GPTは事前に学習した大量のテキストデータからパターンを学び取りますが、その基本的な設計では、厳密な意味での推論や論理的な帰結は直接的には行いません。
しかし、訓練データに存在するパターンに基づいて、「黒い猫」が「猫」であるという事実を理解し、その情報に基づいた文を生成することはできます。
..... ただし、このような知識は、言語モデルが訓練データから学び取った統計的なパターンに過ぎず、モデルが「黒い猫」が「猫」であるという推論を自身の内部的な「理解」から生成しているわけではありません。」
こうした大規模言語モデルの推論能力の弱点を、「黒い猫」問題と呼ぶことにしましょう。こうした弱点は、モデルの規模をさらに拡大すれば、解消されると考えている人も少なくないと思います。でも、そうじゃないんです。
ある論文を引用して、GPT-4に次のように質問しました。
「先の論文の内容を、モデルの規模をいくら拡大しても、
「黒い猫」は「猫」であると推論する能力を獲得する
とは限らないというように理解してもいいですか？」
GPT-4の答えです。
「あなたの理解は基本的には正しいです。モデルのスケールアップは多くのケースでパフォーマンスの向上をもたらしますが、それが必ずしも「黒い猫」が「猫」であるといった種類の推論を獲得することを保証するわけではありません。なぜなら、これらの種類の推論は、モデルが概念的な理解や論理的な推論を行う能力を必要とするためです。」
自然言語処理では、ある前提 premise からある仮説 hypothesis を導く推理を Entailment （含意）と呼びます。Entailmentので結びつけられる関係は自然言語処理の応用で重要な役割を果たします。
「黒い猫」問題を、entailment「含意」の能力として、GPT-4に聞いてみました。
「GPTでは「黒い犬」というpremiseは 「黒い犬は犬である」
というhypothesis をentail 含意できますか？」
「GPTのモデルは、直接的に含意関係を判断する設計にはなっていません。しかし、適切な訓練データを使って学習した場合、特定の文脈で「黒い犬」というフレーズから「黒い犬は犬である」という結論を導くような文章生成を可能とすることはあります。だからと言って、全ての含意関係を正確に捉えることができるわけではなく、誤った含意を生成することもあります。」
「黒い猫」問題を解決するために、「適切な訓練データを使って学習すればいい」というのは、ひどい遠回りです。「白い馬」問題、「黄色いカラス」問題等々、問題はいくらでもありますから。次のように聞いてみました。
「この例の場合は、「犬」という名詞を「黒い」という
形容詞で修飾して名詞句を作るという文法性を学習する
のが近道ではないですか？」
GPT-4の答えです。
「あなたが指摘されているように、「黒い犬は犬である」というような基本的な含意関係は、実際には名詞と形容詞の基本的な文法関係に基づいています。そのため、この種の関係を学習するためには、言語モデルが形容詞と名詞の間の文法関係を理解することが不可欠です。
...しかし、現在のところ、GPTやBERTのようなトランスフォーマーベースのモデルは、その内部表現が語彙の順序に敏感であるという点で、これらのタイプの含意関係を直接的に学ぶのは難しいかもしれません。
これは、モデルがどの単語が別の単語を修飾しているか、またはどの単語が他の単語に影響を与えているかという種類の構文的な情報を明示的に表現するメカニズムを持っていないからです。含意関係を理解するためには、モデルが形容詞と名詞の間の修飾関係を理解し、それが意味の構成性にどのように影響を与えるかを理解することが必要となります。」
「黒い猫」問題の解決は、簡単ではないようです。大規模言語モデルの文法性（構成性）の欠如が根っこにあるようです。GPT-4は、こうも言っていました。
「言語モデルの訓練における「近道」について言及していただいたことは非常に有意義で、研究者たちはこれらの問題をどのように効率的に解決するかについて継続的に考えています。」
-------------------------------------
ショートムービー「 構成性に基づく推論 」を公開しました。
https://youtu.be/4MBfJZN8lzQ?list=PLQIrJ0f9gMcMZkwx9VXm46JJ57pNpix1b
資料 pdf「 構成性に基づく推論 」https://drive.google.com/file/d/1dRDq4RcSSHVrbJ7ysuiVEiHJWPu67UYl/view?usp=sharing
コメント
コメントを投稿