Syntax category −− enriched category論の言語理論への応用
【 この投稿はわかりやすいかも知れない 】
このセッションから、新しい内容に入ります。
前回まで、enriched category とはどういうものなのか、その概略を見てきたのですが、このセッションから、このenriched category論を言語理論へどのように応用するのかという話をしたいと思っています。
今回はその一回めで、言語のカテゴリーに確率を導入します。それは、単なるpreorderという構造しか持たなかった言語のカテゴリーを、[0,1]でenrich化して、[0,1]−categoryにしようということです。
このカテゴリーを、Syntax categoryと呼ぶことにします。
（ 難しい言い方をすれば、単位区間[0,1]は、closed commutative monoidal preorder で、enrich化する能力を持ち、この[0,1]で enrich化されたカテゴリーを、[0,1]−categoryと呼びます。Syntax categoryは、言語の表現をオブジェクトにする、[0,1]−categoryなのです。）
【 すこしわかりやすいかも 】
ただ、今回の投稿は、少しわかりやすいのではと思っています。
なぜなら、この投稿では数学的定義や証明はほとんど出てきませんし、何よりも、こうした言語のカテゴリーと大規模言語モデルの関係が主要に語られているからです。
なぜ、面倒なカテゴリー論の枠組みを使うのか？ それは、そうした数学的枠組みが、大規模言語モデルのある意味不思議な特徴を、よりよく捉えているからです。そこが出発点です。
ここで述べていることは、大規模言語モデルの振る舞いを実際に知っている人には、覚えのあることで、わかりやすいと思いますが、それは大事なことなのです。
数学的な議論だけを追いかけていると、大事な「原点」を見失うこともあります。その意味では、今回の投稿を「原点」を確認するのに使ってもらえたらと思っています。
【 Lの射 L(x,y)とその値 】
[0,1]でenrich化されたSyntax category Lでは、その射L(x,y)は、𝜋(𝑦|𝑥)で定義されています。ここで、 𝜋(𝑦|𝑥)は、表現 yが表現 x の拡大である確率です。
例をいくつか挙げましょう。
𝐿(𝑟𝑒𝑑,𝑟𝑒𝑑 𝑓𝑖𝑟𝑒𝑡𝑟𝑢𝑐𝑘) = 0.02
𝐿(𝑟𝑒𝑑,𝑟𝑒𝑑 𝑖𝑑𝑒𝑎) = 10^(−5)
𝐿(𝑟𝑒𝑑,𝑏𝑙𝑢𝑒 𝑠𝑘𝑦) = 0
【 短い表現の場合 】
短い表現については、こうした確率を、大規模言語モデルが学習できることは明らかだと思います。実際、Transformer のSelf Attention は、そういう働きをします。
同時に、ここで得られた確率の情報は、言語の文法についての情報を与えます。Tai-Danaeらが、もはやpreorderのカテゴリーではないこのカテゴリーを、”Syntax category”と呼ぶのは、その為だと思います。
【 長い表現の場合 】
表現x,yの関係がもはや「文法的」関係とは言えない、長い表現x,yの場合に、大規模言語モデルは、確率𝐿(𝑥,𝑦) を学習できるでしょうか？
実際の例をあげましょう。表現 y=“I am going to the store to buy a can of” の後ろに”cat food” が連続して、x=“I am going to the store to buy a can of cat food” となる確率L(x,y) を、大規模言語モデルは評価出来るのです。
それは、「翻訳モデル」にはなかった「大規模言語モデル」の大きな特徴です。この能力は、主要に”Next Sentence Prediction”を通じた学習によって支えられていると思います。
【 次に行うこと 】
言語のSyntaxカテゴリーのenrich化はできら。次は、Semanticsのenrich化です。
第一部のcopresheafで意味を表現するという道を踏襲するのなら、 enrich化された言語のSyntaxカテゴリー Lから、L上のcopresheafのenrich化に進むことになります。
その為には、次のような準備が必要になります。
・functorのenrich化
・copresheafのenrich化
・natural transformationのenrich化
また、少し面倒そうな議論に入ります。
ただ、それも大規模言語モデルが、言語の意味を理解しているという大きな不思議を理解するための挑戦なのです。
もう少し、お付き合いをお願いします。
--------------------------------
https://www.marulabo.net/docs/llm-math2/
https://www.youtube.com/playlist?list=PLQIrJ0f9gMcPmrJ3B0LEXJ_SHPP-ak_hw
コメント
コメントを投稿