「大規模言語モデルの数学的構造」第二部へのお誘い
【「大規模言語モデルの数学的構造」第二部へのお誘いと第一部のふりかえり 】
先月のセミナー、「大規模言語モデルの数学的構造 I -- 言語へのカテゴリー論的アプローチ入門 」に、多くの人に（「当社比」ですが）関心を持っていただいて、ありがとうございました。
この連続セミナーは、基本的には、Tai-Danae Bradleyらの論文 "An enriched category theory of language: from syntax to semantics" の紹介を目指したものです。先月のセミナーの第一部は、この論文の基本的特徴である言語理論へのカテゴリー論アプローチの基礎を解説したものです。
今月、セミナーの第二部を「大規模言語モデルの数学的構造 II -- enriched categoryによる言語モデル」というタイトルで開催します。
ここで、第一部では取り上げていなかった、先の論文の主題である、enriched category を用いたsyntaxからsemanticsにいたる言語理論の紹介をしようと思います。第二部から、いよいよ、連続セミナーの本題に入ることになります。
あらためて、多くの人のセミナー第二部への参加をお願いしたいと思います。
【 第一部のふりかえり 】
ここでは、第一部で見てきたことを簡単にふりかえります。
【 言語のカテゴリー Lを、preorder category として捉える 】
言語を構成する意味を持つ文字列である、語・フレーズ・文・文の連続 ... を「表現」とします。任意の表現 S, Tについて、表現Sの文字列が表現Tの部分文字列であるとき、S ≦ Tと順序を定義します。
この順序は、次の性質が確かめられますので preorder（前順序）です。
1. S ≦ S （反射律）
2. S ≦ T かつ T ≦ U なら、S ≦ U （推移律）
この時、言語の表現をオブジェクトとし、表現間の順序 S ≦ T を S → T という射（モルフィズム）を定義すると考えると、言語は、preorder category として捉えることができることがわかります。
ここでは、次のことに注意しましょう。
・この言語のカテゴリー L では、二つの異なるオブジェクト間の射は、
ただ一つ存在するか、あるいは、全く存在しないかのいずれかです。
・この言語のカテゴリー L は、ある言語が文字表現を持つ限り、
日本語、英語、... といった違いを超えた言語の特徴を表現しています。
【 表現 Sの「意味」を、カテゴリー L 内の S → T なる射全体の集合と考える 】
Firth は、次のような言葉を残しています。
「我々は、ある語を、それが引きつれている仲間たちによって知ることになる。」
こうした意味の理解をベースにして、ある表現Sの意味を、それが「引きつれている仲間たち」の全体の集合で考えることにします。Sの「仲間たち」とは、S → T なる射が存在する表現Tのことです。
それらの全体を考えるということは、S → T なる射全体の集合を考えるということと同じことです。
【 意味のカテゴリーは、copresheaf Set^L で表現される 】
カテゴリー L 内の S → T なる射を、L(S, T) と表します。また、L(S, − ) で、Sの意味を表現している、Sのすべての「仲間たち」への「射全体の集合」を表すことにしましょう。
SがLのオブジェクトである時、それに対応する意味のカテゴリーを構成しているオブジェクトは、射全体の集合L(S, − )だと考えることができます。この対応は、カテゴリーL から集合のカテゴリーSetへのfunctorを考えることに他なりません。
カテゴリー論では、カテゴリーCから集合のカテゴリーSetに値を持つfunctorで構成されるカテゴリーを、Set^Cで表し、C上のcopresheaf と呼びます。
意味のカテゴリーは、言語のカテゴリー L から、集合のカテゴリー Setに値を持つ、functor で構成される L上のcopresheaf で表現されることになります。
【 言語のカテゴリーと意味のカテゴリーの対応は、Yoneda Embeddingで与えられる 】
言語のカテゴリー Lと意味のカテゴリー Set^Lの対応は、LのオブジェクトSに、Set^LのオブジェクトL(S, − )を対応付けるものです。
こうした対応づけをYoneda Embeddingと呼びます。
https://drive.google.com/file/d/1-YXFrAVLu9JSYPQM-pB3V6S20ldCg_43/view?usp=sharing
https://www.marulabo.net/docs/llm-math2/
https://www.youtube.com/playlist?list=PLQIrJ0f9gMcPmrJ3B0LEXJ_SHPP-ak_hw
コメント
コメントを投稿