数学的展望
【 AI技術の数学的基礎の革新を目指して 】
------------------------------
2/29マルレク「言語の意味の数学テク構造」申し込みページ作成しました。次のページから、受け付けています。https://meaning-structure.peatix.com/
お申し込み、お待ちしています。
------------------------------
【 この論文が明らかにしたこと 】
今回のセッションでは、論文の最後のセクション、"Conclusion: Looking Forward" を紹介します。
前回までのいくつかのセッションは、彼女の言語思想にフォーカスしたもので、数学はあまり表面にでてきませんでしたが、今回は、数学が戻ってきます。
まず、この論文の結論として、概略、次のように語ります。
⚫️ 純粋にsyntacticalな入力から言語の構造的特徴を抽出できる。
⚫️ 実際のデータから実数の行列を作り、線形代数的な方法(SVD)で語の埋め込みを理解できる。
⚫️ 上で得た実行列にカットオフを適用して{0,1}値の行列を作成して、Formal Concept Analysis の手法を利用できる。
⚫️ これらの手法のそれぞれはいずれも既知のものであるが、両者の間にパラレルな関係があることを示した。
すこし謙遜していますが立派なものだと思います。
ちなみに、embedding とSVDの関係を始めて明らかにしたのは、2014年の次の論文だと思います。
Omer Levy and Yoav Goldberg, Neural word embedding as implicit matrix factorization https://cseweb.ucsd.edu/~dasgupta/254-deep-ul/ronald.pdf
【 課題と展望 】
こうした到達点を踏まえて、今後の数学的展望を示したのが、このセクションです。
「重要なのは、enriched カテゴリー論の枠組みが、統語論から意味論がどのように生まれるかについての理解を深めることである。」その上で、
「意味論の構造を研究するために、線形代数にヒントを得た新しいツールを提供できる可能性がある。」と語ります。
前者の指摘については、前回・前々回のセミナー「大規模言語モデルの数学て構造」で紹介した、enriched カテゴリーを用いてSyntaxカテゴリーに確率概念を導入し、再構成されたcopresheaf 意味論を導くという展開が、今後の基本的な枠組みになるということだと思います。
後者の「線形代数にヒントを得た新しいツール」の構想は、今回の論文での幾つかの実験から、何を教訓として学ぶのかということだと思います。
この点では、いくつかのアイデアと課題が提案されています。
【 線形代数とFormal Concept Analysis を より近づける 】
ひとつは、「線形代数とFormal Concept Analysis をより近づける」ことが示唆されています。
具体的には、実数X上に値を取る関数を[-∞, ∞]でenrich化されたpresheafのカテゴリーと見なし、行列𝑀またはその変形は、拡張された実数のカテゴリー上でenrich化されたprofunctorとみなすことができるということです。
profunctor上のnuclei（それは行列の固有値・固有ベクトルの対応物と考えることができます）の構造を直接研究することで、それは可能になると言います。
線形代数の議論は、要素上の順序以上の構造を持たない集合𝑋と𝑌から始まっているのです（m行n列というように）が、そこもenrich化でき、そのenrich化は任意の 𝑋-𝑌 profunctorのnucleiに反映されるといいます。
【 文法のカテゴリー論的再編成とDisCoCat 】
意味に構造を見出そうとする彼女の問題意識は（それは、フレーゲ的な「構成性の原理」と同じものです）、あらためて「文法」概念の再構成に向かうのかもしれません。
「文法」のカテゴリーから意味を捉える有限ベクトル空間へのfunctor というフレームは、Coeckeらの（そして、かつての彼女自身の）DisCoCatのアプローチに他なりません。
それは、特定の文法カテゴリーの選択に依存するという大きな問題を抱えているのですが、その弱点は、enrich化で乗り越えられるかもしれないと言います。
「SyntaxからSemanticへの道」は、「もし𝑋が集合以上の構造を持つことから始めたいのであれば、この論文で説明した数学的な物語を崩すことなく、enriched カテゴリー論がその方法を提供するということである。」
【 多重線形代数とテンソル・ネットワーク 】
彼女が、注目しているもう一つフレームは、線形代数の拡大としての多重線形代数です。
「例えば、ベクトル空間𝑉_1⊗𝑉_2⊗⋯⊗𝑉_𝑛のテンソル積のテンソルを tensor train、あるいはmatrix product state と呼ばれるものに因数分解することは、𝑛 - 1個の互換性のある切り捨てSVDの列として解釈できる。」
こうした手法は、彼女の以前の論文、"Modeling Sequences with Quantum States: A Look Under the Hood" https://arxiv.org/pdf/1910.07425.pdf で説明されています。一年前の丸山のセミナー「密度行列 ρ で理解する確率の世界」https://www.marulabo.net/docs/density2/ は、こうしたアプローチを紹介したものです。
テンソル・ネットワークへの注目の理由ですが、彼女が次のように述べていることは重要だと思います。
「テキストデータは、単なる語とコンテキストのペアというよりも、長い文字列と見なすのが自然であることを考えると、このようなオブジェクトのカテゴリーを強化したものが、言語において構文的なものから多層的な意味構造がどのように生まれるかを理解するのに適していると考えるのが妥当であろう。」
copresheaf 意味論は、語、フレーズ、文、文の連続 ... と続く「長い文字列」を対象にしたものでしたから。
セミナー申し込みページ
https://drive.google.com/file/d/1Icbxjv2QTV__yB5eBMYL1wmRVySPawYu/view?usp=sharing
https://www.youtube.com/playlist?list=PLQIrJ0f9gMcOJYKeUN_8q2K-yxtTfbIoB
コメント
コメントを投稿