Tai-Danaeのアメリカ数学会デビュー論文へのコメント
【 Tai-Danaeの仕事は、まだ十分には理解されていないのかも 】
（小論は、昨日Facebookに投稿した「AIにおけるカテゴリー理論のツールの普及」のタイトルを変更し、若干の資料を追加したものです。Tai-Danae が名を連ねる論文へのコメントとしては、辛口なものになっています。
ただ、それは、この論文だけでは、この分野で彼女が果たしてきた役割が正当に評価されていないのではと言う不満に基づいたものです。
少し考えたのですが、現在準備中の彼女の理論の紹介を目的とした「大規模言語モデルの数学的構造」のエピソードの「番外編」として、このコメントを組み込むことにしました。
内容の重複をお許しください。）
--------------------------------
【 Tai-Danaeのアメリカ数学会デビュー論文へのコメント 】
来年のことを言うと鬼が笑うと言いますが、来年2月に発行される AMS（アメリカ数学会）誌にTai-Danae Bradleyらの論文が掲載されるそうです。
共著者の一人の John Terilla が自分のページにpre-print を載せています。
"The structure of meaning in language: parallel narratives in linear algebra and category theory"「言語における意味の構造：線形代数とカテゴリー理論におけるパラレル・ナラティブ」https://qcpages.qc.cuny.edu/~jterilla/main.pdf
このpreprintの「はじめに」の部分を紹介したいと思います。
「機械学習におけるカテゴリー論に関するオンラインプログラム "Categories for AI "は、昨年秋から数ヶ月にわたって展開された。 Deep Mind社の2名を含む産業界の研究者数名を含む "Cats for AI "組織委員会は、機械学習コミュニティはより厳密な構成的言語を使用すべきであり、カテゴリー論は科学全般、特に人工知能において「結束力を持つ大きな可能性」を持っていると感じていた。 この論文は決してその出来事を包括的に報告するものではないが、「Cats for AI」https://cats.for.ai/ で人気の5つの入門講義は何千回も閲覧されている-は、AIにおけるカテゴリー論のツールの普及が進んでいることを示している。」
まず、数学者に、AIの世界で、カテゴリー論に対する関心が高まっていることを、「Cats for AI 」を例に紹介しています。「機械学習コミュニティはより厳密な構成的言語を使用すべき」「カテゴリー論は科学全般、特に人工知能において「結束力を持つ大きな可能性」を持っている」という「Cats for AI 」のボードメンバーの認識への共感が示されています。
ただ、こうした動きを強力に押し進めたのは、このボードメンバーの力だけではありません。
論文は、こう続きます。
「機械学習においてカテゴリー理論が注目されている場所のひとつは、学習システムをどのように組み立てるかを議論するための形式的な方法を提供することである。本稿の目的は、それとは異なり、やや狭いものである。 それは、言語モデリングに使われるAI技術の基本的な部分を、純粋に構文的な入力から言語の構造的特徴を抽出するプロセスとして、カテゴリー論の助けを借りてどのように理解できるかということである。」
この間の理論的認識の前進の中核は、「構造を持たないように見える入力から、言語の構造的特徴を抽出する」ところにあると、僕は考えているのですが、これだと「構文的な入力」を前提とするDisCoCatのとアプローチの違いは見えなくなります。
「構造は形式から生じるという考え方は、多くの読者にとって驚きではないかもしれない。カテゴリー理論の考え方は、3世代にわたって純粋数学に大きな影響を与えてきた。このページに掲載されている数学は、現代の言語学で広く受け入れられている考え方に反駁し、言語に対する構造主義的アプローチへの回帰を支持するものである。」
これは蛇足です。
この論文の素晴らしいところは、ニューラルネット(DNN)が、実際の言語使用の場面で極めて有益な、低い次元での意味の分散表現を「近似的に」生み出すメカニズムに迫っているところです。
それは、次のように語られています。
「この論文は、関連するカテゴリー論との驚くべきな並行性を準備することになる線形代数のかなりぺダンティックなレビューから始まる。 その後、線形代数を用いて、大規模言語モモデルの根底にある単語の埋め込みを理解する方法を検討する。」
ただ、Dai-Tanaeの方法は、数学的には、線形代数を用いるものではなく、preorder という簡単な構造しか持たない 言語のカテゴリー L を、Yoneda embedding を用いて、Grothendieck が構成した PreSheaf に埋め込むと言う、純粋にカテゴリー論的なものです。
そうしたアプローチは、数学者にとっても「ぺダンティック」なものに映るのかもしれません。
ただ、こうしたアプローチを支えている「直観」は、言語は、代数的な特徴と統計的な特徴の両面を備えているという直観です。そして、代数的な特徴と統計的な特徴の両面を備えている対象は言語だけではなく、量子の世界もそうだと言うことを、彼女は確信しています。
それは、線形代数的なSVD分解を、String Diagramで見事に図式化した以前の彼女の仕事をみればわかります。それは、同時に古典的な確率概念から、量子論的な確率概念への移行を理論的に整理したものでした。
こうした議論については、2023年2月のマルレク「密度行列 ρ で理解する確率の世界」https://www.marulabo.net/docs/density2/ を参照ください。このセミナーは、Tai-Danae Bradleyの2020年の論文 "At the Interface of Algebra and Statistics" 「代数と統計の境界で」 https://arxiv.org/abs/2004.05631という学位論文の解説を目的としたものです。
「 線形代数をMad Lib Style（アドリブで言葉の置き換えを楽しむショー風）に、関連するカテゴリー論に置き換えると、出力は単語の埋め込みではなく、形式概念（Formal concept）の格子になる。 概念格子を生み出すカテゴリー論は、特に単純化されたenriched category理論の一部であり、もう少し単純化することで、さらに多くの言語構造が明らかになることを示唆している。」
Formal Concept 僕はよく知らないのですが、このまとめも一面的な気がします。Lattice 構造の生成は、Mad Lib Style での一例に過ぎないと思います。
彼女の意図しているものの先にあるのは、PreSheafが、LawvereのToposであることを利用したいのだと思います。言語の「論理性」を示すには、最強・最良のアプローチだと思うのですが、「論点先取」になっていないか、少し気にしています。
ともあれ、Tai-Danaeの名前が、アメリカの数学者の間に、広く知られることを期待しています。
先の「Cats for AI」でのTai-Danaeの講演 「Category Theory Inspired by LLMs 」をぜひご覧ください。
YouTube: https://youtu.be/_LgWD3UTKfw
Slide: https://cats.for.ai/assets/slides/TDB_slides.pdf
こうしたAIの理論的基礎で進行しつつあるパラダイム・シフトは、非常に大きな意味を持つものと考えています。
今回の投稿のタイトルとは、少し矛盾するのですが、AI技術に利用できる理論的ツールが整備されたという認識では、技術者にとっても、おそらくは数学者にとっても、進行中の展開に追いつけないような気がしています。
「純粋数学」と「応用数学」の関係については、次回のポストで述べたいと思います。
https://www.marulabo.net/docs/llm-math/
コメント
コメントを投稿