投稿

Bradley2024論文解説3-1 singular value decomposition

 【 「Bradley2024論文解説3-1  singular value decomposition」を公開しました 】 今回の「Bradley2024論文解説3-1  singular value decomposition」は、2024年のTai-Danae Bradleyらの論文「The Structure of Meaning in Language」の第3章の "singular value decomposition" の部分を解説したものです。 【 ベクトルに作用する関数としての行列 】 今回のセッションは、まず、体𝑘上に値を取る集合𝑋上の関数 v: X → k ∈ k^X −− Xからkへの関数を k^Xとあらわしていますが、 これはベクトルのことです −− を扱います。ただ今回のセッションの主要な対象は、ベクトルに作用する「行列」です。 有限集合𝑋,𝑌が与えられたとしましょう。体𝑘に値を取る𝑋-𝑌行列は、関数 m: 𝑋×𝑌→𝑘です。このXとYを引数とする二変数の関数を 𝑋→(𝑌→𝑘) すなわちXを引数として(𝑌→𝑘)に値をとる一変数の関数に変形することをcurry化するといいます。 このcurryingで、mは関数 𝑋→𝑘^𝑌を定義することが分かります。(先に見たように (𝑌→𝑘) はベクトル 𝑘^𝑌です ) 同様に、mの引数XとYの順序を変えたm': Y ×X→𝑘を𝑌→(𝑋→𝑘)とcurry化すれば、m'は関数𝑌→𝑘^𝑋を定義することが'分かります。 先に定義した関数𝑋→(𝑌→𝑘) すなわち 𝑋→𝑘^𝑌 は、Xの要素xをm(x, − )に割り当てますm。  同様に、関数 𝑌→(𝑋→𝑘)すなわち𝑌→𝑘^𝑋は、Yの要素yをm'(y, − ) = m( −,y) に割り当てます。(m'はmの引数の順序を逆にしたものです) 𝑋と𝑌の要素を順序づければ、関数𝑚は、|𝑋|個の行と|𝑌|個の列からなる長方形の要素で表現されます。ここで、𝑥行y列の要素は、𝑚(𝑥,𝑦)です。 この時、関数𝑚(𝑥,−)∈𝑘^𝑌は、行列𝑚の𝑥番目の行と同一視できます。この関数は、𝑌の要素と同じ数のエントリー...

Dialogue 「Bradley2024論文解説3 --- 意味の空間から意味の構造へ」

 【 Dialogue 「Bradley2024論文解説3 --- 意味の空間から意味の構造へ」 】 Dialogue 「Bradley2024論文解説3 --- 意味の空間から意味の構造へ」は、論文の構成に基づいて次の四つのエピソードから構成されています。   1.  singular value decomposition   2.  profunctor   3.  Isbell adjunction   4.  Formal concept Bradley2024論文のこの「意味の空間から意味の構造へ」のPart は、Bradley2024論文の数学的な核心部分です。 線形代数的アプローチとカテゴリー論的アプローチの「驚くべきパラレル性」を体系的に構築し、語の埋め込みが与える「意味の空間」を超えた「意味の構造」(Formal Conceptのlattice)へと進む道筋を切り拓きます [p.93] 。 行列とprofunctor、SVDとIsbell adjunction、特異ベクトルとformal conceptのnucleiが対応するという美しい類比関係が本Partの核心です [p.122] , [p.126] 。 【 「 Bradley2024論文解説3」の当面の展開について 】 残念ながら、一回の解説記事で、この 「意味の空間から意味の構造へ」のPart 全体の紹介を行うことは、内容が多すぎて難しいのです。といって、この部分の解説を簡略化するのは、Bradley2024論文の理解のために論文をきちんと解説するという、「Bradley2024論文解説」の趣旨に反します。 この「意味の空間から意味の構造へ」のPart については、次回から各エピソードごとにゆっくり解説を行いたいと思います。次のように。   Bradley2024論文解説3-1.  singular value decomposition   Bradley2024論文解説3-2.  profunctor   Bradley2024論文解説3-3.  Isbell adjunction   Bradley2024論文解説3-4.  Formal concept 【 「意味の空間から意味の構造へ...

Dialogue 「Bradley2024論文解説1 -- オブジェクト vs. オブジェクト上の関数」

 【 Dialogue 「Bradley2024論文解説1 -- オブジェクト vs. オブジェクト上の関数」を公開しました 】 Dialogue シリーズ「Bradley2024論文解説」は、アメリカ数学会誌(Notices of the AMS)2024年2月号に掲載されたTai-Danae Bradley、Juan Luis Gastaldi、John Terillaによる論文「The Structure of Meaning in Language」を詳細に解説するものです 。 この論文は、現在の新しい言語意味論である「構造的幾何学的型付け理論」の出発点となった重要な論文です。この理論の理解には、この論文の理解が必要だと丸山は考えています。 そのために、ぜひ、 Dialogue シリーズ「Bradley2024論文解説」をご利用ください。 このDialogueシリーズは、2024年2月に開催されたマルレク「言語の意味の数学的構造」のショートムービーと、このセミナーの書き換え版である「MaruLabo コンシェルジェ」の解説と資料ページへの参照を再利用しています。(ページ番号で参照されているファイルのURLは、末尾のリンク情報を参照ください。) 【 Bradley2024論文の概要 】 この論文の中心的な問いは、「純粋に構文的(syntactical)な入力から、言語の意味的・構造的特徴をどのように抽出できるか」というものです。これは単なる技術論ではなく、ソシュールの構造主義言語学やチョムスキーの生成言語学にまで遡る、言語学の根本的な問いと接続しています [p.180] , [p.181] 。 論文の背景には、現在の主流である大規模言語モデル(LLM)への批判があります。著者たちは、ニューラル言語モデルが驚異的な性能を発揮しているにもかかわらず、そのタスク遂行の際に必然的に働いている「構造的特徴」を明示的に明らかにしていないという根本的な不十分さを指摘します [p.8] , [p.183] 。意味と形式は不可分であるという考え方は新しくないにもかかわらず、現在のAI議論に十分浸透していないと彼女たちは主張します [p.179] 。 探求のアプローチとして採用されるのが、カテゴリー理論、特にenriched category理論です。論文は、線...

Dialogue Access List

イメージ
 Dialogue Access List 2026年10月のDialogue 9. 構造的幾何学的型付け理論入門 8. 「Isbell核意味論」の発展概要 7. 意味の「空間」から意味の「構造」へ:言語理論の転換を方向づけた「ニューラル言語モデル」批判 を振り返る 6. 大規模言語モデル理論の新しい発展 — LLMのマグニチュード論 5. 大規模言語モデルの「Next Token 確率」計算の謎 4. 大規模言語モデルの数学的構造 3. AIと数学が交差する領域で2026年に起きたこと 2. 機械の言語能力の獲得について 1. 新しい物理理論の登場とAI 2026年9月のDialogue 3. プログラム開発と形式手法 2. 同一性の認識と型の理論の成立 1. AI定理証明の数学的基礎

Tai-Danaeを探して 2 -- 彼女の理論は今どこで生きているか

イメージ
  God's Perfect Timeline: Keeping AI in Perspective 彼女の理論は今どこで生きているか 教えていただいた彼女の論文は、全部、見ています。 Bradley–Terilla–Vlassopoulos 2021 → Bradley–Gastaldi–Terilla 2024 → Bradley–Vigneaux 2025 という流れは面白いですね。 「彼女の理論が今どこで生きているか」という調査、始めてもらえますか? はい。調査を始めました。第一報としては、かなり面白い結果です。 前回より一段強く言えます。 Bradley の「LLMの統計から意味の数学的構造を取り出す」という研究プログラムは消えていません。むしろ2025–26年に、Bradley本人の手を少し離れて、John Terilla、Juan Luis Gastaldi、Samantha Jarvis、Thomas Seiller を中心とする独立した研究プログラムへ育ち始めています。 しかも、そのことをほとんど公式に宣言しているような2027年の研究集会まで見つかりました。 1. 一番大きな発見:2027年Dagstuhl研究集会 2027年1月4–8日にDagstuhlで、 Mathematical Foundations of ML Language Models through Structural Geometric Typing というResearch Meetingが予定されています。主催者は Juan Luis Gastaldi / Samantha Jarvis / Thomas Seiller / John Terilla です。 そして、この集会の趣旨説明が驚くほど明瞭です。現在進行している三つの研究線の第1番目として、明示的に Bradley 2020 → Bradley–Terilla–Vlassopoulos 2021 → Bradley–Gastaldi–Terilla 2024 を挙げ、それを “a categorical approach to syntactic data leading to a generalization of both word vector embeddings and formal con...