過去・現在・未来

  [1809.05923] What is Applied Category Theory?   [1811.11041] Translating and Evolving: Towards a Model of Language Change in DisCoCat   [1910.07425] Modeling Sequences with Quantum States: A Look Under the Hood   [2004.05631] At the Interface of Algebra and Statistics   [2007.03834] Language Modeling with Reduced Densities   [2106.07890] An enriched category theory of language: from syntax to semantics   [2106.15666] Probabilistic Graphical Models and Tensor Networks: A Hybrid Framework   [2107.09581] Entropy as a Topological Operad Derivation   ams.org/journals/notices/202402/rnoti-p174.pdf   [2412.17772] Towards structure-preserving quantum encodings   [2501.06662] The Magnitude of Categories of Texts Enriched by Language Models

【 カテゴリーのenrich化 】 このセッションは、Tai-Danae Bradleyらの理論を理解するのに必要な「enrichedカテゴリー論」についての話です。 「enrichedカテゴリー論」は、日本語だと「豊穣圏論」と訳されることがあるのですが、あまりいい訳とは思えません。 「圏論」自体、硬い訳語だと思うのですが（「カテゴリー論」でいいと思います）、「豊穣圏論」はもっと硬くて難しい印象を与えます。 こうした学術用語での「日本語優先主義」というより「漢字優先主義」は、かつて、と言っても明治初期の西洋の技術や科学を受入れる時には、「漢字の力」は大成功を収めるのですが、今は、そういう時代ではないと思います。 日本語も大きく変わっています。「コンピュータ」「スマホ」といったカタカナ言葉はもはや日本語の一部ですし、”TV”や”DVD”というようにアルファベットを直接使うことも珍しいことではありません。 訳語の選択についてですが、enriched categoryを「豊穣圏」と訳し、enrich化することを「豊穣化する」と訳すのに、僕は違和感を覚えています。 あるカテゴリーから出発して enrich化を何度も適用すれば、「豊穣」なカテゴリーが次々と生まれるというイメージがあるのかもしれません。 ただ、「enrich化」によってカテゴリーが豊かになるのは確かなのですが、それは「豊穣」のような大袈裟な形容詞を必要とする変化ではないと思っています。 enrich化については、もう一つ大事な視点があります。 今回のセッションの最後に簡単に触れているだけなので、説明不足なのですが、enriched カテゴリー論は、豊なカテゴリーを生み出すためだけでなく、カテゴリー論自身を基礎付ける試みとして利用されます。 ある芸術家の想像力が生み出した作品群を「豊穣である」と表現することはできると思いますが、その芸術家の自己分析・内省を同じ「豊穣」という言葉で評するのは、適切だとは思えません。「豊かで深い分析」ぐらいでいいと思います。 【 今回のセッションでの用語について】 というわけで、今回のセッションでは、「豊穣圏」でなく、「enriched カテゴリー」という言葉を使っています。また、「豊穣化する」は「enrich化する」、「豊穣化される」は「enrich化される」という言葉を使って...

【 セミナーのタイトルを変更しました 】 以下の点で、コンテンツを更新しました。 　・セミナーのタイトル変更 　・Deep Dive Audioページの作成 　・「意味の構成性」について 　・セミナー申し込みページの作成 【 セミナーのタイトル変更 】 セミナーのタイトルを、 「LLMと意味の理論モデルの新しい展開とその数学モデル概説」 から 「LLMと意味の理論モデル概説」 に変更しました。 【 Deep Dive Audioページの作成 】 今回のセミナーの音声概要コンテンツを、独立のページとして作成しました、 https://www.marulabo.net/docs/dda20250816/ からアクセスできます。ご利用ください。 今回、4つ目のコンテンツとして、「進むLLMの内部構造の理解」が追加されています。 【 「意味の構成性」について 】 現在のLLMと意味の理論モデルの研究の焦点の一つは、「意味の構成性」にあります。 以前のマルレク「ことばと意味の「構成性」について – カテゴリー論と意味の形式的理論」のコンテンツを、YouTube中心からpdf資料中心に再構成しました。 https://www.marulabo.net/docs/discocat/　 特に、現在の研究の「源流」というべき、DisCoCat理論の理解にご利用ください。 【 セミナー申し込みページの作成】 セミナー申し込みページを作成しました。 https://mathmeaning.peatix.com/view　 −−−−−−----−−−−--−−−−-−− セミナー申し込みページ https://mathmeaning.peatix.com/view blog 「セミナーのタイトルを変更しました」 https://maruyama097.blogspot.com/2025/08/blog-post_05.html スライド「セミナーのタイトルを変更しました」のpdf ファイル https://drive.google.com/file/d/1VgxDmGrfrA7DnvwsQtmyDg0iijw6czzJ/view?usp=sharing ショートムービー「セミナーのタイトルを変更しました」 https://youtu.be/9pl7uNVjYrk ?list=PLQIrJ...

【 DisCoCat−- CoeckeとBradley 】 DisCoCatは、 Distributional Compositional Categorical Semantics の略称です。日本語にすれば、「カテゴリー論的構成的分散意味論」ということになります。 DisCoCatを提唱した最初の論文は、Bob Coeckeらが 2010年に発表した次の論文です。 “Mathematical Foundations for a Compositional Distributional Model of Meaning” https://arxiv.org/abs/1003.4394 【 DisCoCatは、なぜ、重要なのか？ −−  言語と意味の「構成性」 】 なぜ、15年前のDisCoCat 論文が重要なのでしょう？ 第一に、現在のLLMと意味の理論構築の中心的関心が、成功を収めたTransformer的分散意味論の上に、言語と意味の「構成性」を回復することにあるからです。 分散意味論と構成的意味論の統一という課題に、最初に明確に取り組んだのがDisCoCat論文です。 【 DisCoCatは、なぜ、重要なのか？−− カテゴリー論の利用 】 第二に、分散意味論と構成的意味論の統一という課題に、数学的ツールとして、カテゴリー論を利用することを最初に提起して、成功裡にそれを成し遂げたのは、 DisCoCat論文が初めてだったからです。 その 理論的影響は、今日も続いています。 LLMと意味の理論の現代的深化は、カテゴリー論の利用なしには、考えることができません。 【 DisCoCatは、なぜ、重要なのか？−− CoeckeとBradley 】 第三に、理論的というより属人的なことと思われるかもしれませんが、現代のLLMと意味の理論の代表的担い手は、Bob CoeckeとTai-Danae Bradleyです。 CoeckeとBradleyは、共に、DisCoCatのメンバーとして問題意識を共有していました。 二人のアプローチは、現在では少し異なるのですが、現代のLLMと意味の理論の源流は、DisCoCatにあると僕は考えています。 【 DisCoCatでBradleyが考えたこと】 僕が知る限り、DisCoCat論文の最もわかりやすい解説は、T...

【 三つのオーディオファイルを公開しました  】 AIで生成した「音声概要」を、三つ公開しました。ご利用ください。 　● LLMの謎にカテゴリー論で迫る 　● LLMのテキスト・データに隠された構造を探る 　● 言語理解と量子論 【 LLMの謎にカテゴリー論で迫る 】 この概要では、今度の連続セミナーで中心的に取り上げることになる、Bradleyらの問題意識とカテゴリー論を利用した取り組みを主に紹介しています。 彼女の近年の研究の成果である「マグニチュード」論がどのようなものか、どのような役割が期待されているのかについて、わかりやすい解説になっています。 YouTube: https://youtu.be/KljSU65YND4?list=PLQIrJ0f9gMcPTegOC0QqBiGPwAR02CZNG Audio file: https://www.marulabo.net/wp-content/uploads/2025/08/TextDataandStructure.mp3 【 LLMのテキスト・データに隠された構造を探る 】 この概要も、Bradleyの問題意識の要約になっています。重複はありますが、重要なことなので、色々な切り口で語られるのはいいかなと思います。 米田の補題の解釈が少し詳しく語られています。また、、LLMに与えられるテキスト・データ自身に構造が内在しているという視点は大事なポイントだと思います。 YouTube: https://youtu.be/NemWx9RLkh0?list=PLQIrJ0f9gMcPTegOC0QqBiGPwAR02CZNG Audio file: https://www.marulabo.net/wp-content/uploads/2025/08/TextDataandStructure.mp3 【 言語理解と量子論 】 この概要では、BradleyとCoeckeの二人のアプローチの違いを概説しています。Bradlyらは、実際のテキスト・データの中に統計的な構造が隠されていると考えるのに対して、Coeckeらは文法構造が先在すると考えます。 対照的ですが、両者の統合の可能性も示唆されています。 YouTube https://youtu.be/9IIyLafePjw?list=PLQ...

【 自然言語理解と量子論 】 YouTube https://www.youtube.com/watch?v=9IIyLafePjw&list=PLQIrJ0f9gMcPTegOC0QqBiGPwAR02CZNG Audio File https://www.marulabo.net/wp-content/uploads/2025/08/QNLP.mp3 Transcript (00:02) 今回のディープダイブへようこそ 今日はですね 自然言語処理の最先端と言いますか 量子言語モデル QNLPの世界にちょっと深く入っていこうと思います 手元にはですね この分野の二つの大きな流れ タイ・ダーネ・ブラドリーたちのグループの 法上見論を使うアプローチと それからボブ公客たちの公正的分布意味論 これ通称ディスコキャットモデルって 言われてるみたいですけど これを比較分析したレポートがあるんです そもそもなぜ言語処理に量子論なのかっていう疑問と あとこの二つのアプローチ 根本的に何が違うのかというあたり 今回のミッションは このちょっと複雑なテーマの確信をつかんで あなたにとって何が一番重要なのか それを明らかにしていきたいなと 非常に面白いテーマですよね この二つのアプローチどちらも 言語の数学的な構造 これを捉えるために 兼論っていう中小的な数学と あと量子論の考え方を使う ここまでは共通してるんですよ でもその何というか (01:05) 出発点が本当に対照的なんです 文法の構造をまず大事にするのか それとも実際の言語データに見られる 統計的なパターン こっちを重視するのか ここに大きな違いがあるわけです なるほど文法家統計家ですか 興味深いですね ではもう少しそこを掘り下げていきましょうか そもそもなぜ言語と量子が結びつくのか その共通の土台っていうのは何なんですか はいまず基本にあるのは 分布仮説っていう考え方ですね これは単語の意味はその使われる 文脈によって決まるっていう 言語学とかAIでは割と標準的な考え方です でどっちのアプローチも単語の意味を ベクトル空間数学的な空間で表現して その単語同士の関係性とか 文の意味の合成とかを 兼論特にモノイド兼っていう 数学の言葉で記述しようとするんですね そのレポートでストリング図 ストリングダイアグラムっていう...

【 LLMの謎にカテゴリー論で迫る 】 YouTube https://www.youtube.com/watch?v=KljSU65YND4 音声ファイル https://www.marulabo.net/wp-content/uploads/2025/08/LLMandCategory.mp3 Transcript (00:00) こんにちは。ディープダイブへようこそ。 こんにちは。 いや、最近のAI、 特に大規模言語モデル、 LLM って本当に人間みたいに言葉を操りますよね。 ええ、本当に目覚ましい進歩ですよね。 でもそのAI がどうやって意味をこう掴んでるのかっていうのはなんかまだはっきりとは分かってない部分も多いんですよね。 そうなんです。その仕組みの核心部分はまだ研究上というか。 で、今回はですね、ブラットリーたちの研究論文を元にしてその意味の謎にちょっと数学的なアプローチで迫ってみたいと思います。 はい。圏論を使うんですよね。 そう、論。LM って言葉と言葉の繋がり、ま、相関係はすごく学習してるんですけど、 ええ、統計的にですね。 それだけじゃ捉えきれないもっと深い意味の構造みたいなものがあるんじゃないかと。 ふむふむ。今回のミッションはLM の、ま、限界も探りつつその圏論を使って言語の意味をこうもっと深く構造的に見る新しい視点を探ることです。 面白そうですね。統計を超えたところを見ると。 (01:09) ええ、では早速紐いていきましょうか。 お願いします。 まず基本の確認なんですけど、 LM がどうやって意味を扱ってるように見えるかですよね。 はい。 あれは膨大なテキストデータからこの単語の次にはこういう単語が来やすいみたいなその相関係を学習してるんですよね。 ええ、基本的には確率的な予測モデルですね。 でも研究者の方々はここになんか理論的なギャップがあるんじゃないかと指摘してるんですね。 その通りです。今の主流のやり方単語を数値のベクトルで表現する方法はあの非常に強力ではあるんですが 便利ですよね。ベクトル表現。 ええ、ただ限界もやっぱり見えてきてる。例えば微妙な語順の違いとかですね。 ああ、猫が犬を追いかけたと、犬が猫を追いかけたみたいな。 そう、そう。そういう構造的な違いを、え、単純な単語の近さだけだと捉えきれない可能性が、ま、あるわけです。 ...