過去・現在・未来

【 マルレク「LLMと意味の理論モデル概説 」の講演ビデオと講演資料を公開しました】 8月に開催したマルレク「LLMと意味の理論モデル概説 」の講演ビデオと講演資料を公開しました。ご利用ください。  ●  今回のセミナー「LLMと意味の理論モデル概説」のまとめページはこちらです。 https://www.marulabo.net/docs/llm0/ 　　○   今回のセミナーの音声による概要ページはこちらです。 https://www.marulabo.net/docs/dda20250816/ 　　○  今回のセミナーのAIによる調査レポート「意味論における数学的ルネサンス」は、こちらからアクセスできます。 https://drive.google.com/file/d/14Egk1h4daMCDsncAhqI0iSMWByHz7Z1L/view?usp=sharing --------------------------- セミナーは4つのパートに分かれています。個別にも全体を通してもアクセスできます。 　●  Part 1   LLMの理論モデルの新しい展開 　●  Part 2　新しい展開の背景を探る 　●  Part 3　Bradleyの理論の発展をたどる 　●  Part 4　Bradleyのcopresheaf意味論 -------------------------- 全体を通して見る -------------------------- 　●  「LLMと意味の理論モデル概説」セミナーの講演ビデオ全体の再生リストのURLです。全体を通して再生することができます。  https://www.youtube.com/playlist?list=PLQIrJ0f9gMcO-HFBZuV2oNGzKysLMdm72 　●  講演資料全体を一つのpdfファイルにまとめたものはこちらです。 　　　「LLMと意味の理論モデル概説」講演資料 https://drive.google.com/file/d/1XHo_jW5yJKDfCghRHijOw-Yi4mRvOiYk/view?usp=sharing -----------...

【 トークンとテキスト （動画）】 このセッションでは、Bradleyの2025年の論文を読むにあたって必要な準備を行います。 Bradleyは新しい論文で、現実のLLMの具体的な振る舞いに合わせて新しいLLMのモデルを提案しています。今回は、まず、そこで導入されたノテーションや定義を紹介します。 【 新しいLLMモデルは、何を目的としているのか 】 論文の「はじめに」の部分で、彼女はこう述べています。 「以前の論文ではπ(y|x)の明示的な定義は与えられていなかったが、本稿ではこれらの値がLLMによって生成される次トークン確率から実際に生じ得ることを示す。 類似の構成は[GV24]にも見られるが、我々の手法は有限コンテキストサイズに加え、文頭トークン（⊥で表記）と文末トークン（†で表記）も考慮に入れる。 これにより、π(−|x) は入力 x に対する LLM の終端状態集合 T(x)、あるいは同値的に可能な出力集合上の確率質量関数と見なせることが証明できる。」 【 新しいLLMモデルの構成の詳細はスライドで 】 新しいLLMモデルの構成の詳細については、ビデオあるいはスライドpdfを参照ください。 【 L_x の構成に注目 】 一つだけ補足すると、この中で部分カテゴリー L_x の構成には注目ください。𝐿_𝑥 のオブジェクトは x → y を満たす y ∈ L です。 ----------------------------- まとめページ「LLMのマグニチュード論」 https://www.marulabo.net/docs/llm1bradley2/ ムービーの再生リスト「LLMのマグニチュード論  -- エピソード」 https://www.youtube.com/playlist?list=PLQIrJ0f9gMcMjv25F7mabNGdzKUVt-2CZ 本日のムービーのpdf 「トークンとテキスト」 https://drive.google.com/file/d/11oAZla0Z0krd4ajXrAK75A5Au84eD34_/view?usp=sharing 本日のムービー「トークンとテキスト」 https://youtu.be/Sn4YVvc_F2w ?list=PLQIrJ0f9gMcMjv25F7mabNGdzKUVt-2CZ

【 マルレク「マグニチュード論の展開」へのお誘い 2 】 今月のマルレク　「マグニチュード論の展開」へのお誘いです。 今回のセミナーの概要を紹介します。 【 お詫び：タイトルを「マグニチュード論の展開」に変更しました 】 セミナーのタイトルを、「Bradleyのマグニチュード論」から「マグニチュード論の展開」 に変更しました。すみません。 当初、今月は、Tai−Danae Bradleyの論文”The Magnitude of Categories of Texts Enriched by Language Models” https://arxiv.org/pdf/2501.06662　を素材としてで、次のような構成を考えていました。 「Bradleyのマグニチュード論」      Part 1  マグニチュード論の展開      Part 2  LLMモデルの拡大　 　 （論文の第二セクション）      Part 3  LLMとマグニチュード論 （論文の第三セクション） 今回のセミナーは、予告した内容の Part 1 を、一つのセミナーに独立させたものになります。 次回のセミナーは、今回入り口の前で止まってしまった「Bradleyのマグニチュード論」をキチンと紹介したいと思っています。新しいURLで「Bradleyのマグニチュード論」のまとめページを作りました。 【 セミナー「マグニチュード論の展開」の構成 】 今回のセミナーは、次のような構成をしています。 「マグニチュード論の展開」      Part 1  マグニチュード論の登場      Part 2  enriched カテゴリー論とマグニチュード      Part 3  Lawvereのenriched カテゴリー論 以下、それぞれの内容を簡単に見ていきましょう。 【 マグニチュード論の登場 】 前回のセミナーは、現代のマグニチュード論の前身ともいうべき数学的対象の「大きさ」についての理論、カントールの「無限の大きさ」や、オイラーの「変わらぬ大きさ – 不変量」の...

【 マルレク「マグニチュード論の展開」へのお誘い 】 今月のマルレク　「マグニチュード論の展開」へのお誘いです。 今回のセミナーの概要を紹介します。 【 お詫び：タイトルを「マグニチュード論の展開」に変更しました 】 セミナーのタイトルを、「Bradleyのマグニチュード論」から「マグニチュード論の展開」 に変更しました。すみません。 当初、今月は、Tai−Danae Bradleyの論文”The Magnitude of Categories of Texts Enriched by Language Models” https://arxiv.org/pdf/2501.06662　を素材としてで、次のような構成を考えていました。 「Bradleyのマグニチュード論」      Part 1  マグニチュード論の展開      Part 2  LLMモデルの拡大　 　 （論文の第二セクション）      Part 3  LLMとマグニチュード論 （論文の第三セクション） 今回のセミナーは、予告した内容の Part 1 を、一つのセミナーに独立させたものになります。 次回のセミナーは、今回入り口の前で止まってしまった「Bradleyのマグニチュード論」をキチンと紹介したいと思っています。新しいURLで「Bradleyのマグニチュード論」のまとめページを作りました。（Part 1 だけで未完に終わったページをうつしただけです。） 【 セミナー「マグニチュード論の展開」の構成 】 今回のセミナーは、次のような構成をしています。 「マグニチュード論の展開」      Part 1  マグニチュード論の基礎      Part 2  enriched カテゴリー論とマグニチュード      Part 3  Lawvereのenriched カテゴリー論 以下、それぞれの内容を簡単に見ていきましょう。 【 マグニチュード論の基礎 】 このセクションでは、論理的にも歴史的にも、雑多なトピックが取り上げられています。「マグニチュード論の基礎」とし...

【 Lawvereの「一般化された距離空間」 】 このセッションでは、Lawvereの「一般化された距離空間」の話をしたいと思います。 今回、取り上げるのは、1973年の彼の次の論文です。 “Metric Spaces, Generalized Logic and Closed Category” http://www.tac.mta.ca/tac/reprints/articles/1/tr1.pdf この論文、Enriched カテゴリー論を用いて、距離空間の概念を見事に拡張してみせた、彼の有名な論文の一つです。 【 アナロジーで語るEnriched カテゴリー論】 ただ、この論文のどこにも、Enriched カテゴリーという言葉は使われていません。代わりに、「閉じたカテゴリー」と「強いカテゴリー」いう言葉が使われています。 現代のenriched カテゴリー論の用語でいうと、この論文でLawvereのいう「閉じたカテゴリー」が、enrich化するmonoidai カテゴリー Vのことで、「強いカテゴリー」は、Vでenrich化されたV-カテゴリーのことなのです。（このことを念頭におくと、この論文は読みやすいと思います。） 【 Lawvereの研究と教育のアプローチ】 また、理論の展開にも特徴があります。彼は言います。 「本稿が、閉じた実数の非負の量という閉カテゴリーを値域とする、強いカテゴリーとして捉えられた距離空間の方向のはっきりした例に基づいて、閉じたカテゴリーへの入門としても読まれることを願う。 閉じたカテゴリーは強いカテゴリーの妥当な理論を構築するのに十分なものであるため、本研究の基盤となるアナロジーの初歩的な性質を明らかにするために、まず強いカテゴリーのいくつかの例を検討する。」 [0, ∞]区間の実数からなる距離空間のような「強いカテゴリー」は、身近でイメージしやすい。そこから具体的な例をうまく積み重ねて、抽象的な「閉じたカテゴリー」を理解する入門コースとしても読んでもらえるようにしたい。 両者の関係では、「閉じたカテゴリー」の役割が本質的だということが、この論文の基本的内容なのだが、そのことは、具体例からの初等的なアナロジーで理解できるはずである。 まあ、そういった趣旨だと思います。 【 enriched カテゴリーという言葉は、いつ登場し...

【 enrich化されたカテゴリーのマグニチュード 】 前回のセッションでは、enrich化されたカテゴリーの理論がどういうものであるかを、Leinsterの「ダイアルのたとえ」で紹介してきました。 今回のセッションでは、このenrich化されたカテゴリー論の枠組みで、マグニチュードがどのように定義されるかをみていきたいと思います。 依拠したのは、次のLeinsterの論文です。 The magnitude of metric spaces https://arxiv.org/abs/1012.5857 　 前回紹介したblog The Magnitude of an Enriched Category https://golem.ph.utexas.edu/category/2011/06/the_magnitude_of_an_enriched_c.html は、今回紹介する論文 The magnitude of metric spaces の、第1章 “Enriched categories” を blogにしたものです。 【 Magnitude of an Enriched Category からMagnitude of Metric Spaces へ 】 この論文の主要なテーマは、Magnitude of Metric Spaces であって、Magnitude of an Enriched Category ではないことに、留意してください。 残念ながら、マグニチュード論の研究フォーカスのこの変化については、今回のセミナーでは、あまり触れることはできません。 次回のセッション、「Lawvereの「一般化された距離空間」」で、別の角度から議論したいと思います。 【 今回のセッションの課題】 今回のセッションでは、enrich化されたカテゴリー論の枠組みの元で、「enrich化されたカテゴリーのマグニチュード」がどのように定義されるかを、Leinsterの論文に沿ってみていこうと思います。 次の構成で進みます。 　・行列のマグニチュード 　・enriched categoryについて 　・enriched categoryのマグニチュード −−−--−−−−−−−−−-------−−−−− blog 「 enrich化されたカテゴリーのマグニチ...

【 enrich化されたカテゴリー 】 今回と次回のセッションでは、2011年のLeinsterのblog ”The Magnitude of an Enriched Category” https://golem.ph.utexas.edu/category/2011/06/the_magnitude_of_an_enriched_c.html   に基づいて「enrich化されたカテゴリーのマグニチュード」の話をしようと思います。 今回は、その前段として「enrich化されたカテゴリー」とはどういうものかを振り返ってみようと思います。 【 「カテゴリーのオイラー特性数」から「enrich化されたカテゴリーのマグニチュード」へ 】 それは、「カテゴリーのマグニチュード」を一般的に考えるのではなく、「enrich化されたカテゴリーのマグニチュード」を考えることが、マグニチュード論にとってより重要であるという認識が新たに生まれたということです。 それはマグニチュード論の展開にとって大きな飛躍になりました。次回のセッションでは、そのことを述べてみたいと思います。 先のLeinsterのblog には、「enrich化されたカテゴリー」とはどういう働きをするものかを説明する、面白い「ダイアル」を使った、たとえが登場します。 【 Leinsterのダイアルのたとえ話 】 「enrich化されたカテゴリー論は強力な機械である。その機械の前面にはダイヤルがある：ダイヤルを回すと、あなたがenrich化するカテゴリー  - より詩的に言えば、数学の一分野 - が選択される。 ダイアルを  　　{true, false} に回すと、「順序理論」が選択される。 　　{0, ♾️} に回すと「計量幾何学」が選択される。 　　Ab に回すと「ホモロジー代数」が選択される。 　　Set に回すと「カテゴリー論」そのものが選択される。 　　nCat に回すと「(n+1)-カテゴリー論」が選択される。 したがって、 enrich化されたカテゴリー論の完全な一般性で定式化された定義は、極めて一般的である。」 【 マグニチュード論を、より一般的な枠組みから定義する 】 詳しいことは、次回の「enrich化されたカテゴリーのマグニチュード」のセッションで紹介しようと...

【 カテゴリーのオイラー標数 】 今回のセッションでは、2006年のLeinsterの論文　“The Euler characteristic of a category” の概要の紹介をしたいと思います。 https://arxiv.org/abs/math/0610260  この論文には、Magnitude という言葉は登場しません。 それにもかかわらず、この論文は、現代のマグニチュード論の最初の論文と見なされています。 ここで彼が主題とした「あるカテゴリーのオイラー特性数」を考えることが、「そのカテゴリーのマグニチュード」を考えることに等しいことは、その後の理論展開を見れば明らかだからです。 【 マグニチュード論の背景と展望を知る】 この論文の「はじめに」の部分を、紹介しようと思います。マグニチュード論が、どのような理論的関心を背景として、何を明らかにしようとして生まれてきたのかがよくわかるように思います。 先のセッションで見た、「ゼータ関数とメビウス関数」やその発展として「Rotaの理論」はもちろんですが、「オイラー特性数」をどのように捉えるのかという問題意識が大きなテーマとして意識されているのがわかります。 このセッションのスライドでは、前回のセミナーやこれまでのセッションで、「マグニチュード」について述べた部分を、グリーンのタイトルのページで引用しています。 今回の2006年のレンスターの論文には Magnitude という言葉は全く出てこないのですが、この以前の論文で彼が「マグニチュード」という言葉なしに述べていることの意味は、マグニチュード論をある程度知っているという立場で書かれている、グリーンのページの引用と照らし合わせてみるとわかりやすいと思っています。 以下、マグニチュード論の先駆けとなったレンスターの2006年の論文を引用します。（見出しは僕がつけました） （これまで、「オイラー標数」という訳語を使ってきましたが、これから「オイラー特性数」に変えようかと思っています。） 【 オイラー特性数の基本的性格】 「オイラー特性数は最初に「頂点数から辺数を引いたものに面数を加えたもの」として学び、後にホモロジー群のランクの交替和として学ぶ。 しかしオイラー特性数は、過去50年間にますます明らかにされてきたように、これらの定義が示す以上に根本的...

【 ゼータ関数とメビウス関数 】 今回のセッションでは、古典的数論の世界での、リーマンのゼータ関数𝜁(𝑛)とメビウスのメビウス関数𝜇(𝑛)の関係を見ていきたいと思います。今回扱うのは、そのうちの最も基本的なものです。 残念ながら、古典的数論的なゼータ関数とメビウス関数の理論と現代のマグニチュード論との関係は、直観的に明らかなわけではありません。レンスターは次のように理論の流れを説明しています。 「1830年代の数論的なメビウス反転の理論は、1960年代 Rotaによって半順序集合のメビウス反転の理論として発展した。1970-80年代、LerouxやHaighによって、カテゴリー論上のメビウス反転の理論が展開され、さらに理論は進展した。この論文は、最近の二つの理論に橋をかけることを目的としている。」 【 マグニチュード関連論文でのゼータ関数とメビウス関数の利用 】 先に紹介したレンスターの論文は、2012年のもので、彼がマグニチュード論の構築に取り掛かり始めた時期のものです。その頃から、彼がマグニチュード論とゼータ関数とメビウス関数との関連について意識していたことがわかります。 といっても、まだまだ語るべきことは多数あって、僕が説明すべき空白が埋められたわけではないのですが、一つ留意してほしいことがあります。 それは、レンスターにしろBradleyにしろ、マグニチュードに関連した論文に、ゼータ関数やメビウス関数という言葉が普通に登場することです。これらは、有名なリーマンのゼータ関数やメビウスの数論的反転公式とどこかで繋がっているのです。 たとえば、前回のセッションで、行列のマグニチュードを表す式を紹介しました。そこでは、一般の正方行列をゼータ ζで表し、そのマグニチュードが、ζ^{−1}を使って表現されていました。 今回のセッションで見ていくゼータ関数 ζ(s) とメビウス関数の基本的な関係も、ゼータ関数 ζ(s)の逆数 ζ^{−1} を使って表現されます。 ま、一方は一般の正方行列にゼータ ζという名前をつけて、その逆行列をとっているだけで、他方は、リーマン・ゼータそのものの逆数なので、全く違うと思っていいのですが、いろいろ気になるかもしれません。 今回のセミナーの主題であるBradleyの論文には、（マグニチュードの理論バージョンの）ゼータ関数とメビウス関...

【 7/5 マルレク「AI とマインクラフトの世界 」の講演ビデオと講演資料のURL です】 丸山です。 7月5日に開催した、マルレク「AI とマインクラフトの世界 」の講演ビデオと講演資料のリンクを公開しました。 今回のセミナーで紹介するDeepMind社のAI、DreamerV3は、役にたつプログラムを教えてくれるわけでも、面白い画像を作ってくれるわけでも、レポートを書いてくれるわけでもありません。DeepMind社のAI DreamerV3は、ひたすら沢山のゲームをするAIです。 DreamerV3は、ゲームのゴールとしては難易度の高い「マインクラフトでのダイアモンド採掘」に成功したとして、コンピュータでゲームに挑戦する分野では注目を集めました。 問題は、様々な分野で急発展するAIの世界で、こうしたゲームの世界でのDeepMind社のDreamerV3の成功が、意味を持っているかということです。なんでDeepMindが、ゲームをするAIを開発するのかと疑問を感じた方は多いと思います。 今回のセミナーは、その問題を取り上げています。実は、このAIはとても画期的なものです。 　・DreamerV3は、「知覚（視覚）」を持ち、「世界」の状況を知ることができます。 　・DreamerV3は、その「知覚」を通じて、内部に「世界」のモデルを持ちます。 　・DreamerV3は、「世界の未来」を「想像」して最適な「行動」を選択します。 　・DreamerV3は、「行動」によって「世界」の状態を変えます。 　・DreamerV3は、様々なゲームの「世界」の様々なタスクを、単一のハイパーパラメターの設定で処理することができます。 　・DreamerV3は、現在主流の生成AIとは異なって、LLMを持ちません。 人工知能（AI）研究における長年の課題の一つは、広範な応用分野にわたる多様なタスクを学習し解決できる汎用アルゴリズムの開発です。 DreamerV3は、この課題に対処することを主要目的としています。確かに具体的には、DreamerV3は、ひたすらゲームをするAIなのですが、単一の固定された設定で沢山のゲームで150以上の多様なタスクにおいて専門的な手法を凌駕する性能を発揮する汎用アルゴリズムの実現を目指したものです。 重要なことは、DeepMindが、「汎用人工知能...

【 行列のマグニチュード 】 今回のセッションでは、行列のマグニチュードがどのように定義されるかを見ていこうと思います。 行列のマグニチュードは、この後のセッションで見てゆく、グラフのマグニチュードや、カテゴリーのマグニチュード、距離空間のマグニチュード等々、さまざまなマグニチュードを具体的に計算する上で、その最も基本的な基礎になります。 【 生物多様性の定義と行列のマグニチュード】 先のセミナーで、生物多様性のレンスターの定義は、「類似度行列」Zのマグニチュードと等しいことを見てきました。 ここでは、「類似度行列」の定義は、振り返りませんが、類似度行列からそのマグニチュードをどう計算するかについては、簡単に説明していました。 「任意の行列 M について、M 上の重み付けとは、Mw がすべての成分が 1 である列ベクトルとなるような列ベクトル w を指す。 M とその転置行列の両方に少なくとも一つの重み付けが存在するならば、量 ∑_i▒〖 𝑤_𝑖 〗は M 上の重み付け w の選択に依存しないことが容易に確認できる。この量は 行列M のマグニチュード |M| と呼ばれる 。」 今回は、この定義をより一般の行列のマグニチュードに拡張することを考えていきます。 【 行列の要素が取りうる値を非負の実数からrig kに拡大する 】 rig （またはsemi ring）とは、負の要素を持たないringのことです。rigは、シャニュエルの議論の時にも登場しました。 rig kは、和について可換なモノイド構造（+, 0）を持ち、積についてはモノイド構造（・, 1）を備えています。また、和と積は、a(b+c)=ab+acという分配律を満たします。 以下の議論では、行列の要素は、このrig kに値を取ることにします。 【 抽象的な有限集合によってインデックス付けされている行列を考える 】 rig k上に定義された行列を考える際、行と列が抽象的な有限集合によってインデックス付けされていると考えると便利です。  有限集合IとJの場合、rig k上のI × J行列は関数I × J → kで定義され、通常の行列演算を実行できます、 たとえば、H × I 行列にI × J行列を掛けて H × J 行列をうることができます。 恒等式行列はクロネッカー 𝛿 です。 I × J行...