過去・現在・未来

【 トークンとテキスト （動画）】 このセッションでは、Bradleyの2025年の論文を読むにあたって必要な準備を行います。 Bradleyは新しい論文で、現実のLLMの具体的な振る舞いに合わせて新しいLLMのモデルを提案しています。今回は、まず、そこで導入されたノテーションや定義を紹介します。 【 新しいLLMモデルは、何を目的としているのか 】 論文の「はじめに」の部分で、彼女はこう述べています。 「以前の論文ではπ(y|x)の明示的な定義は与えられていなかったが、本稿ではこれらの値がLLMによって生成される次トークン確率から実際に生じ得ることを示す。 類似の構成は[GV24]にも見られるが、我々の手法は有限コンテキストサイズに加え、文頭トークン（⊥で表記）と文末トークン（†で表記）も考慮に入れる。 これにより、π(−|x) は入力 x に対する LLM の終端状態集合 T(x)、あるいは同値的に可能な出力集合上の確率質量関数と見なせることが証明できる。」 【 新しいLLMモデルの構成の詳細はスライドで 】 新しいLLMモデルの構成の詳細については、ビデオあるいはスライドpdfを参照ください。 【 L_x の構成に注目 】 一つだけ補足すると、この中で部分カテゴリー L_x の構成には注目ください。𝐿_𝑥 のオブジェクトは x → y を満たす y ∈ L です。 ----------------------------- まとめページ「LLMのマグニチュード論」 https://www.marulabo.net/docs/llm1bradley2/ ムービーの再生リスト「LLMのマグニチュード論  -- エピソード」 https://www.youtube.com/playlist?list=PLQIrJ0f9gMcMjv25F7mabNGdzKUVt-2CZ 本日のムービーのpdf 「トークンとテキスト」 https://drive.google.com/file/d/11oAZla0Z0krd4ajXrAK75A5Au84eD34_/view?usp=sharing 本日のムービー「トークンとテキスト」 https://youtu.be/Sn4YVvc_F2w ?list=PLQIrJ0f9gMcMjv25F7mabNGdzKUVt-2CZ

【 マルレク「マグニチュード論の展開」へのお誘い 2 】 今月のマルレク　「マグニチュード論の展開」へのお誘いです。 今回のセミナーの概要を紹介します。 【 お詫び：タイトルを「マグニチュード論の展開」に変更しました 】 セミナーのタイトルを、「Bradleyのマグニチュード論」から「マグニチュード論の展開」 に変更しました。すみません。 当初、今月は、Tai−Danae Bradleyの論文”The Magnitude of Categories of Texts Enriched by Language Models” https://arxiv.org/pdf/2501.06662　を素材としてで、次のような構成を考えていました。 「Bradleyのマグニチュード論」      Part 1  マグニチュード論の展開      Part 2  LLMモデルの拡大　 　 （論文の第二セクション）      Part 3  LLMとマグニチュード論 （論文の第三セクション） 今回のセミナーは、予告した内容の Part 1 を、一つのセミナーに独立させたものになります。 次回のセミナーは、今回入り口の前で止まってしまった「Bradleyのマグニチュード論」をキチンと紹介したいと思っています。新しいURLで「Bradleyのマグニチュード論」のまとめページを作りました。 【 セミナー「マグニチュード論の展開」の構成 】 今回のセミナーは、次のような構成をしています。 「マグニチュード論の展開」      Part 1  マグニチュード論の登場      Part 2  enriched カテゴリー論とマグニチュード      Part 3  Lawvereのenriched カテゴリー論 以下、それぞれの内容を簡単に見ていきましょう。 【 マグニチュード論の登場 】 前回のセミナーは、現代のマグニチュード論の前身ともいうべき数学的対象の「大きさ」についての理論、カントールの「無限の大きさ」や、オイラーの「変わらぬ大きさ – 不変量」の...

【 マルレク「マグニチュード論の展開」へのお誘い 】 今月のマルレク　「マグニチュード論の展開」へのお誘いです。 今回のセミナーの概要を紹介します。 【 お詫び：タイトルを「マグニチュード論の展開」に変更しました 】 セミナーのタイトルを、「Bradleyのマグニチュード論」から「マグニチュード論の展開」 に変更しました。すみません。 当初、今月は、Tai−Danae Bradleyの論文”The Magnitude of Categories of Texts Enriched by Language Models” https://arxiv.org/pdf/2501.06662　を素材としてで、次のような構成を考えていました。 「Bradleyのマグニチュード論」      Part 1  マグニチュード論の展開      Part 2  LLMモデルの拡大　 　 （論文の第二セクション）      Part 3  LLMとマグニチュード論 （論文の第三セクション） 今回のセミナーは、予告した内容の Part 1 を、一つのセミナーに独立させたものになります。 次回のセミナーは、今回入り口の前で止まってしまった「Bradleyのマグニチュード論」をキチンと紹介したいと思っています。新しいURLで「Bradleyのマグニチュード論」のまとめページを作りました。（Part 1 だけで未完に終わったページをうつしただけです。） 【 セミナー「マグニチュード論の展開」の構成 】 今回のセミナーは、次のような構成をしています。 「マグニチュード論の展開」      Part 1  マグニチュード論の基礎      Part 2  enriched カテゴリー論とマグニチュード      Part 3  Lawvereのenriched カテゴリー論 以下、それぞれの内容を簡単に見ていきましょう。 【 マグニチュード論の基礎 】 このセクションでは、論理的にも歴史的にも、雑多なトピックが取り上げられています。「マグニチュード論の基礎」とし...

【 Lawvereの「一般化された距離空間」 】 このセッションでは、Lawvereの「一般化された距離空間」の話をしたいと思います。 今回、取り上げるのは、1973年の彼の次の論文です。 “Metric Spaces, Generalized Logic and Closed Category” http://www.tac.mta.ca/tac/reprints/articles/1/tr1.pdf この論文、Enriched カテゴリー論を用いて、距離空間の概念を見事に拡張してみせた、彼の有名な論文の一つです。 【 アナロジーで語るEnriched カテゴリー論】 ただ、この論文のどこにも、Enriched カテゴリーという言葉は使われていません。代わりに、「閉じたカテゴリー」と「強いカテゴリー」いう言葉が使われています。 現代のenriched カテゴリー論の用語でいうと、この論文でLawvereのいう「閉じたカテゴリー」が、enrich化するmonoidai カテゴリー Vのことで、「強いカテゴリー」は、Vでenrich化されたV-カテゴリーのことなのです。（このことを念頭におくと、この論文は読みやすいと思います。） 【 Lawvereの研究と教育のアプローチ】 また、理論の展開にも特徴があります。彼は言います。 「本稿が、閉じた実数の非負の量という閉カテゴリーを値域とする、強いカテゴリーとして捉えられた距離空間の方向のはっきりした例に基づいて、閉じたカテゴリーへの入門としても読まれることを願う。 閉じたカテゴリーは強いカテゴリーの妥当な理論を構築するのに十分なものであるため、本研究の基盤となるアナロジーの初歩的な性質を明らかにするために、まず強いカテゴリーのいくつかの例を検討する。」 [0, ∞]区間の実数からなる距離空間のような「強いカテゴリー」は、身近でイメージしやすい。そこから具体的な例をうまく積み重ねて、抽象的な「閉じたカテゴリー」を理解する入門コースとしても読んでもらえるようにしたい。 両者の関係では、「閉じたカテゴリー」の役割が本質的だということが、この論文の基本的内容なのだが、そのことは、具体例からの初等的なアナロジーで理解できるはずである。 まあ、そういった趣旨だと思います。 【 enriched カテゴリーという言葉は、いつ登場し...

【 enrich化されたカテゴリーのマグニチュード 】 前回のセッションでは、enrich化されたカテゴリーの理論がどういうものであるかを、Leinsterの「ダイアルのたとえ」で紹介してきました。 今回のセッションでは、このenrich化されたカテゴリー論の枠組みで、マグニチュードがどのように定義されるかをみていきたいと思います。 依拠したのは、次のLeinsterの論文です。 The magnitude of metric spaces https://arxiv.org/abs/1012.5857 　 前回紹介したblog The Magnitude of an Enriched Category https://golem.ph.utexas.edu/category/2011/06/the_magnitude_of_an_enriched_c.html は、今回紹介する論文 The magnitude of metric spaces の、第1章 “Enriched categories” を blogにしたものです。 【 Magnitude of an Enriched Category からMagnitude of Metric Spaces へ 】 この論文の主要なテーマは、Magnitude of Metric Spaces であって、Magnitude of an Enriched Category ではないことに、留意してください。 残念ながら、マグニチュード論の研究フォーカスのこの変化については、今回のセミナーでは、あまり触れることはできません。 次回のセッション、「Lawvereの「一般化された距離空間」」で、別の角度から議論したいと思います。 【 今回のセッションの課題】 今回のセッションでは、enrich化されたカテゴリー論の枠組みの元で、「enrich化されたカテゴリーのマグニチュード」がどのように定義されるかを、Leinsterの論文に沿ってみていこうと思います。 次の構成で進みます。 　・行列のマグニチュード 　・enriched categoryについて 　・enriched categoryのマグニチュード −−−--−−−−−−−−−-------−−−−− blog 「 enrich化されたカテゴリーのマグニチ...

【 enrich化されたカテゴリー 】 今回と次回のセッションでは、2011年のLeinsterのblog ”The Magnitude of an Enriched Category” https://golem.ph.utexas.edu/category/2011/06/the_magnitude_of_an_enriched_c.html   に基づいて「enrich化されたカテゴリーのマグニチュード」の話をしようと思います。 今回は、その前段として「enrich化されたカテゴリー」とはどういうものかを振り返ってみようと思います。 【 「カテゴリーのオイラー特性数」から「enrich化されたカテゴリーのマグニチュード」へ 】 それは、「カテゴリーのマグニチュード」を一般的に考えるのではなく、「enrich化されたカテゴリーのマグニチュード」を考えることが、マグニチュード論にとってより重要であるという認識が新たに生まれたということです。 それはマグニチュード論の展開にとって大きな飛躍になりました。次回のセッションでは、そのことを述べてみたいと思います。 先のLeinsterのblog には、「enrich化されたカテゴリー」とはどういう働きをするものかを説明する、面白い「ダイアル」を使った、たとえが登場します。 【 Leinsterのダイアルのたとえ話 】 「enrich化されたカテゴリー論は強力な機械である。その機械の前面にはダイヤルがある：ダイヤルを回すと、あなたがenrich化するカテゴリー  - より詩的に言えば、数学の一分野 - が選択される。 ダイアルを  　　{true, false} に回すと、「順序理論」が選択される。 　　{0, ♾️} に回すと「計量幾何学」が選択される。 　　Ab に回すと「ホモロジー代数」が選択される。 　　Set に回すと「カテゴリー論」そのものが選択される。 　　nCat に回すと「(n+1)-カテゴリー論」が選択される。 したがって、 enrich化されたカテゴリー論の完全な一般性で定式化された定義は、極めて一般的である。」 【 マグニチュード論を、より一般的な枠組みから定義する 】 詳しいことは、次回の「enrich化されたカテゴリーのマグニチュード」のセッションで紹介しようと...

【 カテゴリーのオイラー標数 】 今回のセッションでは、2006年のLeinsterの論文　“The Euler characteristic of a category” の概要の紹介をしたいと思います。 https://arxiv.org/abs/math/0610260  この論文には、Magnitude という言葉は登場しません。 それにもかかわらず、この論文は、現代のマグニチュード論の最初の論文と見なされています。 ここで彼が主題とした「あるカテゴリーのオイラー特性数」を考えることが、「そのカテゴリーのマグニチュード」を考えることに等しいことは、その後の理論展開を見れば明らかだからです。 【 マグニチュード論の背景と展望を知る】 この論文の「はじめに」の部分を、紹介しようと思います。マグニチュード論が、どのような理論的関心を背景として、何を明らかにしようとして生まれてきたのかがよくわかるように思います。 先のセッションで見た、「ゼータ関数とメビウス関数」やその発展として「Rotaの理論」はもちろんですが、「オイラー特性数」をどのように捉えるのかという問題意識が大きなテーマとして意識されているのがわかります。 このセッションのスライドでは、前回のセミナーやこれまでのセッションで、「マグニチュード」について述べた部分を、グリーンのタイトルのページで引用しています。 今回の2006年のレンスターの論文には Magnitude という言葉は全く出てこないのですが、この以前の論文で彼が「マグニチュード」という言葉なしに述べていることの意味は、マグニチュード論をある程度知っているという立場で書かれている、グリーンのページの引用と照らし合わせてみるとわかりやすいと思っています。 以下、マグニチュード論の先駆けとなったレンスターの2006年の論文を引用します。（見出しは僕がつけました） （これまで、「オイラー標数」という訳語を使ってきましたが、これから「オイラー特性数」に変えようかと思っています。） 【 オイラー特性数の基本的性格】 「オイラー特性数は最初に「頂点数から辺数を引いたものに面数を加えたもの」として学び、後にホモロジー群のランクの交替和として学ぶ。 しかしオイラー特性数は、過去50年間にますます明らかにされてきたように、これらの定義が示す以上に根本的...