過去・現在・未来

【 マルレク「マグニチュードとは何か」 講演ビデオと講演資料公開しました 】  9月に開催したマルレク「マグニチュードとは何か」の講演ビデオと講演資料公開しました。ご利用ください。 現在展開中のセミナー「LLMのマグニチュード論 1」  https://www.marulabo.net/docs/llm1bradley2/ 　のテーマの一つである「マグニチュード」についてのマルレクでは最初の解説です。 マグニチュード論というのは、「大きさ」について考える新しい数学的理論です。 今回のセミナーでは、マグニチュード論の起源に関わる、カントール、オイラー、レンスターという3人の数学者が登場するのですが、一見すると、3人別々の数学をやっているように見えるかもしれません。なかなか「大きさ」についての一つの理論として、イメージが掴めないところがあると思います。 その点では、次の音声概要「マグニチュードとは何か」が、全体像を掴む上では役に立つと思います。ぜひ、ご利用ください。 https://www.marulabo.net/wp-content/uploads/2025/12/%E3%83%9E%E3%82%B0%E3%83%8B%E3%83%81%E3%83%A5%E3%83%BC%E3%83%89%E8%AB%96%E3%81%A8%E3%81%AF%E3%81%AA%E3%81%AB%E3%81%8B.mp3 【マグニチュードは、生成AIと大規模言語モデルの時代に発見された新しい「大きさ」の概念　】 そこでも述べたのですが、マグニチュードというのは、蒸気機関やインターネットの時代ではなく、生成AIと大規模言語モデルの時代に発見された新しい「大きさ」の概念だと僕は考えています。。時代の大きな変革期には新しい「大きさ」が登場するのかもしれません。 それは、なぜ、生成AIと大規模言語モデルが、あれほどまで見事に言葉の意味を理解できるのかという問題に結びついています。現在ではまだ完全には解明されていないこの問題の解決に、マグニチュード論が貢献する可能性があるのです。 マグニチュード論については、これからもマルレクで取り上げていこうと思っています。  =========================== セミナーは4つのパートに分かれています。個別に...

【 マルレク「LLMのマグニチュード論 1」へのお誘い 】 今週末（12月6日（土））に開催予定のマルレク「LLMのマグニチュード論 1」へのお誘いです。 セミナーへのお申し込みは、次のページからお願いします。 https://llmbradley2.peatix.com/view 今回のセミナーでは、LLMの理論研究で、もっとも新しく最も先進的な業績である Tai−Danae Bradleyの論文 “The Magnitude of Categories of Texts Enriched by Language Models”  https://arxiv.org/pdf/2501.06662 　 の紹介をしようと思います。 【 この論文が扱っている二つの課題 】 この論文は、二つの課題を扱っています。 一つは、LMの意味論に カテゴリー論的基礎を与えた 2022年のBradleyらの論文“An enriched category theory of language: From syntax to semantics.” のモデルを拡大するという課題です。 たとえば、「プロンプトの入力」「プロンプトへの回答の出力」というような、LLMの現実の振る舞いを解釈しうるようにLLMのモデルを拡大するということです。 もう一つの課題は、こうして現実のLLMの振る舞いをシミュレートしうる拡大されたLLMのカテゴリー論的理論をを構築し、それを、この間マルレクでも取り上げてきたマグニチュードの理論を結びつける課題です。 【 今回のセミナーが扱う範囲とセミナーの構成 】 ただし、今回のセミナー「LLMのマグニチュード論 1」は、そうしたBradleyの論文紹介を目的とした連続セミナーの第一回目です。 今回のセミナーがカバーする内容は、先の「この論文が扱っている二つの課題」の前半部分の「LLMのモデルの拡大」にフォーカスしたものです。 今回のセミナーの構成は、次のようになります。 　　Part 1　BradleyのLLMモデル論概要 　　Part 2   LLMの確率計算 　　Part 3   Enrichedカテゴリー論とLLMモデルの拡大 【 Part 1　BradleyのLLMモデル論概要 】 連続セミナーの第一回目とし...

【 -LLMの確率計算の基本 】 先のセッションでは、Bradleyの2025年の論文の前半部分の中心的な内容である「命題 1」の証明の概略を述べましたが、その細部は省略していました。 このセッションでは、「命題 1」の証明に必要なLLMの確率計算の基本を確認したいと思います。証明は次のセッションで行います。 「命題 1」は、次のことを主張しています。 命題１．言語Lにおける未完成テキストxが与えられたとき、関数𝜋(−│𝑥) |_𝑇(𝑥) は入力xの終端状態上の確率質量関数である。 【  基本的な用語の確認】 「命題 1」に出てくる基本的な言葉の意味を確認しておきましょう。ここでは、次のような用語の意味を確認します。特に「確率質量関数」では、具体的な例をいくつかあげておきました。 　・未完成テキスト 　・完成テキスト 　・終端状態集合 𝑇(𝑥) 　・確率質量関数 　・カテゴリーLのオブジェク𝑜𝑏(𝐿) 　・カテゴリーLの射 x → y 　・部分カテゴリー 𝐿_𝑥 【 確率分布𝑝_𝑥( −|𝑥 )の生成とその分布の下でのサンプリング 】 ・LLMは、テキスト 𝑥 が与えられた時、次に出現するトークンを予測する確率分布 𝑝_𝑥( −|𝑥 )を生成します。 ・LLMは、一つのトークン 𝑎 を選んで𝑥に追加して、テキストを一つ分延長して 𝑥𝑎にします。 ・このとき、𝑥の後ろに一つのトークン𝑎が追加される確率は、𝑝_𝑥( a|𝑥 )になります。 【 Next Token 確率 𝑝_x( a|x )】 テキスト x が与えられた時、次に出現するトークンを予測する確率分布 𝑝_x( −|x) を、Next Token 確率分布といいます。 この分布の下でaをサンプリングして、テキストxの次のトークンがaとなることを表す確率𝑝_x( a|x )  を「Next Token 確率」と呼びます。 定義 2 の𝜋(y|𝑥) の定義は、もし、 x→yであるyが、xにk個のトークンを追加したものなら、その値は、k個の Next Token 確率の積で定義されるということです。 【 パス確率 𝜋(y|𝑥)と Next Token 確率 𝑝(𝑎|𝑥) 】 x, y, zが x → y → z を...

【 論文前半の基本定理の証明 】 先のセッションでは、Bradleyの2025年の論文の前半部分の中心的な内容である「命題 1」の証明の概略を述べましたが、その細部は省略していました。このセッションでは、その詳細を補いたいと思います。 【 「命題 1」の帰納法による証明 】 「命題１．言語Lにおける未完成テキストxが与えられたとき、関数𝜋( − | x ) |_𝑇(𝑥) は入力xの終端状態上の確率質量関数である。」 目標は、次の式が成り立つことを示すことです。 　　∑_(𝑦 ∈ 𝑇(𝑥) 𝜋( 𝑦│𝑥 ) = 1 基本的には、この主張を、x の後にモデルが終了するまで続く最大記号数 𝑚 = 𝑁 − |𝑥| についての帰納法で証明します。 【 Bradleyの四つのヒント 】 Bradley は、論文で証明のステップを4つの式で表していて、その導出の詳細については展開していません。今回のセッションでの証明は、Bradleyのヒントに基づいたものです。 数式をテキストで述べるのは難しいので、ぜひ、pdfの資料とビデオをご利用ください。 --------------------------- セッションの要約blog  https://maruyama097.blogspot.com/2025/11/blog-post.html まとめページ「LLMのマグニチュード論 1」 https://www.marulabo.net/docs/llm1bradley2/ ムービーの再生リスト「LLMのマグニチュード論  -- エピソード」 https://www.youtube.com/playlist?list=PLQIrJ0f9gMcMjv25F7mabNGdzKUVt-2CZ 本日のムービーのpdf 「 論文前半の基本定理の証明 」 https://drive.google.com/file/d/1PIFKecQkyEX36hnr050gzMZb_ee0VmJ_/view?usp=sharing 本日のムービー「  論文前半の基本定理の証明 」 https://youtu.be/5DyL1k3rVzs?list=PLQIrJ0f9gMcMjv25F7mabNGdzKUVt-2CZ

【 マルレク「LLMのマグニチュード論 1」へのお誘い（動画）】 今週末（12月6日（土））に開催予定のマルレク「LLMのマグニチュード論 1」へのお誘いです。 セミナーへのお申し込みは、次のページからお願いします。 https://llmbradley2.peatix.com/view 今回のセミナーでは、LLMの理論研究で、もっとも新しく最も先進的な業績である Tai−Danae Bradleyの論文 “The Magnitude of Categories of Texts Enriched by Language Models”   https://arxiv.org/pdf/2501.06662 　 の紹介をしようと思います。 【 この論文が扱っている二つの課題 】 この論文は、二つの課題を扱っています。 一つは、LMの意味論に カテゴリー論的基礎を与えた 2022年のBradleyらの論文“An enriched category theory of language: From syntax to semantics.” のモデルを拡大するという課題です。 たとえば、「プロンプトの入力」「プロンプトへの回答の出力」というような、LLMの現実の振る舞いを解釈しうるようにLLMのモデルを拡大するということです。 もう一つの課題は、こうして現実のLLMの振る舞いをシミュレートしうる拡大されたLLMのカテゴリー論的理論をを構築し、それを、この間マルレクでも取り上げてきたマグニチュードの理論を結びつける課題です。 【 今回のセミナーが扱う範囲とセミナーの構成 】 ただし、今回のセミナー「LLMのマグニチュード論 1」は、そうしたBradleyの論文紹介を目的とした連続セミナーの第一回目です。 今回のセミナーがカバーする内容は、先の「この論文が扱っている二つの課題」の前半部分の「LLMのモデルの拡大」にフォーカスしたものです。 今回のセミナーの構成は、次のようになります。 　　Part 1　BradleyのLLMモデル論概要 　　Part 2   LLMの確率計算 　　Part 3   Enrichedカテゴリー論とLLMモデルの拡大 --------------------------- セミナーへ...

【 3/30 マルレク「マトリョーシカとトロピカル」講演ビデオと講演資料公開しました 】 だいぶ遅れてしまって申し訳ないのですが、3月に開催したマルレク「マトリョーシカとトロピカル -- AI技術の最近の動向について」の講演ビデオと講演資料を公開しました。   奇妙なタイトルですが、現在のAI技術の動向について知る上で基本的な情報を取り上げています。 このセミナーは二つのトピックスを取り上げています。 【 マトリョーシカ 】 embeddingは、自然言語やコードなどの様々なコンテンツの意味や概念を、多次元ベクトル空間の一点の座標を表す数字の列で表現する技術です。embeddingは、現代のAI技術のもっとも革新的で基本的な技術です。 embedding技術も日々発展を続けています。embedding技術の最近の動向で、もっとも注目をあつめているのが、「マトリョーシカ表現学習」と呼ばれるものです。（図 1） 「マトリョーシカ」embeddingが可能にした柔軟で高速なAdaptive Retrieval 技術は、RAG (Retrieval-Augmented Generation)という形で、既にほとんど全てのベンダーのの生成AIエンジンに組み込まれています。  【 トロピカル 】 このセミナーが取り上げているもう一つのトピックは、現在の生成AIのベースになっている大規模言語モデル LLM のアーキテクチャーの見直しの動きです。 その見直しの中心は、浮動小数点からなる行列計算の簡略化です。行列計算の中で、浮動小数点同士の掛け算を整数の足し算に還元することができれば、大幅にエネルギー消費を削減することが可能になります。「トロピカル」というタイトルは、掛け算が足し算になる不思議な代数理論である「トロピカル代数」から借用したものです。 セミナーでは、こうしたアプローチで行列演算でのエネルギー消費を 1/70 にすることに成功したという「1-bit LLM」といわれる驚くべき提案を紹介します。(図 2) 【 Ai技術のダウンサイジング化のはじまり 】 このセミナーでとりあげた「マトリョーシカembedding」と「1-bit LLM」は、それぞれ異なった分野のそれぞれに独立した取り組みなのですが、ある共通の方向を向いていると感じています。 それ...

【 「ニューラル・ネットワークの数理 -- Tropical代数入門」講演ビデオと講演資料を公開しました 】  4月末に開催したマルレク「ニューラル・ネットワークの数理 -- Tropical代数入門」講演ビデオと講演資料を公開しました。  今回の資料公開に際して、セミナーのまとめページ「ニューラル・ネットワークの数理 -- Tropical代数入門」  https://www.marulabo.net/docs/tropical/  の構成を、YouTubeへの参照を中心にしたものから、pdf資料の表示を中心にしたものに、全面的に書き換えました。 数学的な議論を追うのに、YouTubeはあまり向いていません。今度のページでは、pdfは簡単に全文スクロールできるようになっています。是非、ご利用ください。 ------------------------------------------------- 私たちが日常的に利用している「生成AI」にしろ「大規模言語モデル」にしろ、それらが「なぜ、そのように振る舞うことができるのか？」については、わかっていないことがたくさんあります。 近年、これらのモデルの背後にある数学的構造を解明することで、その謎を解こうという取り組みが活発に進められています。 このセミナーで紹介している L. Zhang らの理論は、大規模言語モデルの振る舞いを co-presheaf 意味論を導入して説明しようとした Tai-Danae Bradleyらの理論と並んで、そうした取り組みの代表的なものの一つだと思います。 　　Tropical geometry of deep neural networks, 　　Liwen Zhang, Gregory Naitzat, and Lek-Heng Lim. 　 　 https://arxiv.org/abs/1805.07091   Zhangは、現代のAI技術の基礎であり、そのすべてで利用されている、Deep Neural Network(DNN) に数学的モデルを与えることを目指し、それに成功します。 古典的には(1969年)、 Minskyらが Rosenblattらの一つの層しか持たない単純なニューラル・ネットワーク Perceptron...

【 1/31 マルレク「量子エラー訂正技術の動向」講演ビデオと講演資料のURLです 】 セミナーは4つのパートに分かれています。個別にも全体を通してもアクセスできます。  -------------------------- 全体を通して見る -------------------------- 　●  「量子エラー訂正技術の動向」セミナーの講演ビデオ全体の再生リストのURLです。全体を通して再生することができます。  https://www.youtube.com/playlist?list=PLQIrJ0f9gMcNejtE5PENfZw_zmpUV480z 　●  講演資料全体を一つのpdfファイルにまとめたものはこちらです。 　　　「量子エラー訂正技術の動向」講演資料 https://drive.google.com/file/d/1PpjPO17caxwnAjpM6Dnc4Ycunq68mJpA/view?usp=sharing -------------------------- 　パートごとに見る -------------------------- 　●  　はじめに 　　　講演ビデオURL : https://youtu.be/v73UkSaWyOA?list=PLQIrJ0f9gMcNejtE5PENfZw_zmpUV480z 　　　講演資料 pdf : https://drive.google.com/file/d/1Pzs7C2CPNtsHsYtbRlIkBTyEf10-Rdo5/view?usp=sharing 　●  Part 1　量子エラー訂正技術の基礎 　　　講演ビデオURL : https://youtu.be/rcQZzfUQoTI?list=PLQIrJ0f9gMcNejtE5PENfZw_zmpUV480z 　　　講演資料 pdf : https://drive.google.com/file/d/1Q0stgt0U5hfzHc1Q---m6kf46JvvcedO/view?usp=sharing 　●  Part 2　Shor が考えたこと 　 　　講演ビデオURL : https://youtu.be/iog36CoYZz0?list=PLQIr...

【 5月に開催した マルレク「カテゴリー論基礎」講演ビデオと講演資料を公開しました 】 科学・技術の急速な変化の中で、それらの基礎としての数学に関心を持つ人が、確実に増えていると僕は感じています。ただ、新しく、あるいは新しい数学の勉強を始めようしようという人にとって、数学を学ぶことの難しさも増しているように思います。  数学の応用のスタイルは大きく変化しています。例えば、大規模言語モデルの振る舞いの理解に、copresheafや enriched category を使うなどは、以前には考えられなかったことです。 ただ、これまでの丸山のセミナーでは、copresheafやYoneda embeddingの話をしながら、カテゴリー論の基礎については系統的に話すことはなく、カテゴリー論の重要なlimitやadjointの概念についてはほとんど触れることができませんでした。 基本的な反省は、個々のトピックスでの数学の「応用」の範囲でカテゴリー論に触れているだけで、これから数学を学ぶなら、まずカテゴリー論を学ぶべきというメッセージを明確に出していなかったことだと考えています。 今後マルレクでは、カテゴリー論の基礎をきちんと学ぶことを目標の一つににして、「カテゴリー論基礎」のセミナーを継続的に開催しようと思っていいます。今回のセミナーは、そうした取り組みの第一回目です。 今回のセミナーは、次のような構成をしています。 　 Part 1-1 Category 　 Categoryとは何か？ 　 Categoryの例 　 Part 1-2 Functor 　 Part 1-3 Natural Transformation 　 Part 2-1　Limit 　 Limit と Colimit とは何か？ 　 Product 　 Pullback 　 Part 2-2 その他のLimit 　 Equalizer 　 Inverse Limit 　 Terminal Object 【 もう一つのきっかけ 】 このセミナーを始めようと思い立ったきっかけが、もう一つあります。 5月の連休中に、「ラングランズ予想」の一部が解かれたというニュースが飛び込んできました。この証明の意義については、Quanta誌の次の記事が参考になると思います。 "Monumental Proof Set...

【 マルレク「LLMと意味の理論モデル概説 」の講演ビデオと講演資料を公開しました】 8月に開催したマルレク「LLMと意味の理論モデル概説 」の講演ビデオと講演資料を公開しました。ご利用ください。  ●  今回のセミナー「LLMと意味の理論モデル概説」のまとめページはこちらです。 https://www.marulabo.net/docs/llm0/ 　　○   今回のセミナーの音声による概要ページはこちらです。 https://www.marulabo.net/docs/dda20250816/ 　　○  今回のセミナーのAIによる調査レポート「意味論における数学的ルネサンス」は、こちらからアクセスできます。 https://drive.google.com/file/d/14Egk1h4daMCDsncAhqI0iSMWByHz7Z1L/view?usp=sharing --------------------------- セミナーは4つのパートに分かれています。個別にも全体を通してもアクセスできます。 　●  Part 1   LLMの理論モデルの新しい展開 　●  Part 2　新しい展開の背景を探る 　●  Part 3　Bradleyの理論の発展をたどる 　●  Part 4　Bradleyのcopresheaf意味論 -------------------------- 全体を通して見る -------------------------- 　●  「LLMと意味の理論モデル概説」セミナーの講演ビデオ全体の再生リストのURLです。全体を通して再生することができます。  https://www.youtube.com/playlist?list=PLQIrJ0f9gMcO-HFBZuV2oNGzKysLMdm72 　●  講演資料全体を一つのpdfファイルにまとめたものはこちらです。 　　　「LLMと意味の理論モデル概説」講演資料 https://drive.google.com/file/d/1XHo_jW5yJKDfCghRHijOw-Yi4mRvOiYk/view?usp=sharing -----------...

【 トークンとテキスト （動画）】 このセッションでは、Bradleyの2025年の論文を読むにあたって必要な準備を行います。 Bradleyは新しい論文で、現実のLLMの具体的な振る舞いに合わせて新しいLLMのモデルを提案しています。今回は、まず、そこで導入されたノテーションや定義を紹介します。 【 新しいLLMモデルは、何を目的としているのか 】 論文の「はじめに」の部分で、彼女はこう述べています。 「以前の論文ではπ(y|x)の明示的な定義は与えられていなかったが、本稿ではこれらの値がLLMによって生成される次トークン確率から実際に生じ得ることを示す。 類似の構成は[GV24]にも見られるが、我々の手法は有限コンテキストサイズに加え、文頭トークン（⊥で表記）と文末トークン（†で表記）も考慮に入れる。 これにより、π(−|x) は入力 x に対する LLM の終端状態集合 T(x)、あるいは同値的に可能な出力集合上の確率質量関数と見なせることが証明できる。」 【 新しいLLMモデルの構成の詳細はスライドで 】 新しいLLMモデルの構成の詳細については、ビデオあるいはスライドpdfを参照ください。 【 L_x の構成に注目 】 一つだけ補足すると、この中で部分カテゴリー L_x の構成には注目ください。𝐿_𝑥 のオブジェクトは x → y を満たす y ∈ L です。 ----------------------------- まとめページ「LLMのマグニチュード論」 https://www.marulabo.net/docs/llm1bradley2/ ムービーの再生リスト「LLMのマグニチュード論  -- エピソード」 https://www.youtube.com/playlist?list=PLQIrJ0f9gMcMjv25F7mabNGdzKUVt-2CZ 本日のムービーのpdf 「トークンとテキスト」 https://drive.google.com/file/d/11oAZla0Z0krd4ajXrAK75A5Au84eD34_/view?usp=sharing 本日のムービー「トークンとテキスト」 https://youtu.be/Sn4YVvc_F2w ?list=PLQIrJ0f9gMcMjv25F7mabNGdzKUVt-2CZ

【 マルレク「マグニチュード論の展開」へのお誘い 2 】 今月のマルレク　「マグニチュード論の展開」へのお誘いです。 今回のセミナーの概要を紹介します。 【 お詫び：タイトルを「マグニチュード論の展開」に変更しました 】 セミナーのタイトルを、「Bradleyのマグニチュード論」から「マグニチュード論の展開」 に変更しました。すみません。 当初、今月は、Tai−Danae Bradleyの論文”The Magnitude of Categories of Texts Enriched by Language Models” https://arxiv.org/pdf/2501.06662　を素材としてで、次のような構成を考えていました。 「Bradleyのマグニチュード論」      Part 1  マグニチュード論の展開      Part 2  LLMモデルの拡大　 　 （論文の第二セクション）      Part 3  LLMとマグニチュード論 （論文の第三セクション） 今回のセミナーは、予告した内容の Part 1 を、一つのセミナーに独立させたものになります。 次回のセミナーは、今回入り口の前で止まってしまった「Bradleyのマグニチュード論」をキチンと紹介したいと思っています。新しいURLで「Bradleyのマグニチュード論」のまとめページを作りました。 【 セミナー「マグニチュード論の展開」の構成 】 今回のセミナーは、次のような構成をしています。 「マグニチュード論の展開」      Part 1  マグニチュード論の登場      Part 2  enriched カテゴリー論とマグニチュード      Part 3  Lawvereのenriched カテゴリー論 以下、それぞれの内容を簡単に見ていきましょう。 【 マグニチュード論の登場 】 前回のセミナーは、現代のマグニチュード論の前身ともいうべき数学的対象の「大きさ」についての理論、カントールの「無限の大きさ」や、オイラーの「変わらぬ大きさ – 不変量」の...

【 マルレク「マグニチュード論の展開」へのお誘い 】 今月のマルレク　「マグニチュード論の展開」へのお誘いです。 今回のセミナーの概要を紹介します。 【 お詫び：タイトルを「マグニチュード論の展開」に変更しました 】 セミナーのタイトルを、「Bradleyのマグニチュード論」から「マグニチュード論の展開」 に変更しました。すみません。 当初、今月は、Tai−Danae Bradleyの論文”The Magnitude of Categories of Texts Enriched by Language Models” https://arxiv.org/pdf/2501.06662　を素材としてで、次のような構成を考えていました。 「Bradleyのマグニチュード論」      Part 1  マグニチュード論の展開      Part 2  LLMモデルの拡大　 　 （論文の第二セクション）      Part 3  LLMとマグニチュード論 （論文の第三セクション） 今回のセミナーは、予告した内容の Part 1 を、一つのセミナーに独立させたものになります。 次回のセミナーは、今回入り口の前で止まってしまった「Bradleyのマグニチュード論」をキチンと紹介したいと思っています。新しいURLで「Bradleyのマグニチュード論」のまとめページを作りました。（Part 1 だけで未完に終わったページをうつしただけです。） 【 セミナー「マグニチュード論の展開」の構成 】 今回のセミナーは、次のような構成をしています。 「マグニチュード論の展開」      Part 1  マグニチュード論の基礎      Part 2  enriched カテゴリー論とマグニチュード      Part 3  Lawvereのenriched カテゴリー論 以下、それぞれの内容を簡単に見ていきましょう。 【 マグニチュード論の基礎 】 このセクションでは、論理的にも歴史的にも、雑多なトピックが取り上げられています。「マグニチュード論の基礎」とし...

【 Lawvereの「一般化された距離空間」 】 このセッションでは、Lawvereの「一般化された距離空間」の話をしたいと思います。 今回、取り上げるのは、1973年の彼の次の論文です。 “Metric Spaces, Generalized Logic and Closed Category” http://www.tac.mta.ca/tac/reprints/articles/1/tr1.pdf この論文、Enriched カテゴリー論を用いて、距離空間の概念を見事に拡張してみせた、彼の有名な論文の一つです。 【 アナロジーで語るEnriched カテゴリー論】 ただ、この論文のどこにも、Enriched カテゴリーという言葉は使われていません。代わりに、「閉じたカテゴリー」と「強いカテゴリー」いう言葉が使われています。 現代のenriched カテゴリー論の用語でいうと、この論文でLawvereのいう「閉じたカテゴリー」が、enrich化するmonoidai カテゴリー Vのことで、「強いカテゴリー」は、Vでenrich化されたV-カテゴリーのことなのです。（このことを念頭におくと、この論文は読みやすいと思います。） 【 Lawvereの研究と教育のアプローチ】 また、理論の展開にも特徴があります。彼は言います。 「本稿が、閉じた実数の非負の量という閉カテゴリーを値域とする、強いカテゴリーとして捉えられた距離空間の方向のはっきりした例に基づいて、閉じたカテゴリーへの入門としても読まれることを願う。 閉じたカテゴリーは強いカテゴリーの妥当な理論を構築するのに十分なものであるため、本研究の基盤となるアナロジーの初歩的な性質を明らかにするために、まず強いカテゴリーのいくつかの例を検討する。」 [0, ∞]区間の実数からなる距離空間のような「強いカテゴリー」は、身近でイメージしやすい。そこから具体的な例をうまく積み重ねて、抽象的な「閉じたカテゴリー」を理解する入門コースとしても読んでもらえるようにしたい。 両者の関係では、「閉じたカテゴリー」の役割が本質的だということが、この論文の基本的内容なのだが、そのことは、具体例からの初等的なアナロジーで理解できるはずである。 まあ、そういった趣旨だと思います。 【 enriched カテゴリーという言葉は、いつ登場し...

【 enrich化されたカテゴリーのマグニチュード 】 前回のセッションでは、enrich化されたカテゴリーの理論がどういうものであるかを、Leinsterの「ダイアルのたとえ」で紹介してきました。 今回のセッションでは、このenrich化されたカテゴリー論の枠組みで、マグニチュードがどのように定義されるかをみていきたいと思います。 依拠したのは、次のLeinsterの論文です。 The magnitude of metric spaces https://arxiv.org/abs/1012.5857 　 前回紹介したblog The Magnitude of an Enriched Category https://golem.ph.utexas.edu/category/2011/06/the_magnitude_of_an_enriched_c.html は、今回紹介する論文 The magnitude of metric spaces の、第1章 “Enriched categories” を blogにしたものです。 【 Magnitude of an Enriched Category からMagnitude of Metric Spaces へ 】 この論文の主要なテーマは、Magnitude of Metric Spaces であって、Magnitude of an Enriched Category ではないことに、留意してください。 残念ながら、マグニチュード論の研究フォーカスのこの変化については、今回のセミナーでは、あまり触れることはできません。 次回のセッション、「Lawvereの「一般化された距離空間」」で、別の角度から議論したいと思います。 【 今回のセッションの課題】 今回のセッションでは、enrich化されたカテゴリー論の枠組みの元で、「enrich化されたカテゴリーのマグニチュード」がどのように定義されるかを、Leinsterの論文に沿ってみていこうと思います。 次の構成で進みます。 　・行列のマグニチュード 　・enriched categoryについて 　・enriched categoryのマグニチュード −−−--−−−−−−−−−-------−−−−− blog 「 enrich化されたカテゴリーのマグニチ...

【 enrich化されたカテゴリー 】 今回と次回のセッションでは、2011年のLeinsterのblog ”The Magnitude of an Enriched Category” https://golem.ph.utexas.edu/category/2011/06/the_magnitude_of_an_enriched_c.html   に基づいて「enrich化されたカテゴリーのマグニチュード」の話をしようと思います。 今回は、その前段として「enrich化されたカテゴリー」とはどういうものかを振り返ってみようと思います。 【 「カテゴリーのオイラー特性数」から「enrich化されたカテゴリーのマグニチュード」へ 】 それは、「カテゴリーのマグニチュード」を一般的に考えるのではなく、「enrich化されたカテゴリーのマグニチュード」を考えることが、マグニチュード論にとってより重要であるという認識が新たに生まれたということです。 それはマグニチュード論の展開にとって大きな飛躍になりました。次回のセッションでは、そのことを述べてみたいと思います。 先のLeinsterのblog には、「enrich化されたカテゴリー」とはどういう働きをするものかを説明する、面白い「ダイアル」を使った、たとえが登場します。 【 Leinsterのダイアルのたとえ話 】 「enrich化されたカテゴリー論は強力な機械である。その機械の前面にはダイヤルがある：ダイヤルを回すと、あなたがenrich化するカテゴリー  - より詩的に言えば、数学の一分野 - が選択される。 ダイアルを  　　{true, false} に回すと、「順序理論」が選択される。 　　{0, ♾️} に回すと「計量幾何学」が選択される。 　　Ab に回すと「ホモロジー代数」が選択される。 　　Set に回すと「カテゴリー論」そのものが選択される。 　　nCat に回すと「(n+1)-カテゴリー論」が選択される。 したがって、 enrich化されたカテゴリー論の完全な一般性で定式化された定義は、極めて一般的である。」 【 マグニチュード論を、より一般的な枠組みから定義する 】 詳しいことは、次回の「enrich化されたカテゴリーのマグニチュード」のセッションで紹介しようと...

【 カテゴリーのオイラー標数 】 今回のセッションでは、2006年のLeinsterの論文　“The Euler characteristic of a category” の概要の紹介をしたいと思います。 https://arxiv.org/abs/math/0610260  この論文には、Magnitude という言葉は登場しません。 それにもかかわらず、この論文は、現代のマグニチュード論の最初の論文と見なされています。 ここで彼が主題とした「あるカテゴリーのオイラー特性数」を考えることが、「そのカテゴリーのマグニチュード」を考えることに等しいことは、その後の理論展開を見れば明らかだからです。 【 マグニチュード論の背景と展望を知る】 この論文の「はじめに」の部分を、紹介しようと思います。マグニチュード論が、どのような理論的関心を背景として、何を明らかにしようとして生まれてきたのかがよくわかるように思います。 先のセッションで見た、「ゼータ関数とメビウス関数」やその発展として「Rotaの理論」はもちろんですが、「オイラー特性数」をどのように捉えるのかという問題意識が大きなテーマとして意識されているのがわかります。 このセッションのスライドでは、前回のセミナーやこれまでのセッションで、「マグニチュード」について述べた部分を、グリーンのタイトルのページで引用しています。 今回の2006年のレンスターの論文には Magnitude という言葉は全く出てこないのですが、この以前の論文で彼が「マグニチュード」という言葉なしに述べていることの意味は、マグニチュード論をある程度知っているという立場で書かれている、グリーンのページの引用と照らし合わせてみるとわかりやすいと思っています。 以下、マグニチュード論の先駆けとなったレンスターの2006年の論文を引用します。（見出しは僕がつけました） （これまで、「オイラー標数」という訳語を使ってきましたが、これから「オイラー特性数」に変えようかと思っています。） 【 オイラー特性数の基本的性格】 「オイラー特性数は最初に「頂点数から辺数を引いたものに面数を加えたもの」として学び、後にホモロジー群のランクの交替和として学ぶ。 しかしオイラー特性数は、過去50年間にますます明らかにされてきたように、これらの定義が示す以上に根本的...

【 ゼータ関数とメビウス関数 】 今回のセッションでは、古典的数論の世界での、リーマンのゼータ関数𝜁(𝑛)とメビウスのメビウス関数𝜇(𝑛)の関係を見ていきたいと思います。今回扱うのは、そのうちの最も基本的なものです。 残念ながら、古典的数論的なゼータ関数とメビウス関数の理論と現代のマグニチュード論との関係は、直観的に明らかなわけではありません。レンスターは次のように理論の流れを説明しています。 「1830年代の数論的なメビウス反転の理論は、1960年代 Rotaによって半順序集合のメビウス反転の理論として発展した。1970-80年代、LerouxやHaighによって、カテゴリー論上のメビウス反転の理論が展開され、さらに理論は進展した。この論文は、最近の二つの理論に橋をかけることを目的としている。」 【 マグニチュード関連論文でのゼータ関数とメビウス関数の利用 】 先に紹介したレンスターの論文は、2012年のもので、彼がマグニチュード論の構築に取り掛かり始めた時期のものです。その頃から、彼がマグニチュード論とゼータ関数とメビウス関数との関連について意識していたことがわかります。 といっても、まだまだ語るべきことは多数あって、僕が説明すべき空白が埋められたわけではないのですが、一つ留意してほしいことがあります。 それは、レンスターにしろBradleyにしろ、マグニチュードに関連した論文に、ゼータ関数やメビウス関数という言葉が普通に登場することです。これらは、有名なリーマンのゼータ関数やメビウスの数論的反転公式とどこかで繋がっているのです。 たとえば、前回のセッションで、行列のマグニチュードを表す式を紹介しました。そこでは、一般の正方行列をゼータ ζで表し、そのマグニチュードが、ζ^{−1}を使って表現されていました。 今回のセッションで見ていくゼータ関数 ζ(s) とメビウス関数の基本的な関係も、ゼータ関数 ζ(s)の逆数 ζ^{−1} を使って表現されます。 ま、一方は一般の正方行列にゼータ ζという名前をつけて、その逆行列をとっているだけで、他方は、リーマン・ゼータそのものの逆数なので、全く違うと思っていいのですが、いろいろ気になるかもしれません。 今回のセミナーの主題であるBradleyの論文には、（マグニチュードの理論バージョンの）ゼータ関数とメビウス関...

【 7/5 マルレク「AI とマインクラフトの世界 」の講演ビデオと講演資料のURL です】 丸山です。 7月5日に開催した、マルレク「AI とマインクラフトの世界 」の講演ビデオと講演資料のリンクを公開しました。 今回のセミナーで紹介するDeepMind社のAI、DreamerV3は、役にたつプログラムを教えてくれるわけでも、面白い画像を作ってくれるわけでも、レポートを書いてくれるわけでもありません。DeepMind社のAI DreamerV3は、ひたすら沢山のゲームをするAIです。 DreamerV3は、ゲームのゴールとしては難易度の高い「マインクラフトでのダイアモンド採掘」に成功したとして、コンピュータでゲームに挑戦する分野では注目を集めました。 問題は、様々な分野で急発展するAIの世界で、こうしたゲームの世界でのDeepMind社のDreamerV3の成功が、意味を持っているかということです。なんでDeepMindが、ゲームをするAIを開発するのかと疑問を感じた方は多いと思います。 今回のセミナーは、その問題を取り上げています。実は、このAIはとても画期的なものです。 　・DreamerV3は、「知覚（視覚）」を持ち、「世界」の状況を知ることができます。 　・DreamerV3は、その「知覚」を通じて、内部に「世界」のモデルを持ちます。 　・DreamerV3は、「世界の未来」を「想像」して最適な「行動」を選択します。 　・DreamerV3は、「行動」によって「世界」の状態を変えます。 　・DreamerV3は、様々なゲームの「世界」の様々なタスクを、単一のハイパーパラメターの設定で処理することができます。 　・DreamerV3は、現在主流の生成AIとは異なって、LLMを持ちません。 人工知能（AI）研究における長年の課題の一つは、広範な応用分野にわたる多様なタスクを学習し解決できる汎用アルゴリズムの開発です。 DreamerV3は、この課題に対処することを主要目的としています。確かに具体的には、DreamerV3は、ひたすらゲームをするAIなのですが、単一の固定された設定で沢山のゲームで150以上の多様なタスクにおいて専門的な手法を凌駕する性能を発揮する汎用アルゴリズムの実現を目指したものです。 重要なことは、DeepMindが、「汎用人工知能...

【 行列のマグニチュード 】 今回のセッションでは、行列のマグニチュードがどのように定義されるかを見ていこうと思います。 行列のマグニチュードは、この後のセッションで見てゆく、グラフのマグニチュードや、カテゴリーのマグニチュード、距離空間のマグニチュード等々、さまざまなマグニチュードを具体的に計算する上で、その最も基本的な基礎になります。 【 生物多様性の定義と行列のマグニチュード】 先のセミナーで、生物多様性のレンスターの定義は、「類似度行列」Zのマグニチュードと等しいことを見てきました。 ここでは、「類似度行列」の定義は、振り返りませんが、類似度行列からそのマグニチュードをどう計算するかについては、簡単に説明していました。 「任意の行列 M について、M 上の重み付けとは、Mw がすべての成分が 1 である列ベクトルとなるような列ベクトル w を指す。 M とその転置行列の両方に少なくとも一つの重み付けが存在するならば、量 ∑_i▒〖 𝑤_𝑖 〗は M 上の重み付け w の選択に依存しないことが容易に確認できる。この量は 行列M のマグニチュード |M| と呼ばれる 。」 今回は、この定義をより一般の行列のマグニチュードに拡張することを考えていきます。 【 行列の要素が取りうる値を非負の実数からrig kに拡大する 】 rig （またはsemi ring）とは、負の要素を持たないringのことです。rigは、シャニュエルの議論の時にも登場しました。 rig kは、和について可換なモノイド構造（+, 0）を持ち、積についてはモノイド構造（・, 1）を備えています。また、和と積は、a(b+c)=ab+acという分配律を満たします。 以下の議論では、行列の要素は、このrig kに値を取ることにします。 【 抽象的な有限集合によってインデックス付けされている行列を考える 】 rig k上に定義された行列を考える際、行と列が抽象的な有限集合によってインデックス付けされていると考えると便利です。  有限集合IとJの場合、rig k上のI × J行列は関数I × J → kで定義され、通常の行列演算を実行できます、 たとえば、H × I 行列にI × J行列を掛けて H × J 行列をうることができます。 恒等式行列はクロネッカー 𝛿 です。 I × J行...

【 マルレク「マグニチュードとは何か」へのお誘い 】 今週末の9/27開催のマルレクへのお誘いです。 セミナーの申し込みページ作成しました。お申し込みお待ちしています。 https://magnitude1.peatix.com/view 今月のマルレクは、「マグニチュードとは何か」というテーマで開催します。 「マグニチュード」  -- 地震の規模の大きさを示す尺度としては、日常的に使われている言葉です。今回は、地震には関係のない話です。ただ、「マグニチュード」が「大きさ」を表すという点では、話はつながっています。 今回のセミナーのテーマの「マグニチュード」論というのは、「大きさ」について考える新しい数学理論です。 【 「大きさ」を対象にした数学】 私たちの周りには、「大きさ」を持つものが、たくさん存在しています。マグニチュード論が対象として考えようとしているのは、こうしたものの「大きさ」です。 身長・体重・子供の数・収入・コロナワクチンを打った回数の「大きさ」の意味は明確です。一方、「幸せ」や「美しさ」や「正しさ」の「大きさ」は、数字で表現することはできず、比喩的にしか語れません。 数学的な「大きさ」とは、まずは、「数えることや測ることで与えられる数字で表現される量」と考えていいと思います。 ただ、これだけでは数学の対象としては当たり前すぎて、あまり深みのある数学が生まれそうにはなさそうです。 【 5分で振り返る「大きさ」の数学史】 ただ、それは量や空間を扱う数学が多様に発展している、現代の数学観を無意識のうち反映しているのかもしれません。 数学の歴史を振り返ってみると、その飛躍の節々で、「大きさ」についての意識が変化・発展してきていることがわかります。 　・数学的認識が人類に生まれた40,00年ほど前は、その主要な関心は、共同体の人口や耕地の面積など、具体的に数え測ることができる大きさを持つものでした。 　・紀元前3世紀のユークリッドは、幾何学的な点を「大きさを持たない」ものとして定義しました。 　・数としてのゼロの導入は、4世紀のインドだと言われています。だいぶ後のことです。 　・17世紀後半のニュートンやライプニッツの微積分学は、「無限に小さな大きさ」を考えることで可能になりました。 　・18世紀のオイラーは、形や大きさによらず「変わらない大きさ...

【 類似度行列とマグニチュード論 】 前回のセッションで、次のレンスターの生物多様性の定義の式を、その三つのパラメータ 確率分布pとq-パラメータと類似度行列Zに注目して読み始めました。 ただ、前回は pとq の話で終わっていました。前回は、基本的には、これまで提案されたさまざまな「多様性の指標」を、qを変化させることで、一つの式でカバーできるのことを見てきました。 レンスターが先の形での生物多様性の定義を初めて提案したのは、 “Measuring diversity: the importance of species similarity” というタイトルの論文ででした。 https://www.pure.ed.ac.uk/ws/portalfiles/portal/16566744/Measuring_diversity_the_importance_of_species_similarity.pd レンスターの生物多様性の定義のポイントは、種の類似度の重要性への注目です。それは、生物多様性の定義への類似度行列Zの導入として表現されています。 今回のセッションでは、まず、この類似度行列Zが、生物多様性の議論の中で、すなわち、生態学の文脈では、どのように定義できるのかを、具体的な例で見ていきたいと思います。 今回のセッションでは、レンスターの生物多様性の定義式が、類似度行列Zを用いてどのように導出されるのかを基本的な流れを紹介しようと思います。 また、今回のセッションでは、こうして導出されたレンスターの生物多様性の式が、どのような性質を持つのかを紹介していきます。 【 生物多様性の理論とマグニチュード論を結びつけるもの 】 重要なことは、レンスターの生物多様性の理論と彼のマグニチュード論を結びつけるものが、この生物多様性論への類似度行列Zの導入だと考えられることです。 レンスターのマグニチュード論の最初の論文は、2006年の”The Euler characteristic of a category” https://arxiv.org/pdf/math/0610260 　です。 今回のセミナーでも、オイラー標数の紹介をしてきました。そのすぐあとでレンスターのこの2006年の論文を紹介しても良かったのですが（そう予告もしていました）、少し回り道をしています...

【 レンスターの「多様性」の定義を読む 】 このセッションでは、レンスターの「生物多様性」の定義の式を、少し詳しくみてみようと思います。 といっても、レンスターの次「多様性」の定義は複雑ですね。 どこから見ていけばいいのでしょう？ 【 三つのパラメータ pとZとq】 この式は、n 種の種が存在する環境の「生物多様性」を表すものです。この式には三つのパラメータ pとZとqが登場します。   pは、n 種の種が、個体数で見てどのような割合で存在しているかを表す「確率分布」です。 環境中の n 種の種を{1, . . . , 𝑛}と自然数で表すと、確率分布 p は次のように表せます。 　　p = ( p1, p2, ... , pn )  　　pi ＞= 0,  　　p1 + p2 + ... + pn =1 確率分布 pが与えられた時、Shannon エントロピー Hは、次の式で定義されます。（テキストでは、式がうまく表現できないことがあるので、pdf あるいは　ビデオをご覧ください。） 　　H = Σ pi log(1/pi ) Shannonのエントロピーには、確率分布 p 以外の余分なパラメータはありません。どんな確率分布 pも、一意にShannonエントロピーを決定します。 【 Tsallis エントロピー 𝑆_𝑞 −− パラメータ qによるShannonエントロピーの拡大 】 Shannonエントロピーの定義中の log⁡ をq-対数 ln_𝑞⁡ (qを底にする自然対数)に置き換えたものを、 Tsallis エントロピー とよび、𝑺_𝒒と表します。 　　S_q = Σ pi ln_q (1/pi ) Tsallis エントロピーでは、確率分布 p に加えて、q が新しいパラメータとして追加されています。パラメータが一つ増えたことを除けば、両者の定義の形は、よく似ています。 【 q-パラメータの導入によるエントロピー概念の拡大 】 レンスターは、このエントロピーはTsallisが発見者というより、いろんな分野で何度も繰り返し発見・再発見されているので、‘q-logarithmic entropy’　(q-対数エントロピー)と呼ぶのがいいのではという提案をしています。  レンスターの多様性の定義式の中に現...