過去・現在・未来

【 「数える」と「個数」 】 「宇宙を埋め尽くす砂の数は？」という問いを立てて、実際にそれを計算した人がいます。 古代ギリシャの数学の天才アルキメデスが、その人です。 彼は、宇宙を埋め尽くす砂の数は、10^51より少ないことを導きました。 その計算は、wiki ページ https://ja.wikipedia.org/wiki/砂粒を数えるもの 　に紹介されています。 あるエリアの野鳥の数を数える方法も、いろいろ考えられています。「日本屋長の会」などが行う方法を、紹介しておきました。 【 「数える」には、いくつかの前提・特徴があります】 　・前提：数える範囲が明確（例えば「箱」の中にある）で、かつ、その数が、数える間に変化しないこと。 　・数えられる「もの」の具体的な形状・性質は、数えることには影響を与えない。数えるときに、それらは捨象される。 　・どれを先に数えるか、同じことだが、数える順番は、数えることには影響を与えない。 　・ただ、すでに数えたものと、まだ数えていないものとの区別は必要である。数えるというのは、対象をすでに数えたものとまだ数えていないものに二分することなしには実行できない。 　・最初に数えたとき１と数え、次に２と数え、順次、それを続ける。数えることは、自然数の順番に対応している。 【 「個数」について考える】 数えることと「個数」とは、もともとは結びついていたのですが、そのうちに、数えることとは独立にでも、「個数」は存在するという考え方が、一般的になります。 先のアルキメデスの宇宙を埋める砂の数や、日本野鳥の会のカウンティングは、実際には、数えていません。数えなくても、あるいは、数えられなくても、「個数」は存在すると思われています。 【 「数える」とは独立な「個数」の定義】 数学的には、「数える」という具体的な操作とは独立な「個数」の定義が必要になります。 二つの集合の要素の個数については、次のような定義が基本的です。 　　　二つの集合の要素が、「一対一対応」がつく時、 　　　二つの集合の要素の個数は、等しいとする。 　　　 【 抽象的な話になる前に】 話が抽象的になる前に、一つのことを確認しておきたいと思います。 それは、先に、「数える」ことの特徴として挙げた次のことに関係しています。 　・数えられる「もの」の具体的な形状・性質は、数...

【 5/31 マルレク「「ソフトウェア開発サイクルの変革と AI Agent の動向」講演ビデオと講演資料のURLです 】 丸山です。 5月に開催した、マルレク「ソフトウェア開発サイクルの変革と AI Agent の動向」の講演ビデオと講演資料のリンクを公開しました。　 今回のセミナー「ソフトウェア開発サイクルの変革と AI Agent の動向」のまとめページはこちらです。 https://www.marulabo.net/docs/sdlc/ 次のようなコンテンツで構成されています。 ● Part 1 　ソフトウェア開発でのAI利用の動向 　・AI利用の急速な拡大 　　　ザッカーバーグの予測 　　　AIベンダーの動向 　・広がる危機感 　　　攻撃者としてのAI / 防御者としてのAI 　　　RSAC 2025 レポート AIとNHIによる脅威の拡大 ●  Part 2　ソフトウェア開発とAI Agent 　　・ソフトウェア開発へのAI Agent導入の動向 　　・Multi AI Agent プログラミング 　　・A2A: Travel Agent サンプル 　　・ADK: コード開発パイプライン・サンプル ●  Part 3　ソフトウェア開発の課題と未来 　　・人間はAIに何を伝えるのか？ 　　・LLMと形式手法の統合 　　・人間と機械の関係を考える セミナーは、YouTubeでの配信ですので、いつでも都合の良い時間に見ることができます。 セミナーは3つのパートに分かれています。個別にも全体を通してもアクセスできます。 -------------------------- 全体を通して見る -------------------------- 　●  「ソフトウェア開発サイクルの変革と AI Agent の動向」セミナーの講演ビデオ全体の再生リストのURLです。全体を通して再生することができます。 https://www.youtube.com/playlist?list=PLQIrJ0f9gMcMwN5EQg1hMr145esshE2Fn 　●  資料全体を一つのpdfファイルにまとめたものはこちらです。 　　　「ソフトウェア開発サイクルの変革と AI Agent の動向」資料 https://drive.google.c...

【 LLMと意味の理論モデル概説−−概要紹介 】 【 LLMと意味の理論モデルの新しい展開】 LLMの言語の意味理解能力の獲得と驚異的な言語運用能力の実現という現実の進行を目の当たりにして、それを説明しようとする問題意識と理論が次々に生まれています。 MaruLaboでは、この夏以降しばらくの間、「LLMの理論モデルの新しい展開」という共通テーマで、複数のセミナーを連続して開催しようと思っています。 今回のセミナーは、今後予定している一連の「LLMの理論モデルの新しい展開」セミナーの全体の概要を紹介するものです。 理論モデルの新しい展開については、音声による概要まとめを用意しました。ぜひ、こちらをご利用ください。 Deep Dive Audio 20250816 https://www.marulabo.net/docs/dda20250816/ 【  新しい展開の背景を探る】 LLMの数学的構造の新しい知見の現在の展開には、理論的背景があります。 現在の展開を理論的に支えた代表的な先行研究が二つあります。 一つは、Tai-Danae Bradleyらの「米田埋め込み」にインスパイアされた enriched copresheaf 意味論で、もう一つは、Bob Coeckeらの「言語はそもそも量子論的だ」というQNLPです。 これらについては、Part 3 と Part 4で、少し詳しく説明しています。 【 Bradleyの理論の発展をたどる】 今回のセミナーの目的は、今後の個別のセミナーを理解するのに必要な基本的な準備をすることにあります。 いろいろ語るべきことは多いのですが、基本的な情報は、意味の理論モデルの発展が辿ってきた道だと思います。 意味の理論モデルの発展をたどった道を、基本的な情報として共有しようということで、今回のセミナーがとったやり方は、少しかたよったものに見えるかもしれません。 このセミナーの Part 3, Part 4では、意味の理論モデルの発展一般ではなく、Bradleyの理論の発展にフォーカスしています。 【 Bradleyのcopresheaf意味論】 特に、2021年の論文は重要です。 大規模言語モデルが見せる驚くべき能力を目の当たりにして、なぜ、そんなことが可能なのかと真剣に考え始め、それに理論的に答えようとして書...

【 Bradleyの理論の発展を追う (1)−− DisCoCatモデルからの離脱 】 今回と次回のセッションでは、現在のLLMと意味の理論モデル中心人物一人であるのTai-Danae Bradley の理論の発展を追ってみようと思います。 今回と次回のセッションで、彼女の次の4つの論文を取り上げます。。 　1,  2018年 What is Applied Category Theory? 　　「応用カテゴリー論とは何か？」 　2.  2020年 Language Modeling with Reduced Densities 　　「Reduced Densityでの言語モデル」 　3.  2021年 An enriched category theory of language: from syntax to semantics 　　「言語のenrichedカテゴリー論：構文論から意味論へ」 　4.  2025年 The Magnitude of Categories of Texts Enriched by Language Models 　　「言語モデルでenrich化されたテキストのカテゴリーのマグニチュード」 ただ、LLMと意味の理論モデルの構築で、彼女が依拠した理論的枠組みは、これら4つの論文で、それぞれ異なっています。 　1,  2018年 What is Applied Category Theory? 　　DiscoCat モデル 　2.  2020年 Language Modeling with Reduced Densities 　　Reduced Density モデル 　3.  2021年 An enriched category theory of language: from syntax to semantics 　　Enriched category モデル 　4.  2025年 The Magnitude of Categories of Texts Enriched by Language Models 　　Magnitude モデル 【 DisCoCatモデルからの離脱】 研究は発展するものですので、論文ごとに依拠する理論的枠組...

Tai−Danae BradleyがarXivに投稿した論文のリストです。 Abstractが読めます。 arXiv以外ですと、AMSに投稿した論文 The Structure of Meaning in Language: Parallel Narratives in Linear Algebra and Category Theory https://www.ams.org/journals/notices/202402/rnoti-p174.pdf が、あります。 arXiv:2501.06662    [ pdf ,  ps ,  other ]    math.CT   cs.CL The Magnitude of Categories of Texts Enriched by Language Models Authors:   Tai-Danae Bradley ,  Juan Pablo Vigneaux Abstract :  The purpose of this article is twofold. Firstly, we use the next-token probabilities given by a language model to explicitly define a  -enrichment of a category of texts in natural language, in the sense of Bradley, Terilla, and Vlassopoulos. We consider explicitly the terminating conditions for text generation and determine when the enrichment itself can be interpreted as a probability over texts. Secondly, we compute the Möbius function and the magnitude of an associated generalized metric space   of...