過去・現在・未来

【 マルレク「LLMのマグニチュード論 1」へのお誘い 】 今週末（12月6日（土））に開催予定のマルレク「LLMのマグニチュード論 1」へのお誘いです。 セミナーへのお申し込みは、次のページからお願いします。 https://llmbradley2.peatix.com/view 今回のセミナーでは、LLMの理論研究で、もっとも新しく最も先進的な業績である Tai−Danae Bradleyの論文 “The Magnitude of Categories of Texts Enriched by Language Models”  https://arxiv.org/pdf/2501.06662 　 の紹介をしようと思います。 【 この論文が扱っている二つの課題 】 この論文は、二つの課題を扱っています。 一つは、LMの意味論に カテゴリー論的基礎を与えた 2022年のBradleyらの論文“An enriched category theory of language: From syntax to semantics.” のモデルを拡大するという課題です。 たとえば、「プロンプトの入力」「プロンプトへの回答の出力」というような、LLMの現実の振る舞いを解釈しうるようにLLMのモデルを拡大するということです。 もう一つの課題は、こうして現実のLLMの振る舞いをシミュレートしうる拡大されたLLMのカテゴリー論的理論をを構築し、それを、この間マルレクでも取り上げてきたマグニチュードの理論を結びつける課題です。 【 今回のセミナーが扱う範囲とセミナーの構成 】 ただし、今回のセミナー「LLMのマグニチュード論 1」は、そうしたBradleyの論文紹介を目的とした連続セミナーの第一回目です。 今回のセミナーがカバーする内容は、先の「この論文が扱っている二つの課題」の前半部分の「LLMのモデルの拡大」にフォーカスしたものです。 今回のセミナーの構成は、次のようになります。 　　Part 1　BradleyのLLMモデル論概要 　　Part 2   LLMの確率計算 　　Part 3   Enrichedカテゴリー論とLLMモデルの拡大 【 Part 1　BradleyのLLMモデル論概要 】 連続セミナーの第一回目とし...

【 -LLMの確率計算の基本 】 先のセッションでは、Bradleyの2025年の論文の前半部分の中心的な内容である「命題 1」の証明の概略を述べましたが、その細部は省略していました。 このセッションでは、「命題 1」の証明に必要なLLMの確率計算の基本を確認したいと思います。証明は次のセッションで行います。 「命題 1」は、次のことを主張しています。 命題１．言語Lにおける未完成テキストxが与えられたとき、関数𝜋(−│𝑥) |_𝑇(𝑥) は入力xの終端状態上の確率質量関数である。 【  基本的な用語の確認】 「命題 1」に出てくる基本的な言葉の意味を確認しておきましょう。ここでは、次のような用語の意味を確認します。特に「確率質量関数」では、具体的な例をいくつかあげておきました。 　・未完成テキスト 　・完成テキスト 　・終端状態集合 𝑇(𝑥) 　・確率質量関数 　・カテゴリーLのオブジェク𝑜𝑏(𝐿) 　・カテゴリーLの射 x → y 　・部分カテゴリー 𝐿_𝑥 【 確率分布𝑝_𝑥( −|𝑥 )の生成とその分布の下でのサンプリング 】 ・LLMは、テキスト 𝑥 が与えられた時、次に出現するトークンを予測する確率分布 𝑝_𝑥( −|𝑥 )を生成します。 ・LLMは、一つのトークン 𝑎 を選んで𝑥に追加して、テキストを一つ分延長して 𝑥𝑎にします。 ・このとき、𝑥の後ろに一つのトークン𝑎が追加される確率は、𝑝_𝑥( a|𝑥 )になります。 【 Next Token 確率 𝑝_x( a|x )】 テキスト x が与えられた時、次に出現するトークンを予測する確率分布 𝑝_x( −|x) を、Next Token 確率分布といいます。 この分布の下でaをサンプリングして、テキストxの次のトークンがaとなることを表す確率𝑝_x( a|x )  を「Next Token 確率」と呼びます。 定義 2 の𝜋(y|𝑥) の定義は、もし、 x→yであるyが、xにk個のトークンを追加したものなら、その値は、k個の Next Token 確率の積で定義されるということです。 【 パス確率 𝜋(y|𝑥)と Next Token 確率 𝑝(𝑎|𝑥) 】 x, y, zが x → y → z を...

【 論文前半の基本定理の証明 】 先のセッションでは、Bradleyの2025年の論文の前半部分の中心的な内容である「命題 1」の証明の概略を述べましたが、その細部は省略していました。このセッションでは、その詳細を補いたいと思います。 【 「命題 1」の帰納法による証明 】 「命題１．言語Lにおける未完成テキストxが与えられたとき、関数𝜋( − | x ) |_𝑇(𝑥) は入力xの終端状態上の確率質量関数である。」 目標は、次の式が成り立つことを示すことです。 　　∑_(𝑦 ∈ 𝑇(𝑥) 𝜋( 𝑦│𝑥 ) = 1 基本的には、この主張を、x の後にモデルが終了するまで続く最大記号数 𝑚 = 𝑁 − |𝑥| についての帰納法で証明します。 【 Bradleyの四つのヒント 】 Bradley は、論文で証明のステップを4つの式で表していて、その導出の詳細については展開していません。今回のセッションでの証明は、Bradleyのヒントに基づいたものです。 数式をテキストで述べるのは難しいので、ぜひ、pdfの資料とビデオをご利用ください。 --------------------------- セッションの要約blog  https://maruyama097.blogspot.com/2025/11/blog-post.html まとめページ「LLMのマグニチュード論 1」 https://www.marulabo.net/docs/llm1bradley2/ ムービーの再生リスト「LLMのマグニチュード論  -- エピソード」 https://www.youtube.com/playlist?list=PLQIrJ0f9gMcMjv25F7mabNGdzKUVt-2CZ 本日のムービーのpdf 「 論文前半の基本定理の証明 」 https://drive.google.com/file/d/1PIFKecQkyEX36hnr050gzMZb_ee0VmJ_/view?usp=sharing 本日のムービー「  論文前半の基本定理の証明 」 https://youtu.be/5DyL1k3rVzs?list=PLQIrJ0f9gMcMjv25F7mabNGdzKUVt-2CZ

【 マルレク「LLMのマグニチュード論 1」へのお誘い（動画）】 今週末（12月6日（土））に開催予定のマルレク「LLMのマグニチュード論 1」へのお誘いです。 セミナーへのお申し込みは、次のページからお願いします。 https://llmbradley2.peatix.com/view 今回のセミナーでは、LLMの理論研究で、もっとも新しく最も先進的な業績である Tai−Danae Bradleyの論文 “The Magnitude of Categories of Texts Enriched by Language Models”   https://arxiv.org/pdf/2501.06662 　 の紹介をしようと思います。 【 この論文が扱っている二つの課題 】 この論文は、二つの課題を扱っています。 一つは、LMの意味論に カテゴリー論的基礎を与えた 2022年のBradleyらの論文“An enriched category theory of language: From syntax to semantics.” のモデルを拡大するという課題です。 たとえば、「プロンプトの入力」「プロンプトへの回答の出力」というような、LLMの現実の振る舞いを解釈しうるようにLLMのモデルを拡大するということです。 もう一つの課題は、こうして現実のLLMの振る舞いをシミュレートしうる拡大されたLLMのカテゴリー論的理論をを構築し、それを、この間マルレクでも取り上げてきたマグニチュードの理論を結びつける課題です。 【 今回のセミナーが扱う範囲とセミナーの構成 】 ただし、今回のセミナー「LLMのマグニチュード論 1」は、そうしたBradleyの論文紹介を目的とした連続セミナーの第一回目です。 今回のセミナーがカバーする内容は、先の「この論文が扱っている二つの課題」の前半部分の「LLMのモデルの拡大」にフォーカスしたものです。 今回のセミナーの構成は、次のようになります。 　　Part 1　BradleyのLLMモデル論概要 　　Part 2   LLMの確率計算 　　Part 3   Enrichedカテゴリー論とLLMモデルの拡大 --------------------------- セミナーへ...

【 3/30 マルレク「マトリョーシカとトロピカル」講演ビデオと講演資料公開しました 】 だいぶ遅れてしまって申し訳ないのですが、3月に開催したマルレク「マトリョーシカとトロピカル -- AI技術の最近の動向について」の講演ビデオと講演資料を公開しました。   奇妙なタイトルですが、現在のAI技術の動向について知る上で基本的な情報を取り上げています。 このセミナーは二つのトピックスを取り上げています。 【 マトリョーシカ 】 embeddingは、自然言語やコードなどの様々なコンテンツの意味や概念を、多次元ベクトル空間の一点の座標を表す数字の列で表現する技術です。embeddingは、現代のAI技術のもっとも革新的で基本的な技術です。 embedding技術も日々発展を続けています。embedding技術の最近の動向で、もっとも注目をあつめているのが、「マトリョーシカ表現学習」と呼ばれるものです。（図 1） 「マトリョーシカ」embeddingが可能にした柔軟で高速なAdaptive Retrieval 技術は、RAG (Retrieval-Augmented Generation)という形で、既にほとんど全てのベンダーのの生成AIエンジンに組み込まれています。  【 トロピカル 】 このセミナーが取り上げているもう一つのトピックは、現在の生成AIのベースになっている大規模言語モデル LLM のアーキテクチャーの見直しの動きです。 その見直しの中心は、浮動小数点からなる行列計算の簡略化です。行列計算の中で、浮動小数点同士の掛け算を整数の足し算に還元することができれば、大幅にエネルギー消費を削減することが可能になります。「トロピカル」というタイトルは、掛け算が足し算になる不思議な代数理論である「トロピカル代数」から借用したものです。 セミナーでは、こうしたアプローチで行列演算でのエネルギー消費を 1/70 にすることに成功したという「1-bit LLM」といわれる驚くべき提案を紹介します。(図 2) 【 Ai技術のダウンサイジング化のはじまり 】 このセミナーでとりあげた「マトリョーシカembedding」と「1-bit LLM」は、それぞれ異なった分野のそれぞれに独立した取り組みなのですが、ある共通の方向を向いていると感じています。 それ...

【 「ニューラル・ネットワークの数理 -- Tropical代数入門」講演ビデオと講演資料を公開しました 】  4月末に開催したマルレク「ニューラル・ネットワークの数理 -- Tropical代数入門」講演ビデオと講演資料を公開しました。  今回の資料公開に際して、セミナーのまとめページ「ニューラル・ネットワークの数理 -- Tropical代数入門」  https://www.marulabo.net/docs/tropical/  の構成を、YouTubeへの参照を中心にしたものから、pdf資料の表示を中心にしたものに、全面的に書き換えました。 数学的な議論を追うのに、YouTubeはあまり向いていません。今度のページでは、pdfは簡単に全文スクロールできるようになっています。是非、ご利用ください。 ------------------------------------------------- 私たちが日常的に利用している「生成AI」にしろ「大規模言語モデル」にしろ、それらが「なぜ、そのように振る舞うことができるのか？」については、わかっていないことがたくさんあります。 近年、これらのモデルの背後にある数学的構造を解明することで、その謎を解こうという取り組みが活発に進められています。 このセミナーで紹介している L. Zhang らの理論は、大規模言語モデルの振る舞いを co-presheaf 意味論を導入して説明しようとした Tai-Danae Bradleyらの理論と並んで、そうした取り組みの代表的なものの一つだと思います。 　　Tropical geometry of deep neural networks, 　　Liwen Zhang, Gregory Naitzat, and Lek-Heng Lim. 　 　 https://arxiv.org/abs/1805.07091   Zhangは、現代のAI技術の基礎であり、そのすべてで利用されている、Deep Neural Network(DNN) に数学的モデルを与えることを目指し、それに成功します。 古典的には(1969年)、 Minskyらが Rosenblattらの一つの層しか持たない単純なニューラル・ネットワーク Perceptron...

【 1/31 マルレク「量子エラー訂正技術の動向」講演ビデオと講演資料のURLです 】 セミナーは4つのパートに分かれています。個別にも全体を通してもアクセスできます。  -------------------------- 全体を通して見る -------------------------- 　●  「量子エラー訂正技術の動向」セミナーの講演ビデオ全体の再生リストのURLです。全体を通して再生することができます。  https://www.youtube.com/playlist?list=PLQIrJ0f9gMcNejtE5PENfZw_zmpUV480z 　●  講演資料全体を一つのpdfファイルにまとめたものはこちらです。 　　　「量子エラー訂正技術の動向」講演資料 https://drive.google.com/file/d/1PpjPO17caxwnAjpM6Dnc4Ycunq68mJpA/view?usp=sharing -------------------------- 　パートごとに見る -------------------------- 　●  　はじめに 　　　講演ビデオURL : https://youtu.be/v73UkSaWyOA?list=PLQIrJ0f9gMcNejtE5PENfZw_zmpUV480z 　　　講演資料 pdf : https://drive.google.com/file/d/1Pzs7C2CPNtsHsYtbRlIkBTyEf10-Rdo5/view?usp=sharing 　●  Part 1　量子エラー訂正技術の基礎 　　　講演ビデオURL : https://youtu.be/rcQZzfUQoTI?list=PLQIrJ0f9gMcNejtE5PENfZw_zmpUV480z 　　　講演資料 pdf : https://drive.google.com/file/d/1Q0stgt0U5hfzHc1Q---m6kf46JvvcedO/view?usp=sharing 　●  Part 2　Shor が考えたこと 　 　　講演ビデオURL : https://youtu.be/iog36CoYZz0?list=PLQIr...