過去・現在・未来

【 カテゴリーのenrich化 】 このセッションは、Tai-Danae Bradleyらの理論を理解するのに必要な「enrichedカテゴリー論」についての話です。 「enrichedカテゴリー論」は、日本語だと「豊穣圏論」と訳されることがあるのですが、あまりいい訳とは思えません。 「圏論」自体、硬い訳語だと思うのですが（「カテゴリー論」でいいと思います）、「豊穣圏論」はもっと硬くて難しい印象を与えます。 こうした学術用語での「日本語優先主義」というより「漢字優先主義」は、かつて、と言っても明治初期の西洋の技術や科学を受入れる時には、「漢字の力」は大成功を収めるのですが、今は、そういう時代ではないと思います。 日本語も大きく変わっています。「コンピュータ」「スマホ」といったカタカナ言葉はもはや日本語の一部ですし、”TV”や”DVD”というようにアルファベットを直接使うことも珍しいことではありません。 訳語の選択についてですが、enriched categoryを「豊穣圏」と訳し、enrich化することを「豊穣化する」と訳すのに、僕は違和感を覚えています。 あるカテゴリーから出発して enrich化を何度も適用すれば、「豊穣」なカテゴリーが次々と生まれるというイメージがあるのかもしれません。 ただ、「enrich化」によってカテゴリーが豊かになるのは確かなのですが、それは「豊穣」のような大袈裟な形容詞を必要とする変化ではないと思っています。 enrich化については、もう一つ大事な視点があります。 今回のセッションの最後に簡単に触れているだけなので、説明不足なのですが、enriched カテゴリー論は、豊なカテゴリーを生み出すためだけでなく、カテゴリー論自身を基礎付ける試みとして利用されます。 ある芸術家の想像力が生み出した作品群を「豊穣である」と表現することはできると思いますが、その芸術家の自己分析・内省を同じ「豊穣」という言葉で評するのは、適切だとは思えません。「豊かで深い分析」ぐらいでいいと思います。 【 今回のセッションでの用語について】 というわけで、今回のセッションでは、「豊穣圏」でなく、「enriched カテゴリー」という言葉を使っています。また、「豊穣化する」は「enrich化する」、「豊穣化される」は「enrich化される」という言葉を使って...

【 セミナーのタイトルを変更しました 】 以下の点で、コンテンツを更新しました。 　・セミナーのタイトル変更 　・Deep Dive Audioページの作成 　・「意味の構成性」について 　・セミナー申し込みページの作成 【 セミナーのタイトル変更 】 セミナーのタイトルを、 「LLMと意味の理論モデルの新しい展開とその数学モデル概説」 から 「LLMと意味の理論モデル概説」 に変更しました。 【 Deep Dive Audioページの作成 】 今回のセミナーの音声概要コンテンツを、独立のページとして作成しました、 https://www.marulabo.net/docs/dda20250816/ からアクセスできます。ご利用ください。 今回、4つ目のコンテンツとして、「進むLLMの内部構造の理解」が追加されています。 【 「意味の構成性」について 】 現在のLLMと意味の理論モデルの研究の焦点の一つは、「意味の構成性」にあります。 以前のマルレク「ことばと意味の「構成性」について – カテゴリー論と意味の形式的理論」のコンテンツを、YouTube中心からpdf資料中心に再構成しました。 https://www.marulabo.net/docs/discocat/　 特に、現在の研究の「源流」というべき、DisCoCat理論の理解にご利用ください。 【 セミナー申し込みページの作成】 セミナー申し込みページを作成しました。 https://mathmeaning.peatix.com/view　 −−−−−−----−−−−--−−−−-−− セミナー申し込みページ https://mathmeaning.peatix.com/view blog 「セミナーのタイトルを変更しました」 https://maruyama097.blogspot.com/2025/08/blog-post_05.html スライド「セミナーのタイトルを変更しました」のpdf ファイル https://drive.google.com/file/d/1VgxDmGrfrA7DnvwsQtmyDg0iijw6czzJ/view?usp=sharing ショートムービー「セミナーのタイトルを変更しました」 https://youtu.be/9pl7uNVjYrk ?list=PLQIrJ...

【 DisCoCat−- CoeckeとBradley 】 DisCoCatは、 Distributional Compositional Categorical Semantics の略称です。日本語にすれば、「カテゴリー論的構成的分散意味論」ということになります。 DisCoCatを提唱した最初の論文は、Bob Coeckeらが 2010年に発表した次の論文です。 “Mathematical Foundations for a Compositional Distributional Model of Meaning” https://arxiv.org/abs/1003.4394 【 DisCoCatは、なぜ、重要なのか？ −−  言語と意味の「構成性」 】 なぜ、15年前のDisCoCat 論文が重要なのでしょう？ 第一に、現在のLLMと意味の理論構築の中心的関心が、成功を収めたTransformer的分散意味論の上に、言語と意味の「構成性」を回復することにあるからです。 分散意味論と構成的意味論の統一という課題に、最初に明確に取り組んだのがDisCoCat論文です。 【 DisCoCatは、なぜ、重要なのか？−− カテゴリー論の利用 】 第二に、分散意味論と構成的意味論の統一という課題に、数学的ツールとして、カテゴリー論を利用することを最初に提起して、成功裡にそれを成し遂げたのは、 DisCoCat論文が初めてだったからです。 その 理論的影響は、今日も続いています。 LLMと意味の理論の現代的深化は、カテゴリー論の利用なしには、考えることができません。 【 DisCoCatは、なぜ、重要なのか？−− CoeckeとBradley 】 第三に、理論的というより属人的なことと思われるかもしれませんが、現代のLLMと意味の理論の代表的担い手は、Bob CoeckeとTai-Danae Bradleyです。 CoeckeとBradleyは、共に、DisCoCatのメンバーとして問題意識を共有していました。 二人のアプローチは、現在では少し異なるのですが、現代のLLMと意味の理論の源流は、DisCoCatにあると僕は考えています。 【 DisCoCatでBradleyが考えたこと】 僕が知る限り、DisCoCat論文の最もわかりやすい解説は、T...

【 三つのオーディオファイルを公開しました  】 AIで生成した「音声概要」を、三つ公開しました。ご利用ください。 　● LLMの謎にカテゴリー論で迫る 　● LLMのテキスト・データに隠された構造を探る 　● 言語理解と量子論 【 LLMの謎にカテゴリー論で迫る 】 この概要では、今度の連続セミナーで中心的に取り上げることになる、Bradleyらの問題意識とカテゴリー論を利用した取り組みを主に紹介しています。 彼女の近年の研究の成果である「マグニチュード」論がどのようなものか、どのような役割が期待されているのかについて、わかりやすい解説になっています。 YouTube: https://youtu.be/KljSU65YND4?list=PLQIrJ0f9gMcPTegOC0QqBiGPwAR02CZNG Audio file: https://www.marulabo.net/wp-content/uploads/2025/08/TextDataandStructure.mp3 【 LLMのテキスト・データに隠された構造を探る 】 この概要も、Bradleyの問題意識の要約になっています。重複はありますが、重要なことなので、色々な切り口で語られるのはいいかなと思います。 米田の補題の解釈が少し詳しく語られています。また、、LLMに与えられるテキスト・データ自身に構造が内在しているという視点は大事なポイントだと思います。 YouTube: https://youtu.be/NemWx9RLkh0?list=PLQIrJ0f9gMcPTegOC0QqBiGPwAR02CZNG Audio file: https://www.marulabo.net/wp-content/uploads/2025/08/TextDataandStructure.mp3 【 言語理解と量子論 】 この概要では、BradleyとCoeckeの二人のアプローチの違いを概説しています。Bradlyらは、実際のテキスト・データの中に統計的な構造が隠されていると考えるのに対して、Coeckeらは文法構造が先在すると考えます。 対照的ですが、両者の統合の可能性も示唆されています。 YouTube https://youtu.be/9IIyLafePjw?list=PLQ...

【 自然言語理解と量子論 】 YouTube https://www.youtube.com/watch?v=9IIyLafePjw&list=PLQIrJ0f9gMcPTegOC0QqBiGPwAR02CZNG Audio File https://www.marulabo.net/wp-content/uploads/2025/08/QNLP.mp3 Transcript (00:02) 今回のディープダイブへようこそ 今日はですね 自然言語処理の最先端と言いますか 量子言語モデル QNLPの世界にちょっと深く入っていこうと思います 手元にはですね この分野の二つの大きな流れ タイ・ダーネ・ブラドリーたちのグループの 法上見論を使うアプローチと それからボブ公客たちの公正的分布意味論 これ通称ディスコキャットモデルって 言われてるみたいですけど これを比較分析したレポートがあるんです そもそもなぜ言語処理に量子論なのかっていう疑問と あとこの二つのアプローチ 根本的に何が違うのかというあたり 今回のミッションは このちょっと複雑なテーマの確信をつかんで あなたにとって何が一番重要なのか それを明らかにしていきたいなと 非常に面白いテーマですよね この二つのアプローチどちらも 言語の数学的な構造 これを捉えるために 兼論っていう中小的な数学と あと量子論の考え方を使う ここまでは共通してるんですよ でもその何というか (01:05) 出発点が本当に対照的なんです 文法の構造をまず大事にするのか それとも実際の言語データに見られる 統計的なパターン こっちを重視するのか ここに大きな違いがあるわけです なるほど文法家統計家ですか 興味深いですね ではもう少しそこを掘り下げていきましょうか そもそもなぜ言語と量子が結びつくのか その共通の土台っていうのは何なんですか はいまず基本にあるのは 分布仮説っていう考え方ですね これは単語の意味はその使われる 文脈によって決まるっていう 言語学とかAIでは割と標準的な考え方です でどっちのアプローチも単語の意味を ベクトル空間数学的な空間で表現して その単語同士の関係性とか 文の意味の合成とかを 兼論特にモノイド兼っていう 数学の言葉で記述しようとするんですね そのレポートでストリング図 ストリングダイアグラムっていう...

【 LLMの謎にカテゴリー論で迫る 】 YouTube https://www.youtube.com/watch?v=KljSU65YND4 音声ファイル https://www.marulabo.net/wp-content/uploads/2025/08/LLMandCategory.mp3 Transcript (00:00) こんにちは。ディープダイブへようこそ。 こんにちは。 いや、最近のAI、 特に大規模言語モデル、 LLM って本当に人間みたいに言葉を操りますよね。 ええ、本当に目覚ましい進歩ですよね。 でもそのAI がどうやって意味をこう掴んでるのかっていうのはなんかまだはっきりとは分かってない部分も多いんですよね。 そうなんです。その仕組みの核心部分はまだ研究上というか。 で、今回はですね、ブラットリーたちの研究論文を元にしてその意味の謎にちょっと数学的なアプローチで迫ってみたいと思います。 はい。圏論を使うんですよね。 そう、論。LM って言葉と言葉の繋がり、ま、相関係はすごく学習してるんですけど、 ええ、統計的にですね。 それだけじゃ捉えきれないもっと深い意味の構造みたいなものがあるんじゃないかと。 ふむふむ。今回のミッションはLM の、ま、限界も探りつつその圏論を使って言語の意味をこうもっと深く構造的に見る新しい視点を探ることです。 面白そうですね。統計を超えたところを見ると。 (01:09) ええ、では早速紐いていきましょうか。 お願いします。 まず基本の確認なんですけど、 LM がどうやって意味を扱ってるように見えるかですよね。 はい。 あれは膨大なテキストデータからこの単語の次にはこういう単語が来やすいみたいなその相関係を学習してるんですよね。 ええ、基本的には確率的な予測モデルですね。 でも研究者の方々はここになんか理論的なギャップがあるんじゃないかと指摘してるんですね。 その通りです。今の主流のやり方単語を数値のベクトルで表現する方法はあの非常に強力ではあるんですが 便利ですよね。ベクトル表現。 ええ、ただ限界もやっぱり見えてきてる。例えば微妙な語順の違いとかですね。 ああ、猫が犬を追いかけたと、犬が猫を追いかけたみたいな。 そう、そう。そういう構造的な違いを、え、単純な単語の近さだけだと捉えきれない可能性が、ま、あるわけです。 ...

【 Functorが意味を捉える】 このセッションでは、 意味を扱う理論で、なぜカテゴリー論が好まれるかについて述べてみたいと思います 結論を先に述べれば、それはカテゴリー論のfunctor という概念が意味の意味を数学的に捉える上で、とても強力なツールとなるからです。 「意味の意味を数学的に捉える？」 「Functorが意味を捉える？」 「意味わからない！」 【「意味がわからない」ということ】 LLMや言語のことを考えていると、意味というと「言葉の意味」のことだと、つい考えてしまいます。 ただ、誰かが「意味がわからない！」と言ったとします。この時、意味がわからないのは、「言葉の意味」とは限りません。趣味にも仕事にも人生にも、いろんなものに意味があります。色々な意味に応じて、「意味がわからない」の意味は多様です。 ここでは、数学の意味について考えてみます。そこでは、「意味がわからない」の意味は、「私には理解できない」という意味に近いものです。 【 小学生は足し算をどう学ぶのか】 次の図は、小学生の算数の教科書からとったものです。265 + 178 = 443 という筆算の学習をしています。 大事なことは、下一桁の 5 + 8 = 13 という計算では、上の桁への「繰り上がり」が発生することです。 さらに、下二桁の 6 + 7 = 13 という計算では、下の桁からの繰り上がりの1も加えること、さらにここでも上の桁への繰り上がりが発生することです。 【 「ルール」で理解する vs. 「たとえ」で理解する】 ここで理解の目標は、繰り上がりを含む三桁の足し算の「ルール」なのですが、それを「一本の鉛筆」「十本の鉛筆の束」「百本の鉛筆の束」という具体的なものの「たとえ」で説明しています。 2+3が5になるのを、「りんご二つと、みかん三つで、全部で五つ」というように、具体的なものをあげて、「たとえ」で説明することができます。数学のルールは、基本的には現実の具体的な関係から抽象されたものですので、理解しやすい具体的関係から、ルールを導入・説明するのは有効です。 「ルール」は、抽象的なものですが、「たとえ」は、ルールの「意味」を理解させます。 【「ルール」と「たとえ」の対応関係】 「ルールの世界」と「たとえの世界」の二つの世界は、お互いに関連しています。「ルールの世界」は「...

【  8/16 マルレク「LLMと意味の理論モデルの新しい展開とその数学モデル概説」へのお誘い 】 LLMの言語の意味理解能力の獲得と驚異的な言語運用能力の実現という現実の進行を目の当たりにして、それを説明しようとする問題意識と理論が次々に生まれています。 MaruLaboでは、この夏以降しばらくの間、「LLMの理論モデルの新しい展開」という共通テーマで、複数のセミナーを連続して開催しようと思っています。 今回のセミナーは、今後予定している一連の「LLMの理論モデルの新しい展開」セミナーの全体の概要を紹介するものです。 【 Transformer意味論の問題 】 現在主流のTransformer意味論には、次のような問題があることが指摘されています。 ● 説明可能性の欠如=ブラックボックスとしてのLLM Transformerは、その驚異的な性能にもかかわらず、学習された表現の内部の論理を解読することが極めて困難です。 ● 意味の構成性と文脈依存性の欠如　 アテンションの重みは情報の混合比を決定するのですが、その合成を支配する明示的で厳密な文法的・論理的構造は存在しません。それは構造化された導出ではなく、重み付け和に過ぎないものです。 ● 学習データの巨大化と力まかせの処理 Transformerアーキテクチャは、その成功のために膨大な量データと計算リソースを必要としています。その性能は、モデルとデータの規模に大きく依存しています。それは、LLMが学習に利用する言語データが、「何の構造も持たない」と前提しているからです。 【 先行した二つの研究とカテゴリー論の利用】 LLMと意味の理解の問題について先駆的な研究が二つあります 一つは、Tai-Danae Bradleyらの「米田埋め込み」にインスパイアされた enriched co-presheaf 意味論で、もう一つは、Bob Coeckeらの「言語はそもそも量子論的だ」というQNLPです。 BradleyとCoeckeのアプローチでには大きな違いもあるのですが、言語と意味の理解についてその「構成性」が重要であるという認識では、両者は一致しています。 両者は、何の構造も持たないように見える言語データ自身に、すでに構造が先在的に内在していると考えます。こうした構造を、「構造的プライア（struc...

 【 YouTube チャンネル に「エントロピー論」のセクションを追加しました 】 YouTube チャンネル Maruyama Lectures に「エントロピー論」のセクションを追加しました。ご利用ください。  https://www.youtube.com/c/MaruyamaLectures あわせて、「エントロピー論」セクションの再生リストに、短いですが「説明」を追加しました。 今回の更新は、前回、MaruLaboの「エントロピー」関連ページのコンテンツをYouTube中心からpdfの資料中心に再構成したことに対応するものです。 各再生リストに追加した「説明」は次のようなものです。ざっと目を通していただけると、「エントロピー論」の大雑把な流れがわかるのではと思います。 3~4年前のポストも含まれているので、現在なら「エントロピー論」にもっと違った角度から光を当てられると感じているのですが、基本的には以前のコンテンツをそのまま使っていることご了承ください。 ● 「情報とエントロピー入門」 https://www.youtube.com/playlist?list=PLQIrJ0f9gMcNUBuVzPZ2BXUB_vZp4e4Xq マルレク基礎「情報とエントロピー入門」の講演資料公開しました。ご利用ください。https://www.marulabo.net/docs/info-entropy/ 今回のセミナーは、技術者に「エントロピー」とは何かについて、基本的な知識を提供することを目的にしています。 熱力学の中で登場した「エントロピー」という概念は、熱力学から統計力学、統計力学から量子力学という、19世紀から20世紀にかけての科学の枠組みの歴史的変化の中で中心的役割を果たします。  重要なことは、「エントロピー」概念は、もっぱら抽象的な「科学の枠組み」にかかわる概念ではなかったということです。それは、それぞれの時代の具体的で実践的な「技術」と密接なつながりを持っていました。  蒸気機関が先端技術であった時代にも（熱効率の最大化）、電信・電話・ラジオ・テレビが先端技術であった時代にも（通信効率の最適化）、エントロピーを最小にしようという試みが、技術的チャレンジの中心課題でした。今日の最先端技術である、いわゆる「AI」技術...

 【 エントロピー関連ページの更新について 】 「LLMの理論モデルの新しい展開 (後編)」の準備をしていて、利用したい以前のMaruLaboの情報が、動画中心に構成されていて、資料の参照がしにくいことに気づきました。 Magnitude論というのは、エントロピー論の新しい展開なんです。 MaruLaboのエントロピー関連ページのうち、今回の話に関連するページを、pdfの講演資料にアクセスしやすいように編集し直しました。 次の三つのページです。 ● 「情報とエントロピー」ページ https://www.marulabo.net/docs/info-entropy2/ ● 「エントロピー論の現在」ページ https://www.marulabo.net/docs/info-entropy5/ ● 「エントロピー論とカテゴリー論」ページ https://www.marulabo.net/docs/info-entropy5-addendum/ こちらをご利用ください。 二つ目の資料の第四部は、三つ目の資料の第一部と重複しています。 また、MaruLaboの「ジャンル一覧」から、アクセスできる「「エントロピー」関連ページ」の当該ページのエントリーに、講演資料全文情報を追加して、変更しました。  https://www.marulabo.net/marulabo-entropy/ 【  三つの資料で特に、チェックして欲しいポイント 】 三つの資料を合わせると、だいぶボリュームが嵩むのですが、いくつかチェックポイントを置いてみました。三つの資料の基本的ポイントが理解できているか確かめてみてください。 −−−−−−----−−−−--−−−−-−− blog 「エントロピー関連ページの更新について」 https://maruyama097.blogspot.com/2025/07/blog-post_20.html スライド「エントロピー関連ページの更新について」のpdf ファイル https://drive.google.com/file/d/1SJMfBckmeTHGEHcQuFwCoIbBVW2L0tvr/view?usp=sharing ショートムービー「エントロピー関連ページの更新について」 https://youtu.be/aB...

【 3/29 マルレク「Surface code と Stabilizer 2」の講演ビデオと講演資料公開しました 】 丸山です。 3月末に開催した、「Surface code と Stabilizer 2」の講演ビデオと講演資料公開しました。 ご利用ください。 セミナーは3つのパートに分かれています。個別にも全体を通してもアクセスできます。 -------------------------- 全体を通して見る -------------------------- 　●  「Surface code と Stabilizer 2」セミナーの講演ビデオ全体の再生リストのURLです。全体を通して再生することができます。 https://www.youtube.com/playlist?list=PLQIrJ0f9gMcPUuKxOMX0dDHg2C5iXjlx9 　●  講演資料全体を一つのpdfファイルにまとめたものはこちらです。 　　　「Surface code と Stabilizer 2」講演資料 https://drive.google.com/file/d/1ODWuqoEpu9Yi3giOXsD2zjbQCYLe5ba-/view?usp=sharing -------------------------- 　パートごとに見る -------------------------- 　●  Part 1　Surface code Measure qubit 　　　講演ビデオURL : https://www.youtube.com/watch?v=hdsiSrw6aGA&list=PLQIrJ0f9gMcPUuKxOMX0dDHg2C5iXjlx9&index=1&pp=gAQBiAQB 　　　講演資料 pdf : https://drive.google.com/file/d/1OX6VQRBAhMy2iY4AJb-WOFmPGd9VTD3E/view?usp=sharing 　●   Part 2　Logical qubit と Logical operator 　 　　講演ビデオURL : https://www.youtube.com/watch?v=04uuqEw-aO0...

【 2/27 マルレク「Surface code と Stabilizer」講演ビデオと講演資料のURLです 】 丸山です。 2月のマルレク「Surface code と Stabilizer」の講演ビデオと講演資料を公開しました。 *** お詫び *** セミナーのまとめページとセミナー受講者に送った pdfのURLのリンクが、いつからか切れていました。今回、pdfのリンクを新しいものに貼り直しました。気がつくのが遅くてすみませんでした。 *** *** *** セミナーは3つのパートに分かれています。個別にも全体を通してもアクセスできます。 -------------------------- 全体を通して見る -------------------------- 　●  「Surface code と Stabilizer」セミナーの講演ビデオ全体の再生リストのURLです。全体を通して再生することができます。 https://www.youtube.com/playlist?list=PLQIrJ0f9gMcMGSYprVQZT7KaRCbas_ELe 　●  講演資料全体を一つのpdfファイルにまとめたものはこちらです。 　　　「Surface code と Stabilizer」講演資料 https://drive.google.com/file/d/1AkvWOyq-b_lIzmp6FPr-YuzkEaHd6hZC/view?usp=sharing -------------------------- 　パートごとに見る -------------------------- 　●  Part 1　量子エラー訂正技術の飛躍 　　　講演ビデオURL : https://www.youtube.com/watch?v=vraIHMALeic&list=PLQIrJ0f9gMcMGSYprVQZT7KaRCbas_ELe 　　　講演資料 pdf : https://drive.google.com/file/d/1DjlFZ1cbT9nr6shk8izn2eZ2MYPvsMSF/view?usp=sharing 　●  Part 2　量子回路の振る舞いを計算する 　 　　講演ビデオURL : https://www....

【 ディドロのオウム −− 昔の話をしよう (3) 】 #DreamerV3 「もし、すべてに答えるオウムがいたなら、私は迷わず、それは思考する存在だと言うだろう…」 "s'il se trouvait un perroquet qui répondît à tout, je prononcerais sans balancer que c'est un être pensant ..." この文章は、ドゥニ・ディドロの最初の個人著作であり、1746年に匿名で出版された『哲学思想』(Pensées philosophiques) に含まれています。この文章は『哲学思想』の「Pensée XX」（第20思想）に登場します。 https://fr.wikisource.org/wiki/Pens%C3%A9es_philosophiques/Pens%C3%A9es 【 この引用の文脈 】 『哲学思想』の第20思想において、この引用はディドロと無神論者との間の対話の中で、無神論者の発言として登場します。 無神論者は、思考する存在であることの確信を論じる中で、思考は表面的な行動や音（デカルトが思考能力を否定した動物もこれらを生成する）によって判断されるのではなく、「観念の連鎖、命題間の論理的帰結、そして推論の結合」によって判断されると主張します。 この文脈で、無神論者は「あらゆる質問に答えるオウム」という仮説的な例を挙げ、真の思考が論理的かつ首尾一貫した推論によって証明されることを強調しています。 【 外部からの観察可能性と内部の論理的整合性の関係  】 この引用が提示する文脈は、単なる知性の定義を超え、思考の本質、特に外部からの観察可能性と内部の論理的整合性の関係という、哲学における根源的な問題を提起しています。 これは、現代の人工知能（AI）における「ブラックボックス問題」（内部プロセスを理解することと外部の振る舞いを評価することの対比）の中心的な議論に先行するものであり、単なる計算能力と真の知性の区別という微妙ながらも重要なニュアンスを含んでいます。 ディドロは、この対話を通じて、外部から観察可能な行動（応答能力）が、知性や思考の存在を判断するための主要な基準となりうることを示唆しました。 【 知性を「パフォーマンス」として...

【  DeepMindの三つのプロジェクト 】 このセッションでは、DeepMindによる近年の画期的なAI研究、特に汎用制御エージェント「DreamerV3」、数学的証明システム「AlphaGeometry」、そして科学的・アルゴリズム的発見コーディングエージェント「AlphaEvolve」の三つに焦点を当てて、その概要を見ていきたいと思います。 　● DreamerV3 　● AlphaGeometry 　● AlphaEvolve これらの研究は、異なるアプローチを取りながらも、AIのフロンティアを拡大するという共通のビジョンを追求しています。 【 三つのプロジェクトの概要 】 DreamerV3は、多様なタスクを単一の固定構成で習得する能力を示し、AIの汎用性における新たな地平を切り開きました AlphaGeometryは、神経言語モデルと記号的演繹エンジンを融合させ、オリンピックレベルの幾何学問題を解くことで、AIによる高度な数学的推論の可能性を実証しました。 AlphaEvolveは、大規模言語モデル（LLM）と進化的アルゴリズムを組み合わせ、新たなアルゴリズムを発見し、既存の計算システムを最適化することで、AIによる自律的な科学的発見と技術革新の時代の到来を予感させました。 三つのプロジェクトの詳しい紹介は、講演資料のpdf あるいは 動画を参照ください。 −−−−-−−−-−−−−-−−−−−−−−- セミナー申し込みページ https://deepmind.peatix.com/view blog page https://maruyama097.blogspot.com/2025/07/deepmind.html マルレク「AI とマインクラフトの世界」まとめページ　 https://www.marulabo.net/docs/dreamerv3/ マルレク「AI とマインクラフトの世界」のショートムービーの再生リスト https://www.youtube.com/playlist?list=PLQIrJ0f9gMcNT-iHwnkWJ5379ztVAbatX ショートムービー「  DeepMindの三つのプロジェクト 」のpdf https://drive.google.com/file/d/1Llq9R-8LBhUrFv...

【 AI技術としてのDreamerV3】 #DreamerV3 これまで、 DreamerV3 を、主要に、Minecraft でダイアモンド採掘もできる「ゲームをするAI」として紹介してきました。 このセッションでは、もう少し一般的な視点で、DreamerV3 を見てみようと思います。DreamerV3が、 AI技術としてどのような特徴を持っているかを整理することで、DeepMindのAI開発のビジョンの一端を知ることができると考えています。 【 DreamerV3の主要目的】 人工知能（AI）研究における長年の課題の一つは、広範な応用分野にわたる多様なタスクを学習し解決できる汎用アルゴリズムの開発でした。 既存の強化学習（RL）アルゴリズムは、開発されたタスクと類似のタスクには容易に適用できるものの、新たな応用領域に合わせて設定するには、依然として人間の専門知識と多くの実験が必要とされました。 DreamerV3は、この課題に対処することを主要目的としています。具体的には、単一の固定された設定で150以上の多様なタスクにおいて専門的な手法を凌駕する性能を発揮する汎用アルゴリズムの実現を目指しました 。 【 DreamerV3の手法の核心】 DreamerV3の核心的な手法は、環境の「ワールドモデル」を学習することにあります。 このワールドモデルは、エージェントが潜在的な行動の結果を予測し、将来のシナリオを「想像」することで行動を改善することを可能にします。 システムは、並行して訓練される3つのニューラルネットワークで構成されます。 ワールドモデル: 感覚入力xt​をエンコーダ（enc）を用いて離散表現𝑧_𝑡 ​に符号化し、これらの表現の系列を予測する。入力はデコーダ（dec）によって(𝑥_𝑡 ) ̂として再構成され、表現を形成するのに役立ちます。具体的には、自己符号化を通じて感覚入力のコンパクトな表現を学習します。 クリティックネットワーク： 想像された各結果の価値を判断します。 アクターネットワーク： 最も価値の高い結果に到達するための行動を選択します。 【 DreamerV3の新規性】 汎用性と固定ハイパーパラメータ： DreamerV3は、150以上の多様なタスクにおいて、単一の固定されたハイパーパラメータセットで専門的な手法を上回る性...

【 DreamerV3はEnder Dragon を倒せるか？ 】 #DreamerV3 DreamerV3の作者は、マインクラフトでのダイアモンド集めの難しさについて、次のように語っています。 「人気ゲーム『Minecraft』で人間の手を借りずにダイヤモンドを収集することは、報酬が疎で探索が困難、かつ手続き的に生成されたオープンワールド環境における長い時間軸という特徴から、人工知能の重要なマイルストーンとして広く認識されています。 DreamerV3は、専門家によるデモやカリキュラムなしで、希薄な報酬からダイヤモンドを収集する最初のアルゴリズムであり、この課題解決に成功しました。動画では、3000万環境ステップ（プレイ時間17日）で収集した最初のダイヤモンドが紹介されています。」 【 DreamerV3は、Ender Dragon を倒せるのか？】 ネットには、こんな期待の声があります。 「DreamerV3 は、Minecraft でダイヤモンドを収集する方法を完全に独学で習得した最初のアルゴリズムだ。これにより、強化学習の適用範囲がさらに拡大した。ネットユーザーたちが言うように、DreamerV3 はすでに成熟した汎用アルゴリズムだ。 次は、自分でモンスターをアップグレードして倒し、究極のボスであるEnder Dragonと戦う方法を学ぼう！」　　 https://hyper.ai/en/news/23036 Ender Dragonは、マインクラフトの世界のラスボスです。ゲームとしてマインクラフトを見れば、その最終目標は、Ender Dragon を倒すことです。 DreamerV3は素晴らしいという話をしてきたのですが、このセッションでは、「DreamerV3は、Ender Dragon を倒せるのか？」 という問題を考えてみようと思います。 ゲームに関心のない人には、どうでもいいことに思えるかもしれませんが。ただ、先のコメントには、DreamerV3の達成について、いくつかの誤解が含まれていると思います。 【 DreamerV3 は、「完全に独学」でダイヤモンドを収集する方法を習得したのか？ 】 問題は、DreamerV3 は、「完全に独学」でダイヤモンドを収集する方法を習得したのか？ ということです。 DreamerV3の論文でもGitHubでも...

 【 AIと「世界モデル」2  −− 昔の話をしよう 】 このセッションでは、Rodney Brooks の 1987年の論文 “Intelligence without representation” を紹介します。 Rodney Brooks は、SHRDLUの「成功」以降のAI研究の「停滞」の原因を鋭く指摘し、新しいAI研究の道を示した重要なAI研究者です。 もっとも、彼の理論は、当時のAI研究の主流派に受け入れられた訳ではありませんでした。 ただ、彼の理論は、ロボット研究の理論と実践に広く深い影響を与え、その影響は今日も続いています。Brooksは、iRobot社の最高技術責任者で、ルンバの開発者です。 【 Intelligence without representation−− Abstract 】 その論文のAbstractで彼は、次のように述べます。 「人工知能の研究は、表現の問題で停滞している。知能を段階的にアプローチし、知覚と行動を通じて現実世界とインターフェースすることに厳密に依存すると、表現への依存は消える。」 人工知能研究の停滞の原因は、「表現の問題」であるとされています。 「知能システムの根本的な分解は、相互に表現を介してインターフェースする必要がある独立した情報処理ユニットへの分解ではない。」 「代わりに、知能システムは、相互に特に多くのインターフェースを必要とせず、知覚と行動を通じて世界と直接インターフェースする独立した並列の活動生成ユニットに分解される。」 「中央システムと周辺システムの概念は消滅し、すべてが中央であり周辺でもある。」 こうした見方を、”Subsumption  Architecture” （“SA”と略されます）といいます。 【 "Use the world as its own model!" −−　この論文のメッセージ 】 この論文に込めたBrooksのメッセージは、論文冒頭の Introduction に明確に示されています。 「我々は、このアプローチに従って、一連の自律移動ロボットを構築してきた。その結果、予想外の結論（C）に達し、かなり過激な仮説（H）を立てた。 (C) 非常に単純なレベルの知能を調べると、世界に関する明示的な表現やモデルは単に邪魔になるだけであることがわ...

 【 AIと「世界モデル」 −− 昔の話をしよう 】 #DeepMind 先のセッションで、DreamerV3の「世界モデル」の概略を見てきました。今回のセッションは、もちろん、DreamerV3の「世界モデル」にインスパイアされたものですが、その画期性へのアプローチを変えてみようと思います。 今回のセッションでは、AIがその発展の歴史の中で、どのように「世界」に関わろうとしたのかを、その「世界モデル」論にフォーカスして振り返ってみようと思います。 【 昔の話をしよう】 今回と次回のセッションで、次の二つのトピックを取り上げます。 　● Winograd – SHRDLU 　● Brooks – Intelligence without representation 前者は 1970年、後者は 1987年の論文の話ですので、50年から 30年近く昔の話です。 老人の昔話は、一般的には、あまり役には立ちません。でも、今日のような激しい時代の変わり目には、少しは、役立つだろうと思っています。今回と次回のセッションのテーマは、「昔の話をしよう」です。 【 SHRDLUのアーキテクチャと能力】 SHRDLUは、1968年から1970年にかけてMITのテリー・ウィノグラードによって開発された、自然言語理解のための統合システムです。このシステムは、自然言語パーサー、意味解釈器、推論器、そして「積木の世界（Blocks World）」を操作するためのエフェクターから構成されています。 「積木の世界」は、色付きのブロックやピラミッドなどで構成される単純な仮想環境であり、SHRDLUはユーザーの命令に基づいてこれらのオブジェクトを操作します。 SHRDLUの最も注目すべき能力は、積木の世界に関連する英語の命令や質問を理解し、応答することです。 こんな対話が可能でした。 −−−−−−−−-−−−−---------− [ HUMAN  ] 大きな赤いブロックを取って。 [ SHRDLU ] OK。 （画面上でロボットアームが動き出す。図のように、小さな赤いブロックと大きな赤いブロックの2つが見える。大きなブロックの上には緑色の立方体が積み重ねられている。ロボットはまず緑色の立方体をテーブルの上に移動させ、次に赤いブロックを拾う。） [ HUMAN  ] ...

【  6月マルレク「AI とマインクラフトの世界」予告編 】 6月のマルレクは、「AIとマインクラフトの世界」というテーマで開催しようと思います。 AIの利用者は、この一年で大きく拡大しました。 IT系の人は、コード生成にAIを普通に使うようになりましたし、ジブリ画像の生成はちょっとしたブームになりました。学生のレポートでもSNSへの投稿でも、AIの利用は日常の風景の一部になりつつあります。僕も、最近はAIによる「音声概要」を愛用しています。 【 AIとゲーム？】 マインクラフトは、多くの人はご存知だと思いますが、有名なゲームです。僕もアカウントを持っています。現在の開発元は、Microsoft社です。 問題は、急発展を続けるAIの世界とゲームの世界とに、どのようなつながりがあるかということです。 今回のセミナーで紹介するAiは、役にたつプログラムを教えてくれるわけでも、面白い画像を作ってくれるわけでも、レポートを書いてくれるわけでもありません。 DeepMind社のAI DreamerV3は、ひたすらゲームをするAIなのです。 次のDreamerV3のGitHubのトップページを見てください。 h ttps://github.com/danijar/dreamerv3   DreamerV3は、Minecraftに限らず、数多くのゲームをプレイすることのできるAIなのです。 DreamerV3のゲームでの強さをよく示すのが、Minecraftで難しい課題の一つである、「ダイアモンドの発掘」に成功したことです。 【 AI Agentの自律性 】 本当は、Minecraftゲームの紹介をもう少し詳しくしないと、DreamerV3の達成の意味が分かりにくいのですが、それだけだとつまらないですね。 ここでは、もう少し一般的なコンテキストから、DreamerV3の行ったことの意味を考えてみようと思います。 現在のAIの進化をAIのAgent化、大雑把に言って、AIの「自律性の拡大」として捉えることは、正しいと思います。 ただ、AIの自律性が何を意味するかについては、よく考える必要があります。 前回のセミナーで見た、ソフトウェア開発サイクルの変化の中でのAI Agentの役割は、AIがLLMモデルの成功によって獲得した人間のことばの意味を理解する能力に基...

【 DreamerV3の何が画期的なのか？ 】 DreamerV3は、昨今話題のAI Agentの一種です。ただ、このAI Agentは、皆さんの身近にいる「コードを書いてくれる」 AI Agentとは、一味違っています。 前回のセッションでは、DreamerV3を「ゲームをするAI Agent」として紹介してきました。それだけでは彼が可哀想です。 今回のセッションでは、なぜ、この「ゲームをするAI Agent」が「コードを書いてくれるAI Agent」以上に画期的なのかを考えてみたいと思います。 【 視点を切り替えよう 】 ひたすらゲームをするだけのAIが、コードを書いてくれるAIより「画期的」だと思うには、視点の切り替えが必要かもしれません。 それは、簡単なことです。我々がAIに何を期待しているのかを改めて考えること、一言で言えば、AIを作る人の視点を持つことです。そのためには、AIを作るとか何かのAIのプロジェクトに参加する必要はありません。そうした視点を「想像」するだけで十分です。 技術が関わる世界には、その技術を使う人とその技術を作る人がいます。IT技術者は、これまでは、技術を作る側の一端に立っていました。ただ、AI技術に関しては、IT技術者は最も熱心なAI技術の利用者になろうとしています。ひたすらAIを使うだけだと、IT技術者にとっては、あまりいいことないと僕は思います。 実は、「想像」は、夢見るDreamerV3のキーワードの一つです。 【 世界のモデルと未来を想像する力】 DreamerV3の基本的な論文のタイトルは、”Mastering diverse control tasks through world models”です。「多様な制御タスクを世界モデルを通じてマスターする」 世界モデルってなんでしょう？この論文に、とても印象的な一節があります。 "The algorithm is based on the idea of learning a world model that equips the agent with rich perception and the ability to imagine the future" 「このアルゴリズムは、エージェントに豊かな知覚と未来を想像する能力を付与する世界のモデ...

【  5月マルレクへの招待 】 ==================== セミナーへのお申し込みはこちらからお願いします。 https://sdlcagent.peatix.com/view ==================== 5月のマルレクへのお誘いです。  5月のマルレくは、「ソフトウェア開発サイクルの変革とAI Agent の動向」というテーマで開催します。 AI技術の発展が、社会のあらゆる分野に深い影響を及ぼすだろうということは、さまざまな人がさまざまな形で語っています。 今回のセミナーは、「あらゆる分野」にではなく、僕を含むソフトウェア開発につらなる世界に、AIがどのような変化をもたらすのかを考えようとしたものです。  IT技術は、インターネットにしろスマートフォンにしろSNSにしろ、世界のあり方を大きく変えてきました。 IT技術者にとって、IT技術は、こうした変化の能動的な主体であり、それ以外の世界は変化を受ける受動的な客体であると考えても、大きな不都合はありませんでした。 ただ、AIという武器を得た新しいIT技術が、変えようとしている世界の一つに、他ならぬITの世界そのものが含まれていることには注意が必要です。 新しいIT技術が、変革の対象として選ぼうとしているのが、ソフトウェアの生産現場です。対象リストの中で、その優先順位はとても高いと僕は考えています。 【 セミナーの構成 】 セミナーは、次のような構成を考えています。 第一部:　ソフトウェア開発でのAI利用の動向 第二部：　ソフトウェア開発とAI Agent 第三部：　ソフトウェア開発の課題と未来 【 第一部：　ソフトウェア開発でのAI利用の動向 】 セミナーでは、まず、ソフトウェア開発でのAI利用の動向を確認したいと思います。 この分野へのIT技術者の関心は高く、さまざまなプロダクトが登場しています。そこでは、AI ベンダートップの楽観的な見通しと強気な発言が特徴的です。膨大な投資がなされています。 同時に、セキュリティに関心を持つ人の間では、かつてないほどの規模で AIに対する警戒心が広がっているように見えます。また「攻撃者としてのAI」からシステムを守る「防御者としてのAI」という議論も活発に展開されています。 【 第二部：　ソフトウェア開発とA...

【  コード開発パイプライン・サンプル 】 今回のセッションでは、Googleの”Agent Development Kit Tutorial“の、とても簡略化された「コード開発パイプライン」サンプルを紹介したいと思います。 サンプルのソース・コードはこちらから見ることができます。 https://google.github.io/adk-docs/agents/workflow-agents/sequential-agents/#how-it-works 【 何が「簡略化」されているのか？】 この「コード開発パイプライン」は、’simplified’とあるように、実際のコード開発の現場で行われているいくつかの側面を捨象したコード開発のモデルをAIで実装したToyプログラムです。 現在のプログラム開発の自動化の取り組みは、このサンプル・プログラムのレベルよりは、大分進んでいます。 ただ、この簡略化されたサンプルはプリミティブで制限付きのものですが、AI Agentを利用した開発自動化モデルの原型(Ur-Type)と考えていいと、僕は考えています。 そうした「進化」を確認するためにも、まず、最初に、このモデルでは何が「簡略化」されているのかを考えてみたいと思います。 この「コード開発パイプライン」のモデルには、「テスト」工程も「デバッグ」工程もありません。 【 現在の開発自動化の取り組み】 現在の開発自動化の取り組みについては、今回のセミナーに向けたセッション「ソフトウェア開発へのAI Agent導入の動向」の資料で 、ソフトウェア開発におけるAIエージェントの導入の現状を、特に次の各領域に焦点を当てて紹介してきました。 　・コード補完 　・テスト 　・デバッグ 　・コードレビュー https://drive.google.com/file/d/1NZKV4hTy8SrUuJvvT0Sxllk9boAjg6eY/view 主要AIエージェントの機能と性能(SWE-bench)は、表にまとめました。 これらについては、「AI Agent導入の動向 （音声による概要）」が簡便にまとめています。参照ください。 https://www.marulabo.net/wp-content/uploads/2025/05/AI%E3%82%A8%E3%83%BC%E...

【 A2A: Travel Agent サンプル 】 このセッションでは、Multi AI Agent プログラミングのサンプルとして、三つのAgentを協調させて、一つのTravel Agent サービスに統合するプログラムを紹介します。 このサンプルは、A2Aプロトコルの採用を決めたMicrosoftが、GoogleのA2A GitHubに、最近、投稿したものです。 https://github.com/google/A2A/tree/main/samples/python/agents/semantickernel このサンプルは、Multi Ai Agent の開発でのA2Aプロトコルの利用の紹介にもなっています。 【 基本的なコンポーネント 】 このMulti AI Agent のプログラムは、基本的には、次の三つのコンポーネントから構成されています。 　・SemanticKernelTravelManager 　・CurrencyExchangeAgent 　・ActivityPlannerAgent それぞれのコンポーネントの働きをみておきましょう SemanticKernelTravelManagerは、ユーザーからのリクエストを受け取り、それを分析する中央のコーディネーターとして機能します。コンテキストに基づいて、これらのリクエストを専門のエージェントにインテリジェントにルーティングします。 たとえば、通貨関連のクエリは CurrencyExchangeAgent に直接送信され、観光の予定や旅程関連の要求は ActivityPlannerAgent に転送されます。 CurrencyExchangeAgentは、通貨関連のタスクを処理します。Frankfurter API などの外部 API ツールを統合し、リアルタイムの通貨為替レートを提供します。これらのデータソースを活用することで、エージェントは正確な予算編成と財務計画を実現します。 ActivityPlannerAgent は、ユーザーの好みや予算に応じて、カスタマイズされた旅程の提案、アクティビティ、イベント予約を提供し、パーソナライズされた旅行体験をキュレーションします。 【 タスクのルーティングと委任 】 Multi Agentの協調と統合が、どのように行われているのかを考える上では...