DreamerV3の何が画期的なのか？

【 DreamerV3の何が画期的なのか？ 】

DreamerV3は、昨今話題のAI Agentの一種です。ただ、このAI Agentは、皆さんの身近にいる「コードを書いてくれる」 AI Agentとは、一味違っています。

前回のセッションでは、DreamerV3を「ゲームをするAI Agent」として紹介してきました。それだけでは彼が可哀想です。

今回のセッションでは、なぜ、この「ゲームをするAI Agent」が「コードを書いてくれるAI Agent」以上に画期的なのかを考えてみたいと思います。

【 視点を切り替えよう 】

ひたすらゲームをするだけのAIが、コードを書いてくれるAIより「画期的」だと思うには、視点の切り替えが必要かもしれません。

それは、簡単なことです。我々がAIに何を期待しているのかを改めて考えること、一言で言えば、AIを作る人の視点を持つことです。そのためには、AIを作るとか何かのAIのプロジェクトに参加する必要はありません。そうした視点を「想像」するだけで十分です。

技術が関わる世界には、その技術を使う人とその技術を作る人がいます。IT技術者は、これまでは、技術を作る側の一端に立っていました。ただ、AI技術に関しては、IT技術者は最も熱心なAI技術の利用者になろうとしています。ひたすらAIを使うだけだと、IT技術者にとっては、あまりいいことないと僕は思います。

実は、「想像」は、夢見るDreamerV3のキーワードの一つです。

【 世界のモデルと未来を想像する力 】

DreamerV3の基本的な論文のタイトルは、”Mastering diverse control tasks through world models”です。 「多様な制御タスクを世界モデルを通じてマスターする」

世界モデルってなんでしょう？ この論文に、とても印象的な一節があります。

"The algorithm is based on the idea of learning a world model that equips the agent with rich perception and the ability to imagine the future"

「このアルゴリズムは、エージェントに豊かな知覚と未来を想像する能力を付与する世界のモデルを学習するというアイデアに基づいている」

皆さんの身近で働いているAI Agentは、 「世界」のことを知る（たとえ、それがゲームの画面上のバーチャルな世界だとしても）「豊かな知覚」を持っていますか？　

あなたのAI Agentは、「知覚」を持ちません。それは、RAGで拡張されたLLMが管理する文字情報の世界で生きています。

皆さんのAI Agentは、「未来を想像する」能力を持っていますか？多分、ないと思います。もしもあったとしても、それは「ハルシネーション」と呼ばれるでしょう。

幸いなことに、現時点では、我々がどのようなAIを構想するかによって、AIはその未来の姿を変えます。DreamerV3が、「画期的」なのは、まず、そのアイデアにあると、僕は考えています。

【 AIの中に「世界のモデル」を作る 】

重要なのは、AIの内部に「世界のモデル」 -- DreamerV3は、これをworld modelと呼んでいます -- を作るというアイデアです。

minecraftの場合には、ゲームのピクセル画面を取り込んで、autoencoderで圧縮して、その圧縮した画像情報を自分の内部に時系列順に記憶していきます。

単に「世界」の画像情報を取り込むだけだったら、それは、ビデオ・デッキや監視カメラのメモリーと変わりありません。

DreamerV3は、world model をRNNのニューラル・ネットワークとして構築します。このworld model ニューラル・ネットワークは、例えば、5フレームの画像データを受け取ると、その5フレームの情報のみを元にして45フレームの画像データを生成します。

このworld modelが5フレームの現実の画像データから生成した45フレームの画像データが、DreamerV3が「想像」した「未来」の世界なのです。

【 今回と次回ののセッションが取り上げること 】

今回のセッションは、DreamerV3の最大の特徴ともいうべき　その world model について説明しています。詳しくは、ビデオあるいはpdfファイルをご覧ください。

次回は、AI技術の発展の中で、「世界のモデル」がどのように扱われてきたかを振り返ってみようと思います。

ウィノグラードの「積み木の世界」と、ロドニー・ブルックスの「世界の内部モデル不要論」を紹介します。

−−−−-−−−-−−−−-−−−−−−−−-

blog page

https://maruyama097.blogspot.com/2025/06/dreamerv3.html

マルレク「AI とマインクラフトの世界」まとめページ　
https://www.marulabo.net/docs/dreamerv3/

マルレク「AI とマインクラフトの世界」のショートムービーの再生リスト
https://www.youtube.com/playlist?list=PLQIrJ0f9gMcNT-iHwnkWJ5379ztVAbatX

ショートムービー「 DreamerV3の何が画期的なのか？ 」のpdf
https://drive.google.com/file/d/1r16l_qKecDlxoDfvJCLIbrzOFycw0cY6/view?usp=sharing

ショートムービー「DreamerV3の何が画期的なのか？ 」
https://youtu.be/17Gne8DXZkw?list=PLQIrJ0f9gMcNT-iHwnkWJ5379ztVAbatX

コメント

コメントを投稿

このブログの人気の投稿

初めにことばありき

旧約の「創世記」の「光よあれ」は、ビッグバンを思わせて、物理学者はちょっと萌えるかもしれないのだが、新約の「ヨハネによる福音書」には、言語学者が喜びそうなフレーズがある。 「初めに言があった。言は神と共にあった。言は神であった。」 僕が知っていたのは、「はじめにことばありき」という訳だったのだが。この口語訳での「言」は、英訳だとこうなっている。 "In the beginning was the Word, and the Word was with God, and the Word was God." 「言」= "Word" である。はじめにあったのは、Wordであって、Language ではない。だから、新しい口語訳では、普段、あまり馴染みない「言」という訳語を使ったのかも。「初めに語があった」では、なんかしまらないんだろうな。（僕は、「はじめにことばありき」というフレーズの方が好きだ。） ちなみに、「ヨハネによる福音書」は、英語では、"Gospel of John" という。「ジョンのゴスペル」である。でも、そう日本語に訳してしまうと、ジョン・レノンがバラードではなく、ゴスペルを歌っているようで、まずいんだろうな。 「ことば」・「言」・"Word" と訳されている、元々の言葉を調べてみると面白い。 キリスト教のオーソドックスな原典であるラテン語訳聖書では、この部分は、こうなる。 "In principio erat Verbum, et Verbum erat apud Deum, et Deus erat Verbum" 「イン・プリンキピオー・エラト・ウェルブム」 英訳 Word のラテン語の原語は、Verbum である。この単語、英語に直訳すれば、Verbである。「初めに、動詞があった。」　言語学の「従属性文法 (Dependency Grammar) 」理論の人たち、喜びそう。 もっとも、英語のVerbは、元々は、動詞というより広く言葉全体をさしてたらしい。そのことは、「ノンバーバル・コミュニケーション (Non-Verbal Communication) 」というのが、動詞を使わないコミュニケーション...
続きを読む

密度行列とは何か？

これまで、量子の状態をベクトルで表現してきました。例えば、量子ビットの状態は、状態ベクトルで表せば、|qubit> = a|0>+b|1> と、二つの状態ベクトルの「重ね合わせ」（ベクトルの和です）で表現されました。 それに対して、密度行列は、量子のシステムの状態を行列で表現したものです。では、どの　ようにしてベクトルで表される量子の状態を、行列で表すのでしょう？ 次のように考えます。ある量子システムで、状態|ψ_i>である確率をp_iとしましょう。この時、確率p_iを成分とする行列を考えます。 |qubit> = a|0>+b|1> の場合なら、|0>である確率p_0は |a|^2で、|1>である確率p_1は |b|^2になりますので、p_0とp_1、すなわち、|a|^2と|b|^2を成分とする行列を考えることにします。 ここでは、ベクトルの外積が行列になることを利用します。それでは、外積で作られる行列のどこにこの成分を割り当てるか考えましょう。うまい方法があります。 外積 |0><0|は、0行0列目の成分だけが1で、残りの成分は全て0の行列です。同様に、外積|1><1|は、1行1列目の成分だけが1で、残りの成分は全て0の行列です。 この時、p_0|0><0| + p_1|1><1|という行列として密度行列を定義します。0行0列目の成分がp_0で、1行1列目の成分がp_1の行列です。 　● 状態ベクトルを使った表示 　　　|qubit> = a|0>+b|1> 　● 密度行列を使った表示 　　　ρ = p_0|0><0| + p_1|1><1| = |a|^2|0><0| + |b|^2|1><1| 状態ベクトルを使った表示に出てくる a, bは複素数ですが、密度行列を使った表示に出てくる p_0, p_1 は、確率ですので 0と1の間に値を持つ実数です。これは、二つの表示スタイルの大きな違いです。 密度行列を作るのに利用した、確率 p_iと状態|ψ_i>のペア { p_i, |ψ_i> }の集まりを、「pureな状態のアンサンブル」といいます。その意味は、この量子システムで、状態|ψ_...
続きを読む

宇宙の終わりと黒色矮星

イメージ
【宇宙の終わりと黒色矮星】 図のようなストーリーで、「宇宙の終わりとエントロピー」という投稿を準備していたのだが、いろいろ雑念が湧いて気がすすまなくなる。その理由は別稿で。 この図は、「閉じられた部屋でのガスの拡散」というわかりやすいモデルで理解されるエントロピーの増大の法則が、あるフェーズから、宇宙規模でみれば、「全ての物質のブラックホールへの吸収・収斂」として現れると言うことを主張している。最初、ペンローズのこの話を読んだときには、目からウロコだった。 このストーリーにはもっと先がある。最近のシミュレーションでは、指数関数的に膨張する宇宙では、巨大なブラックホールに捕捉されるのは、宇宙全体の物質の10%程度だという。恒星起源のブラックホールは 10^67 年で、銀河系中心の巨大ブラックホールも 10^99年で、ホーキング放射で「蒸発」し姿を消す。 ブラックホールに捕捉されなかった宇宙の残りの90%の物質は、元それが属した銀河系から孤立したまま星の一生の進化を続ける。太陽の1.2倍程度の質量を持つ星は「白色矮星」になるのだが、「白色矮星」は 10^17年で「黒色矮星」に変わる。 「黒色矮星」は、現代の「宇宙の終末論」では、もっとも注目されている天体なのだが、それはまだ観測されていないと言う。というのも、この天体は光を出さないからだ。「黒色矮星」の中心は、最も安定な原子である鉄の「結晶」でできていて、温度は絶対零度近くに冷却されている。 「黒色矮星」は、とても長生きする天体である。陽子崩壊がおきるなら、黒色矮星の寿命は 10^32年程度だが、もし陽子が安定しているとすれば、太陽の 1.24倍程度の質量を持つ「黒色矮星」は、10^1600年後に突然崩壊して超新星爆発を起こす。もっと軽い、太陽の1.16倍程度の質量を持つ「黒色矮星」は、10^32000 年後（！）に超新星爆発を起こす。 このシナリオによれば、宇宙は、とてつもなく長い長い退屈な時間をかけて、その死を迎える。「黒色矮星」の超新星爆発は、宇宙の死を飾る最後の打ち上げ花火である。その後には、宇宙には何も起こらない。 この記事は、ジョン・バエズの "Black Dwarf Supernovae" を基にしたものだ。https://johncarlosbaez.wordpress.com/202...
続きを読む