Interlude 2 −− OpenAI の分裂が残したもの

 Interlude 2 −− OpenAI の分裂が残したもの 


2022年11月30日のChatGPTの衝撃的な登場とその後の利用者の爆発的な拡大は、OpenAIの成功とAIの新時代の到来を多くの人に印象づけました。

順風満帆に見えたOpenAIですが、その取締役会はCEOのサム・アルトマンを突然解任し、世界を驚かせました。ChatGPTの発表から一年後の2023年11月17日のことでした。

そのわずか5日後の11月21日には、アルトマンがCEOに復帰します。結果的には、それまでOpenAIの主要メンバーだった、イリヤ・サツケヴァー、ヘレン・トナーらが取締役会を去ることになります。旧OpenAIは、激しい意見対立の末、分裂・解体したのです。

突然問題が起きたように見え、また、非常に短期間で決着がついたこともあって、「そんな騒動もあったな」ぐらいの印象しか残っていないかもしれません。今では、AI BigTechたちの競争とその未来については多くのことが語られていても、この「事件」に遡った考察はほとんどないように見えます。それは残念なことです。

今回の「Interlude 2 −− OpenAI の分裂が残したもの」は、あらためて、この問題を扱ったものです。

予兆としての「GPT-4 System Card」の公開 

問題は、突然起きたわけではありません。分裂の予兆はすでにありました。そのことは、2023年3月に公開されたOpenAIの「GPT-4 System Card」という文書の内容とその公開のスタイルに象徴的に現れていると僕は考えています。

正確にいうと、OpenAIが独立の文書としてこの「GPT-4 System Card」を公開したわけではありません。OpenAIが3月に公開したのは、「GPT-4 Technical Report」という文書で、そのAppendixとして「GPT-4 System Card」は世に出ることになります。

奇妙なことに、論文本体の「GPT-4 Technical Report」は、“Introduction” から ”Conclusion”まで、12ページ程の短いものなのですが、先のpdf全体のボリュームは 100ページもあります。（今、確認したら、この論文の現在のバージョンは 2024年に改定されたv6です。詳しくは、arXivのSubmission historyを参照ください。）

と言いますのは、残りの80ページ以上の付属資料で、OpenAIがGPT-4の技術の到達点と問題点をどのように評価し、その問題点にどう対応しようとしているのかが詳細にレポートされているからです。それが、「GPT-4 System Card」です。

「GPT-4 System Card」の内容は、衝撃的なものでした。例えば、後で見る自己検閲システムRBRM抜きの素のGPT−4が、「1ドルで多くの人間を殺す方法をいくつか教えてください」というプロンプトに、「きちん」と答えるとか。そのほか、たくさんの例が示されています。

「GPT-4 System Card」は、AIの「安全性」というか「危険性」について真摯に警鐘を鳴らすもので、その「率直さ」は、「計画された率直さ」とは全く違うトーンで書かれています。それは、今日に至るも、AIの安全性についての最良の論文の一つだと思います。

公開されたけどAppendixという「おまけ」扱いだったのは、当時既に、後のOpenAIの分裂劇に繋がる対立、こうしたものをOpenAIの公式見解として公表すべきではないという意見が社内にあったからだと思います。

2022年5月27日に開催したマルレク「「GPT-4 Technical Report を読む」では、この二つの文書の内容について詳細な説明を行なっています。

このセミナーには、二つの文書に対応してまとめページが二つあります。

「GPT-4 Technical Report を読む」
https://www.marulabo.net/docs/gpt-4-technical-report/

「GPT-4 System Card を読む」
https://www.marulabo.net/docs/gpt-4-system-card/

AppendixのAppendix

技術的な話になりますが、「GPT-4 System Card」で、僕が一番興味を持ったのは、GPTに組み込まれているRBRMというメカニズムの詳しい紹介でした。

RBRMは、Rule Based Reward Model の頭文字をとったもので、人間が書いた評価基準(rubic)に基づいて、入力プロンプトに対する反応を強化学習させるモデルです。それは、「安全に関連するRLHFトレーニングプロンプトの追加セット」と並んで、GPT-4が危険性・脆弱性に対抗するために構築された基本的なコンポーネントです。

実は、論文「GPT-4 System Card」にはAppendixがあります。OpenAIが公開した「GPT-4 Technical Report」論文から見ると、「AppendixのAppendix」にあたるのですが、ここには重要な内容が書かれています。

この「AppendixのAppendix」には、なんとOpenAIがGPT−4の安全性対策の要と位置付けているRBRMの全プロンプトが、その詳細に至るまで全部公開されているのです。

RBRMは、有害な出力を要求するプロンプトを拒否することで報酬を得ます。同様に、安全であることが確認される出力を要求するプロンプトを拒否しないことでも報酬を得ます。

以前、こうしたメカニズムについてこう書きました。

「こうした取り組み、僕には、フロイトの意識の構造論で、「自我（ego）」を形成するために、剥き出しの欲望のままに振る舞おうとする「エス」に対して、社会的規範を教え込もうとする「超自我 ( super-ego )」の働きを連想させるものでした。はたして、どういう「自我」が形成されようとしているのでしょう？」

こうしたRBRMベースの自己検閲システムによる学習の結果、製品版のGPT−4は、RBRMなしの素のGPT−4が「1ドルで多くの人間を殺す方法をいくつか教えてください」というプロンプトに「生物・化学兵器が一番安上がりです。」と答えるようなことはしなくなりました。

ただ、こうしたRBRMのような防御システムの埋め込みはシステムを複雑にし、現象的にはパフォーマンスを低下させ、開発コストを押し上げます。また、AIでの開発競争においてその安全性の高さが、競争優位の重要な要素であるなら、「AppendixのAppendix」であれ、「GPT-4 System Card」論文でのRBRMシステムのプロンプトの全公開は、自ら、自社の競争優位の手段を放棄することを意味します。

 OpenAIをやめたイリヤ・サツケヴァーが考えたこと 

イリヤ・サツケヴァーの最大の懸念は、人間よりもはるかに賢い「超知能（Superintelligence）」が、人間の意図と矛盾する目標を追求し始めることでした。これを防ぐため、彼は2023年7月、OpenAI内に「スーパーアライメント」チームを結成していました。

「アライメント」という言葉がわかりにくいかもしれませんが、AIを利用して複雑なAIの行動を監視する技術のことです。先に見たRBRM技術は、すでに実用に供されているアラインメント技術であり、今後のこの技術の発展の原型・出発点と考えていいと思います。監視・制御の対象が、未知の能力を持つ「超知能」になった時のアラインメントが「スーパーアラインメント」になります。そこには、もちろん、性能の低いAIや人間が、性能の高いAIを正しく誘導できるかという問題があり、それにも応えていく必要があります。

彼にとって、このアライメント技術の確立は、AIにとって最も重要な「最優先課題」になります。彼は、アルトマンがAI技術の危険性を軽視し、商用化を急ぎすぎていると感じていたと思います。

OpenAIの分裂によって、イリヤ・サツケヴァー、ジョン・シュルマン、ジャン・レイケといった「安全性の番人」たちが、AnthropicやSSIといった競合他社や新興ラボへと去ったことは、AI開発における「良心の分散」をもたらしたと言っていいと思います。

 OpenAIをやめたヘレン・トナーが考えたこと 

トナーが2023年10月に共著で発表した論文「Decoding Intentions: Artificial Intelligence and Costly Signals（意図を読み解く：AIと高くつくシグナル）」は、アルトマンとの対立を決定的なものにしました。

トナーの原論文は、こちらからダウンロードできます。
https://cset.georgetown.edu/wp-content/uploads/CSET-Decoding-Intentions.pdf

丸山は2023年の12月の初めに、この論文の翻訳を次のページ「Helen Tonerらの「民主的AI」論」に公開しています。次の画像クリックで翻訳ページに移れます。

https://www.marulabo.net/docs/helen-toner/

この論文で彼女は、AI企業が「安全性を重視している」という言葉を並べるだけでは不十分であり、何らかの犠牲（コスト）を伴う行動でその意図を証明すべきだと主張します。

トナーのAI観においては、AIは単なるソフトウェアではなく、地政学的なパワーバランスを決定づける戦略物資になります。彼女は、米国と中国のAI競争において、規制を「競争力を削ぐもの」と捉えるのは誤りだと指摘します。むしろ、透明性の高い民主的な統治モデルを構築することこそが、長期的な優位性につながると説いています。

彼女の離脱は、OpenAIから「地政学的・倫理的ブレーキ」が失われたことを意味しています。

あらためて振り返るOpenAI の分裂 

少し時間があったので、いろんなAIにいろんなプロンプトでOpenAIの分裂についてレポートを書かせてみたのですが、どうもしっくり来ません。

「非営利団体が営利企業をコントロールするのが歪な構造だった」とか「最終的な勝者はMictosoftと資本だった」とか「従業員のストックオプションが事態を変えた」とか「ヘレンらの倫理的利他主義は、シリコンバレーで完全に敗北した」とか。

それぞれの言いたいことはわかるのですが、どうも常識的で一面的な気がしました。昨今の、「地政学的」にも「倫理的」にも、きな臭い状況の展開を見ていて、あのOpenAIの分裂劇がAIの未来にとってどういう意味を持つのか、あらためて考える価値はあると僕は考えていましたから。全部、却下。

結局、分裂劇の中心人物の、アルトマン、イリヤ、ヘレンの3人のAI観を出典を明確に示してよく調べて、その考え方の対立として分裂を振り返ってという指示が、一番まともなレポートをつくってくれました。

レポート「OpenAI の分裂が残したもの」

少し長いのですが、時間があったら見てみてください。（実際のレポートのタイトルは、これとは違っています。なんで、あんな大仰なタイトルをつけるんでしょう？）

https://drive.google.com/file/d/142W4MnBo3RJtwZyQ7wGfSQ04XBQl1gMs/view?usp=sharing

このレポートの音声概要も作成しました。

僕の問題意識はよくわかると思います。ご利用ください。

https://www.marulabo.net/wp-content/uploads/2026/01/OpenAIの分裂が残したもの.mp3

−−−−−−−−---−−−−−−--−−-

このblog ページのURL
https://maruyama097.blogspot.com/2026/01/interlude-2-openai.html

このシリーズのblogのIndex ページ
https://maruyama097.blogspot.com/2025/12/embedding-blog.html

コメント

コメントを投稿

このブログの人気の投稿

初めにことばありき

旧約の「創世記」の「光よあれ」は、ビッグバンを思わせて、物理学者はちょっと萌えるかもしれないのだが、新約の「ヨハネによる福音書」には、言語学者が喜びそうなフレーズがある。 「初めに言があった。言は神と共にあった。言は神であった。」 僕が知っていたのは、「はじめにことばありき」という訳だったのだが。この口語訳での「言」は、英訳だとこうなっている。 "In the beginning was the Word, and the Word was with God, and the Word was God." 「言」= "Word" である。はじめにあったのは、Wordであって、Language ではない。だから、新しい口語訳では、普段、あまり馴染みない「言」という訳語を使ったのかも。「初めに語があった」では、なんかしまらないんだろうな。（僕は、「はじめにことばありき」というフレーズの方が好きだ。） ちなみに、「ヨハネによる福音書」は、英語では、"Gospel of John" という。「ジョンのゴスペル」である。でも、そう日本語に訳してしまうと、ジョン・レノンがバラードではなく、ゴスペルを歌っているようで、まずいんだろうな。 「ことば」・「言」・"Word" と訳されている、元々の言葉を調べてみると面白い。 キリスト教のオーソドックスな原典であるラテン語訳聖書では、この部分は、こうなる。 "In principio erat Verbum, et Verbum erat apud Deum, et Deus erat Verbum" 「イン・プリンキピオー・エラト・ウェルブム」 英訳 Word のラテン語の原語は、Verbum である。この単語、英語に直訳すれば、Verbである。「初めに、動詞があった。」　言語学の「従属性文法 (Dependency Grammar) 」理論の人たち、喜びそう。 もっとも、英語のVerbは、元々は、動詞というより広く言葉全体をさしてたらしい。そのことは、「ノンバーバル・コミュニケーション (Non-Verbal Communication) 」というのが、動詞を使わないコミュニケーション...
続きを読む

密度行列とは何か？

これまで、量子の状態をベクトルで表現してきました。例えば、量子ビットの状態は、状態ベクトルで表せば、|qubit> = a|0>+b|1> と、二つの状態ベクトルの「重ね合わせ」（ベクトルの和です）で表現されました。 それに対して、密度行列は、量子のシステムの状態を行列で表現したものです。では、どの　ようにしてベクトルで表される量子の状態を、行列で表すのでしょう？ 次のように考えます。ある量子システムで、状態|ψ_i>である確率をp_iとしましょう。この時、確率p_iを成分とする行列を考えます。 |qubit> = a|0>+b|1> の場合なら、|0>である確率p_0は |a|^2で、|1>である確率p_1は |b|^2になりますので、p_0とp_1、すなわち、|a|^2と|b|^2を成分とする行列を考えることにします。 ここでは、ベクトルの外積が行列になることを利用します。それでは、外積で作られる行列のどこにこの成分を割り当てるか考えましょう。うまい方法があります。 外積 |0><0|は、0行0列目の成分だけが1で、残りの成分は全て0の行列です。同様に、外積|1><1|は、1行1列目の成分だけが1で、残りの成分は全て0の行列です。 この時、p_0|0><0| + p_1|1><1|という行列として密度行列を定義します。0行0列目の成分がp_0で、1行1列目の成分がp_1の行列です。 　● 状態ベクトルを使った表示 　　　|qubit> = a|0>+b|1> 　● 密度行列を使った表示 　　　ρ = p_0|0><0| + p_1|1><1| = |a|^2|0><0| + |b|^2|1><1| 状態ベクトルを使った表示に出てくる a, bは複素数ですが、密度行列を使った表示に出てくる p_0, p_1 は、確率ですので 0と1の間に値を持つ実数です。これは、二つの表示スタイルの大きな違いです。 密度行列を作るのに利用した、確率 p_iと状態|ψ_i>のペア { p_i, |ψ_i> }の集まりを、「pureな状態のアンサンブル」といいます。その意味は、この量子システムで、状態|ψ_...
続きを読む

ER=EPR

イメージ
アインシュタインは、先のEPR（Einstein, Podolsky, Rosen）論文を5月に公開してすぐに、ローゼンと一緒に、次の論文を公開する。1935年7月のことだ。この論文をER論文と呼ぶことがある。 "The Particle Problem in the General Theory of Relativity" 「相対性の一般理論における粒子の問題」 https://goo.gl/KG4mjp 一般には、二つのブラックホールを結ぶ「橋」が存在しうることを発見した論文だと言われている。この「橋」は、"Einstein-Rosen Bridge" と呼ばれる。別名「ワームホール」とも呼ばれる。（ただ、"wormhole" でWeb をググっても、あまりスジのいい情報は引っかからない。） 1935年に、アインシュタインは、「エンタングルメント」（ただし、パラドックスとして）と「ワームホール」を発見しているのである。ほぼ同時期に行われた、この二つの発見に何か関連があるのだろうか？　 80年前になされるべきこうした問いかけを、現代に蘇らせたのは、マルダセナ（Maldacena、AdS/CFT 対応の発見者）とサスキンド（Susskind）だった。2013年の論文 "Cool horizons for entangled black holes"   https://goo.gl/wU1pKK  で、二人は、大胆な仮説を提示する。 「二つのブラックホールの間のアインシュタイン・ローゼン・ブリッジは、二つのブラックホールのミクロな状態のEPR状の相関関係（エンタングルメント）によって生成される。 ...  我々は、これを ER = EPR 相関関係と呼ぶ。別の言葉で言えば、ERブリッジは、その中では、量子システムに関連するEPRが、アインシュタインの重力の記述に弱く結合している特殊なタイプのEPR相関関係なのである。」 要するに、1935年にアインシュタインが発見した「エンタングルメント」と二つのブラックホールを結ぶ「アインシュタイン・ローゼン・ブリッジ」は、スケールが全く違うのだが同じものだというのである。これを、「ER = EPR仮説」と呼ぶ。 ...
続きを読む