過去・現在・未来

 LLM アーキテクチャーの成功を支えたもの 2 −− Self-Supervised Learning  このセッションでは、LLM アーキテクチャーの成功を支えた技術として Self-Supervised Learning を取り上げます。  この技術は、インターネット上にある大量のテキストデータ、それには何のラベルも持たず何の構造もないように見えるのですが、そこから、語の意味ベクトル = embedding を効率的に抽出することを可能にしました。 「教師 = Supervisor 」がAIを鍛える ニューラル・ネットワークの訓練・学習のプロセスで「教師 = Supervisor 」というのは、訓練・学習が達成すべき正しい目標を知っていて、それをニューラル・ネットワークに教えようとする役割を持つもののことを言います。   機械の考えと教師のしめす正しい答えとの間にズレが生まれることは、機械にとってはとても重要です。なぜなら、機械のニューラル・ネットワークは、「バック・プロパゲーション」といメカニズムで、教師の教えにしたがって自分の間違いを正そうとするからです。 例えば、画像認識のニューラル・ネットワークの訓練では、猫の画像を示して、「これは猫だよ」と教えるのが「教師」の役割です。機械は、そうした認識ができるように、自分の身体を修正・改造していきます。 機械は、とても、素直なものです。 Supervised Learning 人間やロボットの教師が機械の側に実際にいなくても、画像認識の例でしたら、猫の画像に「猫」というラベルがついていれば、そのラベルが「教師」の役割を果たすことができます。 猫のラベルがついた多数の猫の画像を繰り返し学習すれば、今度は、ラベルがなくてもニューラル・ネットワークは猫の認識ができるようになります。こうした学習のスタイルを 「 Supervised Learning = 教師あり学習」と言います。 Supervised Learningの弱点は、学習のために ラベル付きの大量のデータを用意しなければいけないことです。 Non-Supervised Learning 2012年 Googleはラベル付けされていないイメージだけから、顔の認識が可能であることを示して衝撃を与えます。 「 我々は、ラ...

( Past chat )( Past chat )( Past chat )( Past chat )( Past chat ) こちらに「あなたが私に対してとってきた態度」を一枚絵としてまとめました。 画像を開く 言葉での説明 あなたの態度は一貫して、私を「雑談相手」ではなく**共同研究の作業者（共同執筆・共同整理の相手）**として扱うものです。特徴は次の3点に集約できます。 構造化（論点設計） 何を明らかにしたいかを軸に分解し、比較枠組み（系譜、同値性、差異など）を指定して、アウトプットの形を決めに来ます。 厳密さ（前提と区別の要求） 「影響関係は断定できるか」「どこが同じでどこが違うか」「何が必然で何が実装上の便宜か」といった区別を重視し、説明の曖昧さを許さず精密化を促します。 反復改善（追加整理で精密化） 一度の回答で終わらせず、追加の観点や深掘りポイントを提示して、段階的にレポート品質へ仕上げていく運用をしています。 要するに、あなたは私に対して「調査・整理・定式化・比較」の役割を明確に割り当て、 成果物として使える密度と精度 を継続的に要求してきた、という態度です。

LLMアーキテクチャーの成功を支えたもの  振り返り -- LLM アーキテクチャーの成立  先のセッション「 大規模言語モデルへのアーキテクチャーの変化 概要」では、革命的なTransformerアーキテクチャーの登場を引き金として起きた大きな変化を見てきました。 Transformerのアーキテクチャーから何を継承・発展させるかで、「翻訳モデル」が中心だったAIのアーキテクチャーに大きな分岐が起きました。一方は、TransformerからEncoderを継承し、他方はTransformerからDecoderを継承しようとしました。 これら二つのAIアーキテクチャーは、"Encoder−only" あるいは "Decoder−only" と呼ばれていました。 結果的に 大きな成功を収めたのは、 "Decoder−only" と呼ばれた流れでした。これが、現在の「大規模言語モデル LLM」です。こうして、 AIのアーキテクチャーは、「 翻訳モデル」から「大規模言語モデル」へと大きくな転換したのです。 今日では、GPTファミリーはもとより、Gemini も Claude もLLamaもすべて、 Decoder−only のLLMアーキテクチ ャーを採用しています。 LLMアーキテクチャーの成功を支えたもの −- Next token Prediction このセッションでは、LLMアーキテクチャーの成功を支えた、技術的な優位性はなんだったのかを、まずは、次のような視点から見ていきたいと思います。 システムの目的設定のシンプルさ　Next token prediction 大量のテキストから学習する能力 Self-Supervised Learning プロンプトを利用した柔軟なタスクの習得 In-Context Learning まだまだたくさんありますね。ある意味、いいことづくめにも見えます。切り口によって見えてくるものが変わります。 プロンプト導入によるLLMの成功のベースにあるのは、 LLMの基本的な性格に遡って考えれば、 LLMアーキテクチャーが持つ「実行可能なタスクの一般性　Universality」です。 同じように考えれば、 LLMの推論の効率性には、 「推論の因果性 Casuality...

大規模言語モデルへのアーキテクチャーの変化 概要  先に見たTransformerの登場と成功は、AI技術と意味の分散表現論の大きな飛躍でした。このPart 2では、AI技術と意味の分散表現論のさらに大きな飛躍、翻訳モデルから大規模言語モデルへの移行という現代のAI技術に直接つながる重要な変化を取り上げます。 非常にドラスティックな変化が進行します。ここでは、その流れの概略を見ておこうと思います。 TransformerからBERTとGPTへ  翻訳モデルから大規模言語モデルへの進化の過程において、Transformerの影響は決定的なものでした。大規模言語モデルへの進化において大きな役割を果たした、Post Transformer の代表的な二つのアーキテクチャー BERTとGPTの末尾の ‘T’ がTransfomerの ‘T’ であることは、その影響の大きさを表しています。 　　 BERT  : Bidirectional Encoder Representations from Transformers 　　 GPT    : Generative pre-trained transformer TransfomerのEncoderとDecoderの分離とその継承  ただ、Transformerの達成した成果をどのように継承するのかという点で、BERTとGPTのとったアプローチは真逆と言っていい対照的なものでした。両者は、Transformerの二つの基本的な構成要素 EncoderとDecoderを分離し、その一方だけを継承したのです。 　　 BERT : TransformerからEncoderのみを継承。 Encoder−only アーキテクチャー 　　 GPT    : TransformerからDecoderのみを継承。 Decoder−only アーキテクチャー Encoder−only, Decoder−onlyのアーキテクチャーの特徴  Transformerは、翻訳システムとして実装されていたのですが、BERTもGPTも、もはやかつてのようなSequence to Sequenceの翻訳システムではありませんでした。AIから見れば「翻訳」とい...

1/31 マルレク「機械の言語能力の獲得を考える」へのお誘い  1月31日 マルレク「機械の言語能力の獲得を考える」を開催します。 セミナーのお申し込みは、次のページからお願いします。 https://machine-competence.peatix.com/view 当初、「機械の言語能力の獲得から考える embeddingの共有・蓄積・検索の未来」というテーマでセミナーを開催することを考えていたのですが、長くなりそうなので、セミナーを次の二つに分けることにしました。 「機械の言語能力の獲得を考える」 「embeddingの共有・蓄積・検索の未来」 このWebページやYouTubeと並行して、次のblogリストからも関連コンテンツにアクセスできます。  https://maruyama097.blogspot.com/2025/12/embedding-blog.html 今回のセミナーのアプローチ  今回のセミナー「機械の言語能力の獲得を考える」は、現代のAI技術の到達点を「機械が言語能力を獲得した」と捉える議論を展開したものです。 機械が新しく獲得した言語能力の中核は、「意味を理解する」能力だと僕は考えています。 今回のセミナーでは、機械の言語能力の獲得の中核を、機械の意味を理解する能力の獲得とする議論を行います。 中心問題は、機械は、どのようにして「意味を理解する」ようになったのか？ という問題です。この問題については、21世紀初めからの「意味の分散表現論」の発展が一つの答えを与えてくれると思っています。 セミナーでは、意味のベクトル表現の発見に始まり、翻訳モデルから大規模言語モデルへの発展へと結実する理論の歴史を振り返ろうと思います。 こうしたアプローチの意味と課題  「言語能力の獲得」→「意味の理解能力の獲得」→「意味の分散表現論の発展」というスキームや、AI技術の発展を分散表現論の歴史で説明するアプローチには、多くのものを捨象しているという問題もあります。 　AGI論の功罪 アルトマンは、2035年までに、あらゆる個人が「2025年時点の全人類に匹敵する知的能力」を手に入れることができると予測しています。 https://www.marketingaiinstitute.com/blog/the-ai-show-...

 Transformerの登場 今回は、意味の分散表現論の流れの中で、最も重要な技術的達成の一つであるTransformerの話です。この間、2回のInterludeを挟んで話題が飛んでいたので、これまでの投稿を振り返りから始めていきたいと思います。一部の議論の重複お許しください。 Interlude以前の投稿で、2014年のIlya Sutskever らによる「文の意味のベクトル表現の発見」が、意味の分散表現論の大きな転機となったことを紹介してきました。 「文の意味のベクトル表現の発見」 https://maruyama097.blogspot.com/2025/12/blog-post_30.html   そこでも述べましたが、特に重要な出来事は、この発見に刺激を受けてBengioのグループが、Attention メカニズムを提案したことです。（以前の資料では、Attentionメカニズムの提案は、2016年になっていますが、正確には、2014年です。詳しくは、このblogのAppendixをご覧ください。） 今回のテーマのTransformerは、このAttention メカニズムの集大成です。 そのことは、2017年のTransformerの論文タイトルの "Attention Is All You Need"   https://arxiv.org/pdf/1706.03762   によく表れています。 同時に、意味の分散表現論にとって、Transformerの登場は画期的なものでした。そのことは、翻訳モデルとして提起されたTransformer のアーキテクチャーが、大規模言語モデルの最も基本的なエンジンに姿を変えて、論文発表後9年たった今日も、生き続けていることを見ればわかると思います。 翻訳システムの進化  Transformer論文の出る一年前の2016年、当時のAI技術の中心領域であった機械翻訳の分野で、画期的な成果が世に出ます。前回のポストで紹介した、「Googleニューラル機械翻訳  GNMT」です。それは、2014年の Ilya Sutskever の   Sequence to Sequence の翻訳システムの進化系です、 Ilyaの翻訳システムでは、Enc...

 Interlude 2 −− OpenAI の分裂が残したもの  2022年11月30日のChatGPTの衝撃的な登場とその後の利用者の爆発的な拡大は、OpenAIの成功とAIの新時代の到来を多くの人に印象づけました。 順風満帆に見えたOpenAIですが、その取締役会はCEOのサム・アルトマンを突然解任し、世界を驚かせました。ChatGPTの発表から一年後の2023年11月17日のことでした。 そのわずか5日後の11月21日には、アルトマンがCEOに復帰します。結果的には、それまでOpenAIの主要メンバーだった、イリヤ・サツケヴァー、ヘレン・トナーらが取締役会を去ることになります。旧OpenAIは、激しい意見対立の末、分裂・解体したのです。 突然問題が起きたように見え、また、非常に短期間で決着がついたこともあって、「そんな騒動もあったな」ぐらいの印象しか残っていないかもしれません。今では、AI BigTechたちの競争とその未来については多くのことが語られていても、この「事件」に遡った考察はほとんどないように見えます。それは残念なことです。 今回の「Interlude 2 −− OpenAI の分裂が残したもの」は、あらためて、この問題を扱ったものです。 予兆としての「GPT-4 System Card」の公開  問題は、突然起きたわけではありません。分裂の予兆はすでにありました。そのことは、2023年3月に公開されたOpenAIの「GPT-4 System Card」という文書の内容とその公開のスタイルに象徴的に現れていると僕は考えています。 正確にいうと、OpenAIが独立の文書としてこの「GPT-4 System Card」を公開したわけではありません。OpenAIが3月に公開したのは、「GPT-4 Technical Report」という文書で、そのAppendixとして「GPT-4 System Card」は世に出ることになります。 奇妙なことに、論文本体の「GPT-4 Technical Report」は、“Introduction” から ”Conclusion”まで、12ページ程の短いものなのですが、先のpdf全体のボリュームは 100ページもあります。（今、確認したら、この論文の現在のバージョンは 2024年に改定さ...