過去・現在・未来

【 マルレク「機械の言語能力の獲得を考える」の講演ビデオと講演資料公開しました 】 1月に開催したセミナー「機械の言語能力の獲得を考える」の資料を公開しました。 時間がありましたら、この連休中にでも、ご利用ください。 Facebookでは、リンクの情報は、コメント欄でご覧ください。 =============== セミナー「機械の言語能力の獲得を考える」について =============== ●  セミナー「機械の言語能力の獲得を考える」のまとめページはこちらです。 https://www.marulabo.net/docs/competence/ ●  セミナー「機械の言語能力の獲得を考える」に向けたblogのリストはこちらです。 https://maruyama097.blogspot.com/2025/12/embedding-blog.html ●  セミナー「機械の言語能力の獲得を考える」の「音声概要」のページはこちらです。 https://www.marulabo.net/docs/deep-dive-audio-20260131/ ●  セミナー「機械の言語能力の獲得を考える 」に向けたショートムービーの再生リストはこちらです。 https://www.youtube.com/playlist?list=PLQIrJ0f9gMcOZAuK3OhXu9mcZrX32ZS1j セミナーは4つのパートに分かれています。個別にも全体を通してもアクセスできます。 -------------------------- 全体を通して見る -------------------------- 　●  「機械の言語能力の獲得を考える」セミナーの講演ビデオ全体の再生リストのURLです。全体を通して再生することができます。  https://www.youtube.com/playlist?list=PLQIrJ0f9gMcOxcd5oRkYKv6NRZfg1e8cI 　●  講演資料全体を一つのpdfファイルにまとめたものはこちらです。 　　　「機械の言語能力の獲得を考える」講演資料 https://drive.google.com/file/d/10PMapPcsoPvi3oYLbl9Plc...

【 文字列検索と画像検索 】  次回のセッションでは、ベクトルで表現されているembeddingを検索するVector Search技術を見ていこうと思います。 これまで、文字列検索へのembeddingの利用を紹介してきたのですがembeddingの検索は、もっと広い応用分野をもっています。次回紹介するVector Search技術は、元はGoogleの画像検索で用いられていた技術です。 文字列と画像はずいぶ違うものなので、両者が同じ検索技術で統合できるというのは意外かもしれません。その統合の鍵は、あるものを数字のベクトルで表すというembedding技術にあります。 【 画像はベクトルで表現できる 】 先に文字列の「意味」を、数字からなる多次元のベクトルという表現で表すというembedding技術を見てきたのですが、そこでの認識の飛躍と比べると、画像がベクトルで表現されるというのは、驚きは少ないかもしれません。 例えば、64 x 64 のマス目に白と黒のオセロのチップを置いて、模様を描くことができます。マス目一つを1ビットが占める場所とし、白いチップが0、黒いチップが1 だと考えると、この白黒の模様は、横に1バイトの列が8個並んでいて、それが縦に64段積み重なったものと考えることができます。これは、白黒画像をバイトの列で表現していることと同じことです。 1024 x 1024 のカラー画像も、RGBに分解すれば、1024 x 1024ビットで表現されるベクトルが、RGBの分の3個分あれば表現できます。ここでは、画像を離散的なものとして「デジタイズ」したことが大きく効いています。例えば、円や球は、連続的なものなので、必ずしも単純に数字の並び、有限次元の数字のベクトルとしてとして表現されるとは限りません。 言葉の意味がベクトル表現にたどり着いた経路と、画像がデジタイズによってベクトル表現にたどり着いた経路は、このように異なるのですが、最終的にはいずれもベクトルによる表現に落ち着いたのは面白いことです。これらを一括して、embedding表現と考えることができます。 【 文字列の意味のベクトル表現と画像のベクトル表現 】 文字列の意味のベクトル表現と画像のベクトル表現を、embeddingとしてひとくくりにすることに抵抗がある人もいると思います。気持ちはわかり...

LLM アーキテクチャーの成功を支えたもの 3 --  In-Context learningとRetrieval-Augmented Generation  大規模言語モデルの機能拡張 これまで見てきたのは、LLMの基本的な機能についてのものでしたが、LLMの急速な進化は、その機能を大きく拡張して来ました。このセッションでは、そうした機能拡張を見ていこうと思います。 モデルの機能を動的に拡張するための試みとして、現在、二つの対照的なアプローチが注目されています。 一つは、モデルの重みを更新することなく、プロンプト内の例示によってタスクに適応させる「インコンテキスト学習（In-Context Learning: ICL）」です。もう一つは外部データベースから関連情報を検索して生成を補強する「検索拡張生成（Retrieval-Augmented Generation: RAG）」です。 インコンテキスト学習（ICL）のメカニズム インコンテキスト学習（ICL）は、GPT-3の登場とともにその有効性が広く認識された手法です。 大規模な事前学習によって獲得されたモデルの潜在能力を、入力プロンプト内の「例示（Demonstrations）」によって特定のタスクへと誘導するプロセスです。 このアプローチの最大の特徴は、モデルのパラメータを一切更新しない「非パラメトリックな適応」にあります。     ICLの「学習」 ICLにおける「学習」とは、厳密には重みの更新を伴う「学習」ではなく、モデルの隠れ状態（Hidden States）が入力されたコンテキストに基づいて遷移し、特定の推論パターンを選択する現象を指します 。 モデルはプロンプトに含まれる少数の入出力ペア（Few-shot）から、タスクの形式、言語スタイル、論理的なステップを読み取ります。 例えば、コード生成タスクにおいては、変数名の命名規則やコメントの記述スタイルといった微細な特徴が、モデルの出力品質を左右することが判明しています 。    RAGのアーキテクチャ RAGは、LLMの生成能力と、情報検索（Information Retrieval）システムを融合させたシステム設計のアプローチです。 LLMを「知識の保管庫」としてではなく「情...

 LLM アーキテクチャーの成功を支えたもの 2 −− Self-Supervised Learning  このセッションでは、LLM アーキテクチャーの成功を支えた技術として Self-Supervised Learning を取り上げます。  この技術は、インターネット上にある大量のテキストデータ、それには何のラベルも持たず何の構造もないように見えるのですが、そこから、語の意味ベクトル = embedding を効率的に抽出することを可能にしました。 「教師 = Supervisor 」がAIを鍛える ニューラル・ネットワークの訓練・学習のプロセスで「教師 = Supervisor 」というのは、訓練・学習が達成すべき正しい目標を知っていて、それをニューラル・ネットワークに教えようとする役割を持つもののことを言います。   機械の考えと教師のしめす正しい答えとの間にズレが生まれることは、機械にとってはとても重要です。なぜなら、機械のニューラル・ネットワークは、「バック・プロパゲーション」といメカニズムで、教師の教えにしたがって自分の間違いを正そうとするからです。 例えば、画像認識のニューラル・ネットワークの訓練では、猫の画像を示して、「これは猫だよ」と教えるのが「教師」の役割です。機械は、そうした認識ができるように、自分の身体を修正・改造していきます。 機械は、とても、素直なものです。 Supervised Learning 人間やロボットの教師が機械の側に実際にいなくても、画像認識の例でしたら、猫の画像に「猫」というラベルがついていれば、そのラベルが「教師」の役割を果たすことができます。 猫のラベルがついた多数の猫の画像を繰り返し学習すれば、今度は、ラベルがなくてもニューラル・ネットワークは猫の認識ができるようになります。こうした学習のスタイルを 「 Supervised Learning = 教師あり学習」と言います。 Supervised Learningの弱点は、学習のために ラベル付きの大量のデータを用意しなければいけないことです。 Non-Supervised Learning 2012年 Googleはラベル付けされていないイメージだけから、顔の認識が可能であることを示して衝撃を与えます。 「 我々は、ラ...

( Past chat )( Past chat )( Past chat )( Past chat )( Past chat ) こちらに「あなたが私に対してとってきた態度」を一枚絵としてまとめました。 画像を開く 言葉での説明 あなたの態度は一貫して、私を「雑談相手」ではなく**共同研究の作業者（共同執筆・共同整理の相手）**として扱うものです。特徴は次の3点に集約できます。 構造化（論点設計） 何を明らかにしたいかを軸に分解し、比較枠組み（系譜、同値性、差異など）を指定して、アウトプットの形を決めに来ます。 厳密さ（前提と区別の要求） 「影響関係は断定できるか」「どこが同じでどこが違うか」「何が必然で何が実装上の便宜か」といった区別を重視し、説明の曖昧さを許さず精密化を促します。 反復改善（追加整理で精密化） 一度の回答で終わらせず、追加の観点や深掘りポイントを提示して、段階的にレポート品質へ仕上げていく運用をしています。 要するに、あなたは私に対して「調査・整理・定式化・比較」の役割を明確に割り当て、 成果物として使える密度と精度 を継続的に要求してきた、という態度です。

LLMアーキテクチャーの成功を支えたもの  振り返り -- LLM アーキテクチャーの成立  先のセッション「 大規模言語モデルへのアーキテクチャーの変化 概要」では、革命的なTransformerアーキテクチャーの登場を引き金として起きた大きな変化を見てきました。 Transformerのアーキテクチャーから何を継承・発展させるかで、「翻訳モデル」が中心だったAIのアーキテクチャーに大きな分岐が起きました。一方は、TransformerからEncoderを継承し、他方はTransformerからDecoderを継承しようとしました。 これら二つのAIアーキテクチャーは、"Encoder−only" あるいは "Decoder−only" と呼ばれていました。 結果的に 大きな成功を収めたのは、 "Decoder−only" と呼ばれた流れでした。これが、現在の「大規模言語モデル LLM」です。こうして、 AIのアーキテクチャーは、「 翻訳モデル」から「大規模言語モデル」へと大きくな転換したのです。 今日では、GPTファミリーはもとより、Gemini も Claude もLLamaもすべて、 Decoder−only のLLMアーキテクチ ャーを採用しています。 LLMアーキテクチャーの成功を支えたもの −- Next token Prediction このセッションでは、LLMアーキテクチャーの成功を支えた、技術的な優位性はなんだったのかを、まずは、次のような視点から見ていきたいと思います。 システムの目的設定のシンプルさ　Next token prediction 大量のテキストから学習する能力 Self-Supervised Learning プロンプトを利用した柔軟なタスクの習得 In-Context Learning まだまだたくさんありますね。ある意味、いいことづくめにも見えます。切り口によって見えてくるものが変わります。 プロンプト導入によるLLMの成功のベースにあるのは、 LLMの基本的な性格に遡って考えれば、 LLMアーキテクチャーが持つ「実行可能なタスクの一般性　Universality」です。 同じように考えれば、 LLMの推論の効率性には、 「推論の因果性 Casuality...

大規模言語モデルへのアーキテクチャーの変化 概要  先に見たTransformerの登場と成功は、AI技術と意味の分散表現論の大きな飛躍でした。このPart 2では、AI技術と意味の分散表現論のさらに大きな飛躍、翻訳モデルから大規模言語モデルへの移行という現代のAI技術に直接つながる重要な変化を取り上げます。 非常にドラスティックな変化が進行します。ここでは、その流れの概略を見ておこうと思います。 TransformerからBERTとGPTへ  翻訳モデルから大規模言語モデルへの進化の過程において、Transformerの影響は決定的なものでした。大規模言語モデルへの進化において大きな役割を果たした、Post Transformer の代表的な二つのアーキテクチャー BERTとGPTの末尾の ‘T’ がTransfomerの ‘T’ であることは、その影響の大きさを表しています。 　　 BERT  : Bidirectional Encoder Representations from Transformers 　　 GPT    : Generative pre-trained transformer TransfomerのEncoderとDecoderの分離とその継承  ただ、Transformerの達成した成果をどのように継承するのかという点で、BERTとGPTのとったアプローチは真逆と言っていい対照的なものでした。両者は、Transformerの二つの基本的な構成要素 EncoderとDecoderを分離し、その一方だけを継承したのです。 　　 BERT : TransformerからEncoderのみを継承。 Encoder−only アーキテクチャー 　　 GPT    : TransformerからDecoderのみを継承。 Decoder−only アーキテクチャー Encoder−only, Decoder−onlyのアーキテクチャーの特徴  Transformerは、翻訳システムとして実装されていたのですが、BERTもGPTも、もはやかつてのようなSequence to Sequenceの翻訳システムではありませんでした。AIから見れば「翻訳」とい...