過去・現在・未来

 マルレク「embeddingプログラミングの基礎」へのお誘い  マルレク「embeddingプログラミングの基礎」へのお誘いです。 セミナーのタイトルは、予告していた「機械と人間が意味を共有するembeddingの世界を考える」から「embeddingプログラミングの基礎」に変わっています。 このセミナーは、前回のマルレク「機械の言語能力の獲得を考える」の続編になっています。最初に、前回のセミナーを振り返ってみたいと思います。 前回のセミナー「機械の言語能力の獲得を考える」の振り返り 前回のセミナーは、現代のAI技術の到達点を「機械が言語能力を獲得した」と捉え、その中核を「意味を理解する」能力の獲得と見なして議論を展開していました。 その中心問題は、機械はどのようにして「意味を理解する」ようになったのかという問いであり、これに対して「意味の分散表現論」の発展が一つの答えを与えると述べています。 この四半世紀のAI技術の理論史は、「意味とは何か」を探求する「意味の分散表現論」すなわちembedding論の発展史であると考えることができます。 「大規模言語モデル」の成立が、機械の言語能力の獲得」を可能にした  語の意味の分散表現が文の意味の分散表現へと進み、それをベースとした「翻訳モデル」がAttention メカニズムの導入により発展します。　 変化はさらに続きます。Transformerを頂点とした「翻訳モデル」がencoder-only / decoder-only アーキテクチャーに分解・解体する中で、後者のアーキテクチャーの「勝利」として、「大規模言語モデル」が成立します。 「機械の言語能力の獲得」という機械の能力の画期的な拡大を可能としたのは、技術的には、強力な「大規模言語モデル」の成立によるものです。 前回のセミナーのAIによる音声概要 200ページの長い資料がとてもよくまとまっています。ぜひ、お聞きください。 https://www.marulabo.net/wp-content/uploads/2026/02/AIandEmbeddings.mp3 embeddingの働きを知ることの重要性 先のセミナーの振り返りでもみたように、機械が言語能力を獲得できたのは、人間のことばの意味をLLMがembeddingを通じて、理...

この資料は、「機械の言語能力の獲得を考える」というセミナーの資料であり、現代のAI技術の到達点を「機械が言語能力を獲得した」と捉え、その中核を「意味を理解する」能力の獲得と見なして議論を展開しています。 主な内容の構成は以下の通りです。 はじめに（Page 1-19） セミナーのテーマ設定：「機械の言語能力の獲得を考える」。 Alan Turingの問い「機械は考えることができるか?」の引用と、将来的に機械が考えるという言葉が矛盾なく使われるようになるという見解の紹介。 今回のセミナーの問題意識として、「機械が言語能力を獲得した」という議論の展開と、その中核を「意味を理解する」能力の獲得とする点。 言語能力と「知性」を区別し、言語能力は知性の最も基本的な構成要素であるという見解。 中心問題は、機械はどのようにして「意味を理解する」ようになったのかという問いであり、これに対して「意味の分散表現論」の発展が一つの答えを与えると述べています。 意味の分散表現論の系譜 - 大規模言語モデルへ (Part 1)（Page 20-123, Page 109-122にも再掲） この四半世紀のAI技術の理論史は、「意味とは何か」を探求する「意味の分散表現論」の発展史であるとしています。 歴史的変遷の概略（年表形式）：  Bengioの「次元の呪い」と語の特徴の分散表現（2003年）に始まり、HintonのAuto Encoder（2006年）、Word2Vec（2013年）、Sequence to Sequence（2014年）、Attention Mechanism（2014年/2016年）、Transformer（2017年）、BERT（2019年）、GPT-3（2020年）、ChatGPT（2022年）といった主要な技術・モデルの系譜が示されています。 主要な概念の解説: Bengio (2003年):  「次元の呪い」と戦うために、語を実数値の値を持つ分散した特徴ベクトルに対応づけ、語の並びの結合確率関数をその特徴ベクトルで表現し、これらを同時に学習する方法を提案。 HintonのAutoencoder/意味的ハッシング (2006年):  Autoencoderが高次元のデータから元の情報のエッセンスを低次元のデータとして取り出す働きを「Sem...

【 マルレク「機械の言語能力の獲得を考える」の講演ビデオと講演資料公開しました 】 1月に開催したセミナー「機械の言語能力の獲得を考える」の資料を公開しました。 時間がありましたら、この連休中にでも、ご利用ください。 Facebookでは、リンクの情報は、コメント欄でご覧ください。 =============== セミナー「機械の言語能力の獲得を考える」について =============== ●  セミナー「機械の言語能力の獲得を考える」のまとめページはこちらです。 https://www.marulabo.net/docs/competence/ ●  セミナー「機械の言語能力の獲得を考える」に向けたblogのリストはこちらです。 https://maruyama097.blogspot.com/2025/12/embedding-blog.html ●  セミナー「機械の言語能力の獲得を考える」の「音声概要」のページはこちらです。 https://www.marulabo.net/docs/deep-dive-audio-20260131/ ●  セミナー「機械の言語能力の獲得を考える 」に向けたショートムービーの再生リストはこちらです。 https://www.youtube.com/playlist?list=PLQIrJ0f9gMcOZAuK3OhXu9mcZrX32ZS1j セミナーは4つのパートに分かれています。個別にも全体を通してもアクセスできます。 -------------------------- 全体を通して見る -------------------------- 　●  「機械の言語能力の獲得を考える」セミナーの講演ビデオ全体の再生リストのURLです。全体を通して再生することができます。  https://www.youtube.com/playlist?list=PLQIrJ0f9gMcOxcd5oRkYKv6NRZfg1e8cI 　●  講演資料全体を一つのpdfファイルにまとめたものはこちらです。 　　　「機械の言語能力の獲得を考える」講演資料 https://drive.google.com/file/d/10PMapPcsoPvi3oYLbl9Plc...

【 文字列検索と画像検索 】  次回のセッションでは、ベクトルで表現されているembeddingを検索するVector Search技術を見ていこうと思います。 これまで、文字列検索へのembeddingの利用を紹介してきたのですがembeddingの検索は、もっと広い応用分野をもっています。次回紹介するVector Search技術は、元はGoogleの画像検索で用いられていた技術です。 文字列と画像はずいぶ違うものなので、両者が同じ検索技術で統合できるというのは意外かもしれません。その統合の鍵は、あるものを数字のベクトルで表すというembedding技術にあります。 【 画像はベクトルで表現できる 】 先に文字列の「意味」を、数字からなる多次元のベクトルという表現で表すというembedding技術を見てきたのですが、そこでの認識の飛躍と比べると、画像がベクトルで表現されるというのは、驚きは少ないかもしれません。 例えば、64 x 64 のマス目に白と黒のオセロのチップを置いて、模様を描くことができます。マス目一つを1ビットが占める場所とし、白いチップが0、黒いチップが1 だと考えると、この白黒の模様は、横に1バイトの列が8個並んでいて、それが縦に64段積み重なったものと考えることができます。これは、白黒画像をバイトの列で表現していることと同じことです。 1024 x 1024 のカラー画像も、RGBに分解すれば、1024 x 1024ビットで表現されるベクトルが、RGBの分の3個分あれば表現できます。ここでは、画像を離散的なものとして「デジタイズ」したことが大きく効いています。例えば、円や球は、連続的なものなので、必ずしも単純に数字の並び、有限次元の数字のベクトルとしてとして表現されるとは限りません。 言葉の意味がベクトル表現にたどり着いた経路と、画像がデジタイズによってベクトル表現にたどり着いた経路は、このように異なるのですが、最終的にはいずれもベクトルによる表現に落ち着いたのは面白いことです。これらを一括して、embedding表現と考えることができます。 【 文字列の意味のベクトル表現と画像のベクトル表現 】 文字列の意味のベクトル表現と画像のベクトル表現を、embeddingとしてひとくくりにすることに抵抗がある人もいると思います。気持ちはわかり...

LLM アーキテクチャーの成功を支えたもの 3 --  In-Context learningとRetrieval-Augmented Generation  大規模言語モデルの機能拡張 これまで見てきたのは、LLMの基本的な機能についてのものでしたが、LLMの急速な進化は、その機能を大きく拡張して来ました。このセッションでは、そうした機能拡張を見ていこうと思います。 モデルの機能を動的に拡張するための試みとして、現在、二つの対照的なアプローチが注目されています。 一つは、モデルの重みを更新することなく、プロンプト内の例示によってタスクに適応させる「インコンテキスト学習（In-Context Learning: ICL）」です。もう一つは外部データベースから関連情報を検索して生成を補強する「検索拡張生成（Retrieval-Augmented Generation: RAG）」です。 インコンテキスト学習（ICL）のメカニズム インコンテキスト学習（ICL）は、GPT-3の登場とともにその有効性が広く認識された手法です。 大規模な事前学習によって獲得されたモデルの潜在能力を、入力プロンプト内の「例示（Demonstrations）」によって特定のタスクへと誘導するプロセスです。 このアプローチの最大の特徴は、モデルのパラメータを一切更新しない「非パラメトリックな適応」にあります。     ICLの「学習」 ICLにおける「学習」とは、厳密には重みの更新を伴う「学習」ではなく、モデルの隠れ状態（Hidden States）が入力されたコンテキストに基づいて遷移し、特定の推論パターンを選択する現象を指します 。 モデルはプロンプトに含まれる少数の入出力ペア（Few-shot）から、タスクの形式、言語スタイル、論理的なステップを読み取ります。 例えば、コード生成タスクにおいては、変数名の命名規則やコメントの記述スタイルといった微細な特徴が、モデルの出力品質を左右することが判明しています 。    RAGのアーキテクチャ RAGは、LLMの生成能力と、情報検索（Information Retrieval）システムを融合させたシステム設計のアプローチです。 LLMを「知識の保管庫」としてではなく「情...

 LLM アーキテクチャーの成功を支えたもの 2 −− Self-Supervised Learning  このセッションでは、LLM アーキテクチャーの成功を支えた技術として Self-Supervised Learning を取り上げます。  この技術は、インターネット上にある大量のテキストデータ、それには何のラベルも持たず何の構造もないように見えるのですが、そこから、語の意味ベクトル = embedding を効率的に抽出することを可能にしました。 「教師 = Supervisor 」がAIを鍛える ニューラル・ネットワークの訓練・学習のプロセスで「教師 = Supervisor 」というのは、訓練・学習が達成すべき正しい目標を知っていて、それをニューラル・ネットワークに教えようとする役割を持つもののことを言います。   機械の考えと教師のしめす正しい答えとの間にズレが生まれることは、機械にとってはとても重要です。なぜなら、機械のニューラル・ネットワークは、「バック・プロパゲーション」といメカニズムで、教師の教えにしたがって自分の間違いを正そうとするからです。 例えば、画像認識のニューラル・ネットワークの訓練では、猫の画像を示して、「これは猫だよ」と教えるのが「教師」の役割です。機械は、そうした認識ができるように、自分の身体を修正・改造していきます。 機械は、とても、素直なものです。 Supervised Learning 人間やロボットの教師が機械の側に実際にいなくても、画像認識の例でしたら、猫の画像に「猫」というラベルがついていれば、そのラベルが「教師」の役割を果たすことができます。 猫のラベルがついた多数の猫の画像を繰り返し学習すれば、今度は、ラベルがなくてもニューラル・ネットワークは猫の認識ができるようになります。こうした学習のスタイルを 「 Supervised Learning = 教師あり学習」と言います。 Supervised Learningの弱点は、学習のために ラベル付きの大量のデータを用意しなければいけないことです。 Non-Supervised Learning 2012年 Googleはラベル付けされていないイメージだけから、顔の認識が可能であることを示して衝撃を与えます。 「 我々は、ラ...