過去・現在・未来

 マルレク「embeddingプログラミングの基礎」へのお誘い  マルレク「embeddingプログラミングの基礎」へのお誘いです。 セミナーのタイトルは、予告していた「機械と人間が意味を共有するembeddingの世界を考える」から「embeddingプログラミングの基礎」に変わっています。 このセミナーは、前回のマルレク「機械の言語能力の獲得を考える」の続編になっています。最初に、前回のセミナーを振り返ってみたいと思います。 前回のセミナー「機械の言語能力の獲得を考える」の振り返り 前回のセミナーは、現代のAI技術の到達点を「機械が言語能力を獲得した」と捉え、その中核を「意味を理解する」能力の獲得と見なして議論を展開していました。 その中心問題は、機械はどのようにして「意味を理解する」ようになったのかという問いであり、これに対して「意味の分散表現論」の発展が一つの答えを与えると述べています。 この四半世紀のAI技術の理論史は、「意味とは何か」を探求する「意味の分散表現論」すなわちembedding論の発展史であると考えることができます。 「大規模言語モデル」の成立が、機械の言語能力の獲得」を可能にした  語の意味の分散表現が文の意味の分散表現へと進み、それをベースとした「翻訳モデル」がAttention メカニズムの導入により発展します。　 変化はさらに続きます。Transformerを頂点とした「翻訳モデル」がencoder-only / decoder-only アーキテクチャーに分解・解体する中で、後者のアーキテクチャーの「勝利」として、「大規模言語モデル」が成立します。 「機械の言語能力の獲得」という機械の能力の画期的な拡大を可能としたのは、技術的には、強力な「大規模言語モデル」の成立によるものです。 前回のセミナーのAIによる音声概要 200ページの長い資料がとてもよくまとまっています。ぜひ、お聞きください。 https://www.marulabo.net/wp-content/uploads/2026/02/AIandEmbeddings.mp3 embeddingの働きを知ることの重要性 先のセミナーの振り返りでもみたように、機械が言語能力を獲得できたのは、人間のことばの意味をLLMがembeddingを通じて、理...

この資料は、「機械の言語能力の獲得を考える」というセミナーの資料であり、現代のAI技術の到達点を「機械が言語能力を獲得した」と捉え、その中核を「意味を理解する」能力の獲得と見なして議論を展開しています。 主な内容の構成は以下の通りです。 はじめに（Page 1-19） セミナーのテーマ設定：「機械の言語能力の獲得を考える」。 Alan Turingの問い「機械は考えることができるか?」の引用と、将来的に機械が考えるという言葉が矛盾なく使われるようになるという見解の紹介。 今回のセミナーの問題意識として、「機械が言語能力を獲得した」という議論の展開と、その中核を「意味を理解する」能力の獲得とする点。 言語能力と「知性」を区別し、言語能力は知性の最も基本的な構成要素であるという見解。 中心問題は、機械はどのようにして「意味を理解する」ようになったのかという問いであり、これに対して「意味の分散表現論」の発展が一つの答えを与えると述べています。 意味の分散表現論の系譜 - 大規模言語モデルへ (Part 1)（Page 20-123, Page 109-122にも再掲） この四半世紀のAI技術の理論史は、「意味とは何か」を探求する「意味の分散表現論」の発展史であるとしています。 歴史的変遷の概略（年表形式）：  Bengioの「次元の呪い」と語の特徴の分散表現（2003年）に始まり、HintonのAuto Encoder（2006年）、Word2Vec（2013年）、Sequence to Sequence（2014年）、Attention Mechanism（2014年/2016年）、Transformer（2017年）、BERT（2019年）、GPT-3（2020年）、ChatGPT（2022年）といった主要な技術・モデルの系譜が示されています。 主要な概念の解説: Bengio (2003年):  「次元の呪い」と戦うために、語を実数値の値を持つ分散した特徴ベクトルに対応づけ、語の並びの結合確率関数をその特徴ベクトルで表現し、これらを同時に学習する方法を提案。 HintonのAutoencoder/意味的ハッシング (2006年):  Autoencoderが高次元のデータから元の情報のエッセンスを低次元のデータとして取り出す働きを「Sem...

【 マルレク「機械の言語能力の獲得を考える」の講演ビデオと講演資料公開しました 】 1月に開催したセミナー「機械の言語能力の獲得を考える」の資料を公開しました。 時間がありましたら、この連休中にでも、ご利用ください。 Facebookでは、リンクの情報は、コメント欄でご覧ください。 =============== セミナー「機械の言語能力の獲得を考える」について =============== ●  セミナー「機械の言語能力の獲得を考える」のまとめページはこちらです。 https://www.marulabo.net/docs/competence/ ●  セミナー「機械の言語能力の獲得を考える」に向けたblogのリストはこちらです。 https://maruyama097.blogspot.com/2025/12/embedding-blog.html ●  セミナー「機械の言語能力の獲得を考える」の「音声概要」のページはこちらです。 https://www.marulabo.net/docs/deep-dive-audio-20260131/ ●  セミナー「機械の言語能力の獲得を考える 」に向けたショートムービーの再生リストはこちらです。 https://www.youtube.com/playlist?list=PLQIrJ0f9gMcOZAuK3OhXu9mcZrX32ZS1j セミナーは4つのパートに分かれています。個別にも全体を通してもアクセスできます。 -------------------------- 全体を通して見る -------------------------- 　●  「機械の言語能力の獲得を考える」セミナーの講演ビデオ全体の再生リストのURLです。全体を通して再生することができます。  https://www.youtube.com/playlist?list=PLQIrJ0f9gMcOxcd5oRkYKv6NRZfg1e8cI 　●  講演資料全体を一つのpdfファイルにまとめたものはこちらです。 　　　「機械の言語能力の獲得を考える」講演資料 https://drive.google.com/file/d/10PMapPcsoPvi3oYLbl9Plc...

【 文字列検索と画像検索 】  次回のセッションでは、ベクトルで表現されているembeddingを検索するVector Search技術を見ていこうと思います。 これまで、文字列検索へのembeddingの利用を紹介してきたのですがembeddingの検索は、もっと広い応用分野をもっています。次回紹介するVector Search技術は、元はGoogleの画像検索で用いられていた技術です。 文字列と画像はずいぶ違うものなので、両者が同じ検索技術で統合できるというのは意外かもしれません。その統合の鍵は、あるものを数字のベクトルで表すというembedding技術にあります。 【 画像はベクトルで表現できる 】 先に文字列の「意味」を、数字からなる多次元のベクトルという表現で表すというembedding技術を見てきたのですが、そこでの認識の飛躍と比べると、画像がベクトルで表現されるというのは、驚きは少ないかもしれません。 例えば、64 x 64 のマス目に白と黒のオセロのチップを置いて、模様を描くことができます。マス目一つを1ビットが占める場所とし、白いチップが0、黒いチップが1 だと考えると、この白黒の模様は、横に1バイトの列が8個並んでいて、それが縦に64段積み重なったものと考えることができます。これは、白黒画像をバイトの列で表現していることと同じことです。 1024 x 1024 のカラー画像も、RGBに分解すれば、1024 x 1024ビットで表現されるベクトルが、RGBの分の3個分あれば表現できます。ここでは、画像を離散的なものとして「デジタイズ」したことが大きく効いています。例えば、円や球は、連続的なものなので、必ずしも単純に数字の並び、有限次元の数字のベクトルとしてとして表現されるとは限りません。 言葉の意味がベクトル表現にたどり着いた経路と、画像がデジタイズによってベクトル表現にたどり着いた経路は、このように異なるのですが、最終的にはいずれもベクトルによる表現に落ち着いたのは面白いことです。これらを一括して、embedding表現と考えることができます。 【 文字列の意味のベクトル表現と画像のベクトル表現 】 文字列の意味のベクトル表現と画像のベクトル表現を、embeddingとしてひとくくりにすることに抵抗がある人もいると思います。気持ちはわかり...