投稿

なぜ、「知識のハブの変化」を考えるのか？

  【 なぜ、「知識のハブの変化」を考えるのか？ 】 僕が、 「機械の言語能力の獲得」なぜ、「知識のハブの変化」を考えるのか？ （動画）巨大な変化の中で、特に「知識のハブ」の変化に注目するのには、大きく言って二つの理由があります。 第一に、SNSのような人間と人間の日常的な「コミュニケーション・ハブ」や、Webや伝統的な「メディア・ハブ」の世界は、生成AI技術の台頭の中でも、基本的には、その構造を維持していると、僕は考えているからです。現在注目すべき変化は、そこで生まれているわけではありません。 確かに、Fake NewsやFake Image/Video と言った重要な問題は存在します。それは、別途考えていきたいと思います。 【 一時的なメッセージと永続するメッセージ 】 僕が「知識のハブ」の変化に注目する第ニの理由は、embedding技術の拡大を中核とする現在進行中の変化が、temporalな永続性を持たない一時的なメッセージ主体の日常的なコミュニケーションに与える影響は少ないにしても、科学や技術といった累積的な性質を持つ人間の知識の体系に与える影響は、大きいと考えているからです。 この一時的なメッセージと永続するメッセージというメッセージの性質の違いは、一般的な「コミュニケーション・ハブ」と今回のセミナーで取り上げる「知識のハブ」の違いを特徴づけるものです。 【 知識の世界への機械の登場 】 一時的なメッセージを扱うコミュニケーションの理論で、永続的なメッセージを扱う知識の理論を構築できないと僕は考えています。 また、「文字の発明」「印刷技術の登場」「学校・教育システムの整備」「インターネットの登場と普及」等々といった、エポックメイキングな「メディア」の登場・成立史を中心とする従来の「メディア論」に、単純には包摂されない変化が、ネットワーク上で起きつつあると僕は考えています。 なぜなら、注目すべき基本的な変化は、人間しかいなかった「知識」の世界に。言語能力を持った機械が登場しようとしていることだからです。 【 AIと「意識の変化」についての二つのエピソード 】 このセミナーでは、「知識のハブ」の「変化」について考えます。ただ、具体的な議論に入る前に、AIがもたらす変化とそれを受容する人間の意識の変化について、二つの特徴的なエピソードを紹介しよう...
コメントを投稿
続きを読む

はじめに −− 情報ネットワークの新しい構造

イメージ
 マルレク「「知識のハブ」の変化を考える」を開催します  この間、「embeddingの共有・蓄積・交換の世界の拡大」という共通の視点から、 　● マルレク 「機械の言語能力の獲得を考える」 　● マルレク 「embeddingプログラミングの基礎」 という二つのセミナーを開催してきました。 マルレク「「知識のハブ」の変化を考える」は、これら二つのセミナーに続く、embedding シリーズの第三弾です。 今回の投稿では、マルレク「「知識のハブ」の変化を考える」の最初のセッション「はじめに −− 情報ネットワークの新しい構造」を紹介しようと思います。 はじめに −− 情報ネットワークの新しい構造  このセッションは、SNS等えの「コミュニケーションのハブ」や、そのより強い表現である「ハブとしてのメディア」を侵食する、新しい構造がネットワークの世界で生まれているのではないかという問題意識を述べた試論です。 基本的には、「言語能力・意味を理解する能力」を持った機械の登場が、コミュニケーション・チャンネルにどのような変化を引き起こすのかを考えようということなのですが、まだ、説得力のあるものには展開できていないことは自覚しています。 ここで直接扱っているのは、コミュニケーション・チャンネルの技術論です。ただ、そこに基礎を持つ従来型の「コミュニケーション論」「メディア論」は、「言語能力を持つ機械」の台頭という、現実の非連続的な巨大な変化の中で、その有効性・妥当性を急速に失うだろうと考えています。 ネットワークと「ハブ」の働き  ここでは、代表的なネットワーク・トポロジーの一つである、「ハブ・アンド・スポーク」トポロジーの紹介をしています。 車輪が何度も再発明・再発見されたように、「ハブ」構造も何度も何度も再発見・再利用されています。交通、物流、産業、放送、IT（USBハブなど）といった、身近なところにも様々なハブ構造があります。 ネットワークのモデルについて言えば、ネットワーク全体でのノード間の関係がいかなるものであっても、ネットワークは、ノード間の一対一の関係を基礎として構成されています。 「ハブ」構造を持つネットワークについて語る前に、より基本的なノード間の一対一の関係からなるネットワークの構造を考えたいと思います。 「参照枠」と...
コメントを投稿
続きを読む

マルレク「embeddingプログラミングの基礎」へのお誘い ページ

イメージ
 マルレク「embeddingプログラミングの基礎」へのお誘い  マルレク「embeddingプログラミングの基礎」へのお誘いです。 セミナーのタイトルは、予告していた「機械と人間が意味を共有するembeddingの世界を考える」から「embeddingプログラミングの基礎」に変わっています。 このセミナーは、前回のマルレク「機械の言語能力の獲得を考える」の続編になっています。最初に、前回のセミナーを振り返ってみたいと思います。 前回のセミナー 「機械の言語能力の獲得を考える」の振り返り 前回のセミナーは、現代のAI技術の到達点を「機械が言語能力を獲得した」と捉え、その中核を「意味を理解する」能力の獲得と見なして議論を展開していました。 その中心問題は、機械はどのようにして「意味を理解する」ようになったのかという問いであり、これに対して「意味の分散表現論」の発展が一つの答えを与えると述べています。 この四半世紀のAI技術の理論史は、「意味とは何か」を探求する「意味の分散表現論」すなわちembedding論の発展史であると考えることができます。 「大規模言語モデル」の成立が、 機械の言語能力の獲得」を可能にした  語の意味の分散表現が文の意味の分散表現へと進み、それをベースとした「翻訳モデル」がAttention メカニズムの導入により発展します。　 変化はさらに続きます。Transformerを頂点とした「翻訳モデル」がencoder-only / decoder-only アーキテクチャーに分解・解体する中で、後者のアーキテクチャーの「勝利」として、「大規模言語モデル」が成立します。 「機械の言語能力の獲得」という機械の能力の画期的な拡大を可能としたのは、技術的には、強力な「大規模言語モデル」の成立によるものです。 前回のセミナーのAIによる音声概要 200ページの長い資料がとてもよくまとまっています。ぜひ、お聞きください。 https://www.marulabo.net/wp-content/uploads/2026/02/AIandEmbeddings.mp3 embeddingの働きを知ることの重要性 先のセミナーの振り返りでもみたように、機械が言語能力を獲得できたのは、人間のことばの意味をLLMがembeddingを通じて、理...
コメントを投稿
続きを読む

マルレク「機械の言語能力の獲得を考える」概要まとめ

この資料は、「機械の言語能力の獲得を考える」というセミナーの資料であり、現代のAI技術の到達点を「機械が言語能力を獲得した」と捉え、その中核を「意味を理解する」能力の獲得と見なして議論を展開しています。 主な内容の構成は以下の通りです。 はじめに（Page 1-19） セミナーのテーマ設定：「機械の言語能力の獲得を考える」。 Alan Turingの問い「機械は考えることができるか?」の引用と、将来的に機械が考えるという言葉が矛盾なく使われるようになるという見解の紹介。 今回のセミナーの問題意識として、「機械が言語能力を獲得した」という議論の展開と、その中核を「意味を理解する」能力の獲得とする点。 言語能力と「知性」を区別し、言語能力は知性の最も基本的な構成要素であるという見解。 中心問題は、機械はどのようにして「意味を理解する」ようになったのかという問いであり、これに対して「意味の分散表現論」の発展が一つの答えを与えると述べています。 意味の分散表現論の系譜 - 大規模言語モデルへ (Part 1)（Page 20-123, Page 109-122にも再掲） この四半世紀のAI技術の理論史は、「意味とは何か」を探求する「意味の分散表現論」の発展史であるとしています。 歴史的変遷の概略（年表形式）：  Bengioの「次元の呪い」と語の特徴の分散表現（2003年）に始まり、HintonのAuto Encoder（2006年）、Word2Vec（2013年）、Sequence to Sequence（2014年）、Attention Mechanism（2014年/2016年）、Transformer（2017年）、BERT（2019年）、GPT-3（2020年）、ChatGPT（2022年）といった主要な技術・モデルの系譜が示されています。 主要な概念の解説: Bengio (2003年):  「次元の呪い」と戦うために、語を実数値の値を持つ分散した特徴ベクトルに対応づけ、語の並びの結合確率関数をその特徴ベクトルで表現し、これらを同時に学習する方法を提案。 HintonのAutoencoder/意味的ハッシング (2006年):  Autoencoderが高次元のデータから元の情報のエッセンスを低次元のデータとして取り出す働きを「Sem...
コメントを投稿
続きを読む

マルレク「機械の言語能力の獲得を考える」の講演ビデオと講演資料公開しました

【 マルレク「機械の言語能力の獲得を考える」の講演ビデオと講演資料公開しました 】 1月に開催したセミナー「機械の言語能力の獲得を考える」の資料を公開しました。 時間がありましたら、この連休中にでも、ご利用ください。 Facebookでは、リンクの情報は、コメント欄でご覧ください。 =============== セミナー「機械の言語能力の獲得を考える」について =============== ●  セミナー「機械の言語能力の獲得を考える」のまとめページはこちらです。 https://www.marulabo.net/docs/competence/ ●  セミナー「機械の言語能力の獲得を考える」に向けたblogのリストはこちらです。 https://maruyama097.blogspot.com/2025/12/embedding-blog.html ●  セミナー「機械の言語能力の獲得を考える」の「音声概要」のページはこちらです。 https://www.marulabo.net/docs/deep-dive-audio-20260131/ ●  セミナー「機械の言語能力の獲得を考える 」に向けたショートムービーの再生リストはこちらです。 https://www.youtube.com/playlist?list=PLQIrJ0f9gMcOZAuK3OhXu9mcZrX32ZS1j セミナーは4つのパートに分かれています。個別にも全体を通してもアクセスできます。 -------------------------- 全体を通して見る -------------------------- 　●  「機械の言語能力の獲得を考える」セミナーの講演ビデオ全体の再生リストのURLです。全体を通して再生することができます。  https://www.youtube.com/playlist?list=PLQIrJ0f9gMcOxcd5oRkYKv6NRZfg1e8cI 　●  講演資料全体を一つのpdfファイルにまとめたものはこちらです。 　　　「機械の言語能力の獲得を考える」講演資料 https://drive.google.com/file/d/10PMapPcsoPvi3oYLbl9Plc...
コメントを投稿
続きを読む

文字列検索と画像検索

【 文字列検索と画像検索 】  次回のセッションでは、ベクトルで表現されているembeddingを検索するVector Search技術を見ていこうと思います。 これまで、文字列検索へのembeddingの利用を紹介してきたのですがembeddingの検索は、もっと広い応用分野をもっています。次回紹介するVector Search技術は、元はGoogleの画像検索で用いられていた技術です。 文字列と画像はずいぶ違うものなので、両者が同じ検索技術で統合できるというのは意外かもしれません。その統合の鍵は、あるものを数字のベクトルで表すというembedding技術にあります。 【 画像はベクトルで表現できる 】 先に文字列の「意味」を、数字からなる多次元のベクトルという表現で表すというembedding技術を見てきたのですが、そこでの認識の飛躍と比べると、画像がベクトルで表現されるというのは、驚きは少ないかもしれません。 例えば、64 x 64 のマス目に白と黒のオセロのチップを置いて、模様を描くことができます。マス目一つを1ビットが占める場所とし、白いチップが0、黒いチップが1 だと考えると、この白黒の模様は、横に1バイトの列が8個並んでいて、それが縦に64段積み重なったものと考えることができます。これは、白黒画像をバイトの列で表現していることと同じことです。 1024 x 1024 のカラー画像も、RGBに分解すれば、1024 x 1024ビットで表現されるベクトルが、RGBの分の3個分あれば表現できます。ここでは、画像を離散的なものとして「デジタイズ」したことが大きく効いています。例えば、円や球は、連続的なものなので、必ずしも単純に数字の並び、有限次元の数字のベクトルとしてとして表現されるとは限りません。 言葉の意味がベクトル表現にたどり着いた経路と、画像がデジタイズによってベクトル表現にたどり着いた経路は、このように異なるのですが、最終的にはいずれもベクトルによる表現に落ち着いたのは面白いことです。これらを一括して、embedding表現と考えることができます。 【 文字列の意味のベクトル表現と画像のベクトル表現 】 文字列の意味のベクトル表現と画像のベクトル表現を、embeddingとしてひとくくりにすることに抵抗がある人もいると思います。気持ちはわかり...
コメントを投稿
続きを読む

LLM アーキテクチャーの成功を支えたもの 3 -- In-Context learningとRetrieval-Augmented Generation

イメージ
LLM アーキテクチャーの成功を支えたもの 3 --  In-Context learningとRetrieval-Augmented Generation  大規模言語モデルの機能拡張 これまで見てきたのは、LLMの基本的な機能についてのものでしたが、LLMの急速な進化は、その機能を大きく拡張して来ました。このセッションでは、そうした機能拡張を見ていこうと思います。 モデルの機能を動的に拡張するための試みとして、現在、二つの対照的なアプローチが注目されています。 一つは、モデルの重みを更新することなく、プロンプト内の例示によってタスクに適応させる「インコンテキスト学習（In-Context Learning: ICL）」です。もう一つは外部データベースから関連情報を検索して生成を補強する「検索拡張生成（Retrieval-Augmented Generation: RAG）」です。 インコンテキスト学習（ICL）のメカニズム インコンテキスト学習（ICL）は、GPT-3の登場とともにその有効性が広く認識された手法です。 大規模な事前学習によって獲得されたモデルの潜在能力を、入力プロンプト内の「例示（Demonstrations）」によって特定のタスクへと誘導するプロセスです。 このアプローチの最大の特徴は、モデルのパラメータを一切更新しない「非パラメトリックな適応」にあります。     ICLの「学習」 ICLにおける「学習」とは、厳密には重みの更新を伴う「学習」ではなく、モデルの隠れ状態（Hidden States）が入力されたコンテキストに基づいて遷移し、特定の推論パターンを選択する現象を指します 。 モデルはプロンプトに含まれる少数の入出力ペア（Few-shot）から、タスクの形式、言語スタイル、論理的なステップを読み取ります。 例えば、コード生成タスクにおいては、変数名の命名規則やコメントの記述スタイルといった微細な特徴が、モデルの出力品質を左右することが判明しています 。    RAGのアーキテクチャ RAGは、LLMの生成能力と、情報検索（Information Retrieval）システムを融合させたシステム設計のアプローチです。 LLMを「知識の保管庫」としてではなく「情...
コメントを投稿
続きを読む