過去・現在・未来

 Deep Dive Audio Index ソース： https://www.marulabo.net/docs/deep-dive-audio/ Deep Dive Audio 20260131 https://www.marulabo.net/docs/deep-dive-audio-20260131/     セミナー：機械の言語能力の獲得を考える     セミナーURL：  https://www.marulabo.net/docs/competence/              Section：Transformerの登場              オーディオ：RNNからTransformerへ 　　　　 オーディオURL： https://www.marulabo.net/wp-content/uploads/2026/01/Transformerのアーキテクチャー.mp3              オーディオ：Transformerのアーキテクチャー 　　　　 オーディオURL： https://www.marulabo.net/wp-content/uploads/2026/01/Transformerのアーキテクチャー.mp3          Section：翻訳モデルから大規模言語モデルへ              Subsection：EncoderとDecoderの分離からDecoder OnlyのLLMへ              　　オーディオ：LLMはなぜ翻訳モデルから生まれたのか 　　　　 　　オーディオURL： https://www.marulabo.net/wp-content/uploads/2026/01/LLMはなぜ翻訳モデルから生まれたのか.mp3  ...

 【 「知識」のどのような領域に注目するのか】 このセッションでは、「知識のハブ」の変化を考えるうえで、どのような「領域」に注目するのかを考えてみようと思います。 このセッションでは、二つの領域に注目します。 第一の領域は、人間中心だった知識の世界に「言語能力を持った機械」が登場したことによって大きな影響を受けている領域です。 この領域は、情報の共有・蓄積・交換の社会的様式とそれについての社会的意識の急速な変化によって特徴づけられます。 第二の領域は、 「言語能力を持った機械」の登場とは相対的に独立に、知識の世界での人間と機械の境界面の新しい拡大が見られる領域です。 この領域は、人間の自然認識や数学的認識といった「累積的知識」の中核的領域を含んでいます。 【 今回のセミナーのアプローチ−−「変化」の特徴的なエピソードを集める 】 今回のセミナー「「知識のハブ」の変化を考える」では、様々な領域に現れている「変化」の特徴的なエピソードを紹介したいと考えています。 それは、異なる「場所」に起きた、バラバラなエピソードの羅列に見えるかもしれません。 それが、理論的整理のための試論としての、「変化を考える」という、今回のセミナーがとったアプローチです。 ただ、恣意的でランダムに見える、それらのエピソードの選択は、大きくいうと、先の「今回のセミナーが注目する二つの領域」に属しています。 　・「言語能力を持つ機械」の登場による社会的インパクト 　・自然認識・数学的認識の発展における人間と機械の境界面の変化 以下で、今回のセミナーで、この二つの領域のエピソードとして、どのようなトピックを取り上げるのか、その概要を述べてみたいと思います。 詳細は、後続のセッションで展開します。 【 「言語能力を持つ機械」の登場による社会的インパクト】 ここでは、次のようなトピックを取り上げます。 ● グローバルな検索 ネットワーク上のほとんどすべての情報は、人間だけでなく言語能力を持つ機械にとっても利用可能な形で共有・蓄積され、多くの人間は、「検索」を通じて、機械と人間が共有する情報にアクセスするようになります。それは、一面では専門的な知識の「民主化」と捉えることもできます。 ● 学会と論文 かつては、知識の蓄積・交換の中心だった「学会」組織も、その権威への静かな挑戦...

  【 なぜ、「知識のハブの変化」を考えるのか？】 僕が、 「機械の言語能力の獲得」なぜ、「知識のハブの変化」を考えるのか？（動画）巨大な変化の中で、特に「知識のハブ」の変化に注目するのには、大きく言って二つの理由があります。 第一に、SNSのような人間と人間の日常的な「コミュニケーション・ハブ」や、Webや伝統的な「メディア・ハブ」の世界は、生成AI技術の台頭の中でも、基本的には、その構造を維持していると、僕は考えているからです。現在注目すべき変化は、そこで生まれているわけではありません。 確かに、Fake NewsやFake Image/Video と言った重要な問題は存在します。それは、別途考えていきたいと思います。 【 一時的なメッセージと永続するメッセージ 】 僕が「知識のハブ」の変化に注目する第ニの理由は、embedding技術の拡大を中核とする現在進行中の変化が、temporalな永続性を持たない一時的なメッセージ主体の日常的なコミュニケーションに与える影響は少ないにしても、科学や技術といった累積的な性質を持つ人間の知識の体系に与える影響は、大きいと考えているからです。 この一時的なメッセージと永続するメッセージというメッセージの性質の違いは、一般的な「コミュニケーション・ハブ」と今回のセミナーで取り上げる「知識のハブ」の違いを特徴づけるものです。 【 知識の世界への機械の登場】 一時的なメッセージを扱うコミュニケーションの理論で、永続的なメッセージを扱う知識の理論を構築できないと僕は考えています。 また、「文字の発明」「印刷技術の登場」「学校・教育システムの整備」「インターネットの登場と普及」等々といった、エポックメイキングな「メディア」の登場・成立史を中心とする従来の「メディア論」に、単純には包摂されない変化が、ネットワーク上で起きつつあると僕は考えています。 なぜなら、注目すべき基本的な変化は、人間しかいなかった「知識」の世界に。言語能力を持った機械が登場しようとしていることだからです。 【 AIと「意識の変化」についての二つのエピソード】 このセミナーでは、「知識のハブ」の「変化」について考えます。ただ、具体的な議論に入る前に、AIがもたらす変化とそれを受容する人間の意識の変化について、二つの特徴的なエピソードを紹介しよう...

 マルレク「「知識のハブ」の変化を考える」を開催します  この間、「embeddingの共有・蓄積・交換の世界の拡大」という共通の視点から、 　● マルレク 「機械の言語能力の獲得を考える」 　● マルレク 「embeddingプログラミングの基礎」 という二つのセミナーを開催してきました。 マルレク「「知識のハブ」の変化を考える」は、これら二つのセミナーに続く、embedding シリーズの第三弾です。 今回の投稿では、マルレク「「知識のハブ」の変化を考える」の最初のセッション「はじめに−− 情報ネットワークの新しい構造」を紹介しようと思います。 はじめに−− 情報ネットワークの新しい構造  このセッションは、SNS等えの「コミュニケーションのハブ」や、そのより強い表現である「ハブとしてのメディア」を侵食する、新しい構造がネットワークの世界で生まれているのではないかという問題意識を述べた試論です。 基本的には、「言語能力・意味を理解する能力」を持った機械の登場が、コミュニケーション・チャンネルにどのような変化を引き起こすのかを考えようということなのですが、まだ、説得力のあるものには展開できていないことは自覚しています。 ここで直接扱っているのは、コミュニケーション・チャンネルの技術論です。ただ、そこに基礎を持つ従来型の「コミュニケーション論」「メディア論」は、「言語能力を持つ機械」の台頭という、現実の非連続的な巨大な変化の中で、その有効性・妥当性を急速に失うだろうと考えています。 ネットワークと「ハブ」の働き  ここでは、代表的なネットワーク・トポロジーの一つである、「ハブ・アンド・スポーク」トポロジーの紹介をしています。 車輪が何度も再発明・再発見されたように、「ハブ」構造も何度も何度も再発見・再利用されています。交通、物流、産業、放送、IT（USBハブなど）といった、身近なところにも様々なハブ構造があります。 ネットワークのモデルについて言えば、ネットワーク全体でのノード間の関係がいかなるものであっても、ネットワークは、ノード間の一対一の関係を基礎として構成されています。 「ハブ」構造を持つネットワークについて語る前に、より基本的なノード間の一対一の関係からなるネットワークの構造を考えたいと思います。 「参照枠」と...

 マルレク「embeddingプログラミングの基礎」へのお誘い  マルレク「embeddingプログラミングの基礎」へのお誘いです。 セミナーのタイトルは、予告していた「機械と人間が意味を共有するembeddingの世界を考える」から「embeddingプログラミングの基礎」に変わっています。 このセミナーは、前回のマルレク「機械の言語能力の獲得を考える」の続編になっています。最初に、前回のセミナーを振り返ってみたいと思います。 前回のセミナー「機械の言語能力の獲得を考える」の振り返り 前回のセミナーは、現代のAI技術の到達点を「機械が言語能力を獲得した」と捉え、その中核を「意味を理解する」能力の獲得と見なして議論を展開していました。 その中心問題は、機械はどのようにして「意味を理解する」ようになったのかという問いであり、これに対して「意味の分散表現論」の発展が一つの答えを与えると述べています。 この四半世紀のAI技術の理論史は、「意味とは何か」を探求する「意味の分散表現論」すなわちembedding論の発展史であると考えることができます。 「大規模言語モデル」の成立が、機械の言語能力の獲得」を可能にした  語の意味の分散表現が文の意味の分散表現へと進み、それをベースとした「翻訳モデル」がAttention メカニズムの導入により発展します。　 変化はさらに続きます。Transformerを頂点とした「翻訳モデル」がencoder-only / decoder-only アーキテクチャーに分解・解体する中で、後者のアーキテクチャーの「勝利」として、「大規模言語モデル」が成立します。 「機械の言語能力の獲得」という機械の能力の画期的な拡大を可能としたのは、技術的には、強力な「大規模言語モデル」の成立によるものです。 前回のセミナーのAIによる音声概要 200ページの長い資料がとてもよくまとまっています。ぜひ、お聞きください。 https://www.marulabo.net/wp-content/uploads/2026/02/AIandEmbeddings.mp3 embeddingの働きを知ることの重要性 先のセミナーの振り返りでもみたように、機械が言語能力を獲得できたのは、人間のことばの意味をLLMがembeddingを通じて、理...

この資料は、「機械の言語能力の獲得を考える」というセミナーの資料であり、現代のAI技術の到達点を「機械が言語能力を獲得した」と捉え、その中核を「意味を理解する」能力の獲得と見なして議論を展開しています。 主な内容の構成は以下の通りです。 はじめに（Page 1-19） セミナーのテーマ設定：「機械の言語能力の獲得を考える」。 Alan Turingの問い「機械は考えることができるか?」の引用と、将来的に機械が考えるという言葉が矛盾なく使われるようになるという見解の紹介。 今回のセミナーの問題意識として、「機械が言語能力を獲得した」という議論の展開と、その中核を「意味を理解する」能力の獲得とする点。 言語能力と「知性」を区別し、言語能力は知性の最も基本的な構成要素であるという見解。 中心問題は、機械はどのようにして「意味を理解する」ようになったのかという問いであり、これに対して「意味の分散表現論」の発展が一つの答えを与えると述べています。 意味の分散表現論の系譜 - 大規模言語モデルへ (Part 1)（Page 20-123, Page 109-122にも再掲） この四半世紀のAI技術の理論史は、「意味とは何か」を探求する「意味の分散表現論」の発展史であるとしています。 歴史的変遷の概略（年表形式）：  Bengioの「次元の呪い」と語の特徴の分散表現（2003年）に始まり、HintonのAuto Encoder（2006年）、Word2Vec（2013年）、Sequence to Sequence（2014年）、Attention Mechanism（2014年/2016年）、Transformer（2017年）、BERT（2019年）、GPT-3（2020年）、ChatGPT（2022年）といった主要な技術・モデルの系譜が示されています。 主要な概念の解説: Bengio (2003年):  「次元の呪い」と戦うために、語を実数値の値を持つ分散した特徴ベクトルに対応づけ、語の並びの結合確率関数をその特徴ベクトルで表現し、これらを同時に学習する方法を提案。 HintonのAutoencoder/意味的ハッシング (2006年):  Autoencoderが高次元のデータから元の情報のエッセンスを低次元のデータとして取り出す働きを「Sem...