過去・現在・未来

【 3/31 マルレク「人工知能と数学」へのお誘い 】　 3月31日 19:00からオンラインで「人工知能と数学」というタイトルでセミナーを開催します。 今日の「人工知能」は、その「言語能力」で、画期的な進歩を遂げています。 ある言語の文を他の言語に「翻訳」すること、言語を問わず膨大な文字データから「関連する」データをを見つけ出すこと、長い文章を短い文章に「要約」すること、ある話題に対して関連する話題を提供して「対話」を続けること。 こうした能力は、「大規模言語モデル」と呼ばれる人工知能技術の登場とその成長によって初めて可能になりました。その成長の秘密の鍵は、この技術が「ことばの意味」を、コンピュータ上で表現する方法を見つけたことにあります。 イメージの認識なら、イメージをピクセルの集まりとしてコンピュータ上で表現することは容易です。ただ、「ことばの意味」を、コンピュータの上で表現せよといわれたら、みなさんはどんな方法をイメージしますか？　 Googleの検索は、膨大なネット上の文字データから、基本的には特定の「文字列」を探すものです。「意味」を「検索」しているわけではありません。「犬」の検索と「dog」の検索は、文字列が異なりますので、異なる検索です。 「大規模言語モデル」では、「意味」がコンピュータ上に表現されています。この「意味の表現」では、「意味が同じ」ことだけでなく「意味が近い」ことが表現できます。「意味の近さ」が表現できるということは、実践的にはとても大事です。 「翻訳」でしたら「意味が同じ」ことが重要です。話題の「関連性」を見つけるとか「要約」のケースでは「意味が近い」ことがポイントになります。こうした判断をコンピュータが自由に行えるようになったことが、コンピュータの「言語能力」の飛躍をもたらしました。それらは、「大規模言語モデル」が獲得した「意味の表現」のの力によるものです。 「意味の表現」については、現在公開中の次のページを参照ください。 　「AIは意味をどのように扱っているのか？ -- ChatGPT の不思議」 https://www.marulabo.net/docs/meaning/ こうした発展は素晴らしいものです。ただ、問題は、その先にあるのです。 「大規模言語モデル」的アプローチには、大きな弱点があります。それは、こうしたアプロー

【「AIは意味をどのように扱っているのか？」講演ビデオ公開しました 】 1月28日に開催したマルレク 「AIは意味をどのように扱っているのか？ -- ChatGPTの不思議」の講演ビデオと講演資料を公開しました。 ここでの「AI」は、基本的には、Googleニューラル機械翻訳に始まり、BERT、GPT-3、ChatGPTへと続く、現在の「大規模言語モデル」のことを指しています。 今回のセミナーは、「大規模言語モデル」がどのように「意味」を扱っているのという問題にフォーカスしたものです。なぜなら、 「人工知能」技術の現在の飛躍の最大の秘密は、「意味」の扱いにあるからです。 なぜ、大規模言語モデルがどのように「意味」を扱っているのかという問題が、重要なのでしょうか？ それに答えるのは比較的容易です。 人間は、自然言語を扱う理論をいろいろ作ってきたのですが、それに基づいて実際のコンピュータ上で、意味を含んだ自然言語を扱うシステムを実装することには、なかなか成功しませんでした。 大規模言語モデルが重要なのは、それがコンピュータ上で自然言語の意味を扱うことに成功した、事実上最初の、そして現状では唯一の実装されたモデルだからです。 大規模言語モデルの出発点となったのは、「語の意味の多次元ベクトルによる表現」でした。それを「意味の分散表現」といいます。 今回のセミナーの、Part 3「意味の分散表現の登場」、Part 4「大規模言語モデルの成立 -- 意味の分散表現論の発展 」という構成は、今回のセミナーの目的の一つが、大規模言語モデルの成功を意味の表現から跡づけようとしていることを示しています。 Part 2「意味理解への様々なアプローチ」では、大規模言語モデル以外の、意味理解のアプローチを紹介しようと思います。 ただ、「意味の表現」をめぐる探究は、現在の大規模言語モデルで完成したわけではありません。「意味表現」論のさらなる発展に興味がある方は、「 文と意味の構成性Compositionalityから問題を整理する」という節に注目ください。こちらのショート・ムービーからもアクセスできます。 https://youtu.be/Jh0hGq4kuH0?list=PLQIrJ0f9gMcMl-rOnfK6S5EPXazITzFeK ---------------------

 【 人間の力が、機械の力にみえること -- 「ChatGPTの不思議」ビデオ公開 】　 「人間のフィードバック」に全面的に依存するChatGPTのアプローチは、「機械の思考は可能か？」というTuringの問いかけ以来の、機械の自律的な「知能」を追求する人工知能研究からは、「逸脱」したものです。 ただ、「逸脱」が悪いこととは限りません。なぜなら、そうした動きをドライブしているのは、基本的には人間の能力の再評価だと、考えることができるからです。 問題は、こうした人間の力が、機械の力として現れて見えることです。 機械の知能に対する、人間の知能の最初のささやかな「反乱」は、こうして、皮肉なことに、機械の知能の台頭として意識されることになります。 いつか、「人工知能と人間」というセミナーをやりたいと思っています。 ----------------------------- マルレク＋MaruLaboでは、開催したセミナーの様子を、ビデオで公開しています。 今回は、1月14日に開催した、マルレク「なぜ？で考える  ChatGPT の不思議」のセミナー・ビデオの公開です。ご利用ください。 ----------------------------- ChatGPT 試してみましたか？なかなか驚きです。今までのAI技術と一味違います。 いろいろ不思議なことに気がつきます。 第一。なぜ、こんなになめらかに賢く、人間と対話できるのでしょうか？ 第二。なぜ、こんなにも賢く見えるのに、平気で間違ったことを言うのでしょう？ 今回のセミナーは、主要にこの二つの「なぜ？」に答えようとしたものです。 「第 1 章 　ChatGPTの対話サンプル」では、ChatGPTの素晴らしい対話能力を示す例と、その反対に、全くの嘘を繰り返すひどい例の二つのタイプの対話サンプルを紹介します。 「第 2 章 　ChatGPTの方法」では、「対話のために最適化された言語モデル」であるChatGPTの最大の特徴である、「人間のフィードバックからの強化学習」という方法の概要を紹介します。 「第 3 章 　ChatGPTの教育環境」は、この「人間のフィードバックからの強化学習」という方法がどのようなものであるかを、彼 ChatGPTが受けた教育を具体的に振り返ることを通じて深掘りします。 「第 4 章 　ChatGPT

【「数学観」が技術を動かす -- 可哀想な数学 】 前回は、数学の基礎と計算機科学を直接結びつける重要な数学的発見が、1930~40年代にあったものの、肝心のコンピュータは、存在していなかったというという話をしました。今回はその後の時代の話です。 　【 20世紀後半での数学と計算機科学の接点 -- 「形式手法」と「従属型理論」】 20世紀の後半コンピュータが登場し、1960年代にはその利用が急速に拡大する中で、数学と計算機科学の接点を探ろうという研究は活発になります。 1970年代には、二つの研究の流れが独立に生まれます。　 一つは、計算機科学の側から生まれた、具体的なプログラムの分析を通じて、計算機科学の数学的基礎づけを目指す動きです。「形式手法」と呼ばれています。 もう一つは、論理学＝数学の側から生まれた、新しい「型の理論」である「従属的型理論」を構築して、プログラムとその実行の数学的特徴を捉えようとする動きです。 前者の「形式手法」の代表はホーアやダイクストラです。彼らは、代入文やif文、シーケンシャルな実行や繰り返しのWhile文といった具体的なプログラムの構成と論理との関係を研究しました。 後者の「従属的型理論」の代表は、ハワードやマーチン・レフです。彼らは、「型の理論」を作り上げ、抽象的ですが、プログラムの実行は、ある定理の証明に他ならないという認識にたどり着きました。 両者のアプローチは異なっていましたが、「プログラムと論理」という問題意識は共通のものでした。ただ、 20世紀の段階では、「プログラムと論理」という問題を扱うには、両者共に、いろいろな困難がありました。 論理学＝数学からのアプローチではある「従属型理論」は、現実のコンピュータ技術や具体的なプログラム言語との接点は明確ではありませんでした。そのスキマを埋めるのには、実際には、前回見たように 30年から40年の時間が必要でした。 計算機科学からのアプローチでは、論理の多様な性質への理解を欠いていました。実践的には、彼らの理論を実行する強力な「証明マシン」は存在しませんでした。ただ、それ以上の「障壁」があったように、僕は感じています。それが、今回のセッションの一つのテーマです。 今回のセッションでは、ホーア、ダイクストラ、ランポートらの「形式手法」の登場と挫折を取り上げます。 　　【 20世紀

【 数学の基礎と型の理論と計算機科学 】 今回のセミナーのテーマは、「人工知能と数学」ですが、このセッションでは、少し視点を変えて、もう少し広く「計算機科学と数学」の関係を考えてみようと思います。「計算機科学」と「数学の基礎」の関係が一つのテーマです。 数学の知識は、科学と技術のほとんどの分野で広く利用されています。ITの世界でも、数学の応用のスタイルは基本的には同じです。ただ、IT技術者が「数学の基礎」を意識すること -- 数学を利用・応用するだけでなく、なぜそれが可能なのかを考えることは、あまりないように思います。それは、IT技術者だけでなく、他の科学や技術の他の分野でも、数学との「距離感」は、基本的には同じかもしれません。 ただ、「人工知能」が日常的な話題になる今、数学の基礎をめぐる議論は、新しい形で甦りつつあります。 なぜなら、20世紀の「数学の基礎」をめぐる最初で最大の発見は、1930年代に行われた「論理的・数学的証明可能性は、計算可能性と等しい」という発見でした。それは、「チャーチ＝チューリングのテーゼ」という定式化を経て、「（機械によって）計算可能なもの は、証明可能である」という性質を明確に数学的に定式化することに成功します。 「（機械によって）」と括弧を付けたのには、理由があります。それは、この発見がなされた当時、「計算する機械」コンピュータは、まだ存在しなかったからです。 現代の「人工知能」をめぐる中心的な関心は、「計算機が計算可能な「知能」は、どのようなものか」という問いにあります。ただ、こうした問いに答えるのは、「応用数学」の知識ではなく、「数学の基礎」についての知識なのです。 今回のセッションでは、「数学の基礎」と「計算機科学」を結びつける「繋ぎ手」の領域として、「型の理論」に注意を喚起しています。この分野の重要性については、今回のセミナーでも説明していきたいと思います。 ただ、「数学の基礎」と「計算機科学」の距離は、想像以上に「遠い」ことも事実です。それには、いくつかの要因があります。 まず、「数学の基礎」の分野での基本的発見が、1930年代と、コンピュータのなかった遠い昔の出来事だったことが、一つの要因です。今から、90年前ですもの。ただ、科学的知識は、人間と違って経年劣化するものではありません。 もう一つには、この発見の口火を切ったの

【 GitHubがChatGPTを救う (2) 】 　【 ChatGPTの実装の特徴 】 ChatGPTは、 「人間のフィードバックからの強化学習」”Reinforcement Learning from Human Feedback (RLHF)” と呼ばれる手法に基づいて、訓練されています。 それは、Turingの「機械の思考は可能か？」という問いに始まる、基本的には機械の自律的な思考を追求する、従来の「人工知能」へのアプローチとは、異なるものです。 この手法は、ChatGPTのプロトタイプであるInstructGPTで導入されたものです。 　【 ChatGPTは成長する「子供時代」の彼は、何を学んだのか？】 なぜ、「人間のフィードバックからの強化学習」と呼ばれるのかは、ChatGPTがどのようなデータでどのような訓練を受けてきたのかを見ればわかります。 まず、「子供時代」のChatGPTが何を学んだのかを見ていきましょう。（「子供時代」という言い方が変に思われるかもしれませんが、ChatGPTも「成長」します。） 機械翻訳では、同じ意味をもつ二つの言語のペアのサンプルの集まり「パラレル・コーパス」が学習すべきデータでしたが、「会話」のスキルを学ぶべき彼(ChatGPT:Optimizing Language Models for Dialogue )に与えられたのは、「質問」と「答え」のペアからなる会話のサンプルです。 　【 質問に、ことばで答えることを人間から学ぶ 】 OpenAIは、彼 ChatGPTの教育のために、「質問」と「答え」からなる沢山のペア・データPromptを、人を雇ってつくらせました。雇われた人間は、Labelerと言われています。 彼 ChatGPTにことばを教えた「母」は、このLabeler です。彼がことばを操るのは、「子供時代」に人間(Labeler)が書いたことばを学んだからです。機械は、真似するのは得意ですから。 もしも、質問と歌のペアで訓練されたら、きっと彼女 ChanteGPTは、質問に対して歌い出したはずです。 　【 会話の評価は、人間が与える】 「子供時代」のChatGPTの受けた教育で最も重要なものは、会話の「評価」です。 その「評価」は「母」であるLabeler が与えます。人間が、評価を与えています。その評

 【 GitHubがChatGPTを救う (1) 】 今回のセッションでは、GitHubがChatGPTを救うかもしれないという話をしようと思います。ChatGPT的アプローチの抱えている基本的弱点のいくつかを、GitHubの利用によって補完することができるかもしれないという話です。 少し長くなりそうなので、2回に話を分けたいと思います。 最初にお断りしたいのは、僕はこうしたアプローチGitHub + ChatGPT = GitHub Copilotと考えていいのですが、そうした動きを紹介するのは、それらに諸手を挙げて積極的に評価しているからではありません。 ただ、今、何が起きているのか、なぜそうしたことが可能なのか、その背景を正確に理解する必要があるのだと考えています。 その上で、各人が考えることが必要なのです。 　【 僕の基本的立場 】 今回のセミナーのテーマは、「人工知能と数学」です、現代の大規模言語モデルベースの「人工知能」技術には、数学的な能力が欠如しているというのが基本的な問題意識です。 それでは、「人工知能とプログラミング」という問題については、どうなのでしょうか？ 現在の「人工知能」にプログラムを書く能力があるのかという問題に関して言えば、そんな能力はまだないと僕は考えています。なぜなら、プログラムを書く能力は、本質的には数学的能力だと考えているからです。 　【 一つ目の誤解 】 ChatGPTの登場を見て、「人工知能」技術が新しい段階に順調に発展したきたと考えている人は多いと思います。でも、それは誤解だと思います。 確かに、「人工知能」技術の新しい段階への飛躍を目指して、OpenAIは「人工知能」による数学の問題の証明に、Googleは「人工知能」によるプログラムの生成に、果敢に取り組みます。ただ、この二つのプロジェクトは2022年には失敗します。 ChatGPTは、こうした挫折の中で、一時的な「路線転換」として生まれたものだと僕は考えています。 　【 OpenAIの数学への挑戦 】 OpenAIの “Theorem Prover” プロジェクトでの数学の問題への挑戦と挫折については、マルレク「コンピュータ、数学の問題を解き始める」をご覧ください。  https://www.marulabo.net/docs/math-proof/　 原論文は、