ニューラル・ネットワークは モノマネの天才
【 ニューラル・ネットワークは モノマネの天才 】
機械の学習能力を、人間の言語や数学の学習能力と比較することは、いわゆる「人工知能」の現在の到達点を評価する上で大事なポイントになると僕は考えています。
機械の学習能力を考えるには、人間との比較だけではなく、それとは異なるアプローチがあります。それは、機械の能力自体がどのように発展してきたかを、技術的な視点から歴史的に振り返ることです。
大規模言語モデルを一つの到達点として考えると、そこには二つの技術的な飛躍があったことに気づきます。
一つは、以前のセミナーでも取り上げた「意味の分散表現」技術の獲得です。この分野の研究は現在も活発に進んでいます。次の機械の認識能力の飛躍は、こうした研究の中から生まれると思います。
もう一つは、今回取り上げる RNN ( Recurrent Neural Network ) 技術の採用です。RNNの一種であるLSTM ( Long Short Time Memory ) は、現在の大規模言語モデルを構成するユニットの心臓部です。心臓というより、大規模言語モデルそのものが、全身、このLSTMのかたまりだと思っていいと思います。
大規模言語モデルの理解には、要素技術的には、RNN = LSTM の理解が不可欠です。それは、ChatGPTにしても同じことです。
真面目に大規模言語モデルを勉強しようと思ったら、ここは避けて通れないところだと思います。是非、チャレンジください。ただ、その働きの技術的説明は面倒臭いです。ここで書くには長すぎます。別に資料を用意します。
現代では、誰もが 「人工知能」について語ることができます。それはそれでいいことかもしれません。
それでは、「人工知能」技術の大飛躍をもたらした RNN技術の導入を、一般の人にわかりやすく伝える方法はないのでしょうか？ たぶん、それはできると思います。
2011年、Ilya Sutskever はRNNを使って、Wikipediaやニューヨーク・タイムズの文体をまねた英文を、機械に造らせることに成功します。
2015年、Andrej KarpathyはRNNを使って、数学の論文やCのプログラムをまねて、どこにもない数学の論文・Cの論文に見える出力を、機械に造らせることに成功します。
RNNは、モノマネができるのです。しかもその能力は、天才的なものです。機械は、RNNによって、学習したもののモノマネをする能力を獲得したのです。それは、機械の能力の発展にとって、画期的な出来事でした。
「モノマネって、そんなに大事なの？」
と思われるかもしれないですが、「モノマネ = 模倣」は、人間の学習でも、とても重要な役割を担っています。人間の教育の場面で、「モノマネ = 模倣」はいろんなところに現れます。以前見た「漢文の素読」は、教師の発話の模倣が出発点です。
日本語の古語だと、「真似ぶ」と「学ぶ」は同じことばです。
「文才をまねぶにも、琴・笛の調べにも、功足らず」
鳥は、「人の言ふらむことをまねぶらむよ」
オウムは、人の言うことをオウム返しに「モノマネ」することがあります。
18世紀のなかばに、ディドロはこう言っていました。
「何にでも答えるオウムを見つければ、
私は躊躇なくそのオウムは知的だとみなすだろう」
実は、「人工知能」論と「モノマネ」には意外な接点があります。
1950年、チューリングは、機械が知性を持つかどうかをどう判断するのかという問題に、対話の相手が人間か機械かを人間が判断できなければ、その機械は知性を持つとみなすことができるという基準を提案します。それが、「チューリング・テスト」です。
機械が人間の真似をするので、この「チューリング・テスト」は「イミテーション・ゲーム = まねっこゲーム」とも呼ばれます。
RNNの登場をきっかけとする「モノマネをするマシン」の登場は、チューリング・テストの応用に、いろいろな興味深い問題を提起します。それについては、また、別の機会に。
相手が機械か人間かを判断するチューリング・テストの現代バージョン。
相手がテキパキといろんなことを大量に答えれば、相手は機械。
相手がぐずぐずと答えるのが遅ければ、相手は人間。
冗談です。
https://www.marulabo.net/docs/AI+Math/
コメント
コメントを投稿