過去・現在・未来

あさって 11/19のセミナーですが、「はじめに」の部分できました。（遅い！）遅かったせいか、まだ、席に余裕があります。よろしかったら、聴きに来てください。 https://lab-kadokawa71.peatix.com/ 資料公開しました。ご利用ください。 https://goo.gl/ymYfFY --------- はじめに --------- 人工知能のもっとも基本的な問題の一つは、機械と人間にとっての「認識」の限界を正確に知ることであると僕は考えている。 量子コンピュータの登場が、こうした問題にどのような新しい地平を切り開くのかということは、人工知能論にとっては大事な問題である。 こうした観点から、量子コンピュータと量子複雑性理論については、これまでいくつかの機会で紹介してきたのだが、計算可能性理論や複雑性理論そのものについては、あまり語ってこれなかった。 今回は、第一部で、改めて複雑性理論の中核である「NP-完全」問題という不思議なコンセプトを説明しようと思う。「NP-完全」の発見なしには、複雑性理論は生まれなかったと言っていい。その理論的インパクトは、計算可能性理論の創出にゲーデルの不完全性定理が与えたインパクトと同じものだと思う。 「NP-完全」問題は、基本的に、力まかせの総当たりでやれば必ず解は見つかるはずというところが、どう頑張っても原理的に証明することが不可能な命題が存在することを主張する「不完全性定理」とは異なっている。 ただ、総当たりで問題を解くには、n個の条件が成り立つか否かというように問題を単純化しても、試すべき条件の組み合わせは、2のn乗個になる。nが小さいうちは（例えば、n=10なら、1024個の場合をチェックすればいい）なんとかなるのだが、nが大きくなるにつれ、問題は、文字通り指数関数的に難しくなる。それは、総当たり法では、現実的には、全く手に負えない問題となる。 量子コンピュータに対する期待の一つは、それがn-qubitの入力に対して、それに対応する2のn乗個の状態の演算を同時に実行することができるので、それをNP-完全問題の攻略に利用できるのではないかというものである。 量子コンピュータなら、NP-完全問題も解けると思っている人も少なくないのだが、

11月17日角川さんで開催の、連続ナイトセミナー「人工知能を科学する」の第三回のテーマは、「人工知能と量子コンピュータ」です。講演概要については、最後をご覧ください。https://lab-kadokawa71.peatix.com/ 12月14日開催の「人工知能を科学する」の第四回目のテーマは、「人工知能と哲学」です。こちらもご期待ください。 この「人工知能と哲学」では、ペンローズの計算主義批判を取り上げたいと思っています。僕は、ペンローズの大ファンなのですが、彼の「量子脳」の議論には反対なのです。 この「人工知能と哲学」を皮切りに、冬の間、すこし「哲学」的な話もしたいと思っています。 次回のマルレクのテーマは、「意味の形式的理論」です。「意味の意味」については、様々な議論があるのですが、「理論とそのモデル」というモデル論的なアプローチを中心に、意味の形式的な理論について考えたいと思っています。現実的な話題としては、DiffbotやBERTの話題も取り上げようと思います。 次回の「楽しい数学」のテーマは、「数理哲学入門２ -- 「同じ」を考える」です。一年前に亡くなったヴョブドスキーのメモリアルで、彼が根本的に刷新した「型の理論」の話をしようと思います。その理論が、数学の基礎づけに大きな影響を与えたことを、「「同じ」とは何か？」という問いに対する探求として説明できればいいと思っています。 少し違う角度から、また、専門家でなくてもわかることから、我々の「認識」の能力の不思議さについて考えられればいいと思っています。冬の哲学三講座、ご期待ください。 最後に、量子コンピュータ関連の取り組みについてです。 先日のマルレク、量子フーリエ変換にフォーカスしようとしたのですが、テクニカルな議論が多すぎて、あまりうまく伝わらなかったのではと、反省しています。こちらは、「紙と鉛筆で学ぶ量子情報理論 II」でフォローします。 今月の「人工知能と量子コンピュータ」ですが、次のような話をしようと思っています。 --------------------- 11/17「人工知能と量子コンピュータ」講演概要 --------------------- 量子コンピュータが、人間の認識の「限界」をどのように拡大するかは、人工知能の未来を考える上で、

昨日(10/26)の角川さんでの連続講座「人工知能を科学する」第二回「人工知能と自然言語」の様子です。沢山のご参加ありがとうございました。 あと講演終わってからの打ち上げの様子です。 実はこの間風邪で寝込んでいました。 皆様も、風邪など引かぬようお気をつけください。

先に、数学の「複雑性理論」という分野には "Oracle（神託）" という考え方があることを紹介した。どんな問題にも、「正しい」答えをすぐに返してくれるという、架空の「全知全能」であるシステムのことだ。 ただ、まったくの「御都合主義」にも見えるそうした仮定は、実は、現代の我々の日常に深く入り込んでいる。古代ギリシャのOracleを引き合いに出さなくても、僕は、"Google" という用語を使った方がわかりやすいと思うのだが。 今回は、このOracleの少し変わったバージョンMerlinを紹介する。ランダムな振る舞いをするOracleだと思えばいい。このMerlinは「全知全能」である点は「普通」のOracleと変わりないのだが、ただ、クセがある。不誠実なのだ。人間の問いかけに、いつも「正しい」答えを返すとは限らない。ときどき、わざと間違った答えを返す。（こっちを、"Google"と呼んだ方がいいのかも） ただ、これだけだと、単なる「神頼み」にしかならないので、人間の知の数学的モデルとしてはつまらない。そこで、もう一人のAuthurが登場する。Authurは、Merlinほどの能力はないのだが、誠実である。その上、彼は、Merlinがいうことが正しいか正しくないかの判断を「正しく」行う能力は持っている。 Merlinが「数学的証明」を提供し、Authurがその証明を「検証」するというシステムがあった時、このシステムで何がわかるかを考えるのを「Merlin-Authur問題」という。 僕は、Scott Aaronsonの"Quantum Computing since Democritus"  https://goo.gl/dwjtsc  で、この問題を知ったのだが、そうでなければ、ずっと「Merlin-Authur問題」を、二人のMerlinとAuthurという名前の数学者が考えた問題だと思っていた可能性がある。（原論文は、L.Babal  "Trading group theory for randomness" https://dl.acm.org/citation.cfm?id=22192 ) 実は、Merlinは魔法使いで、Arthurは

「オラクル(神託)」は、かつてギリシャのデルファイのアポロ神殿の巫女が行った予言のこと。古代ギリシャでは、社会的に重要な意思決定は、すべてこのデルファイの神託を仰いで行われたらしい。最高位の巫女は、Phythiaという。この名前は、地球の中心に存在すると信じられていた巨大な蛇 Python に由来する。 OracleもDelphiもApolloもPythonも、IT業界では別の意味で、会社名・プロダクト名として有名なのだが、欧米人にはギリシャの古典を愛する人が、現在も（IT業界にも）存在するのだと思う。それは、かつての日本人が、中国の古典を愛していたのと同じだ。 ところで、数学にも "Oracle" という概念があるのだ。それは、どんな問題に対しても瞬時に正しい答えを返してくれるシステムを仮定して、それを Oracle という。 それは、複雑性理論の中心的なツールだ。例えば、次のように使う。 $$P^A$$ という複雑性のクラスは、クラスA-完全のOracleが与えられたときに、P(決定問題が多項式時間)で解ける問題のクラスで、$$NP^A$$は、クラスA-完全のOracleが与えられたときに、NP(yesの場合の決定問題が多項式時間）で解ける問題のクラスということにするのである。だから、$$P^{NP}$$は、NP-完全な問題へのOracleが与えられたとき、決定問題が多項式時間で解ける問題のクラスになる。 なんて勝手な想定なんだ、数学に「神託」を導入するなんてトンデモナイと思うかもしれないが、そうすることによって「複雑性の階層」に対する見通しが、とてもよくなるのだ。ここでは、そのことを詳しくは論じないが、我々の日常でも、このOracleの利用に相当することが実際にあるのである。 たとえば、Pythonでプログラムを組んでいるとしよう。数値計算にnumpyを使う時、我々は必ずしもnumpyが行っている処理の詳細を理解する必要はない。我々が、それに期待するのは、それが「正しい答え」を「確実」に返してくれることである。 数学でも同様である。数学の証明は「厳密」なことを是とするのだが、全ての証明の細部を書く必要はない。例えば、何千年前の「ピタゴラスの定理」の証明を、全ての数学的証明がくりかえす必要はないのだ。数学的に「確定」

チューリングのディジタル・アーカイーブをチェックしていたら、とてもとても面白い論文を見つけた。 "Intelligent machinery, a heretical theory" 「知的機械、ある異端的理論」 https://goo.gl/Rcwku6 有名な Mind誌に寄稿した50年の彼の論文 "COMPUTING MACHINERY AND INTELLIGENCE"  https://goo.gl/p5ttGY  のあと、51年のどこかでの講義ノートの草稿だ。 僕が驚いたのは、前半の機械による数学的証明に関する部分と、後半の機械の「教育」（かれは、"Learning"ではなく"Education"という言葉を使っている）に関する部分だ。 全然、「異端的(heretical)」でも「異教的」でもないじゃないか。現在の我々から見ると、どんぴしゃりの「正統派」の洞察である。 機械による数学的証明について、彼はいう。 「機械は、例えば、プリンキピア・マセマティカの形式的証明の妥当性をテストできるだろうし、そうした体系のある命題が証明可能か証明不可能かさえも、教えてくれるだろう。その命題が証明可能でも証明不可能でもない場合には、マシンは結果を返すことなくずっと動き続けるので、満足できる振る舞いをしないかもしれないのだが。 ... 数学者だって、フェルマーの定理が真か偽か数百年考えているのだから。」 こうした認識は、アーロンソンが、複雑性理論の嚆矢として高く評価している、1956年のゲーデルからフォン・ノイマンにあてた手紙と通底するものだ。（それについては、僕の「ナッシュとゲーデル」  https://goo.gl/vjSLx1  を読んでほしい。） もっと面白いのは、機械が間違ったことを言ってもいいという、次のような主張だ。 「私の主張は、機械たちが、人間の心の振る舞いを非常に正確にシミュレートするように構成できるということだ。機械は、時には間違いをおかすだろうし、時には、新しい面白いことをいうかもしれない。」 それは、人間だって同じだろうと彼はいう。機械が間違った証明をしても、 「そうした機械の教育は、高

角川さんでの連続講座「人工知能を科学する」の第一回目「人工知能と複雑性理論」の様子です。3時間コースでした。長ければいいというわけではないのですが、MA(Merlin-Arthur）クラスの説明、もう少しきちんとできればよかったかなと思っています。 「人工知能を科学する」の第二回は、「人工知能と自然言語」で、10月26日の開催です。申し込みは、こちらから。 https://lab-kadokawa70.peatix.com/ 　 セミナーが終わった後は、遠藤さんとMaruLaboメンバー4人で、中華を食べに行きました。

9/27 角川さんで開催の「人工知能と複雑性理論」の「はじめに」の部分できました。ご利用ください。 https://lab-kadokawa67.peatix.com/ ---------------- 小論は、人口知能研究の今後の発展の方向を、数学的・物理学的認識可能性の理論でもある「複雑性理論」の成立・発展を中軸にして考察したものである。 なぜ、数学的・物理学的認識が問題になるのか？ もちろん、人工知能研究の基本的な問題は、「機械は考えることができるか？」という、チューリング以来の問題である。 「機械が考えること」の中に、感覚＝運動的な認識能力だけでなく、言語的な認識や数学的認識を含めると問題は急に難しくなる。ただ、こうした問題を避けるわけにはいかないと、筆者は考えている。また、人工知能は、理論的な構成物としてではなく、物理的なものとして実装されねばならない。 人間と機械の数学的・物理的認識の限界を（筆者は、両者は同じ限界を持つと考えている）、知ることは、すなわち、人工知能の認識の限界を知ることに他ならない。 人工知能研究の現状からいうと、問題をかえって難しくしているだけと感じる人もいるかもしれない。ただ、「複雑性理論」を視野に入れると、未来についての見通しは、むしろ良くなると筆者は感じている。 「複雑性理論」の第一世代は、1950年代に定式化される「計算可能性理論」である。それは、数学的・形式的な抽象的なものでしかなかった。 「複雑性理論」の第二世代は、1970年代に始まる「計算複雑性理論」である。それは、コンピュータの爆発的普及に刺激を受け、コンピュータの能力を意識したものであったが、数学的・形式的なものであった。（もっとも、その基本問題である P=NP? 問題は、そうした性質を持ち続けている） 「複雑性理論」の第三世代は、1980年代の「理論的可能性」としての「量子コンピュータ」の登場とともに始まる。 この第三世代は、「複雑性理論」の発展としては、「量子複雑性理論」の成立として特徴付けられるのだが、その過程は、 「情報過程＝物理過程」という認識によって支えられていた。 同時に、それは、「物理過程＝情報過程」という認識の成熟でもあった。ブラックホールやエンタングルメントのエントロピーの発見、ブラックホー

「複雑性理論」を、以前に少し流行したことのある「複雑系」の議論と同じものだろうと誤解されていることに、最近気づきました。当然ありうる誤解なのに、迂闊でした。 確かに、対象が「複雑さ」だと思えば、一部分は重なるところもあるのですが、「複雑性理論」と「複雑系」の議論は、まったく違うものです。 現在の「複雑性理論」の歴史をたどると、二つの起源にたどり着きます。 一つは、20世紀初頭からの数学の基礎付けをめぐる探求です。ヒルベルトの「有限の立場」にはじまり、ゲーデルの「不完全性定理」が衝撃を与え、「チャーチ＝チューリングの提言」で「実効的な」「計算可能性」概念が、いったん定式化されるといった一連の流れです。 もう一つは、20世紀の中盤以降、コンピュータ技術が爆発的に発達する中で生まれた「計算量理論」「計算複雑性理論」です。そこでの最大の気づきは、「実際に」コンピュータで計算できるものを考えると、「多項式」で表現される計算時間と、「指数関数」で表現される計算時間とには、「質的」な違いがあるのではというものでした。（この計算複雑性理論の中心的な問題である「P=NP？問題」は、今に至るも解決されていません。） 二つの流れは、別々のものでした。 前者は、人間の数学的認識の原理的「限界」に関わるもので、後者はコンピュータによる計算の具体的「限界」に関わるものです。 ただ、人工知能をめぐる基本的な問題が、最終的には、人間の知能の機械による実現は可能かということであるなら、両者は結びつきます。なぜなら、人工知能は人間の数学的認識をも実現するものでなければならないし、それはまた、実際のコンピュータ上で実装されなければならないからです。 人間の知能の本質を、「計算」として捉える立場を、「計算主義」と言います。それは、現在のディープラーニング技術が、よって立つ、「コネクショニズム」とは異なる立場です。僕は、人工知能論では、この「計算主義」の立場に立っています。それは、コネクショニズムは、数学的認識に関しては、無力だと考えているからです。 現代の複雑性理論には、第三の起源があります。 理論史的には、それは、ファインマンによる「量子コンピュータ」の提唱にはじまるものです。 ただ、その背景には、とても重大な認識の発展があります。それは、全ての情報過程が

「人工知能」の「力」は誰のものかと考えることがある。 運動選手やアーティストの力は、素晴らしい。その力は、彼ら個人のものだ。 金足農業の吉田選手の力は、同じ秋田出身でも、運動音痴の僕とは無関係だ。僕が、いくらバンプの藤原（両親が秋田出身）が好きでも、親と同郷だからといって、僕の歌が上手くなるわけでもない。人間の感覚・運動能力は、個人に帰属する。 それでは、人間にはできない力を持つ機械、例えば重いものを押したり持ち上げるブルドーザーやクレーン、空を飛ぶ飛行機は、その力を自分のものだと思っているだろうか？　もちろん、そんなことはない。これらの機械に「意識」はないのだから。 F1ドライバーは、自分の身体能力の「延長」として、自分のドライバーの力を感じているように思う。普通のドライバーも、スピードを楽しむ時、遠くに出かける時、我々は、我々の「力」が拡大していると感じているはずだ。 実際には、その「力」を可能にしているのは、機械の「力」なのだが。それは、無意識のうちには人間の「力」として意識される。（事故や故障で車が動かなくなったときに、我々の力でなかったことに気づく。）車のように、個人が所有できる機械の力は、個人のものである。 ただ、別の考えもある。フェラーリの車の力は、それを作ったフェラーリのものだし、iPhoneの力は、アップルのものでもある。技術的な製造物の力は、それを作った企業に帰属する。 北朝鮮のミサイルや核兵器の力は、金正恩の力である。（個人に戻っちゃった。）戦争する「力」は、たいていは、国家の能力である。 もっと面倒なものもある。電気・水道・ガスといった「社会的インフラ」の力だ。それが上手く機能しないと大変なことになるのを、最近、経験したばかりなのだが。 北海道の電気の力の「所有者」は、北海道電力なのかな？　そうかもしれないし、そうじゃないのかもしれない。 我々には身近な「インターネット」や「ネットワーク」についても、その力の淵源がどのあたりにあるのjか、また、その力は誰のものなのかを考えると、いろいろ面白い問題にぶつかる。 注意して欲しいのは、こうした議論に迷いこむのは、機械あるいは機械から構成されるシステムの「力」の概念が曖昧だというわけではないということだ。それらの「力」は、その「力」の欠如と対比すれば、誰

「虫や魚には「理解」できないことがあるだろう」と多くの人は考える。ただ、人間にも「理解」できないことはある。 このことを、数学の世界で「数学的には、証明できない数学的命題がある」という形で、最初に定式化したのは、ゲーデルである。1930年代のはじめである。 我々の認識の可能性とその限界については、数学が一番鋭敏な感受性を持っていると思う。 「証明（計算）可能性」については、「計算可能というのは、帰納関数として定義されるものだと考えよう」というまとめがなされ、数学的には一段落する。これを、「チャーチ＝チューリングのテーゼ」という。もっとも、この「テーゼ」自身は、まったく数学的命題ではないのだが。1950年代のことである。 一段落したといったが、もちろん、ゲーデルの不完全性定理は、「人間の認識の限界」について、山のような議論を巻き起こした。これらの有象無象の議論の中で、出色のものが一つあった。それは「機械は考えることができるか？」というチューリングの問題提起だったと僕は考えている。 数学的な命題であるゲーデルの定理を、いろいろ拡大解釈して人間の認識の限界と結びつけるのではなく、「機械だって、人間のように考えることができるんじゃないの？」と、機械の認識の可能性を対置したのだから。 この論文は、「人工知能」研究の扉を開くことになる。 残念ながら、こうした論点を深めることなく、チューリングは、世をはかなんで自殺してしまう。 「計算可能性理論」が、大きな転機を迎えるのは、1980年代に入ってからだ。 ファインマンが、コンピュータでは量子力学の法則に従う自然のシミュレートができないことに気づく。彼は、自然のシミュレートが可能なコンピュータは、量子力学の法則に従ったコンピュータでなければならないと主張する。 この指摘が、「量子コンピュータ」研究の始まりである。 数学的体系と同様に、自然もまた、我々の認識の対象である。数学だけでなく、物理学もまた、我々の認識の可能性と限界について、強い関心を持っているのだ。 ドイッチェは、ファインマンの考えを受けて、チューリングマシンの量子版を構成し、こうした量子チューリング・マシンで計算可能なものが計算可能であるとする。これを、計算可能性についての「チャーチ＝チューリング＝ドイッチェのテーゼ」という。

「数学とNP問題」というのは、少し奇妙なタイトルかもしれない。 というのも、PやNPといったクラスを扱う「複雑性理論」自身が、数学の一分野だからである。正確にいうと、複雑性理論は、数学理論であると同時に、現在では、物理理論の一部でもある（もちろん、計算機科学の一分野でもある）。 そのためには、BQP(量子チューリングマシンで「多項式時間」で計算可能なクラス)が、現在の複雑性の理論では重要なクラスになっていることを説明しなければならないのだが、それについては、ショアのアルゴリズムを紹介した後で述べようと思う。 ここでは、数学理論としての複雑性の理論に、問題を限ってみよう。 NPクラスの説明によく用いられるのは、素因数への分解問題である。ある自然数Nを「多項式時間」で素因数に分解するアルゴリズムは、現在では、まだ見つかっていない。（多分、そんな多項式時間アルゴリズムは見つからないだろうと感じている人が多いのだが、かといって、そのことが確定しているわけではない。） 一般の数Nではなく、条件を緩めて、Nは二つの素数の積であることがわかっていたとしても、Nが大きな数になると、Nを素因数に分解すること、すなわち、N=pqであるような二つの素数 p, q を見つけることは、極めて難しくなる。 ただ、N, p, q が具体的に与えられているなら、「Nは、素数pと素数qに、素因数分解される」という主張は、簡単に検証できる。pとqを掛けて、その結果がNに等しいことを示せばいいのだから。掛け算は、もちろん簡単な計算で、多項式時間で終わる。 こうした、その問題を解くのが「多項式時間」で終わるかどうかはわからなくても、具体的な値で与えられたその問題の「答え」と言われるものが、本当に「正しい答え」であるかどうかを「多項式時間」でチェックできる問題のクラスを、NPという。素因数分解問題は、NP問題である。 （ちなみに、「答え」（なるもの）が与えられた時、それが「間違った答え」であるかどうかを「多項式時間」でチェックできる問題のクラスを、 co-NP問題という。素因数分解問題は、co-NP問題でもある。） こうしたことや、NP問題である素因数分解問題に現れる「難しさ」と「易しさ」の「非対称性」が、現在の公開キー暗号の基礎になっていることは、多くの人が既に知ってい

別のポスト 「文法を計算する１」 で、次のように書いた。 「複雑性の理論では、計算可能なもっとも簡単なクラスを「多項式時間で計算可能： P」と呼ぶのだが、我々の言語能力は、明らかにクラスPに属するはずだ。だって、「多項式時間」どころではなく、リアルタイムに相手の話す言葉が文法にかなっているかを判断して聞き取り、リアルタイムに文法的に正しい文を生成してしゃべることができるのだから。」 もっとも、こうした議論は、そのままでは、理論的には「正しい」議論という訳ではない。 一つには、この議論は、リアルタイムに人間と同等の言語能力を示すシステムを構成しない限り、単なる予想であって、証明されたものではないからである。もう一つ、別の問題もある。それは、この議論は、言語能力のような人間の現実の諸能力を、数学的に定義された複雑性理論上のクラス（この場合はP）に、関連づけているからである。 後者の指摘の方が、より深い問題に根ざしているのだが、多少の飛躍をまじえて言うと、それについては、僕は、「人間の認識の形式的で数学的なモデルが構築可能である」と考えている。それは、形式としては数学的な表現を取りながら、物理学が、実在の運動法則の理論であることと同じである。物理学が、数学的形式をまとうことが必然であるように、認識の理論には、認識の理論の数学が必要なのである。 こうした認識論的な立場からは、言語の領域について言えば、その中核である「文法」の本質を「計算可能性」と捉える「計算主義的言語理論」は、僕には、魅力的である。そして、こうした立場が、「実際に、そうしたシステムは、作れていないじゃないか」という、先の前者の指摘に、実際にそうしたシステムを作り上げることで応えようとする試みをドライブすることになると考えている。 ところで、複雑性理論のコンテキストの中にいると(特に、 degree of unsolvability の議論)、何かPが「簡単」な計算のクラスに見えてくることがあるのだが、現実的には、それは大きな錯覚である。 世の中の「正しく動く」コンピューター・プログラムは、全てクラスPに属するのだし、クラスPに属する問題の数を、簡単なものから数え上げることも、現実的には不可能なのである（これについては、あとで「いそがしいビーバー問題」というのを紹介する。） 「

本日のマルレクの様子です。終わる頃には、激しい雷雨が一段落してよかったです。 更新された講演資料は、こちらです。ご利用ください。 https://goo.gl/B87wxk

日本語についても、Lambekにつらなるカテゴリー文法のアプローチを取る言語学者は存在する。戸次大介先生の「日本語文法の形式理論」は、そうした立派な仕事だと思う。 https://goo.gl/DLgmxK 　 僕は二年前にこの本を見つけて喜んだのだけれども、冒頭の第一章「はじめに」の「文科系言語学と理科系言語学の乖離」は、気が滅入る内容だった。 この2-30年にわたって、日本の言語学会には、「埋めがたい」「溝」があるという。 そのきっかけは、「1990年代にさしかかると、自然言語処理のコミュニティにおいて、文科系言語学、ひいては記号論的アプローチそのものに対する失望感が蔓延するようになり、その後、統計的アプローチが成功を収めてからは、コミュニティ間の溝は埋めがたいものとなってしまった。」 ただ、それは20世紀の話だ。20世紀の統計的アプローチは、そんなに成功したのかと、ふと思う。 20世紀の終わりには、ChomskyのMinimalist Programが現れ、21世紀の初頭（2004年）には、Benjioが、それまでの機械翻訳の主流であった「統計的機械翻訳モデル」に代わる、「ニューラル機械翻訳モデル」を提案する。“A Neural Probabilistic Language　Model”  http://goo.gl/977AQp ただ、こうした機械翻訳へのディープラーニングの手法の応用が「成功」するのは、2016年のGoogleの「ニューラル機械翻訳」を待たねばならなかった。 もちろん、それも、単純に「成功」と喜んではいられないのだ。Alexa等のボイス・アシスタント・システムの一般消費者への普及は、自然言語処理の難しさを、今では、誰もが理解できる問題にしていると、僕は考えている。 「自然言語処理のコミュニティ」に、成功者は、いまだ存在しないのだ。

1958年の論文の後、Lambekは数学の世界で研究を続けることになる。ところが、それから50年経った2008年、Lambekは興味ふかい言語学の論文 "From Word to Senrence" を発表する。 http://www.math.mcgill.ca/ba…/lambek/pdffiles/2008lambek.pdf なぜ彼は50年経って、また言語学に興味を覚えたのか？　 その理由は、明らかだと思う。かつての僚友 Chomskyが、1998年に発表し、現在の言語学の大きな潮流となった "Minimalist Program"とその"Merge"という基本コンセプトに大きな刺激を受けたからだと僕は考えている。 基本的なアイデアは、1958年の論文と同じだ。ただ、ノテーションが異なっている。 かつての二つの基本的な計算ルール 　　　(x/y)y --> x 　　　y(y\x) --> x は、次のように表現される。 　　　Xl・X --> 1 　　　X・Xr --> 1 本当は、XlのlもXrのrも、Xの右肩上に添字として乗っかっているのだが。（Facebookじゃ表現できないのでお許しを。） lはleftのl、rはrightのrである。 lを右肩上の添字に持つXの後ろにXが現れれば、それは、消えてしまうし（積として1をかけるということは、なにもしないことだから）、同様に、Xの後ろに、rを右肩上の添字にもつXrが続けば、それは消えてしまうということ。 同じことだが、Xに「左から」Xlを作用させると打ち消し合い、Xに「右から」Xrを作用させると打ち消しあうということ。 文字で説明すると面倒だが、慣れると、スラッシュとバックスラッシュを使った58年の論文の記法より、わかりやすくなる。 Lambekが言いたいことは、二つのものから一つのものを作るChomskyのMergeの本質は、こうした数学的操作の導入で、もっとわかりやすくなるということだと思う。 それだけではない。 58年の論文では、基本的な型として、nとsだけを使っていたのだが、2008年の論文では、もっとたくさんの基本的な型を導入している。

我々は、他人が話す、いままで一度も聞いたことがない文でも、それが文法的に正しいものであれば、ただちにそれを理解する。また、話したいことがあれば、自分がいままでしゃべったこともない文を、正しい文法で即座に話すことができる。 我々が持っているのは、日本語・英語の同じ意味を持つ二つの文章のペアを、気が遠くなるほど大量に集めて、高性能のGPUを使って何日もかけて「学習」するディープラーニングの機械翻訳技術とは、違う言語能力である。 「正しい文法で」と書いたが、我々は、母語の文法を、あとで習得する外国語の文法のように明示的に「知っている」わけではない。ただ、我々のからだは、なにが文法的に正しく、何が文法的に正しくないかを、正確に知っているのは確かである。 複雑性の理論では、計算可能なもっとも簡単なクラスを「多項式時間で計算可能 P」と呼ぶのだが、我々の言語能力は、明らかにクラスPに属するはずだ。だって、「多項式時間」どころではなく、リアルタイムに相手の話す言葉が文法にかなっているかを判断して聞き取り、リアルタイムに文法的に正しい文を生成してしゃべることができるのだから。 言語能力を計算能力として捉えようとするときに、その中心的な課題は、文法的に正しい文を生成する計算規則を見つけることだ。それは、文法の計算ルールを見つけることだと言って良い。 60年ほど前に、Lambekは、驚くべき発見をする。 文法の計算ルールは、次のたった二つの式で表されるというのだ。 　　　(x/y)y --> x 　　　y(y\x) --> x (x/y)y --> xは、x/yという型を持つ語の後ろに、型yを持つ語が続けば、それは、型xを持つものに変換され、 y(x\y) --> xは、型yを持つ語の後ろに、x\yという型を持つ語が続けば、それは、型xを持つものに変換されることを意味する。 Lambekは、名詞を表す型nと、文を表す型sというたった二つの型を用いて、語の並びから、先の二つの計算ルールで文を導く計算をしてみせる。（ 計算部分、青字でおぎなっておいた。） そのためには、伝統的な品詞分類を離れて、次のような新しい品詞分類を導入すればいいという。（図２） 　自動詞　　　n\s 　形容詞　　　n/n 　副詞

来週 8月27日、富士通さんで開催の第三回マルレク「自然言語とコンピュータ概論 -- 計算主義的言語理論入門」の一般申し込み受付中です。 https://language1.peatix.com/ 自然言語をコンピュータに理解させることは、人工知能技術の大きな課題です。ただ、その取り組みは、まだ道半ばです。 今回の講演では、コンピュータによる自然言語理解をめぐる主要な三つのアプローチを取り上げ、その現状を概観します。特に、人工知能技術の文脈では、あまり取り上げられてこなかった、「計算主義的」な言語へのアプローチを紹介しようと思います。 次のような構成を考えています。ご期待ください。 ------------------------- 第一部　ディープラーニングからの 自然言語へのアプローチ ------------------------- 　● ニューラル確率言語モデル -- Bengioの「次元の呪い」 　● Encoder / Decoder -- HintonのAutoencoder 　● Word2Vec -- Mikolov 語の「意味ベクトル」 　● Sequence to Sequence -- Ilya Sutskever 　● Attention Mechanism -- Bahdanau 　● Google ニューラル機械翻訳 -- Yonghui Wu 　　　○ WordPiece 　● Google 多言語ニューラル機械翻訳 -- Melvin Johnson 　● Differentiable Neural Computer -- Alex Graves 　　　○ bAbI task ------------------------- 第二部　ボイス・アシスタント・システム 　　　　 Entity Modelと知識検索 ------------------------- 　● ボイス・アシスタント・システムのプロダクトを見る 　● ディープラーニングを用いた音声認識技術 – Hinton 　● Google 音声検索 / Google NowとGoogle Assistant 　● Google Home 　　　○ Dial

Facebookで「複雑性理論と人工知能技術」という投稿を連続しているのですが（まだ、少し続きます）、自分でも探しにくくなっているので、丸山のblogにエントリーを転載して、そのリンクを集めて見ました。あわせて、関連する2017年1月の「複雑さについて」というエントリーのリンクもまとめて見ました。 このまとめ自体のパーマリンクは https://goo.gl/Uv5jgU です。多分、更新していくと思います。ご利用ください。 複雑性理論と人工知能技術 （2018年 8月のエントリー）　 複雑性理論と人工知能技術（１）　はじめに　　　 https://goo.gl/HDDWyK 複雑性理論と人工知能技術（２）　ゲーデル＝チャーチ＝チューリング　  https://goo.gl/MjEiwh 複雑性理論と人工知能技術（３）　ナッシュとゲーデル　　 https://goo.gl/JJBTEK 複雑性理論と人工知能技術（４）　ファインマン　 https://goo.gl/9iPr7W 複雑性理論と人工知能技術（５）　ドイッチェ　　 https://goo.gl/K7RHNA 複雑性理論と人工知能技術 （2018年 ９月のエントリー）　 複雑性理論と人工知能技術（６）　言語能力はP？　 https://goo.gl/HmwmyP 複雑性理論と人工知能技術（７）　数学とNP問題　 https://goo.gl/onbXAn 　 複雑性理論と人工知能技術（８）　中間まとめ　　 https://goo.gl/UoTLDn 複雑さについて　（2017年 1月のエントリー） 複雑さについて（１）　AI「フレーム問題」　　 https://goo.gl/zZQWsA 複雑さについて（２）　Compositionality　　  https://goo.gl/HDWwF7 複雑さについて（３）　コルモゴロフの複雑性   https://goo.gl/GVUv9d 複雑さについて（４）　チャイティンの不完全性定理　 https://goo.gl/ZKEbhy 複雑さについて（５）　チャイティンとゲーデル　      https://goo.gl/6XfYgF 複雑さについて（６）　複雑さと計算量の理論    https://goo.gl/

ファインマンの「量子コンピュータによる自然のシミュレーション」という刺激的な問題提起を受け、それを「計算可能性理論」の中心的な原理である「チャーチ＝チューリングのテーゼ」との関連で整理しなおして「計算可能性」を再定式化したのは、ドイッチェである。 1985年の論文 "Quantum theory, the Church-Turing principle and the universal quantum computer" https://goo.gl/PVHGKa  で、ドイッチェは、「チューリング・マシンのクラスの量子論的一般化である計算機械のクラス」＝「万能量子コンピュータ」を構成して見せる。 彼は、「チャーチ＝チューリングのテーゼ」を次のように捉える。 『「計算可能と自然に見なされる関数」は、全て、万能テューリング・マシンで計算可能である。.』 ただ、彼は、この「チャーチ＝チューリングのテーゼ」の基礎には、暗黙の物理学的主張がある」という。これが、この論文の眼目である。 彼は、彼が構成して見せた「万能量子チューリング・マシン」＝「万能計算機械」を用いて、「チャーチ＝チューリングのテーゼ」を書き換える。 「この物理学的主張は、次のような物理学的原理として、明確に表現することが出来る。」 『有限な方法で実現可能な物理システムは、有限な手段によって操作される万能計算機械のモデルで完全にシミュレート可能である。』 これを、「チャーチ＝チューリング＝ドイッチェのテーゼ」という。 ドイッチェは、論文で、これらの原理が、次の熱力学の第三法則に似ていること注意を向けているのは、興味ふかい。 『どのような有限のプロセスも、有限な手段実現可能な物理システムのエントロピーあるいは温度をゼロにはできない。』 形式的・数学的で抽象的な「計算可能性」の原理だった「チャーチ＝チューリングのテーゼ」は、ここに「チャーチ＝チューリング＝ドイッチェのテーゼ」として、実在的な過程としての「計算」の原理として「物理化」されることになる。 「計算可能性」の原理の「物理化」は、関連する諸科学に、一つのインパクトをもたらすことになる。なぜなら、それは、それまで別々の学問の対象だった「計算過程」「物理過程」「情報過程」（それぞれ、数学・物