意味を考える 3 -- ジャンボジェット

先の投稿、億単位のパラレル・コーパスを「学習」する機械学習技術にケチをつけるみたいな終わり方をしたので、若干、釈明を。

同じことが人間にできず（人間がこういうスタイルで、言語の「意味」を「学習」しているわけではないのは明らかだと思うのだが）、機械にそれができるのなら、それはそれでもいいのではとは思う。

空を飛ぶのに、生物の進化は昆虫や翼竜や鳥類を生み出したが、人間が発明したのは飛行機だった。同じ目的を達成するのに、生物と人間が発明した機械とが、違うアプローチをとってもいいのだ。

我々が、蝶々や鳥のように空を飛べないのは残念なことだが、空を飛ぶことについては、機械の勝ちかもしれない。翼竜のプテラノドンよりジャンボジェットの方が巨大だし、それに、ロケットなら宇宙にも行ける！　（と言っても、「となり」の火星程度までなのだが）

もしも我々が妖精のように自由に空を飛べていたら、「空を飛ぶ機械」の進歩の歴史は、今とは少し違っていたとは思う。（妖精は、自力では火星に行けないもんね。多分。）

機械翻訳に要するデータの巨大さだけに驚いてはいけない。それに必要なハードと計算時間も巨大である。先の論文によれば、Googleニューラル機械翻訳では、GPU100個を使って、フルトレーニングには最大1,000万ステップ、収束までには3週間かかることがあるという。

ただ、巨大さと複雑さで言えば、人間の脳だって負けてはいない。脳には、この銀河系の星の数より多い、860億個のニューロンが存在する。大脳新皮質には100億のニューロンがある。もっとすごいのは、その星の数ほど多いニューロンがお互いに結びついてネットワークを構成していることである。そのグラフなど書けっこない。

（人間の脳の構造と発達については、最近読んだ次の本がとても面白かった。「我々自身を発明する：ティーンエイジャーの脳の秘密の生活」"Inventing Ourselves: The Secret Life of the Teenage Brain" https://goo.gl/RBLn3H いつか紹介したい。）

今はどうなったかわからないが、ついこの間まで、人間が生物のニューロンの正確な接続のグラフを書けたのは、302個のニューロンと8,000のシナプを持つ C-Elegance だけだった。名前は優雅だが、線虫である。WormAtlas に行けば詳しい情報がみれる。例えばこれ。https://goo.gl/4rnrWj

言語の意味の理解については、僕は、ジャンボジェット・モデルより、妖精モデルがいいと思っている。だって、ぼくら機械がなくたって自由に飛べるんだもの。