過去・現在・未来

今日は、山下さん たちと一緒に IBMさんで講演しました。「意味について」。話したいことが多かったのか、時間内に話、終えられませんでした。残念。 懇親会にもたくさんの方がいらしてくれました。ありがとうございました。

1月8日に開催したマルレク「人工知能と意味の形式的理論」のビデオ配信が始まりました。ご利用ください。 https://crash.academy/video/630/1961 講演資料はこちらです。 https://goo.gl/CPXndH

昨年末、マルレクの準備で一生懸命言語学関係の論文を読んでいたのだが、面白いことに気づいた。 DisCoCat (DIStributional COmpositional CATegorical ）と呼ばれる新しい研究分野で女性が大活躍しているのだ。気がつけば、マルレクでこの分野で紹介した研究4つのうち3つが女性によるものだった。写真は、その三人。左から、Martha Lewis, Tai-Danae Bradley, Maaike Zwart 。 だいたい、新しい研究分野に、学会のおじさんたちが、DisCoCatなんて名前つけるはずもないと思う。きっと日本でなら「カテゴリー論的構成的分散意味表現理論」と、難しそうな名前でよんでいたろう。 そういえば、2002年に文の意味とそのグラフ表現について先駆的な論文"Knowledge Graph Theory and Structural Parsing"を発表したLei Zhangも女性だった。 中国に帰ったLei Zhangは、今、どうしているのだろう？ 先駆者としてDisCoCatに加わればいいと思うのだが。中国のアカデミーは、「ディスコで踊るネコ」研究許してくれるかな？ KarpathyのBidirectional Image Sentence Mappingの研究に文法理論を提供したMarie-Catherine de Marneffe も女性だ。 数学者で言語学者でもあるLambekが面白いことを言っている。（多分、あまり理解されないかもしれない発言なのだが。） 「私自身の経験が私に告げていることは、高校生達が理系のプログラムと古典的な言語の勉強に基づく人文系のプログラムの間で選択を迫られる国々では、未来の数学者は後者の流れから現れることがしばしばあるということだ。」 言語学の新しい分野での新しい数学理論の発展は、Lambekのこの言葉を、裏付けているようにも見える。 彼女らの「国籍」は、みな異なっている。共通しているのは、女性だということ。この現象には、いくつか理由があるのだと思う。普通の男性が行わない選択を、意欲的な女性達は行うことができるのかもしれない。もっと、現実的な問題もありそうだ。 ただ、彼女らが新...

明日のマルレクの講演資料です。 https://goo.gl/CPXndH 　ご利用ください。資料長いのですが、背景がピンクのスライドをザッピングすれば、大まかな流れは伝わると思います。 ---------------- 「はじめに」 ---------------- 人工知能技術にとって、自然言語の意味の理解は、重要な課題である。小論は、自然言語の意味を形式的に把握しようという試みを概観したものである。 第一部では、まず、現在の主要な三つの自然言語処理技術の現状を紹介し、あわせて、言語の意味理解にフォーカスして、様々な取り組みを取り上げた。 こうした技術を評価する上で、筆者の取っている基本的な視点は、次のようなものである。 　　文と意味の「構成性（compositionality）」 　　意味の「同一性」 / 意味の共通表現の存在 残念ながら、文が語から文法に基づいて構成されることは、現在主流の自然言語処理技術では、ほとんど考慮されていない。文法性の認識がないのでは、文の意味の構成性の認識を持つことは難しい。 ただ、文の意味の構成性の認識なしにでも、意味については考えることができる。一つには文を構成する「語の意味」、もう一つには「意味の同一性」に基づく「意味の共通表現」の模索である。第一部の後半では、これらの取り組みを取り上げた。 「語の意味」の表現では、その客観性・共通性を「実在」の関係に基礎をもつOntology、語の利用の頻度の統計的分析に帰着させるWord2Vec的「分散表現」、辞書項目に諸特徴を枚挙するスタイル、 conceptual spacesを構成するアプローチ等多様な試みが行われている。 「文の意味」の表現については、論理式（あるいは、ラムダ式）による表現と多次元ベクトルによる分散表現の二つがある。後者は、実装者にはそういうものとしては、あまり自覚されていないようにみえるのだが。 機械翻訳技術の成功は、二つの言語の意味の「共通表現」を多次元ベクトルによる分散表現として抽出しているところにあると筆者は考えている。もっとも、語の意味も、文の文法性も、このアプローチでは、直接には考慮されていない。 筆者は、論理式による表現が「好み」なのだが、文から論理式への還元は、文法に応じて様々の流儀がある。この点...

先に、「同じ」型A に属する二つの項 aとb（a : A かつb : A）が「同じ」だという a = b : A で表現される「同じ」さと、二つの型AとB（A : Type かつB : Type）が同じだという A = B : Type で表現される「同じ」さは、同じ「同じ」でも、違う「同じ」であるという話をした。 前者は、例えば、Aを「三角形」という型だとして、三角形a と三角形b が「同じ」だと言っているのだが、後者は、例えば、Aを{異なる三つの点を結んでできる図形}、Bを{平行でない三つの直線で囲まれた図形}とした時、AとBは、同じ型の図形であることを主張している。 型を持つプログラミング言語の場合、あるインスタンスがどの型に属するかを意識することは大事なことだ。面倒と言えば面倒なのだが、そのことがプログラムの誤りを少なくするのに効果的なのだ。 型を持つプログラミング言語のうちのいくつかは（例えば、COQ, Agda, Haskell, 部分的にはScalaも）は、不思議な型 dependent type をサポートしている。dependent type は、パラメータによって（パラメータにdepend して）、型が変わる型だ。 パラメータxが型Bを持つなら、このdependent type E(x)を次のように表す。 　　　(x : B) E(x) また、あるsが、dependent type Eを持つことを、次のように表す。 　　　(x : B)  s(x) : E(x) あまり正確ではないが、B={ 整数、実数、複素数 }として x : B なるパラメータ x によって、dependent type E(x)は、整数型、実数型、複素数型 に型が変わるのだ。 昔のwakhok時代、同僚の浅見さんから、dependent type がすごいことはよく聞いていた。ただその頃、僕はそれをよく理解できなかったのだと思う。僕が、その重要性に気づいたのは、だいぶ後になってからだ。 5年前の2013年のマルレク「「型の理論」と証明支援システム — Coqの世界」で、ようやく後追いを始めることになる。 https://www.marulabo.net/docs/typetheory-coq/ 　

あるものAとあるものBが「同じ」だというのは、何を意味するのだろう。 もしも、AとBが数字なら、その意味ははっきりわかる。 例えば、A=1でB=1なら、AとBが「同じ」だということになる。それは、1=1のことだ。 もしも、AとBが集合なら、AとBが同じだということは、Aに含まれる要素がBに含まれる要素が全て等しいということだ。集合 A={ りんご、みかん、バナナ } は、集合 B = { バナナ,  みかん. りんご } と「同じ」である。 もしも、AとBが三角形なら、二つの三角形の二辺の長さが等しく、その二辺が作る角度が等しい場合、三角形Aと三角形Bは、「同じ」だと言える。 これらの例でわかることは、あるものとあるものが「同じ」だというためには、それぞれが、同じ種類のものでなければならないということ。数字と三角形は、「同じ」にはなれない。 ここでの「同じ種類」というものを、「同じ型を持つ」ということにすれば、あるものAとあるものBが「同じ」だというためには、AとBは、「同じ型」を持っていなければいけないということになる。 このあたりのことを、数学者のドリーニュが例を挙げて丁寧に説明しているビデオがある。"What do we mean by "equal" " https://goo.gl/nXhqmb 今年の9月にプリンストンの高等研究所で開催された "Vladimir Voevodsky Memorial Conference" https://www.math.ias.edu/vvmc2018 での、彼の講演である。 ドリーニュは、若くして、グロタンディックを出し抜いて「ヴェーユ予想」を解いた有名な数学者なのだが、不思議なことに、彼が説明していることは、コンピュータでプログラミングをしたことがある人は、よくわかっていることだということである。 整数 A=1 と浮動小数点実数 B=1.0 とは、コンピュータ内部での扱いは違うものである。もしも、あるプログラミング言語が、整数型・実数型の他に複素数型をサポートしているとすると、A=1, B=1.0, C=1.0+0.0i は、皆、違うものである。 数字の場合いずれの型にも、加減乗除の演算は定義される。複数の型に適用...

我々は、他人の顔は見れるのだが、自分の顔を直接見ることはできない。写真やビデオがこんなに普及する以前、自分の顔を見る手段は、鏡しかなかったと思う。 自分の顔を鏡で見る時、「見る人」と「見られる人」は、同じ人だ。ただ、この同じ人が、鏡によって「見る人」と「見られる人」の二人に分離される時、普段は見ることのできない自分の顔を見ることができる。 以前に、「私はあなたを愛しています」という文の「意味」を考えるより、「 "I love you." の「意味」は、「私はあなたを愛しています」だ」と考える方が簡単だと書いたのだが、このことも、「翻訳」はある言語を他の言語にうつす鏡のようなものだと考えれば、いいのだと思う。 確かに、鏡に映る自分の顔は、他人のみんながいつも見ている顔であることに変わりはないし、「私はあなたを愛しています」を "I love you." と言い換えたところで、「愛」についての認識が深まるわけではない。 ただ、ある二つのものの関係の中で、あるものを考えるのは、あるものだけをじっと見ているより、普段は気づくことのないものへの気づきが生まれると僕は考えている。 「意味」についてもそうだ。意味についてのアプローチは、様々あるのだけれど、ソシュールのシニフィアン（signifiant：意味するもの）とシニフィエ（signifié：意味されるもの）にしても、オグデン＝リチャードの「意味の三角形」の「シンボル」と「指示するもの」「指示されるもの」にしても、こうした「二項関係」が基本になっている。（三角なのに二項なのかにというツッコミは、あとでこたえる） こうした二項関係は、もっと深いところでは、「主体」と「客体」、「認識するもの」と「認識されるもの」という認識の構造そのものに基礎を持っている。 図は、ペンローズから。彼は、ビデオで鏡に映るビデオを撮影しても、ビデオは何も認識していないという。確かにそうだ。ただ、彼は、機械は、それだけでは意識を持ち得ないという立場を取っている。コンピュータのプログラムに意味など理解できるはずはないというのだ。

言葉の意味を調べようとするとき、我々に一番身近な行為は、「辞書」を引くことである。ただし、辞書が与えるのは、語の意味である。 翻訳が文を対象にするのに対して、辞書は語を対象にする。文は語からできているので、辞書が与える語の意味の情報は、その語を含む文の意味を考えるもっとも基本的な情報を与える。 辞書で 、I = 私、love = 愛する、you = あなた という情報が得られたとしよう。この情報だけから、"I love you"という文を翻訳すると、「私 愛する あなた」になるのだが、これはどうも日本語としてはうまくない。 その理由ははっきりしている。 語から文が構成されているのは明らかなのだが、語から文を構成するときに、日本語でも英語でも、ある構成規則に従う。それを「文法」という。文法は、ある言語での語の出現順序に強い制限を与える。「私 愛する あなた」は、日本語の語の出現順序にそぐわないのだ。 辞書だけに頼る翻訳がうまくない理由は、もう一つある。辞書が与えるのは、名詞でも動詞でもその基本形だけだからである。名詞は「格」によって変化し（日本語だと、「私は」「私に」「私を」 ... というように、名詞の部分は変化しないように見えるのだが）、動詞は「活用」する。こうした語の「屈折」形は、その語のその言語の文法上の情報を与えるのだが、辞書はその屈折形を網羅しない。それは、文法規則として基本的には辞書の外部でカバーされることになる。 先に、簡単に「文は語からできている」といった。それはそれで間違いではない。もう少し正確に言えば、「文は、文法という構成規則に従って、語から構成される」ということになる。 「異なる語から異なる構成規則で構成された文が「同じ意味」を持ちうるのはなぜか？」というのは、言語の意味についての最も重要な問題なのだが、その問題に入る前に、ここでは、辞書上の語彙項目と実際に発せられる文と文法の関係について、基本的な事実を確認しようと思う。 全ての言語において、基本的な語彙の数は、有限である。例えば、26文字のアルファベットで15文字以内で構成される語の数は、高々、26^15である。ところが、10万語の語彙を持つ言語で、10語の語からなる文の数は、100000^10で、約10^50になる。10語文というのは、...

翻訳は、基本的には、外国語を母語に変換する。外国語に接する必要がなかったら、翻訳ツールのお世話になることはない。僕のひいおじいさんやひいおばあさんの世代は、おそらく、翻訳の必要はほとんど感じなかったようにも思う。僕の世代の場合は、おじいさんやおばあさんの世代に「敗戦」と「進駐軍」を体験する。外国語事情は、大きく変わる。 ただ、歴史的には、近年の「グローバル化」が始まる遥か以前から、異なる言語を用いる共同体の接触は、珍しいことではなかったと思う。 世界中は同じ言葉を使って、同じように話していた。  ... 主は降って来て、人の子らが建てた、塔のあるこの町を見て、言われた。「彼らは一つの民で、皆一つの言葉を話しているから、このようなことをし始めたのだ。これでは、彼らが何を企てても、妨げることはできない。 我々は降って行って、直ちに彼らの言葉を混乱させ、互いの言葉が聞き分けられぬようにしてしまおう。」 （創世記11章） なんて意地悪な神だと思うのだが。人間だって「互いの言葉が聞き分けられぬ」ままでいたわけはない。異なる言語が接触した場合、直ちに、翻訳の必要性は生まれたはずだ。 そこで一番大事なことは、言語が異なっても、それが伝えようとすることが「同じ意味」を持ちうることを双方が確信することだと、僕は思う。それは、自明のことのように思えるが、とても大事なことだ。 相手が宇宙人であって同じだと、我々人間は考える。 太陽系外に飛び出すパイオニアにもボイジャーにも、宇宙人に向けたメッセージが積まれていた。それが知性を持つ宇宙人に発見される可能性は、我々が異星人からのメッセージを受け取る可能性と同じくらいに低いのだが。 図1は、パイオニアにつまれたプレート。水素の構造、男女の姿、探査機の外形、銀河系中心と14個のパルサーに対する太陽の相対位置、太陽系が描かれている。 図2は、ボエジャーにつまれたゴールデン・レコード。地球上の様々な音や音楽、55種類の言語による挨拶や様々な科学情報などを紹介する写真、イラストなどが収録されている。「ボエジャーのゴールデンレコード」https://goo.gl/5NZ8Wn これらでは、画像・音・科学的な知識が、「共通言語」として想定されているのは興味ふかい。科学的な知識をメッセージに使うというアイデアは、電波...

来年早々になりますが、1月8日に、マルレク第五回を、富士ソフトさんのアキバプラザで開催します。テーマは、「人工知能と意味の形式的理論」です。 告知ページ・募集要項は、近日中に公開します。 募集期間が、年末・年始の時期に重なっているため、いつもより募集時期を若干早めたいと考えています。ご注意ください。 【講演概要】 人工知能研究の大きな課題の一つに、意味の理解をどのように機械上で実現するかという問題があります。 講演では、まず、この分野で、現時点で一定の成功を収めている三つのアプローチを紹介します。 第一は、Amazon Alexa, Google Home 等のボイスアシスタント・システムで多く利用されている、ヒューリスティックなアプローチです。そこでは、チューリング・テストをパスすることを意識した、意味のプラグマティックで「操作主義的」理解が中心にあります。 第二は、Google等の大規模な検索エンジンやDiffbot等が利用している。Knowledge Graph的なアプオーチです。グラフの規模の大小はあるのですが、そこで中心的な役割を果たしているのは、「エンティティ・モデル」です。 第三は、Googleニューラル機械翻訳の成功に刺激を受けた、「機械翻訳技術」の発展と普及を背景としたアプローチです。そこでは、大規模なパラレル・コーパスを大規模なハードウェアを利用して「学習」が行われます。 講演の後半は、現在の実装技術の紹介を目的とした前半と切り口が異なります。「意味の理解」は、「意味」についても「理解」についても、新しい枠組みが必要だというように、丸山は考えています。また、そうした理論は形式的なシステムで記述できるとも考えています。 次のような話をします。 ・文法の構造と意味の構造の対応、あるいは二つの構造の「二重化」の必要について。 ・理論とモデル。数学での意味の扱いに学ぶ。 ・ローヴェールのFunctor Semantics ・新しい「型の理論」

先の投稿、億単位のパラレル・コーパスを「学習」する機械学習技術にケチをつけるみたいな終わり方をしたので、若干、釈明を。 同じことが人間にできず（人間がこういうスタイルで、言語の「意味」を「学習」しているわけではないのは明らかだと思うのだが）、機械にそれができるのなら、それはそれでもいいのではとは思う。 空を飛ぶのに、生物の進化は昆虫や翼竜や鳥類を生み出したが、人間が発明したのは飛行機だった。同じ目的を達成するのに、生物と人間が発明した機械とが、違うアプローチをとってもいいのだ。 我々が、蝶々や鳥のように空を飛べないのは残念なことだが、空を飛ぶことについては、機械の勝ちかもしれない。翼竜のプテラノドンよりジャンボジェットの方が巨大だし、それに、ロケットなら宇宙にも行ける！　（と言っても、「となり」の火星程度までなのだが） もしも我々が妖精のように自由に空を飛べていたら、「空を飛ぶ機械」の進歩の歴史は、今とは少し違っていたとは思う。（妖精は、自力では火星に行けないもんね。多分。） 機械翻訳に要するデータの巨大さだけに驚いてはいけない。それに必要なハードと計算時間も巨大である。先の論文によれば、Googleニューラル機械翻訳では、GPU100個を使って、フルトレーニングには最大1,000万ステップ、収束までには3週間かかることがあるという。 ただ、巨大さと複雑さで言えば、人間の脳だって負けてはいない。脳には、この銀河系の星の数より多い、860億個のニューロンが存在する。大脳新皮質には100億のニューロンがある。もっとすごいのは、その星の数ほど多いニューロンがお互いに結びついてネットワークを構成していることである。そのグラフなど書けっこない。 （人間の脳の構造と発達については、最近読んだ次の本がとても面白かった。「我々自身を発明する：ティーンエイジャーの脳の秘密の生活」"Inventing Ourselves: The Secret Life of the Teenage Brain" https://goo.gl/RBLn3H いつか紹介したい。） 今はどうなったかわからないが、ついこの間まで、人間が生物のニューロンの正確な接続のグラフを書けたのは、302個のニューロンと8,000のシナプを持つ C-Elegance ...

「私はあなたを愛しています。」 この文の「意味」は、何かと言われると、なかなか答えるのが難しい。（日本語では、まずこういう言い方はしないと思うのだが、そのことはおいておく。）　ただ、"I love you." の「意味」はと聞かれれば、「私はあなたを愛しています。」だと答えるのは易しい。 「それは、意味の意味が違う。」　確かに、そうかもしれない。 それでは、「二つの言語で、同じ意味が表現されている」と考えるのは、どうなのだろうか？　この文章で使われている「意味」は、先に「なかなか答えるのが難しい」と考えた「意味」そのものではないだろうか？ とりあえず、二つのことを、この後の議論のために、作業仮説として確認しておこう。 　1.  二つの言語を比較すると、意味は取り出しやすく（感じる）。 　2.  意味は、言語によって表現されるが、言語によらないものを指し示す。 実は、現代の自動翻訳技術は、二つの言語で、同じ意味を持つ文を大量に集め、それを学習させるのが基本技術だ。「私はあなたを愛しています。」＝ "I love you."  という文例をたくさん集めておく。「私はあなたを愛しています。」の「意味」を考えて、頭を抱えることはない。 ただ、そのデータ（「パラレル・コーパス」「パラレル・データ」と言ったりする）の規模は、多分多くの人の想像を超えていると思う。 機械翻訳についての基本的なカンファレンスは WMT "Workshop on Machine Translation" である。（2018年のページは、こちら。http://www.statmt.org/wmt18/　もっとも、僕は、二年近く最近の動向をフォローしていない）　 WMTは、機械翻訳の研究のために、基本的なパラレル・コーパスを研究者に提供している。WMT 14  https://goo.gl/9d4cyi 　 WMT‘14の英語（En）<-> フランス語（Fr）データセットには、 3,600万の文のペアが含まれている。 WMT‘14の英語(En) <-> ドイツ語（De）データセットには、 500万の文のペアが含まれている。 かなりの規模だ。 ところがである。僕が、Goog...

昨日(10/26)の角川さんでの連続講座「人工知能を科学する」第二回「人工知能と自然言語」の様子です。沢山のご参加ありがとうございました。 あと講演終わってからの打ち上げの様子です。 実はこの間風邪で寝込んでいました。 皆様も、風邪など引かぬようお気をつけください。

別のポスト 「文法を計算する１」 で、次のように書いた。 「複雑性の理論では、計算可能なもっとも簡単なクラスを「多項式時間で計算可能： P」と呼ぶのだが、我々の言語能力は、明らかにクラスPに属するはずだ。だって、「多項式時間」どころではなく、リアルタイムに相手の話す言葉が文法にかなっているかを判断して聞き取り、リアルタイムに文法的に正しい文を生成してしゃべることができるのだから。」 もっとも、こうした議論は、そのままでは、理論的には「正しい」議論という訳ではない。 一つには、この議論は、リアルタイムに人間と同等の言語能力を示すシステムを構成しない限り、単なる予想であって、証明されたものではないからである。もう一つ、別の問題もある。それは、この議論は、言語能力のような人間の現実の諸能力を、数学的に定義された複雑性理論上のクラス（この場合はP）に、関連づけているからである。 後者の指摘の方が、より深い問題に根ざしているのだが、多少の飛躍をまじえて言うと、それについては、僕は、「人間の認識の形式的で数学的なモデルが構築可能である」と考えている。それは、形式としては数学的な表現を取りながら、物理学が、実在の運動法則の理論であることと同じである。物理学が、数学的形式をまとうことが必然であるように、認識の理論には、認識の理論の数学が必要なのである。 こうした認識論的な立場からは、言語の領域について言えば、その中核である「文法」の本質を「計算可能性」と捉える「計算主義的言語理論」は、僕には、魅力的である。そして、こうした立場が、「実際に、そうしたシステムは、作れていないじゃないか」という、先の前者の指摘に、実際にそうしたシステムを作り上げることで応えようとする試みをドライブすることになると考えている。 ところで、複雑性理論のコンテキストの中にいると(特に、 degree of unsolvability の議論)、何かPが「簡単」な計算のクラスに見えてくることがあるのだが、現実的には、それは大きな錯覚である。 世の中の「正しく動く」コンピューター・プログラムは、全てクラスPに属するのだし、クラスPに属する問題の数を、簡単なものから数え上げることも、現実的には不可能なのである（これについては、あとで「いそがしいビーバー問題」というのを紹介する。） 「...

本日のマルレクの様子です。終わる頃には、激しい雷雨が一段落してよかったです。 更新された講演資料は、こちらです。ご利用ください。 https://goo.gl/B87wxk

日本語についても、Lambekにつらなるカテゴリー文法のアプローチを取る言語学者は存在する。戸次大介先生の「日本語文法の形式理論」は、そうした立派な仕事だと思う。 https://goo.gl/DLgmxK 　 僕は二年前にこの本を見つけて喜んだのだけれども、冒頭の第一章「はじめに」の「文科系言語学と理科系言語学の乖離」は、気が滅入る内容だった。 この2-30年にわたって、日本の言語学会には、「埋めがたい」「溝」があるという。 そのきっかけは、「1990年代にさしかかると、自然言語処理のコミュニティにおいて、文科系言語学、ひいては記号論的アプローチそのものに対する失望感が蔓延するようになり、その後、統計的アプローチが成功を収めてからは、コミュニティ間の溝は埋めがたいものとなってしまった。」 ただ、それは20世紀の話だ。20世紀の統計的アプローチは、そんなに成功したのかと、ふと思う。 20世紀の終わりには、ChomskyのMinimalist Programが現れ、21世紀の初頭（2004年）には、Benjioが、それまでの機械翻訳の主流であった「統計的機械翻訳モデル」に代わる、「ニューラル機械翻訳モデル」を提案する。“A Neural Probabilistic Language　Model”  http://goo.gl/977AQp ただ、こうした機械翻訳へのディープラーニングの手法の応用が「成功」するのは、2016年のGoogleの「ニューラル機械翻訳」を待たねばならなかった。 もちろん、それも、単純に「成功」と喜んではいられないのだ。Alexa等のボイス・アシスタント・システムの一般消費者への普及は、自然言語処理の難しさを、今では、誰もが理解できる問題にしていると、僕は考えている。 「自然言語処理のコミュニティ」に、成功者は、いまだ存在しないのだ。

1958年の論文の後、Lambekは数学の世界で研究を続けることになる。ところが、それから50年経った2008年、Lambekは興味ふかい言語学の論文 "From Word to Senrence" を発表する。 http://www.math.mcgill.ca/ba…/lambek/pdffiles/2008lambek.pdf なぜ彼は50年経って、また言語学に興味を覚えたのか？　 その理由は、明らかだと思う。かつての僚友 Chomskyが、1998年に発表し、現在の言語学の大きな潮流となった "Minimalist Program"とその"Merge"という基本コンセプトに大きな刺激を受けたからだと僕は考えている。 基本的なアイデアは、1958年の論文と同じだ。ただ、ノテーションが異なっている。 かつての二つの基本的な計算ルール 　　　(x/y)y --> x 　　　y(y\x) --> x は、次のように表現される。 　　　Xl・X --> 1 　　　X・Xr --> 1 本当は、XlのlもXrのrも、Xの右肩上に添字として乗っかっているのだが。（Facebookじゃ表現できないのでお許しを。） lはleftのl、rはrightのrである。 lを右肩上の添字に持つXの後ろにXが現れれば、それは、消えてしまうし（積として1をかけるということは、なにもしないことだから）、同様に、Xの後ろに、rを右肩上の添字にもつXrが続けば、それは消えてしまうということ。 同じことだが、Xに「左から」Xlを作用させると打ち消し合い、Xに「右から」Xrを作用させると打ち消しあうということ。 文字で説明すると面倒だが、慣れると、スラッシュとバックスラッシュを使った58年の論文の記法より、わかりやすくなる。 Lambekが言いたいことは、二つのものから一つのものを作るChomskyのMergeの本質は、こうした数学的操作の導入で、もっとわかりやすくなるということだと思う。 それだけではない。 58年の論文では、基本的な型として、nとsだけを使っていたのだが、2008年の論文では、もっとたくさんの基本的な型を導入している。 ...

我々は、他人が話す、いままで一度も聞いたことがない文でも、それが文法的に正しいものであれば、ただちにそれを理解する。また、話したいことがあれば、自分がいままでしゃべったこともない文を、正しい文法で即座に話すことができる。 我々が持っているのは、日本語・英語の同じ意味を持つ二つの文章のペアを、気が遠くなるほど大量に集めて、高性能のGPUを使って何日もかけて「学習」するディープラーニングの機械翻訳技術とは、違う言語能力である。 「正しい文法で」と書いたが、我々は、母語の文法を、あとで習得する外国語の文法のように明示的に「知っている」わけではない。ただ、我々のからだは、なにが文法的に正しく、何が文法的に正しくないかを、正確に知っているのは確かである。 複雑性の理論では、計算可能なもっとも簡単なクラスを「多項式時間で計算可能 P」と呼ぶのだが、我々の言語能力は、明らかにクラスPに属するはずだ。だって、「多項式時間」どころではなく、リアルタイムに相手の話す言葉が文法にかなっているかを判断して聞き取り、リアルタイムに文法的に正しい文を生成してしゃべることができるのだから。 言語能力を計算能力として捉えようとするときに、その中心的な課題は、文法的に正しい文を生成する計算規則を見つけることだ。それは、文法の計算ルールを見つけることだと言って良い。 60年ほど前に、Lambekは、驚くべき発見をする。 文法の計算ルールは、次のたった二つの式で表されるというのだ。 　　　(x/y)y --> x 　　　y(y\x) --> x (x/y)y --> xは、x/yという型を持つ語の後ろに、型yを持つ語が続けば、それは、型xを持つものに変換され、 y(x\y) --> xは、型yを持つ語の後ろに、x\yという型を持つ語が続けば、それは、型xを持つものに変換されることを意味する。 Lambekは、名詞を表す型nと、文を表す型sというたった二つの型を用いて、語の並びから、先の二つの計算ルールで文を導く計算をしてみせる。（ 計算部分、青字でおぎなっておいた。） そのためには、伝統的な品詞分類を離れて、次のような新しい品詞分類を導入すればいいという。（図２） 　自動詞　　　n\s 　形容詞　　　n/n 　副詞...

来週 8月27日、富士通さんで開催の第三回マルレク「自然言語とコンピュータ概論 -- 計算主義的言語理論入門」の一般申し込み受付中です。 https://language1.peatix.com/ 自然言語をコンピュータに理解させることは、人工知能技術の大きな課題です。ただ、その取り組みは、まだ道半ばです。 今回の講演では、コンピュータによる自然言語理解をめぐる主要な三つのアプローチを取り上げ、その現状を概観します。特に、人工知能技術の文脈では、あまり取り上げられてこなかった、「計算主義的」な言語へのアプローチを紹介しようと思います。 次のような構成を考えています。ご期待ください。 ------------------------- 第一部　ディープラーニングからの 自然言語へのアプローチ ------------------------- 　● ニューラル確率言語モデル -- Bengioの「次元の呪い」 　● Encoder / Decoder -- HintonのAutoencoder 　● Word2Vec -- Mikolov 語の「意味ベクトル」 　● Sequence to Sequence -- Ilya Sutskever 　● Attention Mechanism -- Bahdanau 　● Google ニューラル機械翻訳 -- Yonghui Wu 　　　○ WordPiece 　● Google 多言語ニューラル機械翻訳 -- Melvin Johnson 　● Differentiable Neural Computer -- Alex Graves 　　　○ bAbI task ------------------------- 第二部　ボイス・アシスタント・システム 　　　　 Entity Modelと知識検索 ------------------------- 　● ボイス・アシスタント・システムのプロダクトを見る 　● ディープラーニングを用いた音声認識技術 – Hinton 　● Google 音声検索 / Google NowとGoogle Assistant 　● Google Home 　　　○ Dial...

次回マルレクは、8月27日 19:00から、富士通さんで開催です。テーマは、「自然言語とコンピュータ概論」です。告知・申し込みページは、来週公開予定です。少し、お待ちください。 　-------------------------------------------- 　「自然言語とコンピュータ概論」　講演概要 　-------------------------------------------- 自由に言語を操る人間の能力を機械で実現することは、人工知能研究にとって、大きな目標の一つです。おそらくそれは、人工知能研究の「究極」の目標になるだろうと僕は考えています。他の動物にはない人間の「知能」の核心部分を構成しているのは、人間の言語能力に他ならないと考えているからです。 ここ数年で、この分野では大きな前進がありました。Googleのニューラル機械翻訳やAlexa等の音声インターフェースを備えたパーソナル・アシスタント・システムの登場は、画期的なものです。今回のレクチャーでは、「自然言語とコンピュータ」をテーマに、この分野の取り組みを概観したいと思います。コンピュータによる自然言語処理に興味を持つ人だけではなく、広く人工知能技術の現在の到達点に関心を持つ人にも、有益な情報を提供したいと考えています。ご期待ください。 第一部では、ディープラーニング技術からのこの分野のアプローチを紹介します。ここでの目覚ましい成果は、ディープラーニング技術の機械翻訳への応用です。また、「文章題」で小学生程度の「推論」能力を機械に持たせようという、bAbi（「ベイビー」と読むようです）データセットをめぐるGoogle, Facebookの取り組みについても紹介しようと思います。 第二部では、Amazon Echo, Google Home等の、パーソナル・ボイス・アシスタントの取り組みの現状を紹介します。正確にいうと、この両者は、言語について多少異なるアプローチをとっているのですが、第一部で取り上げるディープラーニングに基づいたアプローチとは、明確に異なる技術に基づいていることには注意が必要です。同時に、両者ともに、 Schema.org   の提供するEntity モデルに依存しています。 第三部では、...