過去・現在・未来

次の要領で次回のマルレクを開催します。 　日　時：5月31日 19:00-21:00 　場　所：KDDI本社会議室（飯田橋） 　定　員：150名 　参加費：1,000円（個人協賛会員は無料です） 　申　込：個人協賛会員　5月17日 12:00から 　　　　　一般　　　　　5月24日 12:00から 　講　師：丸山不二夫 　テーマ：「ニューラル・コンピュータとは何か？」 　概　要： 現在のニューラル・ネットワークのモデルは、基本的には、次の三種類です。 　・DNN (Deep Neural Network: Full Connect Perceptron ) 　・CNN (Convolutional Neural Network ) 　・RNN (Recurrent Neural Network ) ここにきて、第四のモデルとしての「ニューラル・コンピュータ」に注目が集まっています。 それは、画像認識が得意なCNNや、自然言語処理のようなSequence to Sequenceの処理が得意なRNNのように、特定の課題にフォーカスしたモデルではなく、むしろ、外部メモリーを活用する現在のコンピュータのアーキテクチャーそのものを、ディープ・ラーニング技術の知見を生かして拡張しようとする意欲的なものです。 興味深いのは、そのアーキテクチャーが挑戦している課題は、上記の三つのモデルでは解くのが難しかった、ヒューリスティックな、あるいは、論理的な「推論」を機械に実行させることです。 講演では、GoogleのDeepMind チームがNatureに公開した論文の解説を行います。 次の資料を参照ください。 「可微分ニューラルコンピュータとは何か（１）　概論」 http://maruyama097.blogspot.com/2017/03/blog-post_17.html 「可微分ニューラルコンピュータとは何か（２）　システム概観」 http://maruyama097.blogspot.com/2017/03/blog-post_18.html

Segmentation Approaches Neural Machine Translation models often operate with fixed word vocabularies even though translation is fundamentally an open vocabulary problem (names, numbers, dates etc.). There are two broad categories of approaches to address the translation of out-of-vocabulary (OOV) words. One approach is to simply copy rare words from source to target (as most rare words are names or numbers where the correct translation is just a copy), either based on the attention model [37], using an external alignment model [31], or even using a more complicated special purpose pointing network [18]. Another broad category of approaches is to use sub-word units, e.g., chararacters [10], mixed word/characters [28], or more intelligent sub-words ニューラルマシン翻訳モデルでは、名前、数字、日付といった、基本的には辞書にないオープンな語彙の翻訳であっても、固定した語のボキャブラリで動作することがよくある。 語彙外（OOV : Out Of Vocaburary ）単語の翻訳に対処するアプローチには、大きく2つのカテゴリーがある。  1つのアプローチは、珍しい単語を、ソースからターゲットへの単純にコピーすることである。（珍しい単語の大部分は、名前や番号で、それらに対しては、コピーが正しい翻訳になる。）あるいは

One of the main challenges in deploying our Neural Machine Translation model to our interactive production translation service is that it is computationally intensive at inference, making low latency translation difficult, and high volume deployment computationally expensive. Quantized inference using reduced precision arithmetic is one technique that can significantly reduce the cost of inference for these models, often providing efficiency improvements on the same computational devices. For example, in [43], it is demonstrated that a convolutional neural network model can be sped up by a factor of 4-6 with minimal loss on classification accuracy on the ILSVRC-12 benchmark. In [27], it is demonstrated that neural network model weights can be quantized to only three states, -1, 0, and +1 インタラクティブな製品版の翻訳サービスにニューラル機械翻訳モデルを導入する際の主な課題の1つは、推論時に、計算が集中して、低遅延の翻訳が難しく、高価な計算装置を大量に配置することが必要になることである。 精度の低い算術演算を使用した量子化された推論は、これらのモデルの推論のコストを大幅に削減することができ、同じ計算装置で効率を改善する1つの手法である。 例えば[43]では、ILSVRC-12

ニューラル・コンピュータの基本的な論文は、GoogleのDeepMindチームがNatureに発表した Alex Graves et al. "Hybrid computing using a neural network with dynamic external memory" なのだが、Nature論文は有料でしか読めない。 https://goo.gl/vWHbwd お金を払ってから気づいたのだが、First AuthorのGravesが、ちゃんと自分のところで論文を公開していた。（ 1,800円払う必要なかった。失敗した） https://goo.gl/r4g5xt Natureに掲載された本文自体は、短いもので、DNGで何ができるか事例をたくさんあげたもので読みやすいのだが、DNCの働きについては、これだけでは、よくわからない。 実は、先の論文の後半の "Method"というセクションが、DNCのキモの部分を詳しく述べている。ただし、前半とは違って、かなり難しい。（今度のマルレクで解説する） Method部分の理解のためには、Gravesらが以前に発表していた、"Neural Turing Machine" という論文を読むのがいいと思う。 https://arxiv.org/pdf/1410.5401.pdf  (そのうち、翻訳する。Google翻訳は、そのままでは使えないのだが、下訳としては、とても役に立つ。) Neural Turing Machine (NTM)が、やってみたことは、メモリーのコピー操作や連想記憶を機械に「学習させる」という、Nature論文の事例と比べると地味なものだが、コンピュータの機能としては基本的なものだ。（プログラムでメモリー・コピーを書くのではなく、学習によってコンピュータにコピーができるようにするというアプローチは、とても面白い。） もう少し、一般向けの「可微分ニューラルコンピュータ」の解説は、DeepMindのblogの次の記事だ。"Differentiable neural computers"  https://goo.gl/2JjDm2  こちらは、Nature論文の前半部分の解説になっている。 N

昨日の4月22日、ワシントンDCで "March for Science（科学のための行進）" が行われ、多数の市民・科学者が参加したようだ。 4月22日は、70年代に全世界に広がった環境保護運動の出発点となった 1970年の"Earth Day (地球の日)"が行われた日だ。 BrainPickingのMaria Popovaが、この"March for Science"で朗読されたJane Hirshfieldの "ON THE FIFTH DAY"という詩を紹介している。 https://goo.gl/YzUNHX 　On the fifth day 　the scientists who studied the rivers 　were forbidden to speak 　or to study the rivers. 　 　The scientists who studied the air 　were told not to speak of the air, 　and the ones who worked for the farmers 　were silenced, 　and the ones who worked for the bees. 　 　Someone, from deep in the Badlands, 　began posting facts. 　 　The facts were told not to speak 　and were taken away. 　The facts, surprised to be taken, were silent. 　.... 「五日目に」というのは、トランプが大統領に就任して五日目に、従来の環境保護政策を、180度転換させたことをさすのだろう。 "Science Not Silence (沈黙ではなく科学を)"というコピーも、気が利いていると思う。 語呂合わせでいうと、Mariaは、この4月24日にも、"The Universe in Verse: A Celebration of Science thr

昨日、公証人役場というところに初めて行ったのだが、変わった経験をした。 老齢の 婦人と付き添いの中年の男性が、 公証人（というんでしょうね）に呼ばれて、彼の前に。 ここに二人が 来た理由は、すぐにわかった。 公証人「私が読みあげますので、文書を確認ください。」 と言って、彼が読み上げたのは、彼女の遺言状だった。 おいおい。 彼女の所有する不動産、銀行預金、家族構成、誰に何を残すのか、詳しく全部きこえる。（遺言状なので当然だが） 公証人役場といっても、個室などなく、狭くて、胸までの間仕切りで区切られているだけ。普通に話していても、部屋中に聞こえる。 とっさのことで、聞きたくないと部屋を出ることも、読み上げをやめろということもできなかった。どうすればよかったのか、今でも、よくわからない。 問題は、彼女のプライバシーやセキュリティの問題だと思うのだが、 一番の問題は、公証人にそうした問題意識が全くないことじゃないかな？ 公証人役場で遺言状作るのやめよう。もっとも、残すべき財産がないので、遺言の必要も僕にはないのだが。 別の女性は、書類の不備を公証人に罵倒される。顔を真っ赤にして抗弁する彼女の話を聞けば（だって、聞こえるんだもん）、先に相談した別の公証人が是とした処理を、今日の公証人はダメだといっているようだ。 僕らの手続きは、秘密をバラされることも（嘘です。なんの秘密もありません）、罵倒されることもなく、すぐに終わった。

今週末の4月22日、角川ASCIIさんで開催する 6時間集中講義「自然言語とニューラルネットワーク」の講演資料です。ご利用ください。 　第一部　概説　自然言語と人工知能　 https://goo.gl/Hx4maJ 　第二部　RNNとLSTMの基礎　　　　 https://goo.gl/aAmyfC 　第三部　Googleニューラル機械翻訳   https://goo.gl/m1yMb0 基本的に、言語について取り上げてきた、この間の4回＋アルファのマルレクの講演を3回にまとめたものです。 計算が合わないのですが、第一部が、再構成・一部加筆され、結果、頭でっかちになっています。第二部・第三部は、マルレクの資料と同じものです。 長いので（スライド 700枚近くあります）、本当は、聴きにいらしてもらうのが一番いいのですが .....