「ニューラル・コンピュータ」の基本文献

ニューラル・コンピュータの基本的な論文は、GoogleのDeepMindチームがNatureに発表した Alex Graves et al. "Hybrid computing using a neural network with dynamic external memory" なのだが、Nature論文は有料でしか読めない。https://goo.gl/vWHbwd
お金を払ってから気づいたのだが、First AuthorのGravesが、ちゃんと自分のところで論文を公開していた。( 1,800円払う必要なかった。失敗した)https://goo.gl/r4g5xt
Natureに掲載された本文自体は、短いもので、DNGで何ができるか事例をたくさんあげたもので読みやすいのだが、DNCの働きについては、これだけでは、よくわからない。
実は、先の論文の後半の "Method"というセクションが、DNCのキモの部分を詳しく述べている。ただし、前半とは違って、かなり難しい。(今度のマルレクで解説する)
Method部分の理解のためには、Gravesらが以前に発表していた、"Neural Turing Machine" という論文を読むのがいいと思う。https://arxiv.org/pdf/1410.5401.pdf (そのうち、翻訳する。Google翻訳は、そのままでは使えないのだが、下訳としては、とても役に立つ。)
Neural Turing Machine (NTM)が、やってみたことは、メモリーのコピー操作や連想記憶を機械に「学習させる」という、Nature論文の事例と比べると地味なものだが、コンピュータの機能としては基本的なものだ。(プログラムでメモリー・コピーを書くのではなく、学習によってコンピュータにコピーができるようにするというアプローチは、とても面白い。)
もう少し、一般向けの「可微分ニューラルコンピュータ」の解説は、DeepMindのblogの次の記事だ。"Differentiable neural computers" https://goo.gl/2JjDm2 こちらは、Nature論文の前半部分の解説になっている。
Natue論文の前半の一部は、翻訳してある。
「可微分ニューラルコンピュータとは何か(1) 概論」http://maruyama097.blogspot.com/2017/03/blog-post_17.html
「可微分ニューラルコンピュータとは何か(2) システム概観」http://maruyama097.blogspot.com/2017/03/blog-post_18.html

コメント

このブログの人気の投稿

TensorFlow Foldについて

TPU論文の翻訳(1)

可微分ニューラルコンピュータとは何か(1) 概論