次回マルレクの予定について

この間マルレクでは、ニューラルネットワークの基礎としてのFull ConnectのFeedForward  Networkと、画像処理を中心に大きな成功を収めたConvolutional Neural Network を取りげてきました。次回・次々回のマルレクでは、機械翻訳等の Sequence to Sequence の処理で活用されている Recurrent Neural Network -- RNNを取り上げます。

マルレクは隔月で開催してきたのですが、会場の都合で、次回マルレクは二月（第五回）と三月（第六回）で開催する予定です。

マルレク第五回　
2月28日　19:30〜　品川　マイクロソフト本社

テーマ：「 RNNの基礎 -- Sequence to Sequence 」

概要：

RNNは、時系列データや自然言語のテキストのようなシーケンシャルなデータを、別の時系列データや別の言語のテキストのような、同じくシーケンシャルなデータに変換する時によく使われるニューラル・ネットワークのモデルです。

講演では、まず、これまで取り上げたFull Connectのニューラル・ネットワーク（入力も出力も「順序」を持たない）や、Convolutional ニューラル・ネットワーク（時間のない空間的な配置から特徴を抽出する）との対比で、ネットワークがループを持つRNNの特徴を述べたいと思います。

講演では、最もよく使われているRNNのモデルであるLSTM(Long Short Term Memory)にフォーカスして、RNNの基礎を解説したいと思います。

参考文献：

• The Unreasonable Effectiveness of Recurrent Neural Networks
• Understanding LSTM Networks
• Sequence Modeling

マルレク第六回　
3月27日　19:00〜　品川　マイクロソフト本社

テーマ：「RNNの応用と発展 --- Google翻訳とDNC 」

概要：

RNNの応用で目覚ましい成果の一つは、昨年末に発表されたGoogle翻訳の進化です。機械翻訳の精度は、飛躍的に向上しました。講演では、Google翻訳が、どのようにRNN　(deep LSTM)を利用しているかを解説しようと思います。

同時に、RNN/LSTMの制限を越えようとする研究も活発に行われています。

講演では、こうした新しい探求の代表例として、Google DeepDreamチームのDNC(differentiable neural computer)のアーキテクチャーを取り上げようと思います。コンピュータのメモリーを積極的に利用しようというこのアプローチは、ニューラル・ネットワークの枠を超えて、新しいコンピュータ・アーキテクチャーの提案としても興味深いものです。

参考文献：

• Google’s Neural Machine Translation System: Bridging the Gap between Human and Machine Translation
• Neural Turing Machines
• Hybrid computing using a neural network with dynamic external memory