次回マルレクの予定について

この間マルレクでは、ニューラルネットワークの基礎としてのFull ConnectのFeedForward  Networkと、画像処理を中心に大きな成功を収めたConvolutional Neural Network を取りげてきました。次回・次々回のマルレクでは、機械翻訳等の Sequence to Sequence の処理で活用されている Recurrent Neural Network -- RNNを取り上げます。

マルレクは隔月で開催してきたのですが、会場の都合で、次回マルレクは二月(第五回)と三月(第六回)で開催する予定です。

マルレク第五回 
2月28日 19:30〜 品川 マイクロソフト本社

テーマ:RNNの基礎 -- Sequence to Sequence

概要:

RNNは、時系列データや自然言語のテキストのようなシーケンシャルなデータを、別の時系列データや別の言語のテキストのような、同じくシーケンシャルなデータに変換する時によく使われるニューラル・ネットワークのモデルです。

講演では、まず、これまで取り上げたFull Connectのニューラル・ネットワーク(入力も出力も「順序」を持たない)や、Convolutional ニューラル・ネットワーク(時間のない空間的な配置から特徴を抽出する)との対比で、ネットワークがループを持つRNNの特徴を述べたいと思います。

講演では、最もよく使われているRNNのモデルであるLSTM(Long Short Term Memory)にフォーカスして、RNNの基礎を解説したいと思います。

参考文献:




マルレク第六回 
3月27日 19:00〜 品川 マイクロソフト本社

テーマ:RNNの応用と発展 --- Google翻訳とDNC 

概要:

RNNの応用で目覚ましい成果の一つは、昨年末に発表されたGoogle翻訳の進化です。機械翻訳の精度は、飛躍的に向上しました。講演では、Google翻訳が、どのようにRNN (deep LSTM)を利用しているかを解説しようと思います。

同時に、RNN/LSTMの制限を越えようとする研究も活発に行われています。

講演では、こうした新しい探求の代表例として、Google DeepDreamチームのDNC(differentiable neural computer)のアーキテクチャーを取り上げようと思います。コンピュータのメモリーを積極的に利用しようというこのアプローチは、ニューラル・ネットワークの枠を超えて、新しいコンピュータ・アーキテクチャーの提案としても興味深いものです。

参考文献:






コメント

このブログの人気の投稿

マルレク・ネット「エントロピーと情報理論」公開しました。

初めにことばありき

人間は、善と悪との重ね合わせというモデルの失敗について