Bengioの「次元の呪い」から Sentence to Sentenceまで
【 区切りをどこに置くか 】
昨日は、セミナーの 第1部「意味の分散表現論の系譜」の最初の章を、「Bengioの「次元の呪い」から BERT Transformer まで」と考えていたのですが、実際にスライドをまとめてみると、とても長いものになってしまいました。それで、二つに分けることにしました。
「意味の分散表現論」は、21世紀に入ってから生まれ、短い期間に飛躍的に発展しました。今回取り上げようと思ったのは、つぎのような出来事です。
○ 2003年 Bengio：「次元の呪い」-- 語の特徴の分散表現
○ 2006年 Hinton：Auto Encoder -- 意味的ハッシング
○ 2011年 Ilya： RNN -- RNNによる文の生成
○ 2013年 Mikalov： Word2Vec -- 語の意味ベクトル
○ 2014年 Ilya : Sequence Sequence -- 文の意味ベクトル
○ 2015年 Karpathy : Unreasonable Effectiveness of RNN
○ 2016年 Bengio : Attention Mechanism
○ 2016年 Yonghui Wu : Google 機械翻訳
○ 2016年 Johnson : Google 多言語翻訳
○ 2019年 Toutanova : BERT
確かに、少し多いですね。といっても、すべて取り上げたわけではないのですが。
少し考えたのですが、2015年以前と2016年以降に分けることにしました。
2015年以前の発展は、「意味の分散表現論」の基礎が、さまざまな取り組みを通じて、固まった時期に当たっていると思います。中でも、「語の意味ベクトル」の発見と「文の意味ベクトル」の発見は、大きな意味を持っていたと思います。
2016年以降の発展は、こうした基礎レベル・理論レベルでの認識が、大々的に実践的な応用に取り入れられたことによってもたらされたように、僕は感じています。
「意味の分散表現論」は、今、新しい段階に入ろうとしているのだというのが、今回のセミナーで伝えたかったことなのですが、そうした新しい時代の「区切り」が、どのような先行した時代の中から生まれるのかに、関心を持つことは意味のあることだと思います。
今回のコンテンツは、以前に行ったセミナーの内容と重なっています。一部の人には、既知の内容になっていると思いますが、知識の整理・確認のつもりで見ていただければと思います。
-------------------------------------
コメント
コメントを投稿