LSTMをRNNと比較する

LSTMは、RNNの一種である。ただ、LSTMは、旧来の単純なRNNとは異なっている。ここでは、LSTMとかつてのRNNを比較してみようと思う。

かつてのRNN(以下、単にRNNと呼ぶことにする)は、次のような形をしていた。


両者の比較を図示すれば、次のようになる。

RNNでは、横の繋がり（展開形で）は、h層の一本だけだったのだが、LSTMでは、もう一本多く横のつながりを持つ。このc層は、LSTMで新たに付け加えられたものだ。あとで見るように、LSTMでは、この層が独自のとても大事な働きをすることになる。

この図では、入力は水色、出力は緑色で表されているのだが、RNNは、二つの入力 \(h_{t-1}\) 、\( x_t \) を持ち、二つの出力 \( h_t\) 、\( o_t \) を持つ。それに対して、LSTMは、三つの入力 \(h_{t-1}\) 、\( c_{t-1} \)、\( x_t \) を持ち、三つの出力 \( h_t\) 、\(c_t \)、\( o_t \) を持つ。


LSTMの内部を、簡単に見てみよう。（詳細な説明は、後にする。）基本的には、左の図に対応して、LSTMは、\( h_t \) を生成する層と、\( c_t \) を生成する層の二つからできている。

ここでは、次の二つのことに注意しよう。

第一に、LSTMの出力 \( o_t \)は、\( h_t \) と同じものである。先ほど、三つの出力があると書いたが、三つのうち二つは、同じ \( h_t \)である（右の図で、上方向と横方向の出力の \( h_t \) ）。右と左の図を比べて、c層の位置とh層の位置が、上下反対のように見えるのは、h層が出力を行う層だからである。また、右図の大きな回り道は、\( h_t \) が、二箇所で利用されているからである。

第二に、それでは、情報の流れは、右の図の大きなノード間の、c層からh層への流れであって、左の図にあるような h層からc層の流れは、存在しないのであろうか？　そうではない。h層への入力である \(h_{t-1}\)  は、入力 \( x_t \) と合流して、それがc層に流れている。ここでは、二つの入力を合流させるのに、二つのベクトルを横に繋げて連結するという方法を取っている。（右図の下の方）



連結する（concatanate）とは、次のような処理である。

\( h_{t-1} = (h_1, h_2, h_3. \ldots , h_m) \) で、\(x_t = ( x_1, x_2, x_3. \ldots , x_n) \) なら、\( [ h_{t-1} , x_t ] = ( h_1, h_2, h_3. \ldots , h_m, x_1, x_2, x_3. \ldots , x_n) \) になるということである。 


コメント

  1. Athene python2026年7月1日 13:38

    LSTM (Long Short-Term Memory) is a type of recurrent neural network (RNN) designed to process and learn from sequential data. Unlike traditional RNNs, LSTMs can remember important information for long periods while forgetting irrelevant details through special components called gates. This makes them highly effective for tasks such as speech recognition, language translation, text prediction, handwriting recognition, and time-series forecasting. Their ability to capture long-term dependencies has made LSTMs a fundamental model in deep learning applications.

    返信削除

コメントを投稿

このブログの人気の投稿

宇宙の終わりと黒色矮星

イメージ
【宇宙の終わりと黒色矮星】 図のようなストーリーで、「宇宙の終わりとエントロピー」という投稿を準備していたのだが、いろいろ雑念が湧いて気がすすまなくなる。その理由は別稿で。 この図は、「閉じられた部屋でのガスの拡散」というわかりやすいモデルで理解されるエントロピーの増大の法則が、あるフェーズから、宇宙規模でみれば、「全ての物質のブラックホールへの吸収・収斂」として現れると言うことを主張している。最初、ペンローズのこの話を読んだときには、目からウロコだった。 このストーリーにはもっと先がある。最近のシミュレーションでは、指数関数的に膨張する宇宙では、巨大なブラックホールに捕捉されるのは、宇宙全体の物質の10%程度だという。恒星起源のブラックホールは 10^67 年で、銀河系中心の巨大ブラックホールも 10^99年で、ホーキング放射で「蒸発」し姿を消す。 ブラックホールに捕捉されなかった宇宙の残りの90%の物質は、元それが属した銀河系から孤立したまま星の一生の進化を続ける。太陽の1.2倍程度の質量を持つ星は「白色矮星」になるのだが、「白色矮星」は 10^17年で「黒色矮星」に変わる。 「黒色矮星」は、現代の「宇宙の終末論」では、もっとも注目されている天体なのだが、それはまだ観測されていないと言う。というのも、この天体は光を出さないからだ。「黒色矮星」の中心は、最も安定な原子である鉄の「結晶」でできていて、温度は絶対零度近くに冷却されている。 「黒色矮星」は、とても長生きする天体である。陽子崩壊がおきるなら、黒色矮星の寿命は 10^32年程度だが、もし陽子が安定しているとすれば、太陽の 1.24倍程度の質量を持つ「黒色矮星」は、10^1600年後に突然崩壊して超新星爆発を起こす。もっと軽い、太陽の1.16倍程度の質量を持つ「黒色矮星」は、10^32000 年後（！）に超新星爆発を起こす。 このシナリオによれば、宇宙は、とてつもなく長い長い退屈な時間をかけて、その死を迎える。「黒色矮星」の超新星爆発は、宇宙の死を飾る最後の打ち上げ花火である。その後には、宇宙には何も起こらない。 この記事は、ジョン・バエズの "Black Dwarf Supernovae" を基にしたものだ。https://johncarlosbaez.wordpress.com/202...
続きを読む

1 + 196883 = 196884

【 1 + 196883 = 196884  −− ある数学的認識の飛躍の物語 】 このコラムのタイトル「1 + 196883 = 196884」 は、当たり前すぎて、かえって意味不明かもしれません。 ただ、もしも、あなたのクレジット・カードの最初の6桁の数字に1を足したものが、あなたのマイナンバーカードの最初の6桁の数字と完全に一致していたとすれば、この式は、単なる足し算以上の意味を持ちます。 もっとも、クレジット・カードとマイナンバー・カードの場合、こうした数字の一致は、全くの偶然と考えていいと思います。 このコラムの「1 + 196883 = 196884」の場合も、左側に現れる数字196883と右側に現れる数字196884は、実は、数学の別の分野から取られたものです。 ただ、クレジット・カードとマイナンバー・カードの数字の偶然の一致とは異なって、この等式は、一見無関係に見える数学の分野間の驚くべき繋がりを示唆する、重要な発見の糸口となりました。 1 + 196883 = 196884 という一見自明の等式は、20世紀の数学的認識のある飛躍の物語の、最初の主人公なのです。 【  John McKayが気づいたこと 】 1978年ごろ、McKayは、あることに気づきます。 当時は、「モンスター群」の存在は証明されていなかったのですが、FischerとGriessは、モンスター群が「存在するならば」、その最小の非自明な既約表現（最も基本的な「対称性のパターン」を捉える方法）の次元は 196883 であると予想していました。 McKayは、この数字 196883 が、数論の分野で基本的な対象である j-不変量 j(τ) の q-展開（フーリエ級数展開に類似したもの）に現れる係数 196884 に極めて近いことに気づきます。     「1 + 196883 = 196884 だろう ! 」 そればかりではありません。McKayは、さらにj(𝜏) の最初のいくつかの項の係数が、モンスター群 M の既約表現の次元 r(n) の単純な線型結合として表現できることに気づきます。 【 数学者の直感 】 先に進む前に、あらためて問題を整理しておきましょう。 第一。ここでの議論には、二つの全く異なる数学的対象、「j-不変量」と「Monster...
続きを読む

機械の言語能力の獲得から考える embeddingの共有・蓄積・検索の未来

イメージ
機械の言語能力の獲得から考える embeddingの共有・蓄積・検索の未来 #01 「機械が言語能力を獲得した」ということについて https://maruyama097.blogspot.com/2025/12/blog-post_25.html #02 ことばから文字へ https://maruyama097.blogspot.com/2025/12/blog-post_51.html #03 情報の共有と情報の集積 https://maruyama097.blogspot.com/2025/12/blog-post_37.html #04 文字からembeddingへ −− 大規模分散システムの成立 https://maruyama097.blogspot.com/2025/12/embedding.html #05  文字からembeddingへ −−意味の分散表現論の系譜 https://maruyama097.blogspot.com/2025/12/embedding_25.html #06  意味の分散表現論の登場 https://maruyama097.blogspot.com/2025/12/blog-post_27.html #07  文の意味のベクトル表現の発見 https://maruyama097.blogspot.com/2025/12/blog-post_30.html #08  Interlude 1 −− ChatGPTが生まれた日 https://maruyama097.blogspot.com/2026/01/interlude-1-chatgpt.html #09 Interlude 2 −− OpenAI の分裂が残したもの https://maruyama097.blogspot.com/2026/01/interlude-2-openai.html #10  Transformerの登場 https://maruyama097.blogspot.com/2026/01/transformer.html #11  1/31 マルレク「機械の言語能力の獲得を考える」へのお誘い https://maruyama097.blogspot.com/2026/01/131...
続きを読む