【Neural Network Console】まだ続くよLSTM、さらに OutputGate を追加してみた
LSTMに到達するまであと一息です。今回は "Output Gate" を追加します。
"Output Gate" は、Sigmoidでゲーティングされた”結合入力"の迂回路と"積算出力"との積になっています。これによって過去の"積算出力"と"結合入力"の相関の強い結果が出力されます。
その結…
【Neural Network Console】LSTMを理解するため、さらに InputGate を追加してみた！
前回、過去の学習結果を記憶するための "Cell State" を追加しました。今回はそれにさらに "Input Gate" を追加しました。
Input Gate は、入力を選択的に取り込む役割を担います。これによって、Cell State が相関度の低い入力でも書き換わってしまうのを防ぐことができます。
…
【Neural Network Console】LSTMを理解するため Elman_net に Cell Stat…
.png)
Elman_net をこれから少しずつ LSTM に近づけていきたいと思います。今回は Elman_net に ”Cell State” を追加して、その振る舞いを調べてみたいと思います。
ソニー小林師匠によると、”Cell State” は「過去の出力を足しながら保持し、遠い過去の記憶の消失を防ぐ」役割をもっており各時間軸の出力…