今回でようやくLSTMの形を完成させたいと思います。前回、"Output Gate" を追加しましたが、今回は "Forget Gate" というものを設けます。Forget Gate は Cell State を改造します。
Cell State の役割を覚えているでしょうか?Cell State は過去の出来事を認識結果に反映させるため、加算器(Add2)に出力を加算していく役割をもっていました。
しかし、Cell State は相関の低い結果も加算してしまいます。それを Forget Gate に作り変えて、相関の低いな出力を加算させないようにします。
この図のように、Forget Gate は Sigmoid がスイッチの役割になって、相関の低い結果の場合は0を出力するため加算器(Add2)に出力が蓄積されません。
では、学習をさせてみましょう。
収束しました。それでは結果はどうなったでしょうか。
今まででギリ一番よい結果が出てきました。例によって効果がよく分からないので、最終段をコンボリューションにして、画像で効果を確認してみましょう。
学習結果は相変わらずよいですね。
さて気になる結果は?
おお、かなり良い感じです。相関の高い出力だけが得られているようです。LSTMの効果がこれでようやく分かって来ました。
次はいよいよ SPRESENSE で動かしてみようかなぁ…でも何を認識させよう?🤔
(。-`ω´-) ナヤム…
Cell State の役割を覚えているでしょうか?Cell State は過去の出来事を認識結果に反映させるため、加算器(Add2)に出力を加算していく役割をもっていました。
しかし、Cell State は相関の低い結果も加算してしまいます。それを Forget Gate に作り変えて、相関の低いな出力を加算させないようにします。
この図のように、Forget Gate は Sigmoid がスイッチの役割になって、相関の低い結果の場合は0を出力するため加算器(Add2)に出力が蓄積されません。
では、学習をさせてみましょう。
収束しました。それでは結果はどうなったでしょうか。
今まででギリ一番よい結果が出てきました。例によって効果がよく分からないので、最終段をコンボリューションにして、画像で効果を確認してみましょう。
学習結果は相変わらずよいですね。
さて気になる結果は?
おお、かなり良い感じです。相関の高い出力だけが得られているようです。LSTMの効果がこれでようやく分かって来ました。
次はいよいよ SPRESENSE で動かしてみようかなぁ…でも何を認識させよう?🤔
(。-`ω´-) ナヤム…
ソニー開発のNeural Network Console入門【増補改訂・クラウド対応版】--数式なし、コーディングなしのディープラーニング
- 出版社/メーカー: リックテレコム
- 発売日: 2018/11/14
- メディア: 単行本(ソフトカバー)
医療AIとディープラーニングシリーズ 2020-2021年版 標準 医用画像のためのディープラーニング-入門編-
- 出版社/メーカー: オーム社
- 発売日: 2020/04/24
- メディア: Kindle版