SSブログ

【Neural Network Console】ついにLSTMにたどり着くの巻 [AI]

今回でようやくLSTMの形を完成させたいと思います。前回、"Output Gate" を追加しましたが、今回は "Forget Gate" というものを設けます。Forget Gate は Cell State を改造します。


スライド1.PNG


Cell State の役割を覚えているでしょうか?Cell State は過去の出来事を認識結果に反映させるため、加算器(Add2)に出力を加算していく役割をもっていました。

しかし、Cell State は相関の低い結果も加算してしまいます。それを Forget Gate に作り変えて、相関の低いな出力を加算させないようにします。


スライド2.PNG


この図のように、Forget Gate は Sigmoid がスイッチの役割になって、相関の低い結果の場合は0を出力するため加算器(Add2)に出力が蓄積されません。


では、学習をさせてみましょう。


2020-07-02 (1).png


収束しました。それでは結果はどうなったでしょうか。


2020-07-02 (2).png


今まででギリ一番よい結果が出てきました。例によって効果がよく分からないので、最終段をコンボリューションにして、画像で効果を確認してみましょう。


2020-07-02 (4).png


学習結果は相変わらずよいですね。


2020-07-02 (5).png


さて気になる結果は?


2020-07-02 (6).png


おお、かなり良い感じです。相関の高い出力だけが得られているようです。LSTMの効果がこれでようやく分かって来ました。

次はいよいよ SPRESENSE で動かしてみようかなぁ…でも何を認識させよう?🤔
(。-`ω´-) ナヤム…





ソニー開発のNeural Network Console入門【増補改訂・クラウド対応版】--数式なし、コーディングなしのディープラーニング

ソニー開発のNeural Network Console入門【増補改訂・クラウド対応版】--数式なし、コーディングなしのディープラーニング

  • 出版社/メーカー: リックテレコム
  • 発売日: 2018/11/14
  • メディア: 単行本(ソフトカバー)



はじめての「SonyNNC」 (I・O BOOKS)

はじめての「SonyNNC」 (I・O BOOKS)

  • 作者: 良一, 柴田
  • 出版社/メーカー: 工学社
  • 発売日: 2019/08/01
  • メディア: 単行本







nice!(21)  コメント(0) 
共通テーマ:趣味・カルチャー