【Neural Network Console】LSTMを理解するため、さらに InputGate を追加してみた！

前回、過去の学習結果を記憶するための "Cell State" を追加しました。今回はそれにさらに "Input Gate" を追加しました。





Input Gate は、入力を選択的に取り込む役割を担います。これによって、Cell State が相関度の低い入力でも書き換わってしまうのを防ぐことができます。





学習結果は収束しました。





結果を見てみましょう。





認識率は 96% で前回とあまり変化はありません。どのような改善効果があったのか良くわからないので、前回と同じく、各時間軸での結果を画像化してみました。例によって最終段を コンボリューションレイヤーに置き換えます。





学習結果は収束しました。





それでは結果を見てみます。





前回に比べると、それらしい輪郭が出ています。入力を選択的に取り込んだ結果でしょう。こうやって、一つ一つ動かしてみるとそれぞれのレイヤーの作用がよく分かるのでいいですね！😃
（＾＾）

---

ソニー開発のNeural Network Console入門【増補改訂・クラウド対応版】--数式なし、コーディングなしのディープラーニング

• 出版社/メーカー: リックテレコム
• 発売日: 2018/11/14
• メディア: 単行本（ソフトカバー）

はじめての「SonyNNC」 (I・O BOOKS)

• 作者: 良一, 柴田
• 出版社/メーカー: 工学社
• 発売日: 2019/08/01
• メディア: 単行本

医療AIとディープラーニングシリーズ 2020-2021年版 標準 医用画像のためのディープラーニング－入門編－

• 出版社/メーカー: オーム社
• 発売日: 2020/04/24
• メディア: Kindle版

---

タグ：LSTM Neural Network Console