【Neural Network Console】まだ続くよLSTM、さらに OutputGate を追加してみた

LSTMに到達するまであと一息です。今回は "Output Gate" を追加します。





"Output Gate" は、Sigmoidでゲーティングされた”結合入力"の迂回路と"積算出力"との積になっています。これによって過去の"積算出力"と"結合入力"の相関の強い結果が出力されます。





その結果は次のラインに渡され、入力データと直前の結果をあわせることにより、それ以降の層、積算層、”Output Gate" は、より精度の高い結果が得られるようになることが期待されます。





ということで学習をさせました。





評価結果はというと、、、





だいたい96% であまり変わらない…どころか、若干悪化しています。う～ん、これでは良いのかどうなのかよく分からないですね。

ということで例によって最終段を Convolution 層に変えて各時間軸での出力を画像化してみたいと思います。





学習結果は収束しました。





結果はこのようになりました。





改善具合は明らかですね。各時間軸で入力をうまく選別し、より相関の強い出力だけを出力できるようになっているようです。

次は、いよいよLSTM完結編です！😉
(￣ー￣)

---

ソニー開発のNeural Network Console入門【増補改訂・クラウド対応版】--数式なし、コーディングなしのディープラーニング

• 出版社/メーカー: リックテレコム
• 発売日: 2018/11/14
• メディア: 単行本（ソフトカバー）

はじめての「SonyNNC」 (I・O BOOKS)

• 作者: 良一, 柴田
• 出版社/メーカー: 工学社
• 発売日: 2019/08/01
• メディア: 単行本

医療AIとディープラーニングシリーズ 2020-2021年版 標準 医用画像のためのディープラーニング－入門編－

• 出版社/メーカー: オーム社
• 発売日: 2020/04/24
• メディア: Kindle版

---

タグ：LSTEM Neural Network Console