LSTMに到達するまであと一息です。今回は "Output Gate" を追加します。
"Output Gate" は、Sigmoidでゲーティングされた”結合入力"の迂回路と"積算出力"との積になっています。これによって過去の"積算出力"と"結合入力"の相関の強い結果が出力されます。
その結果は次のラインに渡され、入力データと直前の結果をあわせることにより、それ以降の層、積算層、”Output Gate" は、より精度の高い結果が得られるようになることが期待されます。
ということで学習をさせました。
評価結果はというと、、、
だいたい96% であまり変わらない…どころか、若干悪化しています。う～ん、これでは良いのかどうなのかよく分からないですね。
ということで例によって最終段を Convolution 層に変えて各時間軸での出力を画像化してみたいと思います。
学習結果は収束しました。
結果はこのようになりました。
改善具合は明らかですね。各時間軸で入力をうまく選別し、より相関の強い出力だけを出力できるようになっているようです。
次は、いよいよLSTM完結編です！😉
(￣ー￣)
"Output Gate" は、Sigmoidでゲーティングされた”結合入力"の迂回路と"積算出力"との積になっています。これによって過去の"積算出力"と"結合入力"の相関の強い結果が出力されます。
その結果は次のラインに渡され、入力データと直前の結果をあわせることにより、それ以降の層、積算層、”Output Gate" は、より精度の高い結果が得られるようになることが期待されます。
ということで学習をさせました。
評価結果はというと、、、
だいたい96% であまり変わらない…どころか、若干悪化しています。う～ん、これでは良いのかどうなのかよく分からないですね。
ということで例によって最終段を Convolution 層に変えて各時間軸での出力を画像化してみたいと思います。
学習結果は収束しました。
結果はこのようになりました。
改善具合は明らかですね。各時間軸で入力をうまく選別し、より相関の強い出力だけを出力できるようになっているようです。
次は、いよいよLSTM完結編です！😉
(￣ー￣)
ソニー開発のNeural Network Console入門【増補改訂・クラウド対応版】--数式なし、コーディングなしのディープラーニング
- 出版社/メーカー: リックテレコム
- 発売日: 2018/11/14
- メディア: 単行本（ソフトカバー）
医療AIとディープラーニングシリーズ 2020-2021年版 標準 医用画像のためのディープラーニング－入門編－
- 出版社/メーカー: オーム社
- 発売日: 2020/04/24
- メディア: Kindle版