Elman_net をこれから少しずつ LSTM に近づけていきたいと思います。今回は Elman_net に ”Cell State” を追加して、その振る舞いを調べてみたいと思います。
ソニー小林師匠によると、”Cell State” は「過去の出力を足しながら保持し、遠い過去の記憶の消失を防ぐ」役割をもっており各時間軸の出力を加算していくレイヤーです。
で早速、見よう見真似でネットワークを作ってみたのですが、エラーが出てしまいました。
いろいろと試行錯誤してみたところ、新しく追加した "Delay_2" の”Size”を (1, 28) と指定することで、解決しました。
さて、このネットワークを学習させてみます。
うまく収束しました。評価結果を確認します。
認識率は 96% になりました。前回は 93% だったので 3% 向上しました。
前回と同じように、このネットワークの各時間軸の出力結果を画像で出力してみたいと思います。次のようなネットワークを作りました。
学習をさせるとうまく収束しました。
結果を見てみましょう。
前回と違って数字が崩れています。これは加算レイヤーに各時間軸の学習結果が蓄積したためだと思われます。画像をよく見ると、推論方向となる縦に白が多いところは、結果も白くなっていますので、加算レイヤーが大きく影響していることが見受けられます。
今回の実験では、加算レイヤー（Cell State）を追加すると各時間軸の結果に大きく影響することがわかりました
まぁ、画像をスリットで見せられて、最終的に ”これなんだ？” という予測の仕方なので、当然の結果と言えるでしょう。やはりLSTMを扱うには音などの時系列データを使う方がわかりやすいのかなぁ。もうちょっと進め方考えるか…🤨
(´・ω・｀)
ソニー小林師匠によると、”Cell State” は「過去の出力を足しながら保持し、遠い過去の記憶の消失を防ぐ」役割をもっており各時間軸の出力を加算していくレイヤーです。
で早速、見よう見真似でネットワークを作ってみたのですが、エラーが出てしまいました。
いろいろと試行錯誤してみたところ、新しく追加した "Delay_2" の”Size”を (1, 28) と指定することで、解決しました。
さて、このネットワークを学習させてみます。
うまく収束しました。評価結果を確認します。
認識率は 96% になりました。前回は 93% だったので 3% 向上しました。
前回と同じように、このネットワークの各時間軸の出力結果を画像で出力してみたいと思います。次のようなネットワークを作りました。
学習をさせるとうまく収束しました。
結果を見てみましょう。
前回と違って数字が崩れています。これは加算レイヤーに各時間軸の学習結果が蓄積したためだと思われます。画像をよく見ると、推論方向となる縦に白が多いところは、結果も白くなっていますので、加算レイヤーが大きく影響していることが見受けられます。
今回の実験では、加算レイヤー（Cell State）を追加すると各時間軸の結果に大きく影響することがわかりました
まぁ、画像をスリットで見せられて、最終的に ”これなんだ？” という予測の仕方なので、当然の結果と言えるでしょう。やはりLSTMを扱うには音などの時系列データを使う方がわかりやすいのかなぁ。もうちょっと進め方考えるか…🤨
(´・ω・｀)
ソニー開発のNeural Network Console入門【増補改訂・クラウド対応版】--数式なし、コーディングなしのディープラーニング
- 出版社/メーカー: リックテレコム
- 発売日: 2018/11/14
- メディア: 単行本（ソフトカバー）
詳解ディープラーニング 第2版 ~TensorFlow/Keras・PyTorchによる時系列データ処理~ (Compass Booksシリーズ)
- 作者: 巣籠 悠輔
- 出版社/メーカー: マイナビ出版
- 発売日: 2019/11/27
- メディア: 単行本（ソフトカバー）