【Neural Network Console】LSTMを理解するため Elman_net に Cell State を追加してみた：息子と一緒に Makers：So-netブログ

	ブログをはじめるログイン

【Neural Network Cons..｜【Neural Network Cons.. ブログトップ

【Neural Network Console】LSTMを理解するため Elman_net に Cell State を追加してみた　[AI] [編集]

Elman_net をこれから少しずつ LSTM に近づけていきたいと思います。今回は Elman_net に ”Cell State” を追加して、その振る舞いを調べてみたいと思います。

ソニー小林師匠によると、”Cell State” は「過去の出力を足しながら保持し、遠い過去の記憶の消失を防ぐ」役割をもっており各時間軸の出力を加算していくレイヤーです。

で早速、見よう見真似でネットワークを作ってみたのですが、エラーが出てしまいました。

2020-06-25 (2).png

いろいろと試行錯誤してみたところ、新しく追加した "Delay_2" の”Size”を (1, 28) と指定することで、解決しました。

2020-06-25 (4).png

さて、このネットワークを学習させてみます。

うまく収束しました。評価結果を確認します。

2020-06-26 (1).png

認識率は 96% になりました。前回は 93% だったので 3% 向上しました。

前回と同じように、このネットワークの各時間軸の出力結果を画像で出力してみたいと思います。次のようなネットワークを作りました。

2020-06-26 (2).png

学習をさせるとうまく収束しました。

2020-06-26 (3).png

結果を見てみましょう。

2020-06-26 (4).png

前回と違って数字が崩れています。これは加算レイヤーに各時間軸の学習結果が蓄積したためだと思われます。画像をよく見ると、推論方向となる縦に白が多いところは、結果も白くなっていますので、加算レイヤーが大きく影響していることが見受けられます。

今回の実験では、加算レイヤー（Cell State）を追加すると各時間軸の結果に大きく影響することがわかりました

まぁ、画像をスリットで見せられて、最終的に ”これなんだ？” という予測の仕方なので、当然の結果と言えるでしょう。やはりLSTMを扱うには音などの時系列データを使う方がわかりやすいのかなぁ。もうちょっと進め方考えるか…🤨
(´・ω・｀)