タダです。
今回は5章の誤差逆伝播法の学習に関する勉強まとめです。
※記事は理解ができるたびに何度もアップデートしていこうと思います。 www.oreilly.co.jp
目次
なお、各章の内容は次の通りです。
- 1章 Python入門
- 2章 パーセプトロン
- 3章 ニューラルネットワーク
- 4章 ニューラルネットワークの学習
- 5章 誤差逆伝播法
- 6章 学習に関するテクニック
- 7章 畳み込みニューラルネットワーク
- 8章 ディープラーニング
5.1
- 重みパラメータの勾配の計算を効率よく行う手法である、誤差逆伝播法について学ぶ
- 誤差伝播法の理解の方法として、数式による理解と、計算グラフによる理解があり、本書では後者にフォーカスする
- 計算グラフとは、計算の過程をグラフによって表したもの
- 順伝播は、計算を左から右へ進めるステップによる手法
- 逆伝播はは右から左へ計算を進める
- 逆伝播は、局所的な微分(自分に関係する小さな範囲)を伝達する
5.2
5.3
- 加算の逆伝播は、入力信号を次のノードへ出力する
- 乗算の逆伝播は、入力信号の値をひっくり返した値を乗算する
5.4
※順伝播と逆伝播の実装の解説の節のため、省略
5.5
- 活性化関数の実装として、ReLU関数とSigmoid関数の層を実装する
5.6
- 誤差逆伝播法がニューラルネットワークの学習の4つのステップのうち、勾配の算出になる
- ステップ1:ミニバッチ
- ステップ2:勾配の算出
- ステップ3:パラメーターの更新
- ステップ4:1~3の繰り返し
- 数値微分と誤差逆伝播法の結果を比較することで、誤差逆伝播法の実装に誤りがないことを確認できる(勾配確認)
参考
次は6章になります。