ゼロから始めるディープラーニング 5章

タダです。

今回は5章の誤差逆伝播法の学習に関する勉強まとめです。

※記事は理解ができるたびに何度もアップデートしていこうと思います。 www.oreilly.co.jp

目次

なお、各章の内容は次の通りです。

• １章 Python入門
• ２章 パーセプトロン
• ３章 ニューラルネットワーク
• ４章 ニューラルネットワークの学習
• ５章 誤差逆伝播法
• ６章 学習に関するテクニック
• ７章 畳み込みニューラルネットワーク
• ８章 ディープラーニング

5.1

• 重みパラメータの勾配の計算を効率よく行う手法である、誤差逆伝播法について学ぶ
• 誤差伝播法の理解の方法として、数式による理解と、計算グラフによる理解があり、本書では後者にフォーカスする
  • 計算グラフとは、計算の過程をグラフによって表したもの
• 順伝播は、計算を左から右へ進めるステップによる手法
  • 逆伝播はは右から左へ計算を進める
  • 逆伝播は、局所的な微分(自分に関係する小さな範囲)を伝達する

5.2

• 「局所的な部分」を伝達する原理は、連鎖率によるもの
• 連鎖率とはある関数が合成関数で表される場合、その合成関数の微分は、合成関数を構成するそれぞれの関数の微分の積によって表される

5.3

• 加算の逆伝播は、入力信号を次のノードへ出力する
• 乗算の逆伝播は、入力信号の値をひっくり返した値を乗算する

5.4

※順伝播と逆伝播の実装の解説の節のため、省略

5.5

• 活性化関数の実装として、ReLU関数とSigmoid関数の層を実装する

5.6

• 誤差逆伝播法がニューラルネットワークの学習の4つのステップのうち、勾配の算出になる
  • ステップ1:ミニバッチ
  • ステップ2:勾配の算出
  • ステップ3:パラメーターの更新
  • ステップ4:1~3の繰り返し
• 数値微分と誤差逆伝播法の結果を比較することで、誤差逆伝播法の実装に誤りがないことを確認できる(勾配確認)

参考

• 誤差逆伝播法をはじめからていねいに - Qiita

次は6章になります。