継続は力なり

タイトル通り定期的な更新を心掛けるブログです。

ゼロから始めるディープラーニング 2章

タダです。

今回から以下の本を読んだ内容を各章ごとにまとめていきたいと思います。
※記事は理解ができるたびに何度もアップデートしていこうと思います。
www.oreilly.co.jp

目次

なお、各章の内容は次の通りです。

1章はPythonの基本だったので割愛して、2章から手をつけていきます。

パーセプトロンについて

2章はパーセプトロンについてです。
パーセプトロンディープラーニングででてくるニューラルネットワークの起源となるアルゴリズムになります。

f:id:sadayoshi_tada:20180107164844p:plain

  • x1とx2は入力信号、yは出力信号で、w1とw2が重みを表す
  • 図の◯は「ニューロン」や「ノード」と呼ばれる
  • 入力信号はニューロンに送られる前に送られてきた信号の総和が計算され、それぞれに固有の重みが乗算される(w1x1、w2x2)
  • 1が出力される時をx1とx2の総和が限界死を超えた場合、閾値と呼ぶ(θ)
  • 重みが重いほど重要性が増す

論理回路

論理回路としてANDゲート(2つの出力が1の場合に1を出力し、それ以外は0になる)やNANDゲートとORゲート、XORゲートがあります。

ANDゲート

x1 x2 y
0 0 0
0 1 0
1 0 0
1 1 1

NANDゲート

x1 x2 y
0 0 1
0 1 1
1 0 1
1 1 0

ORゲート

x1 x2 y
0 0 0
0 1 1
1 0 1
1 1 1

重みとバイアス

パーセプトロンでは、入力信号に重みが乗算された値とバイアス(b)の話が計算され、その値が0を上回れば1を出力します。
そうでなれけば、0を出力します。

  • バイアスは重みとは違う働きをする
  • 重みは入力信号への重要度をコントロールするパラメーターだが、バイアスは、出力信号が1を出力する度合いを調整するパラメーター

パーセプトロンの限界

XORゲート

x1 x2 y
0 0 0
0 1 1
1 0 1
1 1 0
  • パーセプトロンでは、各ゲートの出力を直線によって表現するが、XORゲートは曲線で表現するためパーセプトロンでは実装できない
  • 曲線で表現されるものを非線形、直線で表現されるものを線形という

層を重ねる

以上が2章のまとめになります。
次回は3章ニューラルネットワークです!