3.2 重みの調整による学習の仕組み
ニューラルネットワークの「学習」とは、正しい答えが出るように重みを少しずつ調整することです。流れは次のとおりです。
- データを入力し、出力(予測)を計算する
- 予測と正解のずれを、損失関数で数値にする
- ずれの原因となった重みを、出力層から入力層へさかのぼって調べる(誤差逆伝播法)
- ずれが小さくなる方向へ、各重みを少しだけ動かす(勾配降下法)
- 大量のデータで1〜4を何度もくり返す
勾配降下法は、霧の中で坂を下りる人にたとえられます。周りが見えなくても、足元の傾き(勾配)が下っている方向へ一歩ずつ進めば、低い場所(ずれの小さい状態)に近づけます。