読み方のヒント
矢印ボタン(または ← → キー)でページを移動できます。
千尋の店で、ボールペンの売れる本数を予測するモデルを2つ作りました。
| モデル | 作った決まり |
|---|---|
| A | 晴れなら40本、雨なら27本 |
| B | 6月3日(晴れ・月曜・気温24度)は42本、6月4日(雨・火曜・気温19度)は25本……と、日ごとに細かく決まりを作る |
Bは、訓練データの一日一日をそのまま覚えています。訓練データの日を聞かれれば、ぴったり当てます。しかし、新しい日は「晴れ・水曜・気温22度」のように、覚えた日とどこかが違います。Bは似た日を選ぶ決まりが細かすぎるため、たまたま近かった一日の数をそのまま答え、大きく外れることがあります。
Aは、一日ごとの細かい違いを捨てて、天気という大きな傾向だけを決まりにしています。訓練データの日でもぴったりは当たりませんが、新しい日でも大きくは外れません。
訓練データの細かい違いや偶然まで覚えてしまい、新しいデータで当たらなくなることを、過学習といいます。
| 状態 | 訓練データ | テストデータ | 起きていること |
|---|---|---|---|
| 学習不足 | 低い | 低い | 大きな傾向もつかめていない |
| ちょうどよい | 高い | 訓練データに近い | 傾向をつかみ、新しいデータにも当てはまる |
| 過学習 | とても高い | 大きく下がる | 訓練データの細部や偶然まで覚えている |
14 / 24