読み方のヒント

矢印ボタン(または ← → キー)でページを移動できます。

第4節 覚えすぎる失敗(過学習)

4.2 過学習を見つけて防ぐ

過学習は、訓練データとテストデータの当たった割合の差で見つけます。第3節の手がかりを増やしたモデルは、訓練データで100%、テストデータで70%でした。差が30ポイントあり、過学習が疑われます。

過学習を防ぐ方法には、次のようなものがあります。

方法考え方文具店の例
データを増やす例が多いと、偶然の重なりが目立たなくなる3か月分の記録を1年分にする
手がかりを減らす関係の薄い手がかりから、偶然の決まりが作られるのを防ぐレジ担当の名前の列を外す
決まりを単純にする細かすぎる決まりを作らせない日ごとではなく、天気と曜日ごとの決まりにする
学習を途中で止める細部を覚え始める前に学習を終えるテスト用とは別の確認用データで、当たり方が下がり始めたところで止める

生成AIの大規模言語モデルでも、学習した文章の一部をほぼそのまま出力してしまうことがあり、覚えすぎの問題として研究されています。くわしくは「AIの仕組み徹底学習 大規模言語モデル」で扱います。

解答
  • P:学習不足。どちらも低く、大きな傾向もつかめていない
  • Q:過学習。訓練データでは高いが、テストデータで大きく下がっている
  • R:ちょうどよい。どちらも高く、差が小さい

3つの中で、店の新しい声にいちばんよく当たりそうなのはRです。

15 / 24