読み方のヒント
矢印ボタン(または ← → キー)でページを移動できます。
過学習は、訓練データとテストデータの当たった割合の差で見つけます。第3節の手がかりを増やしたモデルは、訓練データで100%、テストデータで70%でした。差が30ポイントあり、過学習が疑われます。
過学習を防ぐ方法には、次のようなものがあります。
| 方法 | 考え方 | 文具店の例 |
|---|---|---|
| データを増やす | 例が多いと、偶然の重なりが目立たなくなる | 3か月分の記録を1年分にする |
| 手がかりを減らす | 関係の薄い手がかりから、偶然の決まりが作られるのを防ぐ | レジ担当の名前の列を外す |
| 決まりを単純にする | 細かすぎる決まりを作らせない | 日ごとではなく、天気と曜日ごとの決まりにする |
| 学習を途中で止める | 細部を覚え始める前に学習を終える | テスト用とは別の確認用データで、当たり方が下がり始めたところで止める |
生成AIの大規模言語モデルでも、学習した文章の一部をほぼそのまま出力してしまうことがあり、覚えすぎの問題として研究されています。くわしくは「AIの仕組み徹底学習 大規模言語モデル」で扱います。
3つの中で、店の新しい声にいちばんよく当たりそうなのはRです。
15 / 24