読み方のヒント

矢印ボタン(または ← → キー)でページを移動できます。

第3節 練習用と確認用にデータを分ける

3.1 学習に使ったデータで採点しない

拓海は、お客さんの声100件に正解を付け、苦情を見分けるモデルを作りました。千尋が「どのくらい当たるのですか」とたずねると、拓海は「100件で試すと98件当たりました」と答えました。

この100件は、モデルが学習に使った声と同じです。98件という数は、覚えた声をもう一度当てた結果です。練習問題の答えを覚えた人に、同じ練習問題でテストをしても、本番の力は分かりません。

そこで、正解付きのデータを、学習の前に2つに分けます。

分けたデータ件数の例使い方
訓練データ80件モデルの学習に使う
テストデータ20件学習には使わず、できあがったモデルの確認だけに使う

テストデータは、モデルにとって初めて見る声です。テストデータでの当たり方は、店に新しく届く声での当たり方に近くなります。

学習のやり方を何度も調整するときは、調整のための確認用(検証データ)をもう一つ分けて、テストデータは最後の確認に一度だけ使う方法もあります。

10 / 24