読み方のヒント

矢印ボタン(または ← → キー)でページを移動できます。

第5節 データの量と質

5.2 データの質を確かめる

拓海は、学習の前に、記録の表を一行ずつ確かめました。すると、いくつかの問題が見つかりました。

日付天気売れた本数見つかった問題
7月2日晴れ42042の打ちまちがいと考えられる
7月3日(空欄)38天気の記録が欠けている
7月4日晴れ40なし
7月4日晴れ40同じ日の記録が二重に入っている
7月5日雨0店の定休日で、売れなかったのではなく営業していない

どれも、そのまま学習に使うと決まりをゆがめます。420本の一日があると、晴れの日の平均が大きく上がります。定休日の0本があると、雨の日の平均が下がります。

データの質の問題には、主に次の種類があります。

  1. 入力の誤り:打ちまちがい、単位の取り違え
  2. 欠けた値:記録されていない項目
  3. 重なり:同じ例が二重に入っている
  4. 意味の違う例の混入:定休日、セールの日など、ほかの日と条件が違う日
  5. 古さ:店の場所や品ぞろえが変わる前の記録

学習の前にこうした問題を見つけて、直す・除く・印を付けるといった処理をすることを、データの前処理といいます。

解答
  • 1と2:同じ声が二重に入っている。一方を除く
  • 3:正解の付けまちがい。「それ以外」に直す
  • 4:古いデータ。今はない売り場についての声なので、今の店の苦情を見分ける学習には使わない

1は、それだけを見れば問題のない行です。重なりは、ほかの行と比べて初めて見つかります。

19 / 24