3.2 評価のぶれを減らす
同じ答えでも、評価する人によって点が分かれることがあります。ぶれを減らす工夫には、次のようなものがあります。
- 観点ごとに、3点・2点・1点の答えの見本を用意しておく
- 評価を始める前に、数件を全員で評価して、点の付け方をそろえる
- どのモデルやどの頼み方で作った答えかを隠して評価する
- 点を付けるより比べるほうが判断しやすいときは、2つの答えを並べて、よいほうを選ぶ
答えの数が多いときは、AIに評価させる方法もあります。3.1の表と答えをAIに渡し、点を付けさせます。人の手間は減りますが、AIの評価にも癖があります。