読み方のヒント

矢印ボタン(または ← → キー)でページを移動できます。

第3節 生成AIの答えを人が評価する

3.1 観点を決めて評価する

千尋は、生成AIに臨時休業のお知らせを書かせ、出来を評価したいと考えました。正解の文が一つに決まらないため、第1節のように当たり外れを数えられません。

そこで、評価の観点と、点の付け方を先に決めます。

観点3点2点1点
事実の正しさ日付・曜日・店名が、渡した情報とすべて一致する―一つでも違う、または渡していない事実を足している
指示を守ったか文字数・敬語・形式の指示をすべて守っている一つ守っていない二つ以上守っていない
分かりやすさ何が・いつ・どうなるかが、最初の2文で分かる最後まで読めば分かる分かりにくい

事実の正しさは、2点を設けていません。日付が一つ違うだけで、お知らせとして使えないためです。観点ごとに、何点ならどんな状態かを文で書いておくと、評価する人が変わっても、点の付け方がそろいやすくなります。

解答
  • 事実の正しさ:1点。曜日が(月)ではなく(火)になっている。「店内の改装のため」は、渡していない事実を足している
  • 指示を守ったか:3点。100字以内で、です・ます調
  • 分かりやすさ:3点。最初の2文で、何が・いつ・どうなるかが分かる

合計点は7点ですが、事実の正しさが1点なので、このままでは使えません。合計点だけで判断せず、使えなくなる観点を先に確かめます。

10 / 20