読み方のヒント
矢印ボタン(または ← → キー)でページを移動できます。
採点役のLLMにも、くせがあります。
| くせ | 例 | 対処 |
|---|---|---|
| 長い答えを高く付ける | 80字を超えた紹介文を「詳しい」と合格にする | 字数はプログラムで数える |
| 自分と同じ会社のモデルの答えを高く付けることがある | 採点役と答えたモデルが同じ会社 | 採点役を、比べる会社と別のモデルにする、または入れ替えて確かめる |
| 資料にない事実を見落とす | 「品評会で受賞」を見逃す | 事実の確かめは、資料との照らし合わせを人が行う |
蓮は、採点役の判断を使う前に、紹介文20件を早紀が採点し、採点役の判断と比べました。20件中18件で一致し、違った2件は、どちらも「資料にない事実」を採点役が見落としていました。そこで、事実の観点だけは、人が確かめることにしました。
80字以内はプログラムで数えます。です・ます調は、LLMに採点させます(人の判断と一致していました)。資料にない事実は、人が確かめます(採点役が見落としたため)。
11 / 20