読み方のヒント

矢印ボタン(または ← → キー)でページを移動できます。

第3節 LLMに採点させるときの注意

3.2 採点役の判断を確かめる

採点役のLLMにも、くせがあります。

くせ例対処
長い答えを高く付ける80字を超えた紹介文を「詳しい」と合格にする字数はプログラムで数える
自分と同じ会社のモデルの答えを高く付けることがある採点役と答えたモデルが同じ会社採点役を、比べる会社と別のモデルにする、または入れ替えて確かめる
資料にない事実を見落とす「品評会で受賞」を見逃す事実の確かめは、資料との照らし合わせを人が行う

蓮は、採点役の判断を使う前に、紹介文20件を早紀が採点し、採点役の判断と比べました。20件中18件で一致し、違った2件は、どちらも「資料にない事実」を採点役が見落としていました。そこで、事実の観点だけは、人が確かめることにしました。

解答例

80字以内はプログラムで数えます。です・ます調は、LLMに採点させます(人の判断と一致していました)。資料にない事実は、人が確かめます(採点役が見落としたため)。

11 / 20