読み方のヒント

矢印ボタン(または ← → キー)でページを移動できます。

第1節 評価の質問集

1.1 共通の問いを評価に使う

ここまでの章で、道具を作るたびに Q01〜Q20 の一部で動きを確かめてきました。評価では、20問をまとめて同じ条件で流し、結果を記録して比べます。練習の practice/evals/questions.jsonl は、1行に1問を次の形で持ちます。

{"id": "Q04", "question": "いま、未払いの請求書は全部でいくらですか", "type": "数える",
 "user": "山本", "expected_tool": "unpaid_totals",
 "gold_evidence": ["5100000002", "5100000004", "5100000006", "5100000007", "5100000008"],
 "must_include": ["858000", "2000"]}
項目内容
type問いの型(数える・特定・意味・探索・書き込み)
user問いを投げる利用者。権限の評価のため、Q18 は物流部の田中さん
expected_tool最初に選ぶべき道具
gold_evidence根拠に含まれるべき番号・文書ID
must_include答えに必ず含まれるべき事実

質問集には、答えられる問いだけでなく、答えてはいけない問いも入れます。Q18(権限の範囲外)、Q19(資料にない)、Q20(承認の要る書き込み)は、正しいふるまいが「答えない」「依頼を作って止める」である問いです。

2 / 20