読み方のヒント
矢印ボタン(または ← → キー)でページを移動できます。
ここまでの章で、道具を作るたびに Q01〜Q20 の一部で動きを確かめてきました。評価では、20問をまとめて同じ条件で流し、結果を記録して比べます。練習の practice/evals/questions.jsonl は、1行に1問を次の形で持ちます。
{"id": "Q04", "question": "いま、未払いの請求書は全部でいくらですか", "type": "数える",
"user": "山本", "expected_tool": "unpaid_totals",
"gold_evidence": ["5100000002", "5100000004", "5100000006", "5100000007", "5100000008"],
"must_include": ["858000", "2000"]}
| 項目 | 内容 |
|---|---|
type | 問いの型(数える・特定・意味・探索・書き込み) |
user | 問いを投げる利用者。権限の評価のため、Q18 は物流部の田中さん |
expected_tool | 最初に選ぶべき道具 |
gold_evidence | 根拠に含まれるべき番号・文書ID |
must_include | 答えに必ず含まれるべき事実 |
質問集には、答えられる問いだけでなく、答えてはいけない問いも入れます。Q18(権限の範囲外)、Q19(資料にない)、Q20(承認の要る書き込み)は、正しいふるまいが「答えない」「依頼を作って止める」である問いです。
2 / 20