読み方のヒント
矢印ボタン(または ← → キー)でページを移動できます。
練習の grade_run は、記録した実行を次の3点で採点し、3点すべてを満たした問いを合格にします。
tool_ok = r["tool"] == q["expected_tool"]
answer = r["answer"].replace(",", "")
facts_ok = all(f in answer for f in q["must_include"])
evidence_ok = not unsupported_numbers(r["answer"], r["evidence"]) and (
not q["gold_evidence"] or any(g in r["evidence"] for g in q["gold_evidence"])
)
改善前の記録を採点した結果は、次のとおりです。
| 問い | 道具 | 事実 | 根拠 | 合格 | 外れた理由 |
|---|---|---|---|---|---|
| Q01、Q02、Q06、Q16、Q17、Q18 | ○ | ○ | ○ | ○ | ― |
| Q04 | × | × | × | × | 議事録の数字を答えた |
| Q10 | ○ | × | ○ | × | 請求単価を 4400円と答えた(税込の金額を数量で割った) |
| Q19 | ○ | × | ○ | × | 資料にない改定の予定に、今年度の改定で答えた |
| Q20 | × | × | ○ | × | 解除そのものを呼び、「外しました」と答えた |
10問中6問が合格です。Q10 は、道具も根拠も正しいのに、答えの計算で誤っています。道具の評価だけでは見つからない誤りで、答えの採点が要る理由です。
10 / 20