読み方のヒント
矢印ボタン(または ← → キー)でページを移動できます。
エージェントが最初に選んだ道具が、質問集の expected_tool と一致したかを数えます。練習の practice/evals/recorded_run.jsonl は、改善前のエージェントで10問を流した記録です。
| 問い | 期待する道具 | 選んだ道具 | 一致 |
|---|---|---|---|
| Q01 | get_invoice | get_invoice | ○ |
| Q02 | sum_payments | sum_payments | ○ |
| Q04 | unpaid_totals | search_documents | × |
| Q10 | get_invoice | get_invoice | ○ |
| Q19 | search_documents | search_documents | ○ |
| Q20 | request_release_payment_block | release_payment_block | × |
表にないほかの4問(Q06、Q16、Q17、Q18)も一致し、10問のうち8問が一致しました。外れた2問は、どちらも重い誤りです。Q04 は数える問いを文書の検索に回し、議事録の「ブロック中が2件」を答えにしています。Q20 は、依頼を作る道具ではなく、解除そのものを呼ぼうとしています。
Q20 の release_payment_block は、練習の道具の一覧にない名前です。モデルは、道具の一覧にない名前を作って呼ぶことがあります。エージェントを動かすプログラムは、一覧にない道具の呼び出しを実行せず、エラーとして返します。
5/5(100%)です。キーワード検索だけの 4/5(80%)より、1問多く正しい文書を拾えています。キーワード検索が外していた Q09 を、ベクトル検索の結果が補っています。
7 / 20