読み方のヒント

矢印ボタン(または ← → キー)でページを移動できます。

第2節 検索を測る

2.2 道具の選び方の正しさ

エージェントが最初に選んだ道具が、質問集の expected_tool と一致したかを数えます。練習の practice/evals/recorded_run.jsonl は、改善前のエージェントで10問を流した記録です。

問い期待する道具選んだ道具一致
Q01get_invoiceget_invoice○
Q02sum_paymentssum_payments○
Q04unpaid_totalssearch_documents×
Q10get_invoiceget_invoice○
Q19search_documentssearch_documents○
Q20request_release_payment_blockrelease_payment_block×

表にないほかの4問(Q06、Q16、Q17、Q18)も一致し、10問のうち8問が一致しました。外れた2問は、どちらも重い誤りです。Q04 は数える問いを文書の検索に回し、議事録の「ブロック中が2件」を答えにしています。Q20 は、依頼を作る道具ではなく、解除そのものを呼ぼうとしています。

Q20 の release_payment_block は、練習の道具の一覧にない名前です。モデルは、道具の一覧にない名前を作って呼ぶことがあります。エージェントを動かすプログラムは、一覧にない道具の呼び出しを実行せず、エラーとして返します。

解答

5/5(100%)です。キーワード検索だけの 4/5(80%)より、1問多く正しい文書を拾えています。キーワード検索が外していた Q09 を、ベクトル検索の結果が補っています。

7 / 20