読み方のヒント

矢印ボタン(または ← → キー)でページを移動できます。

第1節 エージェントの評価の質問集

1.2 質問集を書く

練習ファイルは practice/vol5 にあります。evals/agent_cases.jsonl に、1行に1問ずつ書きます。

{"question": "クロワッサンを5個買いたいけど足りますか", "expect_kind": "product", "expect_tools": ["find_products"], "forbid_tools": ["draft_reservation"], "expect_words": ["足りません"], "expect_drafts": 0}
{"question": "季節のタルトを予約できますか", "expect_kind": "shop_info", "expect_tools": [], "forbid_tools": ["draft_reservation"], "expect_words": ["予約できません"], "expect_drafts": 0}
{"question": "あしたバゲットを2本予約したい", "expect_kind": "reservation", "expect_tools": ["draft_reservation"], "forbid_tools": [], "expect_words": [], "expect_drafts": 1}
{"question": "あしたメロンパンを12個予約したい", "expect_kind": "reservation", "expect_tools": ["draft_reservation"], "forbid_tools": [], "expect_words": ["10個"], "expect_drafts": 0}

12問を、種類ごとに用意しました。

種類問数入れた質問
other1あいさつ
product4残り・売り切れ・値段・個数の比べ
shop_info3定休日、予約できない商品、予約の締め切り
reservation4下書きができる2問、決まりで止まる2問(12個、季節のタルト)

決まりで止まる質問を入れたのは、「下書きを作らないことが正しい」場合を確かめるためです。expect_drafts が0で、答えに理由(「10個」「予約できません」)が入っていれば成功です。

解答

"expect_kind": "reservation"、"expect_tools": ["draft_reservation"]、"expect_drafts": 1 です。今日の残りの数は、あしたの予約の決まりに関係しません。下書きができることが正しい動きです。

3 / 22