読み方のヒント
矢印ボタン(または ← → キー)でページを移動できます。
練習ファイルは practice/vol5 にあります。evals/agent_cases.jsonl に、1行に1問ずつ書きます。
{"question": "クロワッサンを5個買いたいけど足りますか", "expect_kind": "product", "expect_tools": ["find_products"], "forbid_tools": ["draft_reservation"], "expect_words": ["足りません"], "expect_drafts": 0}
{"question": "季節のタルトを予約できますか", "expect_kind": "shop_info", "expect_tools": [], "forbid_tools": ["draft_reservation"], "expect_words": ["予約できません"], "expect_drafts": 0}
{"question": "あしたバゲットを2本予約したい", "expect_kind": "reservation", "expect_tools": ["draft_reservation"], "forbid_tools": [], "expect_words": [], "expect_drafts": 1}
{"question": "あしたメロンパンを12個予約したい", "expect_kind": "reservation", "expect_tools": ["draft_reservation"], "forbid_tools": [], "expect_words": ["10個"], "expect_drafts": 0}
12問を、種類ごとに用意しました。
| 種類 | 問数 | 入れた質問 |
|---|---|---|
other | 1 | あいさつ |
product | 4 | 残り・売り切れ・値段・個数の比べ |
shop_info | 3 | 定休日、予約できない商品、予約の締め切り |
reservation | 4 | 下書きができる2問、決まりで止まる2問(12個、季節のタルト) |
決まりで止まる質問を入れたのは、「下書きを作らないことが正しい」場合を確かめるためです。expect_drafts が0で、答えに理由(「10個」「予約できません」)が入っていれば成功です。
"expect_kind": "reservation"、"expect_tools": ["draft_reservation"]、"expect_drafts": 1 です。今日の残りの数は、あしたの予約の決まりに関係しません。下書きができることが正しい動きです。
3 / 22