読み方のヒント
矢印ボタン(または ← → キー)でページを移動できます。
「今」を決めて、qwen2.5:3b で3回回すと、3回とも12問中11問が成功しました。残ったNGは、毎回同じ質問でした。
NG クロワッサンを5個買いたいけど足りますか [find_products] 4.6秒 答えに「足りません」がない
答え:残念ですが、クロワッサンはまだ5個だけ残っています。もう少し待ってからまたご確認ください。
種類は product、道具も find_products(keyword="クロワッサン", quantity=5) と正しく呼ばれ、結果は remaining_today: 3、enough_for_quantity: false でした。誤りは、結果を文章にするところで起きています。「AIエージェント 道具を呼ばせる」では、同じ道具でこの質問に正しく答えていました。その後、system に日付の文を足すなど、プロンプトが変わっています。
同じ質問集で、qwen2.5:1.5b も試しました。
| モデル | 結果 | 主なNG |
|---|---|---|
qwen2.5:3b | 12問中11問(3回とも) | クロワッサンの個数を読み誤った |
qwen2.5:1.5b | 12問中9問 | 水曜日に「営業しています」と誤答。季節のタルトの質問で「資料が見つかりませんでした」。カレーパンの質問で「残りの数は0個です」 |
qwen2.5:1.5b の3つのNGのうち、カレーパンの答えは誤りではありません。「0個」は売り切れと同じ意味で、期待の言葉 ["売り切れ"] が狭すぎました。判定の誤りです。水曜日の誤答は、お客さんが定休日に来てしまう、害のある誤りです。件数だけでなく、NGの中身の重さで比べると、qwen2.5:3b を使い続ける理由がはっきりします。
product の段階の答えを、LLMに作らせず、アプリが道具の結果から決まった文で作る(「クロワッサンの今日の残りは3個で、5個には足りません」)。数の誤りはなくなりますが、質問の言い方に合わせた自然な文ではなくなり、複数の商品を聞かれたときの文も、アプリで組み立てる必要がありますenough_for_quantity が false なのに答えに「足りません」「足りない」がなければ、決まった文に差し替えます。照らす決まりを、道具ごとに書く手間がかかりますどちらを選んでも、評価の質問集をすべて回し、ほかの質問の結果が変わらないことを確かめます。
8 / 22