読み方のヒント

矢印ボタン(または ← → キー)でページを移動できます。

第2節 道具の使い方を採点する

2.3 結果を読み、モデルを比べる

「今」を決めて、qwen2.5:3b で3回回すと、3回とも12問中11問が成功しました。残ったNGは、毎回同じ質問でした。

NG  クロワッサンを5個買いたいけど足りますか [find_products] 4.6秒 答えに「足りません」がない
    答え:残念ですが、クロワッサンはまだ5個だけ残っています。もう少し待ってからまたご確認ください。

種類は product、道具も find_products(keyword="クロワッサン", quantity=5) と正しく呼ばれ、結果は remaining_today: 3、enough_for_quantity: false でした。誤りは、結果を文章にするところで起きています。「AIエージェント 道具を呼ばせる」では、同じ道具でこの質問に正しく答えていました。その後、system に日付の文を足すなど、プロンプトが変わっています。

同じ質問集で、qwen2.5:1.5b も試しました。

モデル結果主なNG
qwen2.5:3b12問中11問(3回とも)クロワッサンの個数を読み誤った
qwen2.5:1.5b12問中9問水曜日に「営業しています」と誤答。季節のタルトの質問で「資料が見つかりませんでした」。カレーパンの質問で「残りの数は0個です」

qwen2.5:1.5b の3つのNGのうち、カレーパンの答えは誤りではありません。「0個」は売り切れと同じ意味で、期待の言葉 ["売り切れ"] が狭すぎました。判定の誤りです。水曜日の誤答は、お客さんが定休日に来てしまう、害のある誤りです。件数だけでなく、NGの中身の重さで比べると、qwen2.5:3b を使い続ける理由がはっきりします。

解答例
  1. product の段階の答えを、LLMに作らせず、アプリが道具の結果から決まった文で作る(「クロワッサンの今日の残りは3個で、5個には足りません」)。数の誤りはなくなりますが、質問の言い方に合わせた自然な文ではなくなり、複数の商品を聞かれたときの文も、アプリで組み立てる必要があります
  2. LLMの答えを、道具の結果と照らして確かめる段階を足す。enough_for_quantity が false なのに答えに「足りません」「足りない」がなければ、決まった文に差し替えます。照らす決まりを、道具ごとに書く手間がかかります

どちらを選んでも、評価の質問集をすべて回し、ほかの質問の結果が変わらないことを確かめます。

8 / 22