読み方のヒント
矢印ボタン(または ← → キー)でページを移動できます。
直した質問集で、2つのモデルを試しました(このPCでの結果です)。
| モデル | 結果 | 主なNG |
|---|---|---|
qwen2.5:1.5b | 10件中7件 | 水曜日に「営業しています」と誤答。カードと駐車場の質問で「資料にありません」 |
qwen2.5:3b | 10件中9件 | 水曜日の質問で「資料にありません」と答え、no_source になった |
途中で、資料そのものの不足も見つかりました。もとの「支払い」の区切りには「現金と交通系の電子マネーが使えます」としか書かれておらず、カードが使えるかは書かれていませんでした。モデルが「資料にありません」と答えたのは、正しい判断です。資料に「クレジットカードは使えません。」を加えて作り直すと、qwen2.5:3b は正しく答えました。
NGの原因と、直す場所は次のように分けます。
| 原因 | 直す場所 |
|---|---|
| 資料に答えが書かれていない | 資料(書き足して作り直す) |
| 正しい区切りが検索で選ばれない | 区切り方、基準の値 |
| 正しい区切りが渡ったのに答えが誤る | モデル、プロンプト |
| 判定の期待が間違っている | 質問集 |
この結果から、初期値のモデルを qwen2.5:3b にしました。qwen2.5:3b の残りのNGは、誤った答えではなく「答えない」ほうの失敗です。お客さんには、店への問い合わせを案内する文が返ります。
解決しません。「営業時間と定休日」の区切りには、お盆の休みのことは書かれていません。基準を下げて渡しても、正しいモデルなら「資料にありません」と答え、弱いモデルなら推測で答えるおそれがあります。直す場所は資料です。お盆の営業を店に確かめて資料に書き足し、作り直してから評価を回します。
17 / 23