読み方のヒント

矢印ボタン(または ← → キー)でページを移動できます。

第4節 評価の質問集

4.3 結果を見て、直す場所を決める

直した質問集で、2つのモデルを試しました(このPCでの結果です)。

モデル結果主なNG
qwen2.5:1.5b10件中7件水曜日に「営業しています」と誤答。カードと駐車場の質問で「資料にありません」
qwen2.5:3b10件中9件水曜日の質問で「資料にありません」と答え、no_source になった

途中で、資料そのものの不足も見つかりました。もとの「支払い」の区切りには「現金と交通系の電子マネーが使えます」としか書かれておらず、カードが使えるかは書かれていませんでした。モデルが「資料にありません」と答えたのは、正しい判断です。資料に「クレジットカードは使えません。」を加えて作り直すと、qwen2.5:3b は正しく答えました。

NGの原因と、直す場所は次のように分けます。

原因直す場所
資料に答えが書かれていない資料(書き足して作り直す)
正しい区切りが検索で選ばれない区切り方、基準の値
正しい区切りが渡ったのに答えが誤るモデル、プロンプト
判定の期待が間違っている質問集

この結果から、初期値のモデルを qwen2.5:3b にしました。qwen2.5:3b の残りのNGは、誤った答えではなく「答えない」ほうの失敗です。お客さんには、店への問い合わせを案内する文が返ります。

解答例

解決しません。「営業時間と定休日」の区切りには、お盆の休みのことは書かれていません。基準を下げて渡しても、正しいモデルなら「資料にありません」と答え、弱いモデルなら推測で答えるおそれがあります。直す場所は資料です。お盆の営業を店に確かめて資料に書き足し、作り直してから評価を回します。

17 / 23