読み方のヒント
矢印ボタン(または ← → キー)でページを移動できます。
資料の書き方を変えたあとも、同じ意味の別の言い方では、答えませんでした。
| 質問 | 区切りの類似度 | LLMの返事 |
|---|---|---|
| 水曜日は営業していますか | 0.703 | 水曜日は定休日です。営業していません。 |
| 水曜日に行ってもいいですか | 0.609 | 資料にありません |
| 祝日は休みですか | 0.633 | 資料にありません |
資料に「営業していません」と書いたことで、その言葉を含む質問には答えられるようになりました。しかし、別の言い方の質問には効いていません。評価の質問と同じ言葉を資料に書けば、評価の結果は上がりますが、お客さんの言い方は質問集より多様です。言い換えた質問を質問集に足して、本当に直ったかを確かめます。
祝日の質問は、もとの資料では「はい、祝日も休みです」と誤って答えていました。いまは no_source で、店への問い合わせを案内します。正しい答えではありませんが、誤った答えより害が小さくなりました。
このモデル(qwen2.5:3b)で、言い方の違いにまで答えさせるのは難しいと分かりました。残る選択肢は、大きいモデルに替える、または no_source を受け入れて問い合わせを案内する、のどちらかです。
15 / 22