読み方のヒント

矢印ボタン(または ← → キー)でページを移動できます。

第4節 答え方の失敗を調べて直す

4.2 言い換えの質問では、まだ答えない

資料の書き方を変えたあとも、同じ意味の別の言い方では、答えませんでした。

質問区切りの類似度LLMの返事
水曜日は営業していますか0.703水曜日は定休日です。営業していません。
水曜日に行ってもいいですか0.609資料にありません
祝日は休みですか0.633資料にありません

資料に「営業していません」と書いたことで、その言葉を含む質問には答えられるようになりました。しかし、別の言い方の質問には効いていません。評価の質問と同じ言葉を資料に書けば、評価の結果は上がりますが、お客さんの言い方は質問集より多様です。言い換えた質問を質問集に足して、本当に直ったかを確かめます。

祝日の質問は、もとの資料では「はい、祝日も休みです」と誤って答えていました。いまは no_source で、店への問い合わせを案内します。正しい答えではありませんが、誤った答えより害が小さくなりました。

このモデル(qwen2.5:3b)で、言い方の違いにまで答えさせるのは難しいと分かりました。残る選択肢は、大きいモデルに替える、または no_source を受け入れて問い合わせを案内する、のどちらかです。

15 / 22