読み方のヒント
矢印ボタン(または ← → キー)でページを移動できます。
| 原因 | 見分け方 | 直す場所 |
|---|---|---|
| 資料の不足 | 資料のどこにも答えが書かれていない | 資料(店に確かめて書き足す) |
| 検索の失敗 | 答えの書かれた区切りが、上位3件に入らないか、基準の0.5を下回る | 区切り方、検索の言葉、基準 |
| 答え方の失敗 | 正しい区切りが渡ったのに、答えが違う | プロンプト、資料の書き方、モデル |
| 判定の誤り | 答えは正しいのに、評価の期待が違う | 質問集 |
順番に確かめます。検索の結果を見れば、検索の失敗かどうかは決まります。正しい区切りが渡っていれば、残りは答え方か判定です。資料の不足と判定の誤りは、資料と答えを人が読まないと決められません。
| 第1節の質問 | 原因 | 根拠 |
|---|---|---|
| 水曜日は営業していますか | 答え方の失敗 | 営業時間の区切りが1位(0.688)で渡り、LLMの返事は「資料にありません」 |
| ドタキャンしても大丈夫? | 検索の失敗 | キャンセルの区切りは6位(0.368) |
| レジ袋はもらえますか | 検索の失敗(区切り方) | 「その他」の区切りが3位(0.566)。1位と2位はレジ袋と関係のない区切り |
| 受け取りに遅れたらどうなりますか | 資料の不足 + 答え方の失敗 | 遅れたときの扱いは資料にない。LLMは推測で答えた |
最後の質問のように、原因が重なることもあります。資料に書かれていないことを推測で答えたのは答え方の失敗ですが、お客さんが知りたいことが資料にないのは、資料の不足です。
6 / 22