読み方のヒント

矢印ボタン(または ← → キー)でページを移動できます。

第2節 原因を4つに分ける

2.1 4つの原因と、見分け方

原因見分け方直す場所
資料の不足資料のどこにも答えが書かれていない資料(店に確かめて書き足す)
検索の失敗答えの書かれた区切りが、上位3件に入らないか、基準の0.5を下回る区切り方、検索の言葉、基準
答え方の失敗正しい区切りが渡ったのに、答えが違うプロンプト、資料の書き方、モデル
判定の誤り答えは正しいのに、評価の期待が違う質問集

順番に確かめます。検索の結果を見れば、検索の失敗かどうかは決まります。正しい区切りが渡っていれば、残りは答え方か判定です。資料の不足と判定の誤りは、資料と答えを人が読まないと決められません。

第1節の質問原因根拠
水曜日は営業していますか答え方の失敗営業時間の区切りが1位(0.688)で渡り、LLMの返事は「資料にありません」
ドタキャンしても大丈夫?検索の失敗キャンセルの区切りは6位(0.368)
レジ袋はもらえますか検索の失敗(区切り方)「その他」の区切りが3位(0.566)。1位と2位はレジ袋と関係のない区切り
受け取りに遅れたらどうなりますか資料の不足 + 答え方の失敗遅れたときの扱いは資料にない。LLMは推測で答えた

最後の質問のように、原因が重なることもあります。資料に書かれていないことを推測で答えたのは答え方の失敗ですが、お客さんが知りたいことが資料にないのは、資料の不足です。

6 / 22