読み方のヒント

矢印ボタン(または ← → キー)でページを移動できます。

第5節 直した結果を確かめる

5.2 1つ直すと、次の誤りが見える

「ドタキャンしても大丈夫?」は、言い換えで検索の失敗が直り、キャンセルの区切りが1位(0.625)で渡りました。すると、次の段階の誤りが見えました。LLMは「ドタキャンはできません。資料にありません。」と答え、アプリは「資料にありません」を含むため no_source にしました。

検索を直す前は、検索の段階で止まっていたため、答え方の誤りは隠れていました。段階のある処理では、前の段階の失敗を直すと、後の段階の失敗が見えるようになります。件数が変わらないからといって、直しが効いていないわけではありません。

「水曜日は営業していますか」も、同じ例です。第4節では資料の書き方を変えて直しましたが、今日の日付を渡す直しを入れた回では、もとの資料のままでも期待どおりに答えました(5.1の「直す前」の回)。「祝日は休みですか」は、言い換えを入れた回で期待どおりになりました。言い換えは祝日の質問を直すために入れたものではありません。同じ質問でも、渡す区切りの組み合わせが少し変わると、小さいモデルの答えは変わります。偶然よくなった結果は、次の変更で偶然悪くなることもあります。1回の結果で判断せず、何度か回して確かめます。

20 / 22