読み方のヒント
矢印ボタン(または ← → キー)でページを移動できます。
PayPayの質問では、LLMが「今日」を知らないことが原因でした。build_messages で、system に今日の日付を足しました。
# 「今日は使えますか」のような質問に答えられるよう、今日の日付を渡す
system = f"{SYSTEM}今日は{today.isoformat()}({WEEKDAYS[today.weekday()]})です。"
あわせて、資料も「PayPayは、2026年11月1日から使えます。10月31日までは使えません。」と、日付の境目をはっきり書きました。
| 質問 | 答え |
|---|---|
| 今日はPayPayで払えますか | 今日の10月24日ではPayPayは使えません。 |
| PayPayは使えますか | 資料にありません(no_source) |
「今日は」を含む質問には正しく答えました。「今日」を含まない質問は no_source になりました。誤って「はい」と答えていた前より、害は小さくなっています。
「受け取りに遅れたらどうなりますか」は、資料に答えがありません。LLMは「それ以降は対応できません」と推測で答えました。これは店の決まりとして正しいかどうかが分からない文です。直す場所は資料で、遅れたときの扱いを店に確かめてから書き足します。店が決めるまでは、評価の期待を no_source のままにし、推測で答える誤りとして残します。
2つあります。14時の回が抜けたのは、資料に書かれていることを答えに使わなかった答え方の失敗です。14時の回が土日だけであることは、資料に書かれていないので、資料の不足です。資料は「クロワッサンは8時(毎日)と14時(土曜日・日曜日)に焼き上がります」と書き直して作り直します。答え方のほうは、評価の質問集にこの質問と期待の言葉 ["8時", "14時"] を足し、資料を直したあとに答えに両方の時刻が入るかを確かめます。
16 / 22