読み方のヒント

矢印ボタン(または ← → キー)でページを移動できます。

第4節 答え方の失敗を調べて直す

4.3 LLMが知らないことを渡す

PayPayの質問では、LLMが「今日」を知らないことが原因でした。build_messages で、system に今日の日付を足しました。

    # 「今日は使えますか」のような質問に答えられるよう、今日の日付を渡す
    system = f"{SYSTEM}今日は{today.isoformat()}({WEEKDAYS[today.weekday()]})です。"

あわせて、資料も「PayPayは、2026年11月1日から使えます。10月31日までは使えません。」と、日付の境目をはっきり書きました。

質問答え
今日はPayPayで払えますか今日の10月24日ではPayPayは使えません。
PayPayは使えますか資料にありません(no_source)

「今日は」を含む質問には正しく答えました。「今日」を含まない質問は no_source になりました。誤って「はい」と答えていた前より、害は小さくなっています。

「受け取りに遅れたらどうなりますか」は、資料に答えがありません。LLMは「それ以降は対応できません」と推測で答えました。これは店の決まりとして正しいかどうかが分からない文です。直す場所は資料で、遅れたときの扱いを店に確かめてから書き足します。店が決めるまでは、評価の期待を no_source のままにし、推測で答える誤りとして残します。

解答例

2つあります。14時の回が抜けたのは、資料に書かれていることを答えに使わなかった答え方の失敗です。14時の回が土日だけであることは、資料に書かれていないので、資料の不足です。資料は「クロワッサンは8時(毎日)と14時(土曜日・日曜日)に焼き上がります」と書き直して作り直します。答え方のほうは、評価の質問集にこの質問と期待の言葉 ["8時", "14時"] を足し、資料を直したあとに答えに両方の時刻が入るかを確かめます。

16 / 22