読み方のヒント

矢印ボタン(または ← → キー)でページを移動できます。

第2節 原因を4つに分ける

2.2 `diagnose.py` で見当をつける

diagnose.py は、期待する区切りの順位を調べ、機械的に決められるところまで原因の見当をつけます。

def diagnose_case(case: dict, docs, ranked, k: int = 3) -> tuple[str, str]:
    """1問分の、原因の見当と、その根拠を返す。"""
    if case["expect_status"] == "no_source":
        if docs.status == "no_source":
            return OK, "答えなかった"
        return ANSWER, "資料にないことを答えた"
    position, score = expected_rank(ranked, case["expect_source"])
    if position == 0 or position > k or score < settings.search_min_score:
        return SEARCH, f"{case['expect_source']} は {position} 位({score:.3f})"
    found = f"{case['expect_source']} は {position} 位({score:.3f})"
    if docs.status == "no_source":
        return ANSWER, f"{found}。渡したのに「資料にありません」"
    missing = [word for word in case["expect_words"] if word not in docs.answer]
    if missing:
        return CHECK, f"{found}。答えに「{'」「'.join(missing)}」がない"
    return OK, found

ranked は、検索の結果を上位3件に切る前の、すべての区切りの並びです。retrieval.py に、並べるだけの rank を分けて作りました。上位3件に入らなかった区切りが何位だったかは、切る前の並びでしか分かりません。

出力は1問1行です。

検索の失敗|ドタキャンしても大丈夫?|shop_guide.md#5 は 6 位(0.368) → その質問に答えられる資料が見つかりませんでした。……
答え方の失敗|水曜日に行ってもいいですか|shop_guide.md#1 は 1 位(0.610)。渡したのに「資料にありません」 → ……
    LLMの返事:'資料にありません'

答えに期待の言葉がない場合は、「答え方の失敗か判定の誤り」として、人が読むように残します。答えが言い換えで正しいこともあるからです。

解答例

答え方の失敗です。PayPayのことは「その他」の区切りに書かれていて、検索で渡っています。LLMは「11月1日から」を読めていますが、今日がいつかを知らないため、「はい」と答えました。LLMに今日の日付を渡していないことが原因で、直す場所はプロンプトです。資料のほうも、支払いの区切りとPayPayの話が別の場所にあるため、まとめておくと読み違えにくくなります。

7 / 22