読み方のヒント
矢印ボタン(または ← → キー)でページを移動できます。
diagnose.py は、期待する区切りの順位を調べ、機械的に決められるところまで原因の見当をつけます。
def diagnose_case(case: dict, docs, ranked, k: int = 3) -> tuple[str, str]:
"""1問分の、原因の見当と、その根拠を返す。"""
if case["expect_status"] == "no_source":
if docs.status == "no_source":
return OK, "答えなかった"
return ANSWER, "資料にないことを答えた"
position, score = expected_rank(ranked, case["expect_source"])
if position == 0 or position > k or score < settings.search_min_score:
return SEARCH, f"{case['expect_source']} は {position} 位({score:.3f})"
found = f"{case['expect_source']} は {position} 位({score:.3f})"
if docs.status == "no_source":
return ANSWER, f"{found}。渡したのに「資料にありません」"
missing = [word for word in case["expect_words"] if word not in docs.answer]
if missing:
return CHECK, f"{found}。答えに「{'」「'.join(missing)}」がない"
return OK, found
ranked は、検索の結果を上位3件に切る前の、すべての区切りの並びです。retrieval.py に、並べるだけの rank を分けて作りました。上位3件に入らなかった区切りが何位だったかは、切る前の並びでしか分かりません。
出力は1問1行です。
検索の失敗|ドタキャンしても大丈夫?|shop_guide.md#5 は 6 位(0.368) → その質問に答えられる資料が見つかりませんでした。……
答え方の失敗|水曜日に行ってもいいですか|shop_guide.md#1 は 1 位(0.610)。渡したのに「資料にありません」 → ……
LLMの返事:'資料にありません'
答えに期待の言葉がない場合は、「答え方の失敗か判定の誤り」として、人が読むように残します。答えが言い換えで正しいこともあるからです。
答え方の失敗です。PayPayのことは「その他」の区切りに書かれていて、検索で渡っています。LLMは「11月1日から」を読めていますが、今日がいつかを知らないため、「はい」と答えました。LLMに今日の日付を渡していないことが原因で、直す場所はプロンプトです。資料のほうも、支払いの区切りとPayPayの話が別の場所にあるため、まとめておくと読み違えにくくなります。
7 / 22