読み方のヒント

矢印ボタン(または ← → キー)でページを移動できます。

第1節 調べる材料をそろえる

1.2 1問ずつ、4つを残す

原因を調べるには、1問ごとに次の4つが要ります。

材料分かること
質問(と、検索に使った言葉)何を探したか
検索の結果(区切りのID・類似度・順位)正しい区切りが見つかったか
LLMに渡した区切りLLMが何を読んだか
LLMがそのまま返した文アプリが手を加える前の答え

4つ目が要るのは、アプリがLLMの文に手を加えるからです。/ask は、文に「資料にありません」が含まれると、no_source の決まった文に置き換えます。お客さんに見えるのは置き換えた後の文で、LLMが何と答えたかは分かりません。

ask.py の answer_from_docs が、これらをまとめた DocsAnswer を返すようにしました。

@dataclass
class DocsAnswer:
    status: str  # answered か no_source
    answer: str
    hits: list[Hit]
    queries: list[str]
    # LLMがそのまま返した文(呼ばなかったときは None)。答えが違う原因を調べるときに読む
    raw: str | None = None

お客さんの質問を記録に残すことはしません(「FastAPIとLLM 安全と評価」の決まり)。調べるのは、評価の質問集の質問です。evals/questions.jsonl に、第1節の質問を含む19問を書き、diagnose.py で1問ずつ材料を表示します。

python diagnose.py --show
解答例
  1. 検索で、営業時間の区切りが基準の0.5を超えず、LLMを呼ばずに no_source になった
  2. 区切りは渡ったが、LLMが「資料にありません」と答え、アプリが決まった文に置き換えた

どちらかを決めるには、検索の結果と、LLMがそのまま返した文が要ります。

3 / 22