読み方のヒント
矢印ボタン(または ← → キー)でページを移動できます。
原因を調べるには、1問ごとに次の4つが要ります。
| 材料 | 分かること |
|---|---|
| 質問(と、検索に使った言葉) | 何を探したか |
| 検索の結果(区切りのID・類似度・順位) | 正しい区切りが見つかったか |
| LLMに渡した区切り | LLMが何を読んだか |
| LLMがそのまま返した文 | アプリが手を加える前の答え |
4つ目が要るのは、アプリがLLMの文に手を加えるからです。/ask は、文に「資料にありません」が含まれると、no_source の決まった文に置き換えます。お客さんに見えるのは置き換えた後の文で、LLMが何と答えたかは分かりません。
ask.py の answer_from_docs が、これらをまとめた DocsAnswer を返すようにしました。
@dataclass
class DocsAnswer:
status: str # answered か no_source
answer: str
hits: list[Hit]
queries: list[str]
# LLMがそのまま返した文(呼ばなかったときは None)。答えが違う原因を調べるときに読む
raw: str | None = None
お客さんの質問を記録に残すことはしません(「FastAPIとLLM 安全と評価」の決まり)。調べるのは、評価の質問集の質問です。evals/questions.jsonl に、第1節の質問を含む19問を書き、diagnose.py で1問ずつ材料を表示します。
python diagnose.py --show
no_source になったどちらかを決めるには、検索の結果と、LLMがそのまま返した文が要ります。
3 / 22