読み方のヒント

矢印ボタン(または ← → キー)でページを移動できます。

第2節 検索を測る

2.1 上位k件に根拠が入る割合

文書の検索の評価では、正しい文書が上位k件に入ったかを数えます。この割合を recall@k と呼びます。練習の search_recall_at_k で、「意味で探す」問いの5問を、探し方ごとに測ります。

search_recall_at_k(DocumentSearch(), k=3, mode="hybrid")
# {'Q07': False, 'Q08': True, 'Q09': True, 'Q11': True, 'Q16': True}
探し方Q07Q08Q09Q11Q16recall@3
キーワード○○×○○4/5
ベクトル(教材用)×○○○○4/5
併用×○○○○4/5

3つとも 4/5 ですが、外した問いが違います。合計の数字だけを見ると「どれでも同じ」に見えますが、問いごとに見ると、キーワード検索は英語の契約を、ベクトル検索と併用は「止まっている」の言い換えを外しています。評価の結果は、問いごとの表で残します。

Q07 は、「エージェントの検索設計 文書を探す」で扱ったとおり、仕入先で絞るか、表で分かった業務の言葉で探すと見つかります。この改善を入れたら、もう一度同じ5問を測り、Q07 が○になり、ほかの問いが×にならないことを確かめます。

6 / 20