読み方のヒント
矢印ボタン(または ← → キー)でページを移動できます。
文書の検索の評価では、正しい文書が上位k件に入ったかを数えます。この割合を recall@k と呼びます。練習の search_recall_at_k で、「意味で探す」問いの5問を、探し方ごとに測ります。
search_recall_at_k(DocumentSearch(), k=3, mode="hybrid")
# {'Q07': False, 'Q08': True, 'Q09': True, 'Q11': True, 'Q16': True}
| 探し方 | Q07 | Q08 | Q09 | Q11 | Q16 | recall@3 |
|---|---|---|---|---|---|---|
| キーワード | ○ | ○ | × | ○ | ○ | 4/5 |
| ベクトル(教材用) | × | ○ | ○ | ○ | ○ | 4/5 |
| 併用 | × | ○ | ○ | ○ | ○ | 4/5 |
3つとも 4/5 ですが、外した問いが違います。合計の数字だけを見ると「どれでも同じ」に見えますが、問いごとに見ると、キーワード検索は英語の契約を、ベクトル検索と併用は「止まっている」の言い換えを外しています。評価の結果は、問いごとの表で残します。
Q07 は、「エージェントの検索設計 文書を探す」で扱ったとおり、仕入先で絞るか、表で分かった業務の言葉で探すと見つかります。この改善を入れたら、もう一度同じ5問を測り、Q07 が○になり、ほかの問いが×にならないことを確かめます。
6 / 20