読み方のヒント
矢印ボタン(または ← → キー)でページを移動できます。
キーワード検索とベクトル検索は、点数の尺度が違うため、点数を足し合わせることはできません。そこで、順位だけを使って合わせます。RRF(Reciprocal Rank Fusion)は、各検索で r 位の文書に 1/(k+r) を与え、足し合わせて並べ直す方法です。k には 60 がよく使われます。
def rrf(rankings: list[list[str]], k: int = 60) -> list[tuple[str, float]]:
scores: Counter[str] = Counter()
for ranking in rankings:
for rank, doc_id in enumerate(ranking, start=1):
scores[doc_id] += 1 / (k + rank)
return sorted(scores.items(), key=lambda x: (-x[1], x[0]))
共通の質問集の「意味で探す」問いで、上位3件を比べます。○は正しい文書を含むことを表します。
| 問い | 正しい文書 | キーワード | ベクトル | 併用 |
|---|---|---|---|---|
| Q08 | D04 | D04, D10, D08 ○ | D04, D10, D12 ○ | D04, D10, D12 ○ |
| Q09 | D07 | D11, D08, D09 × | D07, D08, D05 ○ | D08, D07, D11 ○ |
| Q11 | D09 | D09, D11, D06 ○ | D09, D06, D08 ○ | D09, D06, D11 ○ |
| Q16 | D01 | D01, D05, D11 ○ | D05, D11, D01 ○ | D05, D01, D11 ○ |
Q09 では、キーワード検索が外した D07 を、ベクトル検索の結果が補っています。どちらか一方が見つけた文書は、併用でも上位に残りやすくなります。
10 / 20