読み方のヒント

矢印ボタン(または ← → キー)でページを移動できます。

第3節 併用する

3.1 順位を合わせる(RRF)

キーワード検索とベクトル検索は、点数の尺度が違うため、点数を足し合わせることはできません。そこで、順位だけを使って合わせます。RRF(Reciprocal Rank Fusion)は、各検索で r 位の文書に 1/(k+r) を与え、足し合わせて並べ直す方法です。k には 60 がよく使われます。

def rrf(rankings: list[list[str]], k: int = 60) -> list[tuple[str, float]]:
    scores: Counter[str] = Counter()
    for ranking in rankings:
        for rank, doc_id in enumerate(ranking, start=1):
            scores[doc_id] += 1 / (k + rank)
    return sorted(scores.items(), key=lambda x: (-x[1], x[0]))

共通の質問集の「意味で探す」問いで、上位3件を比べます。○は正しい文書を含むことを表します。

問い正しい文書キーワードベクトル併用
Q08D04D04, D10, D08 ○D04, D10, D12 ○D04, D10, D12 ○
Q09D07D11, D08, D09 ×D07, D08, D05 ○D08, D07, D11 ○
Q11D09D09, D11, D06 ○D09, D06, D08 ○D09, D06, D11 ○
Q16D01D01, D05, D11 ○D05, D11, D01 ○D05, D01, D11 ○

Q09 では、キーワード検索が外した D07 を、ベクトル検索の結果が補っています。どちらか一方が見つけた文書は、併用でも上位に残りやすくなります。

10 / 20