読み方のヒント

矢印ボタン(または ← → キー)でページを移動できます。

第3節 併用する

3.2 併用でも外れる問いと、並べ替え

Q07「東和梱包の請求書が止まっている理由が書かれた資料はありますか」では、結果が逆になります。

検索上位3件正しい文書 D03
キーワードD02, D03, D082位
ベクトルD05, D11, D01なし
併用D05, D01, D11なし

キーワード検索は、「東和梱包」の組で D03 を2位に入れました。ベクトル検索は、問いの「止まっている」を保留の観点と見て、支払と保留の話が多い議事録 D05 などを上位にしました。D01 と D11 は両方の結果に入ったため、併用では D03 を押し出しています。

併用は、片方だけが見つけた文書を、両方が中くらいに評価した文書より下にすることがあります。対策は2つあります。

対策内容この章で扱う所
並べ替え(リランク)上位20件ほどを、問いと文書の組を読んで採点するモデルで並べ直すこの節
探す範囲を絞る仕入先や種類で候補を絞ってから探す第4節・第5節

並べ替えのモデルは、埋め込みより時間がかかる代わりに、問いと文書を合わせて読むため、関係の深さを細かく判定できます。練習には並べ替えのモデルを入れていません。並べ替えの仕組みは、「RAGとファインチューニング RAGの仕組み」で扱っています。

解答

D03 はキーワード検索の2位だけなので 1/62 ≒ 0.0161、D05 はベクトル検索の1位だけなので 1/61 ≒ 0.0164 です。どちらも片方の検索にしか現れないため、点数の差は順位の差だけで決まります。実際の練習では各検索の全件を使うため、両方に現れる D01 と D11 が、さらに上に来ます。

11 / 20