読み方のヒント
矢印ボタン(または ← → キー)でページを移動できます。
Q07「東和梱包の請求書が止まっている理由が書かれた資料はありますか」では、結果が逆になります。
| 検索 | 上位3件 | 正しい文書 D03 |
|---|---|---|
| キーワード | D02, D03, D08 | 2位 |
| ベクトル | D05, D11, D01 | なし |
| 併用 | D05, D01, D11 | なし |
キーワード検索は、「東和梱包」の組で D03 を2位に入れました。ベクトル検索は、問いの「止まっている」を保留の観点と見て、支払と保留の話が多い議事録 D05 などを上位にしました。D01 と D11 は両方の結果に入ったため、併用では D03 を押し出しています。
併用は、片方だけが見つけた文書を、両方が中くらいに評価した文書より下にすることがあります。対策は2つあります。
| 対策 | 内容 | この章で扱う所 |
|---|---|---|
| 並べ替え(リランク) | 上位20件ほどを、問いと文書の組を読んで採点するモデルで並べ直す | この節 |
| 探す範囲を絞る | 仕入先や種類で候補を絞ってから探す | 第4節・第5節 |
並べ替えのモデルは、埋め込みより時間がかかる代わりに、問いと文書を合わせて読むため、関係の深さを細かく判定できます。練習には並べ替えのモデルを入れていません。並べ替えの仕組みは、「RAGとファインチューニング RAGの仕組み」で扱っています。
D03 はキーワード検索の2位だけなので 1/62 ≒ 0.0161、D05 はベクトル検索の1位だけなので 1/61 ≒ 0.0164 です。どちらも片方の検索にしか現れないため、点数の差は順位の差だけで決まります。実際の練習では各検索の全件を使うため、両方に現れる D01 と D11 が、さらに上に来ます。
11 / 20