読み方のヒント
矢印ボタン(または ← → キー)でページを移動できます。
「ドタキャンしても大丈夫?」では、キャンセルの区切りが6位(0.368)で、どの区切りも基準の0.5を超えませんでした。資料には「キャンセル」と書かれていますが、「ドタキャン」との類似度は高くなりませんでした。
基準を下げる方法は選びません。0.368まで下げると、「求人の募集はありますか」(最大0.49)のような、資料に答えのない質問にも区切りが渡り、推測の答えが増えます。
検索の前に、LLMで質問を言い換える段階を足しました(rewrite.py)。
REWRITE_SYSTEM = (
"お客さんの質問を、店の案内の資料を探すための言葉に言い換えます。"
"くだけた言い方や略語は、資料で使われていそうな言葉(営業時間、定休日、予約、キャンセル、支払い、駐車場など)に直します。"
"JSONで query だけを答えます。"
)
| 質問 | 言い換え | 期待する区切りの類似度 |
|---|---|---|
| ドタキャンしても大丈夫? | キャンセルポリシーは? | 0.368 → 0.625 |
| カードOK? | クレジットカード利用可能? | 0.570 → 0.663 |
| 止めるところある? | どこで止めていいですか? | 0.544 → 0.507 |
3つ目は、言い換えたほうが低くなりました。言い換えた言葉だけで探すと、もとの質問なら見つかった区切りを落とすことがあります。そこで、もとの質問と言い換えの両方で探し、区切りごとに高いほうの値を使います。
def rank(session: Session, llm: OllamaClient, queries: list[str]) -> list[Hit]:
"""すべての区切りを、似ている順に並べる。検索の言葉が複数あるときは、いちばん高い値を使う。"""
vectors = llm.embed(queries)
hits = [
Hit(chunk, max(cosine(vector, chunk.embedding) for vector in vectors))
for chunk in session.scalars(select(DocChunk))
]
言い換えの段階は、LLMを1回多く呼ぶため、SEARCH_REWRITE=true のときだけ使います。言い換えの返事が形に合わないときは、もとの質問だけで探し続けます。
言い換えか、資料の書き足しを選びます。基準を0.43まで下げると、答えのない質問にも区切りが渡ります。言い換えなら「バイクの駐車場」のような言葉で探せます(「バイク止められる?」では駐車場の区切りが1位、0.575でした)。資料の駐車場の区切りに「バイク・原付の駐車場もありません」のように、お客さんが使う言葉を書き足す方法もあります。どちらの場合も、評価の質問集に「原付で行ける?」を足して、直ったことを確かめます。
11 / 22