読み方のヒント

矢印ボタン(または ← → キー)でページを移動できます。

第3節 検索の失敗を調べて直す

3.2 くだけた言い方を、検索の前に言い換える

「ドタキャンしても大丈夫?」では、キャンセルの区切りが6位(0.368)で、どの区切りも基準の0.5を超えませんでした。資料には「キャンセル」と書かれていますが、「ドタキャン」との類似度は高くなりませんでした。

基準を下げる方法は選びません。0.368まで下げると、「求人の募集はありますか」(最大0.49)のような、資料に答えのない質問にも区切りが渡り、推測の答えが増えます。

検索の前に、LLMで質問を言い換える段階を足しました(rewrite.py)。

REWRITE_SYSTEM = (
    "お客さんの質問を、店の案内の資料を探すための言葉に言い換えます。"
    "くだけた言い方や略語は、資料で使われていそうな言葉(営業時間、定休日、予約、キャンセル、支払い、駐車場など)に直します。"
    "JSONで query だけを答えます。"
)
質問言い換え期待する区切りの類似度
ドタキャンしても大丈夫?キャンセルポリシーは?0.368 → 0.625
カードOK?クレジットカード利用可能?0.570 → 0.663
止めるところある?どこで止めていいですか?0.544 → 0.507

3つ目は、言い換えたほうが低くなりました。言い換えた言葉だけで探すと、もとの質問なら見つかった区切りを落とすことがあります。そこで、もとの質問と言い換えの両方で探し、区切りごとに高いほうの値を使います。

def rank(session: Session, llm: OllamaClient, queries: list[str]) -> list[Hit]:
    """すべての区切りを、似ている順に並べる。検索の言葉が複数あるときは、いちばん高い値を使う。"""
    vectors = llm.embed(queries)
    hits = [
        Hit(chunk, max(cosine(vector, chunk.embedding) for vector in vectors))
        for chunk in session.scalars(select(DocChunk))
    ]

言い換えの段階は、LLMを1回多く呼ぶため、SEARCH_REWRITE=true のときだけ使います。言い換えの返事が形に合わないときは、もとの質問だけで探し続けます。

解答例

言い換えか、資料の書き足しを選びます。基準を0.43まで下げると、答えのない質問にも区切りが渡ります。言い換えなら「バイクの駐車場」のような言葉で探せます(「バイク止められる?」では駐車場の区切りが1位、0.575でした)。資料の駐車場の区切りに「バイク・原付の駐車場もありません」のように、お客さんが使う言葉を書き足す方法もあります。どちらの場合も、評価の質問集に「原付で行ける?」を足して、直ったことを確かめます。

11 / 22