読み方のヒント

矢印ボタン(または ← → キー)でページを移動できます。

第3節 質問に近い資料を探す

3.1 似ている度合いを計算する

2つのベクトルの向きがどれだけそろっているかを、コサイン類似度で表します。

def cosine(a: list[float], b: list[float]) -> float:
    dot = sum(x * y for x, y in zip(a, b, strict=True))
    norm = math.sqrt(sum(x * x for x in a)) * math.sqrt(sum(y * y for y in b))
    return dot / norm if norm else 0.0

値は−1から1の間で、1に近いほど似ています。数式の意味は、短いベクトルで確かめられます。[1, 0] と [1, 0] は同じ向きなので1、[1, 0] と [0, 1] は直角なので0です。

探す処理は、すべての区切りとの類似度を計算し、高い順に並べて、上位3件のうち基準以上のものを返します。

def search(session: Session, llm: OllamaClient, question: str, k: int = 3) -> list[Hit]:
    [query] = llm.embed([question])
    hits = [Hit(chunk, cosine(query, chunk.embedding)) for chunk in session.scalars(select(DocChunk))]
    hits.sort(key=lambda hit: hit.score, reverse=True)
    return [hit for hit in hits[:k] if hit.score >= settings.search_min_score]

10 / 20