読み方のヒント
矢印ボタン(または ← → キー)でページを移動できます。
2つのベクトルの向きがどれだけそろっているかを、コサイン類似度で表します。
def cosine(a: list[float], b: list[float]) -> float:
dot = sum(x * y for x, y in zip(a, b, strict=True))
norm = math.sqrt(sum(x * x for x in a)) * math.sqrt(sum(y * y for y in b))
return dot / norm if norm else 0.0
値は−1から1の間で、1に近いほど似ています。数式の意味は、短いベクトルで確かめられます。[1, 0] と [1, 0] は同じ向きなので1、[1, 0] と [0, 1] は直角なので0です。
探す処理は、すべての区切りとの類似度を計算し、高い順に並べて、上位3件のうち基準以上のものを返します。
def search(session: Session, llm: OllamaClient, question: str, k: int = 3) -> list[Hit]:
[query] = llm.embed([question])
hits = [Hit(chunk, cosine(query, chunk.embedding)) for chunk in session.scalars(select(DocChunk))]
hits.sort(key=lambda hit: hit.score, reverse=True)
return [hit for hit in hits[:k] if hit.score >= settings.search_min_score]
10 / 20