読み方のヒント

矢印ボタン(または ← → キー)でページを移動できます。

第2節 埋め込みを作って保存する

2.2 表に保存し、作り直す

区切りと埋め込みは、doc_chunks という表に保存します。

CREATE TABLE doc_chunks (
  id text PRIMARY KEY,
  source text NOT NULL,
  heading text NOT NULL,
  body text NOT NULL,
  embedding double precision[] NOT NULL
);

double precision[] は、小数の配列を入れる型です。SQLAlchemyのモデルでは ARRAY(Float) と書きます。

保存は index_docs.py で行います。

def index_docs(session: Session, llm: OllamaClient, docs_dir: Path = DOCS) -> int:
    chunks = []
    for path in sorted(docs_dir.glob("*.md")):
        chunks += split_markdown(path.read_text(encoding="utf-8"), path.name)
    vectors = llm.embed([embedding_text(c.heading, c.body) for c in chunks])
    session.execute(delete(DocChunk))
    for chunk, vector in zip(chunks, vectors, strict=True):
        session.add(DocChunk(id=chunk.id, source=chunk.source, heading=chunk.heading, body=chunk.body, embedding=vector))
    session.commit()
    return len(chunks)

埋め込みは、見出しと本文をつないだ文章から作ります(embedding_text)。本文に「水曜日」と書かれていなくても、見出しの「定休日」で探せるようにするためです。

python index_docs.py
9件の区切りを保存しました

このPCでは、最初の実行に約14秒かかりました。多くはモデルの読み込みの時間で、2回目からは速くなります。

保存の前に、表の中身をすべて消しています(delete(DocChunk))。資料の見出しを消したり、名前を変えたりしたとき、古い区切りが残って答えに使われるのを防ぐためです。消すのと保存するのを1つのまとまり(commit まで)で行うので、途中で失敗しても表が空のままにはなりません。

7 / 20