読み方のヒント

矢印ボタン(または ← → キー)でページを移動できます。

第5節 公開前の確認と運用

5.1 何かを替えたら、評価を回す

/ask の答えは、コードを替えなくても、次のどれかを替えると変わります。

替えるもの必ずすること
資料(docs)index_docs.py で作り直し、評価を回す
文章を作るモデル(CHAT_MODEL)評価を回し、前のモデルの結果と比べる
埋め込みのモデル(EMBED_MODEL)すべて作り直し、類似度の基準を見直してから評価を回す
プロンプト(SYSTEM)テストと評価を回す
基準の値(SEARCH_MIN_SCORE)評価を回す

Ollamaのモデルは、同じ名前のまま中身が更新されることがあります。ollama pull で取り直したときも、評価を回します。評価の結果は、日付・モデル名・OK の件数を記録し、前の結果と比べられるようにします。

20 / 23