読み方のヒント

矢印ボタン(または ← → キー)でページを移動できます。

第5節 公開前の確認と運用

5.1 何かを替えたら、2つの評価を回す

/agent の答えは、次のどれを替えても変わります。

替えるもの回す評価
道具の説明・引数・結果の形エージェントの評価
種類を決めるプロンプトと例エージェントの評価(全問)
system のプロンプトエージェントの評価
資料・区切り方・言い換え・基準の値資料の評価(diagnose.py)とエージェントの評価
モデル(CHAT_MODEL、EMBED_MODEL)両方。埋め込みのモデルを替えたら作り直し、基準も見直す
評価プログラム見るもの
資料の評価diagnose.py原因の見当(検索の失敗・答え方の失敗)
エージェントの評価run_agent_eval.py種類・道具・答え・下書きの数

結果は、日付・モデル・変えたこと・件数・残した誤りと扱いで記録し、前の結果と比べます。小さいモデルの結果は、少しの違いで変わります。件数が1つ増えたり減ったりしたときは、何度か回して確かめます。

20 / 22