読み方のヒント
矢印ボタン(または ← → キー)でページを移動できます。
/agent の答えは、次のどれを替えても変わります。
| 替えるもの | 回す評価 |
|---|---|
| 道具の説明・引数・結果の形 | エージェントの評価 |
| 種類を決めるプロンプトと例 | エージェントの評価(全問) |
system のプロンプト | エージェントの評価 |
| 資料・区切り方・言い換え・基準の値 | 資料の評価(diagnose.py)とエージェントの評価 |
モデル(CHAT_MODEL、EMBED_MODEL) | 両方。埋め込みのモデルを替えたら作り直し、基準も見直す |
| 評価 | プログラム | 見るもの |
|---|---|---|
| 資料の評価 | diagnose.py | 原因の見当(検索の失敗・答え方の失敗) |
| エージェントの評価 | run_agent_eval.py | 種類・道具・答え・下書きの数 |
結果は、日付・モデル・変えたこと・件数・残した誤りと扱いで記録し、前の結果と比べます。小さいモデルの結果は、少しの違いで変わります。件数が1つ増えたり減ったりしたときは、何度か回して確かめます。
20 / 22