読み方のヒント
矢印ボタン(または ← → キー)でページを移動できます。
| 確かめること | 確かめ方 |
|---|---|
| テストがすべて通る | python -m pytest(58件) |
| 資料の評価が、前回と同じかよい | python diagnose.py |
| エージェントの評価が、前回と同じかよい | python run_agent_eval.py を何度か |
| 書き込む道具は、確認の窓口を通さないと確定しない | /reservations/{id}/confirm 以外に、status を confirmed にする処理がないか、コードを読む |
| 段階ごとに使える道具が絞られている | ROUTE_TOOLS と、LimitedToolbox のテスト |
| ログに質問・答え・個人の情報が書かれていない | ログを開いて読む。テストの test_trace_is_logged_without_question |
| LLMが止まったときに503になる | Ollamaを止めて質問を送る |
| 外のMCPサーバーをつないでいない | TOOLS_VIA_MCP と、つなぐサーバーの一覧 |
| 練習用の設定のまま公開していない | ログインのない予約の窓口、--host、DBの利用者、.env |
予約の窓口(/agent の下書きと /reservations/{id}/confirm)は、練習のためログインを省いています。このままでは、だれでも、どの下書きでも確定できます。公開する前に、FastAPIシリーズで学んだログインを加え、下書きを作った本人だけが確定できるようにします。
使い始めてからは、段階の記録で次のことを見ます。
| 見ること | 見方 | 気づいたときにすること |
|---|---|---|
gave_up が増えていないか | 段階の記録の status と stopped | 回数・時間の上限、道具の形を見直す |
| 時間が延びていないか | 段階ごとの ms | 遅い段階を調べる。時間切れの秒数を決め直す |
| 種類の分かれ方 | 記録の kind の割合 | other が多ければ、店が答えるべき質問が漏れていないか、評価の質問集に足して調べる |
| 道具の失敗 | 記録の ok が false の道具 | 決まりで止まった失敗か、例外かをログで分ける |
| 残った下書き | reservations の draft の件数 | 確定されない理由を調べる。古い下書きを消す |
記録には質問の文がないため、何が聞かれたかは分かりません。種類や状態の割合が変わったら、店の人に心当たりを聞き、思い当たる質問を評価の質問集に足して試します。
products にくるみパンを足し、今日の残りの数を daily_stock に入れるdraft_reservation(product_name="パン") が候補を返して止まることを確かめるpython -m pytest と python run_agent_eval.py を回し、ほかの質問の結果が下がっていないことを確かめる21 / 22