読み方のヒント

矢印ボタン(または ← → キー)でページを移動できます。

第5節 公開前の確認と運用

5.2 公開前の確認表と、使い始めてから見ること

確かめること確かめ方
テストがすべて通るpython -m pytest(58件)
資料の評価が、前回と同じかよいpython diagnose.py
エージェントの評価が、前回と同じかよいpython run_agent_eval.py を何度か
書き込む道具は、確認の窓口を通さないと確定しない/reservations/{id}/confirm 以外に、status を confirmed にする処理がないか、コードを読む
段階ごとに使える道具が絞られているROUTE_TOOLS と、LimitedToolbox のテスト
ログに質問・答え・個人の情報が書かれていないログを開いて読む。テストの test_trace_is_logged_without_question
LLMが止まったときに503になるOllamaを止めて質問を送る
外のMCPサーバーをつないでいないTOOLS_VIA_MCP と、つなぐサーバーの一覧
練習用の設定のまま公開していないログインのない予約の窓口、--host、DBの利用者、.env

予約の窓口(/agent の下書きと /reservations/{id}/confirm)は、練習のためログインを省いています。このままでは、だれでも、どの下書きでも確定できます。公開する前に、FastAPIシリーズで学んだログインを加え、下書きを作った本人だけが確定できるようにします。

使い始めてからは、段階の記録で次のことを見ます。

見ること見方気づいたときにすること
gave_up が増えていないか段階の記録の status と stopped回数・時間の上限、道具の形を見直す
時間が延びていないか段階ごとの ms遅い段階を調べる。時間切れの秒数を決め直す
種類の分かれ方記録の kind の割合other が多ければ、店が答えるべき質問が漏れていないか、評価の質問集に足して調べる
道具の失敗記録の ok が false の道具決まりで止まった失敗か、例外かをログで分ける
残った下書きreservations の draft の件数確定されない理由を調べる。古い下書きを消す

記録には質問の文がないため、何が聞かれたかは分かりません。種類や状態の割合が変わったら、店の人に心当たりを聞き、思い当たる質問を評価の質問集に足して試します。

解答例
  1. products にくるみパンを足し、今日の残りの数を daily_stock に入れる
  2. くるみパンの質問を、エージェントの評価の質問集に足す(残り・値段・予約の下書き)。「ナッツ」を含む質問が店員につながることも確かめる(「くるみパンにナッツは入っていますか」)
  3. 「パン」で探すと候補が増えるため、draft_reservation(product_name="パン") が候補を返して止まることを確かめる
  4. python -m pytest と python run_agent_eval.py を回し、ほかの質問の結果が下がっていないことを確かめる
  5. 結果を記録する

21 / 22