読み方のヒント
矢印ボタン(または ← → キー)でページを移動できます。
回数の上限(MAX_STEPS = 5)があっても、1回の呼び出しが遅ければ、合わせた時間は長くなります。このPCでは、ほかの処理が重なったとき、1回のLLMの呼び出しに10秒以上かかったことがありました。5回呼べば、1分近くになります。
run_agent に、1つの質問にかけてよい時間 TIME_LIMIT_SECONDS(60秒)を置き、LLMを呼ぶ前に確かめます。
for _ in range(MAX_STEPS):
if time.monotonic() - started > time_limit:
result.stopped = "time_limit"
logger.warning("agent stopped=time_limit steps=%d", len(result.steps))
return result
message = llm.chat_with_tools(messages, specs)
呼び出しの途中で打ち切ることはしません。呼び出しの1回ごとの待ち時間は、LLM_TIMEOUT_SECONDS が決めています。止まった理由(stopped)は、段階の記録に入ります。
LLMがつながらないときと同じく、止めて503を返す扱いにします。道具がまったく使えないため、ループを続けても答えにたどり着けません。お客さんには時間をおいて試すよう案内し、ログにサーバーが落ちたことを書きます。サーバーを起こし直すのは、アプリの起動の仕組み(lifespan や、プロセスを見守る仕組み)の仕事です。
13 / 22