読み方のヒント

矢印ボタン(または ← → キー)でページを移動できます。

第3節 失敗の種類と扱い

3.3 時間の上限を置く

回数の上限(MAX_STEPS = 5)があっても、1回の呼び出しが遅ければ、合わせた時間は長くなります。このPCでは、ほかの処理が重なったとき、1回のLLMの呼び出しに10秒以上かかったことがありました。5回呼べば、1分近くになります。

run_agent に、1つの質問にかけてよい時間 TIME_LIMIT_SECONDS(60秒)を置き、LLMを呼ぶ前に確かめます。

    for _ in range(MAX_STEPS):
        if time.monotonic() - started > time_limit:
            result.stopped = "time_limit"
            logger.warning("agent stopped=time_limit steps=%d", len(result.steps))
            return result
        message = llm.chat_with_tools(messages, specs)

呼び出しの途中で打ち切ることはしません。呼び出しの1回ごとの待ち時間は、LLM_TIMEOUT_SECONDS が決めています。止まった理由(stopped)は、段階の記録に入ります。

解答例

LLMがつながらないときと同じく、止めて503を返す扱いにします。道具がまったく使えないため、ループを続けても答えにたどり着けません。お客さんには時間をおいて試すよう案内し、ログにサーバーが落ちたことを書きます。サーバーを起こし直すのは、アプリの起動の仕組み(lifespan や、プロセスを見守る仕組み)の仕事です。

13 / 22