読み方のヒント

矢印ボタン(または ← → キー)でページを移動できます。

第4節 やり直してよい処理・いけない処理

4.1 LLMを呼ぶことは、やり直してよい

LLMを呼ぶことは、何も書き換えません。同じ要求を2回送っても、記録は増えません。そこで、つながらなかったときだけ、1回やり直します。

    # つながらなかったときだけ、1秒おいて1回やり直す。LLMを呼ぶことは何も書き換えないため、やり直してよい
    retries = 1
    retry_wait = 1.0

    def _post(self, path: str, body: dict) -> dict:
        for attempt in range(self.retries + 1):
            try:
                response = httpx.post(f"{self.base_url}{path}", json=body, timeout=self.timeout)
                response.raise_for_status()
                return response.json()
            except httpx.ConnectError as exc:
                if attempt == self.retries:
                    raise LLMError(f"LLMに接続できませんでした: {exc}") from exc
                time.sleep(self.retry_wait)
            except httpx.TimeoutException as exc:
                # 時間切れはやり直さない。待ち時間が2倍になり、お客さんをさらに待たせるため
                raise LLMError("LLMの返事が時間内に届きませんでした") from exc
失敗やり直すか理由
つながらない(ConnectError)1回やり直すOllamaの起動の途中など、すぐに直ることがある
時間切れ(TimeoutException)やり直さない60秒待ったうえに、さらに60秒待たせることになる
返事の形が合わないやり直さない温度0では、同じ要求に同じ返事が返りやすい

やり直す回数は少なくします。何度もやり直すと、止まっているOllamaに要求を送り続け、お客さんも待たされ続けます。

16 / 22