読み方のヒント
矢印ボタン(または ← → キー)でページを移動できます。
LLMを呼ぶことは、何も書き換えません。同じ要求を2回送っても、記録は増えません。そこで、つながらなかったときだけ、1回やり直します。
# つながらなかったときだけ、1秒おいて1回やり直す。LLMを呼ぶことは何も書き換えないため、やり直してよい
retries = 1
retry_wait = 1.0
def _post(self, path: str, body: dict) -> dict:
for attempt in range(self.retries + 1):
try:
response = httpx.post(f"{self.base_url}{path}", json=body, timeout=self.timeout)
response.raise_for_status()
return response.json()
except httpx.ConnectError as exc:
if attempt == self.retries:
raise LLMError(f"LLMに接続できませんでした: {exc}") from exc
time.sleep(self.retry_wait)
except httpx.TimeoutException as exc:
# 時間切れはやり直さない。待ち時間が2倍になり、お客さんをさらに待たせるため
raise LLMError("LLMの返事が時間内に届きませんでした") from exc
| 失敗 | やり直すか | 理由 |
|---|---|---|
つながらない(ConnectError) | 1回やり直す | Ollamaの起動の途中など、すぐに直ることがある |
時間切れ(TimeoutException) | やり直さない | 60秒待ったうえに、さらに60秒待たせることになる |
| 返事の形が合わない | やり直さない | 温度0では、同じ要求に同じ返事が返りやすい |
やり直す回数は少なくします。何度もやり直すと、止まっているOllamaに要求を送り続け、お客さんも待たされ続けます。
16 / 22