読み方のヒント

矢印ボタン(または ← → キー)でページを移動できます。

第2節 PythonからLLMを呼ぶ

2.2 時間切れと接続の失敗

LLMは、ふつうのAPIより答えが遅く、止まっていることもあります。そこで、要求を送る部分で失敗をまとめて扱います。

class LLMError(Exception):
    """LLMに接続できない、または返事が読めないときに使う。"""

OllamaClient の中の _post が、要求を送る部分です。

    def _post(self, path: str, body: dict) -> dict:
        try:
            response = httpx.post(f"{self.base_url}{path}", json=body, timeout=self.timeout)
            response.raise_for_status()
            return response.json()
        except httpx.TimeoutException as exc:
            raise LLMError("LLMの返事が時間内に届きませんでした") from exc
        except httpx.HTTPError as exc:
            raise LLMError(f"LLMに接続できませんでした: {exc}") from exc
起きることhttpxの例外_post が出す例外
timeout の秒数を過ぎても答えがないhttpx.TimeoutExceptionLLMError
Ollamaが起動していないhttpx.ConnectError(HTTPError の一種)LLMError
存在しないモデル名を指定したraise_for_status による httpx.HTTPStatusErrorLLMError

httpxの例外を LLMError に変えておくと、呼ぶ側は「LLMが使えなかった」という1つの場合だけを考えればよくなります。

解答

接続できないため httpx.ConnectError が起き、_post の except httpx.HTTPError で受け止められます。呼ぶ側には LLMError(「LLMに接続できませんでした」)が届きます。

7 / 20