読み方のヒント

矢印ボタン(または ← → キー)でページを移動できます。

第2節 1つが止まったときに別のモデルへ切り替える

2.1 切り替えの部品

Fallback は、1つ目のモデルが決めた種類の失敗をしたら、2つ目のモデルに同じ要求を送ります。

class Fallback:
    def __init__(self, primary, secondary, errors):
        self.primary, self.secondary, self.errors = primary, secondary, errors

    def complete(self, system, user, max_tokens=800):
        try:
            return self.primary.complete(system, user, max_tokens)
        except self.errors as error:
            log.warning("1つ目のモデルが失敗したため切り替えます: %s", type(error).__name__)
            return self.secondary.complete(system, user, max_tokens)

Fallback も、共通の窓口の決まりを満たします。アプリの側は、切り替えの仕組みがあることを知らずに使えます。

llm = Fallback(
    primary=ClaudeChat(anthropic.Anthropic(), os.environ["MIDORI_MODEL"]),
    secondary=OpenAIChat(OpenAI(), os.environ["MIDORI_MODEL_BACKUP"]),
    errors=(anthropic.APIConnectionError, anthropic.APITimeoutError, anthropic.OverloadedError),
)

6 / 20