読み方のヒント
矢印ボタン(または ← → キー)でページを移動できます。
Fallback は、1つ目のモデルが決めた種類の失敗をしたら、2つ目のモデルに同じ要求を送ります。
class Fallback:
def __init__(self, primary, secondary, errors):
self.primary, self.secondary, self.errors = primary, secondary, errors
def complete(self, system, user, max_tokens=800):
try:
return self.primary.complete(system, user, max_tokens)
except self.errors as error:
log.warning("1つ目のモデルが失敗したため切り替えます: %s", type(error).__name__)
return self.secondary.complete(system, user, max_tokens)
Fallback も、共通の窓口の決まりを満たします。アプリの側は、切り替えの仕組みがあることを知らずに使えます。
llm = Fallback(
primary=ClaudeChat(anthropic.Anthropic(), os.environ["MIDORI_MODEL"]),
secondary=OpenAIChat(OpenAI(), os.environ["MIDORI_MODEL_BACKUP"]),
errors=(anthropic.APIConnectionError, anthropic.APITimeoutError, anthropic.OverloadedError),
)
6 / 20