読み方のヒント

矢印ボタン(または ← → キー)でページを移動できます。

第3節 時間・回数・金額の上限を決める

3.1 上限の部品

Budget は、共通の窓口をくるみ、1日の呼び出しの回数と、費用の目安の合計が上限を超えたら、それ以上は送らずに止めます。

class Budget:
    def __init__(self, max_calls, max_yen, yen_per_token_in, yen_per_token_out):
        self.max_calls, self.max_yen = max_calls, max_yen
        self.price_in, self.price_out = yen_per_token_in, yen_per_token_out
        self.calls, self.yen = 0, 0.0

    def guard(self, llm):
        budget = self

        class Guarded:
            def complete(self, system, user, max_tokens=800):
                if budget.calls >= budget.max_calls or budget.yen >= budget.max_yen:
                    raise RuntimeError("今日の上限に達しました")
                reply = llm.complete(system, user, max_tokens)
                budget.calls += 1
                budget.yen += reply.input_tokens * budget.price_in + reply.output_tokens * budget.price_out
                return reply

        return Guarded()

上限は、各社の管理の画面の利用額の上限とは別に、アプリの中にも置きます。管理の画面の上限は月ごとで、そこに達するまでに1か月分の予算を使い切ることがあるためです。

10 / 20