読み方のヒント
矢印ボタン(または ← → キー)でページを移動できます。
Budget は、共通の窓口をくるみ、1日の呼び出しの回数と、費用の目安の合計が上限を超えたら、それ以上は送らずに止めます。
class Budget:
def __init__(self, max_calls, max_yen, yen_per_token_in, yen_per_token_out):
self.max_calls, self.max_yen = max_calls, max_yen
self.price_in, self.price_out = yen_per_token_in, yen_per_token_out
self.calls, self.yen = 0, 0.0
def guard(self, llm):
budget = self
class Guarded:
def complete(self, system, user, max_tokens=800):
if budget.calls >= budget.max_calls or budget.yen >= budget.max_yen:
raise RuntimeError("今日の上限に達しました")
reply = llm.complete(system, user, max_tokens)
budget.calls += 1
budget.yen += reply.input_tokens * budget.price_in + reply.output_tokens * budget.price_out
return reply
return Guarded()
上限は、各社の管理の画面の利用額の上限とは別に、アプリの中にも置きます。管理の画面の上限は月ごとで、そこに達するまでに1か月分の予算を使い切ることがあるためです。
10 / 20