読み方のヒント

矢印ボタン(または ← → キー)でページを移動できます。

第2節 安くする仕組み

2.1 小さいモデルと、キャッシュ

最も効く方法は、仕事に足りる範囲で小さいモデルを使うことです。前の節の単価では、小さいモデルは、ふだん使うモデルの10分の1です。

2つ目は、キャッシュです。蓮の返信の下書きでは、毎回同じ「配送とお支払いの案内」と「よくある質問」を入力の先頭に入れています。同じ文を何度も送るとき、各社のAPIは、その部分を一時的に保存し、次からは安い単価で読む仕組みを持っています。

この章の架空の単価では、キャッシュされた入力は、ふだん使うモデルで100万トークンあたり30円とします。返信の下書き1通の入力2,000トークンのうち、1,500トークンが毎回同じ案内だとします。

キャッシュなしキャッシュあり
同じ案内の1,500トークン0.45円0.045円
毎回違うメールの500トークン0.15円0.15円
入力の合計0.6円0.195円

キャッシュが効くのは、同じ部分が入力の先頭にあり、続けて使うときです。毎回違うメールは、案内の後ろに置きます。

6 / 20