読み方のヒント
矢印ボタン(または ← → キー)でページを移動できます。
最も効く方法は、仕事に足りる範囲で小さいモデルを使うことです。前の節の単価では、小さいモデルは、ふだん使うモデルの10分の1です。
2つ目は、キャッシュです。蓮の返信の下書きでは、毎回同じ「配送とお支払いの案内」と「よくある質問」を入力の先頭に入れています。同じ文を何度も送るとき、各社のAPIは、その部分を一時的に保存し、次からは安い単価で読む仕組みを持っています。
この章の架空の単価では、キャッシュされた入力は、ふだん使うモデルで100万トークンあたり30円とします。返信の下書き1通の入力2,000トークンのうち、1,500トークンが毎回同じ案内だとします。
| キャッシュなし | キャッシュあり | |
|---|---|---|
| 同じ案内の1,500トークン | 0.45円 | 0.045円 |
| 毎回違うメールの500トークン | 0.15円 | 0.15円 |
| 入力の合計 | 0.6円 | 0.195円 |
キャッシュが効くのは、同じ部分が入力の先頭にあり、続けて使うときです。毎回違うメールは、案内の後ろに置きます。
6 / 20