読み方のヒント

矢印ボタン(または ← → キー)でページを移動できます。

第3節 費用と止めどころ

3.1 回数・時間・トークン

探索は、道具を1回呼ぶたびに、モデルを1回呼びます。モデルには、それまでの道具の結果をすべて渡すため、入力の量は手順が進むほど増えます。

仮の数字で見積もります。指示と問いが 2,000 トークン、道具の結果が1回あたり 500 トークン、モデルの1回の呼び出しに2秒かかるとします。

探し方モデルの呼び出し入力の合計時間
索引で1回探して答える2回2,000+2,500=4,500 トークン約4秒
探索を6手順で答える7回2,000+2,500+…+5,000=24,500 トークン約14秒

入力の単価を、仮に100万トークンあたり100円とすると、1問あたり約0.45円と約2.45円です。1日に200問なら、約90円と約490円の差になります。

数字の大きさは、モデルと資料で変わります。見積もりで押さえたいのは、探索の費用が手順の数の2乗に近い形で増える点です。手順が倍になると、入力の合計はおよそ4倍になります。

10 / 20