読み方のヒント
矢印ボタン(または ← → キー)でページを移動できます。
この章の架空の単価(ふだん使うモデル:入力100万トークンあたり300円、キャッシュから読む入力30円)で、1回の質問の入力の費用を比べます。
| 方法 | 1回の入力 | 1回の入力の費用 |
|---|---|---|
| 手引きの全体(2万トークン)を毎回渡す | 20,000 | 6円 |
| 手引きの全体をキャッシュから読む | 20,000(キャッシュ) | 0.6円 |
| RAGで3件(1,500トークン)を渡す | 1,500 | 0.45円 |
キャッシュを使うと、2万トークン程度の資料なら、全体を渡してもRAGと費用の差は小さくなります。RAGを作る手間と、検索の取りこぼしの心配を考えると、この規模では、全体を渡す方法を選ぶ理由が十分にあります。
資料が数百万トークンを超えると、全体は渡せないため、RAGが要ります。
200,000÷1,000,000×30円=6円です。RAGの0.45円の約13倍になります。資料が大きくなるほど、RAGの費用の利点が大きくなります。
19 / 20