読み方のヒント

矢印ボタン(または ← → キー)でページを移動できます。

第5節 費用と速さ

5.2 直接渡す方法と比べる

この章の架空の単価(ふだん使うモデル:入力100万トークンあたり300円、キャッシュから読む入力30円)で、1回の質問の入力の費用を比べます。

方法1回の入力1回の入力の費用
手引きの全体(2万トークン)を毎回渡す20,0006円
手引きの全体をキャッシュから読む20,000(キャッシュ)0.6円
RAGで3件(1,500トークン)を渡す1,5000.45円

キャッシュを使うと、2万トークン程度の資料なら、全体を渡してもRAGと費用の差は小さくなります。RAGを作る手間と、検索の取りこぼしの心配を考えると、この規模では、全体を渡す方法を選ぶ理由が十分にあります。

資料が数百万トークンを超えると、全体は渡せないため、RAGが要ります。

解答

200,000÷1,000,000×30円=6円です。RAGの0.45円の約13倍になります。資料が大きくなるほど、RAGの費用の利点が大きくなります。

19 / 20