読み方のヒント
矢印ボタン(または ← → キー)でページを移動できます。
キャッシュしたい部分の最後に、cache_control を付けます。システムプロンプトに手引きを入れる場合は、次のように書きます。
message = client.messages.create(
model=model_main(),
max_tokens=800,
system=[{"type": "text", "text": guide, "cache_control": {"type": "ephemeral"}}],
messages=[{"role": "user", "content": question}],
)
system を文字列ではなく、ブロックの並びにして、手引きのブロックに cache_control を付けています。1回目の要求で、手引きまでの部分がキャッシュに書き込まれます。数分以内の2回目からは、その部分がキャッシュから読まれます。
| 部分 | 1回目 | 2回目から(数分以内) |
|---|---|---|
| 手引き(2万トークン) | キャッシュに書き込む(ふつうの入力より少し高い) | キャッシュから読む(ふつうの入力より大幅に安い) |
| 質問(毎回違う) | ふつうの入力 | ふつうの入力 |
キャッシュが保たれる時間は、初期の設定で5分で、使うたびに延びます。"ttl": "1h" を付けると1時間にできます。要求の最上位に cache_control を1つ付けて、キャッシュする位置を自動で決めさせる方法もあります。
6 / 20