読み方のヒント

矢印ボタン(または ← → キー)でページを移動できます。

第2節 プロンプトキャッシュ

2.1 cache_control を付ける

キャッシュしたい部分の最後に、cache_control を付けます。システムプロンプトに手引きを入れる場合は、次のように書きます。

message = client.messages.create(
    model=model_main(),
    max_tokens=800,
    system=[{"type": "text", "text": guide, "cache_control": {"type": "ephemeral"}}],
    messages=[{"role": "user", "content": question}],
)

system を文字列ではなく、ブロックの並びにして、手引きのブロックに cache_control を付けています。1回目の要求で、手引きまでの部分がキャッシュに書き込まれます。数分以内の2回目からは、その部分がキャッシュから読まれます。

部分1回目2回目から(数分以内)
手引き(2万トークン)キャッシュに書き込む(ふつうの入力より少し高い)キャッシュから読む(ふつうの入力より大幅に安い)
質問(毎回違う)ふつうの入力ふつうの入力

キャッシュが保たれる時間は、初期の設定で5分で、使うたびに延びます。"ttl": "1h" を付けると1時間にできます。要求の最上位に cache_control を1つ付けて、キャッシュする位置を自動で決めさせる方法もあります。

6 / 20