読み方のヒント

矢印ボタン(または ← → キー)でページを移動できます。

第1節 トークンを数える

1.1 count_tokens で送る前に数える

client.messages.count_tokens は、要求を実際には送らずに、入力のトークン数だけを返します。

def count_before_send(client, guide, question):
    result = client.messages.count_tokens(
        model=model_main(),
        system=guide,
        messages=[{"role": "user", "content": question}],
    )
    return result.input_tokens

引数は、messages.create と同じ形です。max_tokens は要りません。数えるだけなので、文を作る料金はかかりません。

使い道例
費用の見積もり手引きを全部渡すと、1回いくらかかるか
上限の確かめ1年分のレビューが、コンテキストの長さに収まるか
渡し方の比べ手引き全体と、節だけで、どれだけ違うか

トークン数は、モデルによって数え方が違うことがあります。数えるときは、実際に使うモデルのIDを渡します。

2 / 20