読み方のヒント

矢印ボタン(または ← → キー)でページを移動できます。

第3節 一括処理(Message Batches)

3.1 まとめて送る

Message Batches は、要求の並びを1回で送り、結果を後で受け取る仕組みです。料金は、ふつうの要求より50%安くなります。多くの場合、1時間以内に結果が出ますが、最大で24時間かかります。

def submit_review_batch(client, reviews):
    requests = [
        {
            "custom_id": review_id,
            "params": {
                "model": model_small(),
                "max_tokens": 10,
                "system": "レビューを「良い」「悪い」「どちらでもない」のどれか1語で分類します。",
                "messages": [{"role": "user", "content": text}],
            },
        }
        for review_id, text in reviews.items()
    ]
    return client.messages.batches.create(requests=requests)

params には、messages.create と同じ中身を書きます。custom_id は、結果と元のレビューを結びつけるための、自分で付ける番号です。

10 / 20