読み方のヒント

矢印ボタン(または ← → キー)でページを移動できます。

第3節 画像を渡して読ませる

3.1 画像のブロック

画像は、種類が image のブロックで渡します。手元の画像は、base64の文字にします。

def image_block(path, media_type="image/jpeg"):
    with open(path, "rb") as f:
        data = base64.standard_b64encode(f.read()).decode()
    return {"type": "image", "source": {"type": "base64", "media_type": media_type, "data": data}}


message = client.messages.create(
    model=model_main(),
    max_tokens=500,
    messages=[{"role": "user", "content": [
        image_block("photo.jpg"),
        {"type": "text", "text": "写っている湯のみの数と、欠けや割れが見える箇所を答えてください。見えないものは推測しないでください。"},
    ]}],
)

画像のブロックを、頼む文より前に置いています。画像や文書を先に、質問を後に置く並べ方は、5節で扱います。

media_type画像の種類
image/jpegJPEGの写真
image/pngPNGの画像、画面の写し
image/webp・image/gifWebP、GIF

10 / 20