読み方のヒント

矢印ボタン(または ← → キー)でページを移動できます。

第1節 手元でLLMを動かす

1.2 HTTPで要求を送る

Ollamaは、起動すると http://localhost:11434 で要求を待ちます。FastAPIのAPIと同じく、HTTPで要求を送り、JSONで答えを受け取ります。

curl http://localhost:11434/api/chat -d '{"model":"qwen2.5:3b","messages":[{"role":"user","content":"こもれびベーカリーの営業時間は7時から18時です。何時に閉まりますか。1文で答えて。"}],"stream":false,"options":{"temperature":0}}'

WindowsのPowerShellでは、引用符の扱いが違うため、この1行はそのままでは動きません。2節でPythonから送る方法を使えば、OSによる違いはなくなります。

このPC(macOS、メモリ16GB)で返ってきた答えを、読みやすく改行して示します。

{
  "model": "qwen2.5:3b",
  "message": {
    "role": "assistant",
    "content": "こもれびベーカリーは18時閉まります。"
  },
  "done": true,
  "done_reason": "stop",
  "total_duration": 1186648958,
  "prompt_eval_count": 64,
  "eval_count": 17
}
項目意味
messages会話。role は system(守らせる決まり)、user(頼む文)、assistant(モデルの答え)
streamfalse にすると、答えを最後まで作ってから1回で返す
options.temperature答えの揺れ。0 に近いほど、同じ入力に同じような答えを返す
message.contentモデルが作った文章
total_durationかかった時間(ナノ秒)。1186648958は約1.2秒
prompt_eval_count・eval_count読んだトークンの数と、作ったトークンの数

答えは「18時閉まります」と、助詞が抜けています。内容は合っていますが、小さいモデルでは、日本語が少し崩れることがあります。

解答

文章は message の中の content にあります。時間は total_duration が1186648958ナノ秒なので、約1.2秒です(1秒は1,000,000,000ナノ秒)。

3 / 20