読み方のヒント

矢印ボタン(または ← → キー)でページを移動できます。

第5節 重みが公開されたモデル

5.1 手元で動かせるモデル

モデルの本体は、大量の数値(重み)の集まりです。この重みを公開している会社があります。重みを入手すれば、自分のパソコンや、自分で借りたサーバーでモデルを動かせます。

手元で動かす道具の一つに、Ollamaがあります。Ollamaを入れ、モデルを取得すると、インターネットにつながっていなくてもモデルが動きます。

比べる点クラウドのAPI手元で動かすモデル
料金使った量に応じて払う電気代とパソコンだけ
送った文の行き先提供する会社のサーバーパソコンの外へ出ない
答えの質大きなモデルを使えるパソコンで動く大きさに限られる
準備鍵を作るだけ道具を入れ、数GBのモデルを取得する
新しいモデル会社が更新する自分で取得し直す

手元で動かす方法は、「FastAPIとLLMでRAGを作る」で、実際にOllamaを使って扱っています。

18 / 20