読み方のヒント

矢印ボタン(または ← → キー)でページを移動できます。

第2節 GPTの進化と推論モデル

2.1 GPT-4とマルチモーダルへの展開

2023年に発表されたGPT-4は、文章に加えて画像も入力として受け取れるようになりました。その後のモデルでは、音声で会話する、画像を生成するなど、扱えるデータの種類(モダリティ)がさらに広がりました。

千尋は、店で使える例を考えました。

入力頼むこと
手書きの値札の写真値札の文字を読み取り、表にしてもらう
新商品の写真商品の説明文の案を作ってもらう
音声で話しかける両手がふさがった作業中に、在庫の確認の手順を聞く

複数のモダリティを1つのモデルで扱えるようになったことで、文字で説明しにくい内容も、写真や音声のまま渡せるようになりました。

7 / 25