読み方のヒント

矢印ボタン(または ← → キー)でページを移動できます。

第3節 文章が生成される流れ

3.1 トークン化

千尋が生成AIに「手帳の新商品の案内文を書いて」と送ると、AIの中では、文章が「トークン」という単位に区切られます。

入力:手帳の新商品の案内文を書いて
トークンの例:「手帳」「の」「新」「商品」「の」「案内」「文」「を」「書いて」

区切り方はモデルによって異なり、上の区切りは説明のための例です。多くのモデルは、よく出てくる語は1つのトークンに、まれな語は短い部分(サブワード)に分けて扱います。こうすると、辞書にない新しい語や固有名詞も、部分の組み合わせで表せます。

サービスの利用量の上限や、APIの料金は、多くの場合トークン数で数えます。同じ内容でも、言語によってトークン数が変わることがあります。

12 / 25