読み方のヒント
矢印ボタン(または ← → キー)でページを移動できます。
千尋が生成AIに「手帳の新商品の案内文を書いて」と送ると、AIの中では、文章が「トークン」という単位に区切られます。
入力:手帳の新商品の案内文を書いて
トークンの例:「手帳」「の」「新」「商品」「の」「案内」「文」「を」「書いて」
区切り方はモデルによって異なり、上の区切りは説明のための例です。多くのモデルは、よく出てくる語は1つのトークンに、まれな語は短い部分(サブワード)に分けて扱います。こうすると、辞書にない新しい語や固有名詞も、部分の組み合わせで表せます。
サービスの利用量の上限や、APIの料金は、多くの場合トークン数で数えます。同じ内容でも、言語によってトークン数が変わることがあります。
12 / 25