読み方のヒント

矢印ボタン(または ← → キー)でページを移動できます。

第1節 次の言葉を予測して文を作る

1.1 一トークンずつ足していく

この章には、商店街の文具店で働く千尋(ちひろ)と、店のホームページの更新を手伝う大学生の拓海(たくみ)が出てきます。千尋は仕事で生成AIを使っていて、拓海は大学でAIの仕組みを学んでいます。

千尋は、生成AIに雨の日のお知らせを頼みました。拓海は、答えが画面に少しずつ表示されるのを見ながら、「今、一トークンずつ作っているところです」と言いました。

大規模言語モデルが文章を作る手順は、次のくり返しです。

  1. それまでの文章を、トークンに区切って読む
  2. 次に来るトークンの候補すべてに、来る確率を計算する
  3. 確率をもとに、トークンを一つ選ぶ
  4. 選んだトークンを文章の最後に足し、1に戻る
  5. 「ここで終わり」を表すトークンが選ばれたら、止まる
ここまでの文章:本日は雨のため、営業時間を

次のトークンの確率(説明のための例):
  短縮  … 45%
  変更  … 30%
  延長  … 5%
  (ほか数万の候補) … 合わせて20%

候補は、モデルが知っているすべてのトークンで、数万から数十万あります。「短縮」が選ばれると、「本日は雨のため、営業時間を短縮」が新しい「ここまでの文章」になり、次の予測が始まります。答えが少しずつ表示されるのは、この手順を、トークンを一つ作るたびに画面に出しているためです。

モデルは一トークンずつ書きますが、学習の中で、先の展開に合う書き出しを選ぶ傾向も身につけています。一つ一つの予測には、注意の仕組みを通して、それまでの文章全体が反映されているためです。

2 / 25