読み方のヒント
矢印ボタン(または ← → キー)でページを移動できます。
第1節では、次のトークンの候補に確率を計算し、「確率をもとに」一つ選ぶと書きました。選び方には、2つの考え方があります。
| 選び方 | やり方 | 結果 |
|---|---|---|
| いちばん確率の高いものを選ぶ | 「短縮」(45%)を必ず選ぶ | 毎回同じ答えになるが、ありきたりな文や、同じ言葉のくり返しになりやすい |
| 確率に従って、くじのように選ぶ | 45%の確率で「短縮」、30%の確率で「変更」…… | 毎回少しずつ違う答えになり、文に変化が出る |
多くの生成AIのサービスでは、確率に従って選ぶ方法が使われています。一度違うトークンが選ばれると、その後の予測もすべて変わるため、文章全体ではかなり違う答えになることもあります。
確率のばらつきは、温度と呼ばれる設定で調整できます。
| 温度 | 「短縮」 | 「変更」 | 「延長」 | 答えの傾向 |
|---|---|---|---|---|
| 低い | 70% | 28% | 2% | 確率の高いものに集まり、答えが安定する |
| ふつう | 45% | 30% | 5% | 第1節の確率のまま |
| 高い | 35% | 30% | 15% | 確率の低いものも選ばれやすく、答えの幅が広がる |
(表の割合は説明のための例です。ほかの候補の確率は省いています。)
温度は、開発者向けのサービスでは自分で決められることが多く、一般向けのサービスでは、提供する会社があらかじめ決めていることが多い設定です。
18 / 25