読み方のヒント

矢印ボタン(または ← → キー)でページを移動できます。

第5節 答えが毎回少しずつ違う理由

5.1 確率に従って選ぶ

第1節では、次のトークンの候補に確率を計算し、「確率をもとに」一つ選ぶと書きました。選び方には、2つの考え方があります。

選び方やり方結果
いちばん確率の高いものを選ぶ「短縮」(45%)を必ず選ぶ毎回同じ答えになるが、ありきたりな文や、同じ言葉のくり返しになりやすい
確率に従って、くじのように選ぶ45%の確率で「短縮」、30%の確率で「変更」……毎回少しずつ違う答えになり、文に変化が出る

多くの生成AIのサービスでは、確率に従って選ぶ方法が使われています。一度違うトークンが選ばれると、その後の予測もすべて変わるため、文章全体ではかなり違う答えになることもあります。

確率のばらつきは、温度と呼ばれる設定で調整できます。

温度「短縮」「変更」「延長」答えの傾向
低い70%28%2%確率の高いものに集まり、答えが安定する
ふつう45%30%5%第1節の確率のまま
高い35%30%15%確率の低いものも選ばれやすく、答えの幅が広がる

(表の割合は説明のための例です。ほかの候補の確率は省いています。)

温度は、開発者向けのサービスでは自分で決められることが多く、一般向けのサービスでは、提供する会社があらかじめ決めていることが多い設定です。

18 / 25