読み方のヒント
矢印ボタン(または ← → キー)でページを移動できます。
よい答えを人が一から書くには、手間がかかります。そこで、モデルに同じ頼みごとへの答えを2つ作らせ、どちらがよいかを人が選ぶ方法も使われます。
頼みごと:店が臨時休業することを、お客さんに伝える文を書いてください。
答えA:臨時休業します。
答えB:誠に勝手ながら、6月10日(月)は臨時休業いたします。ご不便をおかけいたします。
人の評価:Bのほうがよい
人の選んだ結果をたくさん集め、「人がよいと選びそうな答えほど高い点数」を付けるモデルを作ります。その点数を報酬にして、点数の高い答えを作りやすくなるように、大規模言語モデルを調整します。「AIの仕組み徹底学習 機械学習の基本の手法」で見た強化学習を使った調整です。危ない頼みごとを断るといった、安全のための振る舞いも、こうした調整で身につけさせます。
この調整には、副作用もあります。人は、自分の考えに同意する答えや、自信のある言い方の答えを、よいと選びがちです。その傾向がモデルに移ると、利用者の誤った考えにも同意したり、確かでないことを言い切ったりすることがあります。
「このお知らせの文に、日付・時間・店名の誤りや、分かりにくい表現があれば、すべて挙げてください。なければ『なし』と答えてください。」
「よく書けていますよね」という聞き方は、同意を求める形なので、モデルが同意しやすくなります。確かめてほしい点を具体的に挙げ、誤りを探すことを頼むと、同意に引っぱられにくくなります。
11 / 25