読み方のヒント

矢印ボタン(または ← → キー)でページを移動できます。

第1節 ファインチューニングで何が変わるのか

1.1 事前学習と追加の学習

LLMは、大量の文章で「次の言葉を予測する」学習をして作られます(事前学習)。その後、指示に従って答えるように調整されて、チャット製品やAPIで使われる形になります。ファインチューニングは、この学習済みのモデルに、さらに自分の例で学習させる段階です。

段階使う文章主に身につくもの
事前学習大量の一般的な文章言葉の知識、一般的な知識
指示への調整(各社が行う)指示と答えの例、人の評価指示に従う、安全に答える
ファインチューニング(利用者が行う)自分の仕事の例(数十〜数万件)決まった形、調子、特定の仕事のこつ

ファインチューニングでは、モデルの中の数値(重み)が少し変わります。変わるのは、自分の例に近い入力に対する答え方です。

2 / 20