読み方のヒント

矢印ボタン(または ← → キー)でページを移動できます。

第1節 ChatGPTが生まれるまで

1.2 GPT-1からGPT-3まで

GPTは、版を重ねるごとに、パラメータ数と学習データを大きくしてきました。

モデル発表主な特徴
GPT-12018年事前学習のあと、作業ごとにファインチューニングする方法を示した
GPT-22019年規模を大きくし、自然な長い文章を書けるようになった。悪用のおそれから、段階的に公開された
GPT-32020年さらに大規模にし、少数の例を見せるだけで多くの作業をこなせることを示した

GPT-3で注目されたのは、作業ごとに追加学習しなくても、プロンプトの中に例をいくつか書くだけで、翻訳や質問への回答ができた点です。この使い方を、少数の例から学ぶという意味で、Few-Shot(フューショット)と呼びます。プロンプトの書き方は「生成AIパスポート 仕事での活用と模擬試験」で詳しく扱います。

3 / 25