読み方のヒント

矢印ボタン(または ← → キー)でページを移動できます。

第5節 LMとLLM

5.1 言語モデルと大規模言語モデル

言語モデル(LM:Language Model)は、文章がどれくらい自然か、次にどの語が来やすいかを確率で表すモデルです。スマートフォンの文字入力で、次の語の候補が出る仕組みも、言語モデルの一種です。

大規模言語モデル(LLM:Large Language Model)は、パラメータ数・学習データ・計算量を大幅に大きくした言語モデルです。

項目言語モデル(LM)大規模言語モデル(LLM)
規模比較的小さいパラメータ数・データ・計算量がきわめて大きい
できること次の語の予測など、限られた作業要約、翻訳、質問への回答、文章の作成など、多くの作業
使い方作業ごとに作るプロンプト(指示文)で作業を切り替える

LLMは、大規模にしたことで創発的能力が現れ、作業ごとに学習し直さなくても、プロンプトを変えるだけで多くの作業をこなせるようになりました。

22 / 25