読み方のヒント

矢印ボタン(または ← → キー)でページを移動できます。

第1節 Transformerと基盤モデル

1.2 Self-Attentionと派生モデル

Self-Attentionでは、それぞれの語について「文の中のどの語にどれだけ注目するか」を計算します。計算には、語ごとに作る3種類の値を使います。

値たとえ役割
Query(クエリ)探している内容今の語が、ほかの語に何を問い合わせるか
Key(キー)索引の見出し各語が、どんな情報を持っているかの目印
Value(バリュー)中身注目の度合いに応じて受け取る情報

「それ」のQueryと、各語のKeyを照らし合わせると、「手帳」との関係が強いと計算されます。その結果、「それ」の意味に「手帳」の情報が多く取り込まれます。

Transformerは、入力を理解するエンコーダと、出力を作るデコーダからなります。その後、目的に合わせて派生モデルが生まれました。

系統主に使う部分得意なこと代表例
BERT系エンコーダ文の意味の理解(分類、検索)BERT
GPT系デコーダ文章の生成GPTシリーズ

3 / 25