読み方のヒント
矢印ボタン(または ← → キー)でページを移動できます。
Self-Attentionでは、それぞれの語について「文の中のどの語にどれだけ注目するか」を計算します。計算には、語ごとに作る3種類の値を使います。
| 値 | たとえ | 役割 |
|---|---|---|
| Query(クエリ) | 探している内容 | 今の語が、ほかの語に何を問い合わせるか |
| Key(キー) | 索引の見出し | 各語が、どんな情報を持っているかの目印 |
| Value(バリュー) | 中身 | 注目の度合いに応じて受け取る情報 |
「それ」のQueryと、各語のKeyを照らし合わせると、「手帳」との関係が強いと計算されます。その結果、「それ」の意味に「手帳」の情報が多く取り込まれます。
Transformerは、入力を理解するエンコーダと、出力を作るデコーダからなります。その後、目的に合わせて派生モデルが生まれました。
| 系統 | 主に使う部分 | 得意なこと | 代表例 |
|---|---|---|---|
| BERT系 | エンコーダ | 文の意味の理解(分類、検索) | BERT |
| GPT系 | デコーダ | 文章の生成 | GPTシリーズ |
3 / 25