読み方のヒント

矢印ボタン(または ← → キー)でページを移動できます。

第1節 Transformerと基盤モデル

第1節のまとめ

  • Transformer(2017年)は、Self-Attentionで語どうしの関係を一度に計算し、並列処理で効率よく学習できる
  • Self-Attentionは、Query・Key・Valueを使って、どの語に注目するかを計算する
  • エンコーダ中心のBERT系は理解、デコーダ中心のGPT系は生成が得意
  • 拡散モデルは、ノイズを取り除く逆拡散過程を学習して画像を作る。潜在空間で行うのが潜在拡散モデル
  • 基盤モデルは多くの作業に応用でき、マルチモーダルモデルは複数のモダリティを扱う

5 / 25