Aa
読み方のヒント
矢印ボタン(または ← → キー)でページを移動できます。
閉じる
第1節 Transformerと基盤モデル
第1節のまとめ
Transformer(2017年)は、Self-Attentionで語どうしの関係を一度に計算し、並列処理で効率よく学習できる
Self-Attentionは、Query・Key・Valueを使って、どの語に注目するかを計算する
エンコーダ中心のBERT系は理解、デコーダ中心のGPT系は生成が得意
拡散モデルは、ノイズを取り除く逆拡散過程を学習して画像を作る。潜在空間で行うのが潜在拡散モデル
基盤モデルは多くの作業に応用でき、マルチモーダルモデルは複数のモダリティを扱う
5 / 25
5 / 25