読み方のヒント

矢印ボタン(または ← → キー)でページを移動できます。

第1節 Transformerと基盤モデル

1.1 Transformerの登場

文具店で働く千尋(ちひろ)は、生成AIパスポート試験に向けて、大学生の拓海(たくみ)と勉強を続けています。今回のテーマは、生成AIが文章を作る仕組みです。

拓海は、次の文を例に出しました。

千尋さんは、店に届いた手帳を棚に並べた。それは来年用の新しいデザインだった。

「それ」が何を指すかは、前の文の「手帳」を見れば分かります。文章を理解するには、離れた位置にある語どうしの関係(長距離依存)をつかむ必要があります。

それまで文章の処理に使われていたRNNは、語を1つずつ順番に処理するため、離れた語の関係を保ちにくく、処理も並列にできませんでした。2017年に発表されたTransformerは、文の中のすべての語どうしの関係を一度に計算する「Self-Attention(自己注意機構)」を中心にしたモデルです。順番に処理する必要がないため、並列処理で大量のデータを速く学習できます。

2 / 25