読み方のヒント
矢印ボタン(または ← → キー)でページを移動できます。
文具店で働く千尋(ちひろ)は、生成AIパスポート試験に向けて、大学生の拓海(たくみ)と勉強を続けています。今回のテーマは、生成AIが文章を作る仕組みです。
拓海は、次の文を例に出しました。
千尋さんは、店に届いた手帳を棚に並べた。それは来年用の新しいデザインだった。
「それ」が何を指すかは、前の文の「手帳」を見れば分かります。文章を理解するには、離れた位置にある語どうしの関係(長距離依存)をつかむ必要があります。
それまで文章の処理に使われていたRNNは、語を1つずつ順番に処理するため、離れた語の関係を保ちにくく、処理も並列にできませんでした。2017年に発表されたTransformerは、文の中のすべての語どうしの関係を一度に計算する「Self-Attention(自己注意機構)」を中心にしたモデルです。順番に処理する必要がないため、並列処理で大量のデータを速く学習できます。
2 / 25