読み方のヒント

矢印ボタン(または ← → キー)でページを移動できます。

第3節 文章が生成される流れ

3.2 埋め込みとベクトル表現

コンピュータは、文字のままでは意味を計算できません。そこで、各トークンを、数百から数千の数値の並び(ベクトル)に変換します。これを埋め込み(Embedding)といいます。

語ベクトルの例(実際はもっと多くの数値)
ペン(0.82, 0.10, -0.31, …)
鉛筆(0.79, 0.14, -0.28, …)
天気(-0.45, 0.66, 0.12, …)

意味の近い語は、近いベクトルになるように学習されます。上の例では「ペン」と「鉛筆」の数値が近く、「天気」とは離れています。この性質を使うと、言葉が一致しなくても、意味の近い文章を探せます。この検索の方法は、「生成AIパスポート AIエージェント」で学ぶRAGでも使われます。

13 / 25