読み方のヒント

矢印ボタン(または ← → キー)でページを移動できます。

第3節 文章から画像を作る仕組み

3.2 文章で、ノイズを取り除く方向を決める

文章から画像を作るときは、第2節のノイズを取り除く手順に、文章の数の並びを加えます。

  1. 頼んだ文章を、数の並びに直す
  2. ノイズだけの画像を用意する
  3. ノイズの一部を取り除くとき、「頼んだ文章に合う画像」に近づく方向へ取り除く
  4. 3をくり返して、画像を仕上げる

同じノイズから始めても、頼んだ文章が「夏祭り」なら、ちょうちんや浴衣の形が、「年末セール」なら、赤い値札やリボンの形が浮かび上がります。

この仕組みでは、文章の意味のうち、画像とよく結びつけて学習した部分ほど、絵に反映されます。反対に、説明文にあまり書かれない内容は、反映されにくくなります。

起きやすい誤り理由
指の数がおかしい、手の形が崩れる手は形が複雑で、写真ごとに見え方が大きく変わる
「ペン3本」と頼んでも、2本や5本になる説明文に正確な数が書かれていることが少なく、数と形の結びつきが弱い
「ノートの左に鉛筆」が逆になる左右や上下の位置の関係は、説明文から学びにくい
絵の中の文字が読めない、まちがう文字の形をつづりどおりに作ることを、画像の学習では身につけにくい

これらは、モデルによって改善が進んでいます。それでも、確かめる手間がかかりやすい部分です。

解答例

文字は画像の中に作らせず、「文字を入れる余白のある、夏らしい青い背景に、ノートと鉛筆が並んだ絵」のように、絵の部分だけを頼む。できた絵に、表計算ソフトや画像の編集ソフトで「夏休みセール 8月1日〜20日 ノート2割引」の文字を入れる。冊数や本数は、ポスターで伝える必要がなければ指定しない。

12 / 21