読み方のヒント
矢印ボタン(または ← → キー)でページを移動できます。
拓海は、AIエージェントで起こりうるトラブルを、架空の例で示しました。
例1:権限の過剰付与
在庫を数えるだけのエージェントに、商品データを削除できる権限まで与えていた。
指示を誤解したエージェントが、古い商品のデータを削除してしまった。
例2:連鎖的なエラー
最初の段階で在庫数を読み違え、その数をもとに発注書を作り、発注メールの下書きまで作った。
| リスク | 内容 |
|---|---|
| 権限の過剰付与 | 作業に必要な範囲より広い権限やアクセス範囲を与え、誤操作や悪用の被害が大きくなる |
| 連鎖的なエラーの拡大 | 一つの誤りを前提に次の作業が進み、誤りが広がる |
| 情報漏えい | つないだデータの中の機密情報を、外部に送ったり答えに含めたりする |
| 想定外の挙動 | 目的を誤解して、頼んでいない操作をする |
対話型の生成AIでは、誤りは答えの文章の中にとどまります。エージェントでは、誤りが実際の操作として起きるため、被害が大きくなりやすいのが特徴です。
27 / 30