読み方のヒント

矢印ボタン(または ← → キー)でページを移動できます。

第6節 リスク・安全性・評価

6.1 エージェント特有のリスク

拓海は、AIエージェントで起こりうるトラブルを、架空の例で示しました。

例1:権限の過剰付与
在庫を数えるだけのエージェントに、商品データを削除できる権限まで与えていた。
指示を誤解したエージェントが、古い商品のデータを削除してしまった。

例2:連鎖的なエラー
最初の段階で在庫数を読み違え、その数をもとに発注書を作り、発注メールの下書きまで作った。
リスク内容
権限の過剰付与作業に必要な範囲より広い権限やアクセス範囲を与え、誤操作や悪用の被害が大きくなる
連鎖的なエラーの拡大一つの誤りを前提に次の作業が進み、誤りが広がる
情報漏えいつないだデータの中の機密情報を、外部に送ったり答えに含めたりする
想定外の挙動目的を誤解して、頼んでいない操作をする

対話型の生成AIでは、誤りは答えの文章の中にとどまります。エージェントでは、誤りが実際の操作として起きるため、被害が大きくなりやすいのが特徴です。

27 / 30