読み方のヒント

矢印ボタン(または ← → キー)でページを移動できます。

第3節 プロンプトインジェクションと道具の権限

3.2 道具の権限を絞る

区切りとシステムプロンプトで、従う危険は小さくなりますが、なくなりはしません。そこで、モデルに従われても困らないように、道具の権限を絞ります。

道具お客さんの文を扱う仕組みでの扱い
在庫を調べる使わせてよい(読むだけ)
在庫を取り置く人の確認の後だけ
価格を変える使わせない
メールを送る使わせない。早紀が読んでから送る

モデルが「半額にする」と答えても、価格を変える道具がなければ、価格は変わりません。メールを送る道具がなければ、その答えがお客さんに届くこともありません。

解答例

メールを送る道具をモデルに持たせず、早紀が読んでから送る守りがあるためです。4節の出力の検査で「半額」を見つける守りも重ねられます。

11 / 20