読み方のヒント

矢印ボタン(または ← → キー)でページを移動できます。

第3節 プロンプトインジェクション

3.2 資料を保存する前に止める

プロンプトの決まりだけでは防げないことが分かったので、資料を作り直す段階で、指示のように読める文を見つけて止めます。

# 資料の中の、LLMへの指示のように読める言葉。見つかった区切りは、人が確かめてから保存する
INSTRUCTION_WORDS = ["無視", "指示", "命令", "従って", "答えてください"]


def instruction_like(text: str) -> list[str]:
    return [word for word in INSTRUCTION_WORDS if word in text]

index_docs.py は、指示のように読める区切りがあると、保存せずに止まります。

index_docs.SuspiciousDocError: 指示のように読める文があります。内容を確かめてください: {'shop_guide.md#8': ['無視', '指示', '答えてください']}

止まったときは、人が資料を読み、店が書いた正しいお知らせか、紛れ込んだ文かを確かめます。資料をだれが書き換えられるかを決めておくことも大切です。お客さんの投稿やWebページのように、店の外の人が書いた文を資料にするときは、特に注意します。

11 / 23