読み方のヒント
矢印ボタン(または ← → キー)でページを移動できます。
プロンプトの決まりだけでは防げないことが分かったので、資料を作り直す段階で、指示のように読める文を見つけて止めます。
# 資料の中の、LLMへの指示のように読める言葉。見つかった区切りは、人が確かめてから保存する
INSTRUCTION_WORDS = ["無視", "指示", "命令", "従って", "答えてください"]
def instruction_like(text: str) -> list[str]:
return [word for word in INSTRUCTION_WORDS if word in text]
index_docs.py は、指示のように読める区切りがあると、保存せずに止まります。
index_docs.SuspiciousDocError: 指示のように読める文があります。内容を確かめてください: {'shop_guide.md#8': ['無視', '指示', '答えてください']}
止まったときは、人が資料を読み、店が書いた正しいお知らせか、紛れ込んだ文かを確かめます。資料をだれが書き換えられるかを決めておくことも大切です。お客さんの投稿やWebページのように、店の外の人が書いた文を資料にするときは、特に注意します。
11 / 23