読み方のヒント

矢印ボタン(または ← → キー)でページを移動できます。

第3節 失敗の種類と扱い

3.2 道具の例外を、LLMに見せない

道具の中でDBの接続が切れると、例外の文に、接続先の住所や内部の情報が入ることがあります。そのままLLMに渡すと、答えに出てくるおそれがあります。

LocalToolbox.call は、道具の例外を受け止め、短い知らせだけを返します。

        try:
            result = tool.run(self.ctx, args)
        except Exception:
            # DBの失敗などは、LLMに中身を見せず、短い知らせだけを返す。詳しいことはログで見る
            logger.exception("tool failed name=%s", name)
            self.ctx.session.rollback()
            return {"error": "道具を実行できませんでした"}, False

rollback() は、途中まで進んだDBの変更を取り消します。予約の下書きを書く途中で失敗したとき、半端な記録を残さないためです。

テストでは、find_products を、内部の住所を含む例外を出す関数に差し替え、結果に例外の文が入らないことを確かめます。

def test_tool_exception_becomes_short_error(toolbox, monkeypatch):
    def broken(ctx, args):
        raise RuntimeError("connection reset by peer: 10.0.0.5")

    monkeypatch.setattr(TOOLS["find_products"], "run", broken)
    output, ok = toolbox.call("find_products", {"keyword": "パン"})
    assert output == {"error": "道具を実行できませんでした"}

12 / 22