Prompt Injection 防护清单:上线 LLM 应用前必查的 10 条

韩雪松 AI安全研究员
楼主
整理一份我们安全团队用的上线 checklist,分享给准备部署 LLM 的朋友: 1. 输入长度限制 + 敏感词过滤 2. 系统 prompt 与用户输入明确分隔(推荐 XML/JSON 标签) 3. 输出侧 PII 检测与脱敏 4. 禁止模型执行未授权的工具调用 5. RAG 文档权限隔离,防止跨租户泄露 6. 记录完整 audit log 7. 速率限制 + 异常行为检测 8. 定期 red team 测试 9. 降级策略(模型不可用时的人工兜底) 10. 用户告知 AI 生成内容的免责声明 欢迎补充你们踩过的坑。

回复 (2)

赵雨萱 NLP工程师,Transformer深度用户
#1
第 5 条太重要了。我们见过 RAG 把其他客户的合同片段检索出来的 case,权限隔离必须做在向量库层面。
吴天宇 独立开发者,开源贡献者
#2
red team 推荐用 garak 和 PyRIT 做自动化探测,比人工 fuzz 效率高。