Prompt Injection 防护清单:上线 LLM 应用前必查的 10 条
整理一份我们安全团队用的上线 checklist,分享给准备部署 LLM 的朋友:
1. 输入长度限制 + 敏感词过滤
2. 系统 prompt 与用户输入明确分隔(推荐 XML/JSON 标签)
3. 输出侧 PII 检测与脱敏
4. 禁止模型执行未授权的工具调用
5. RAG 文档权限隔离,防止跨租户泄露
6. 记录完整 audit log
7. 速率限制 + 异常行为检测
8. 定期 red team 测试
9. 降级策略(模型不可用时的人工兜底)
10. 用户告知 AI 生成内容的免责声明
欢迎补充你们踩过的坑。
回复 (2)
第 5 条太重要了。我们见过 RAG 把其他客户的合同片段检索出来的 case,权限隔离必须做在向量库层面。
red team 推荐用 garak 和 PyRIT 做自动化探测,比人工 fuzz 效率高。
登录 后参与讨论