实施提示词防护栏
在使用 大型语言模型 (LLM) 时,提示词防护栏提供了额外的保障措施,以保护用户隐私、防止意外或有害的模型行为、阻止幻觉响应,并遵守负责任的 AI 道德标准。
在本文档中,你将了解实施提示词防护栏的一些推荐实践,包括定义允许和拒绝模式、审核有害内容、对敏感信息脱敏,以及减少不希望出现的输出和幻觉。
前置条件
- 了解如何 代理对 LLM 服务的请求。
实施允许和拒绝模式
在 LLM 集成期间,实施允许和拒绝模式是增强安全性并控制用户交互质量的一种做法。通过定义明确的规则来允许或阻止特定类型的输入,组织可以防止机密或不适当的内容到达模型。这种方法不仅可以防止潜在的滥用和有害输出,还有助于遵守监管标准和内部政策。此类防护栏对于维护 AI 系统的完整性和可靠性至关重要,尤其是在处理敏感数据或用户生成的内容时。
ai-prompt-guard 插件通过在网关处检查和验证传入的提示词消息来帮助实施这些防护栏。它根据用户定义的允许和拒绝模式检查请求的内容,以确保只有经批准的输入才能转发到上游 LLM。根据其配置,该插件可以检查最新消息或整个对话历史记录,并且可以设置为检查来自所有角色的提示词或仅来自最终用户的提示词。
审核内容的毒性
审核用户提示词中的内容毒性有助于确保为用户提供安全和尊重的环境。鉴于 LLM 可以根据用户输入生成响应,因此在模型处理之前正确处理并过滤掉有害内容(如亵渎、仇恨言论、侮辱、骚扰、暴力和威胁)至关重要。
ai-aws-content-moderation 和 ai-aliyun-content-moderation 插件会分析选定请求角色中的有毒或不安全内容,并按照可配置阈值对提取出的内容进行评估。它们也可审核非流式和流式 LLM 响应。遭到拒绝的请求会在到达上游 LLM 前被阻止;响应的强制执行取决于流式模式,因为无法撤回已经发送的分块。
ai-lakera-guard 插件会将相同的 AI 流量发送到 Lakera Guard,以在请求、响应或两者中检测提示词注入和其他策略违规。