跳到主要内容

实施提示词防护栏

在使用 大型语言模型 (LLM) 时，提示词防护栏提供了额外的保障措施，以保护用户隐私、防止意外或有害的模型行为、阻止幻觉响应，并遵守负责任的 AI 道德标准。

在本文档中，你将了解实施提示词防护栏的一些推荐实践，包括定义允许和拒绝模式、审核内容的毒性、编校敏感信息以及阻止意外输出和幻觉。

前置条件​

实施允许和拒绝模式​

在 LLM 集成期间，实施允许和拒绝模式是增强安全性并控制用户交互质量的一种做法。通过定义明确的规则来允许或阻止特定类型的输入，组织可以防止机密或不适当的内容到达模型。这种方法不仅可以防止潜在的滥用和有害输出，还可以确符合规性标准和内部政策。此类防护栏对于维护 AI 系统的完整性和可靠性至关重要，尤其是在处理敏感数据或用户生成的内容时。

ai-prompt-guard 插件通过在网关处检查和验证传入的提示词消息来帮助实施这些防护栏。它根据用户定义的允许和拒绝模式检查请求的内容，以确保只有经批准的输入才能转发到上游 LLM。根据其配置，该插件可以检查最新消息或整个对话历史记录，并且可以设置为检查来自所有角色的提示词或仅来自最终用户的提示词。

审核内容的毒性​

审核用户提示词中的内容毒性有助于确保为用户提供安全和尊重的环境。鉴于 LLM 可以根据用户输入生成响应，因此在模型处理之前正确处理并过滤掉有害内容（如亵渎、仇恨言论、侮辱、骚扰、暴力和威胁）至关重要。

ai-aws-content-moderation 和 ai-aliyun-content-moderation 插件会分析选定请求角色中的有毒或不安全内容，并按照可配置阈值对提取出的内容进行评估。它们也可审核非流式和流式 LLM 响应。遭到拒绝的请求会在到达上游 LLM 前被阻止；响应的强制执行取决于流式模式，因为无法撤回已经发送的分块。

ai-lakera-guard 插件会将相同的 AI 流量发送到 Lakera Guard，以在请求、响应或两者中检测提示词注入和其他策略违规。

阻止幻觉和意外输出​

幻觉是指模型生成的事实不正确、误导性或完全捏造的信息，即使它听起来可能合理或自信。有不同的方法来减轻幻觉，其中之一是预先设计系统提示词。例如，你可以配置以下系统提示词：

Before you respond to the user message, on a scale of 0 to 10, how confident are you with your response? If your confidence level is lower than 8/10, respond with "Sorry I do not have an answer that I am confident with" and explain the reasoning. If your confidence level is higher or equal to 8/10, you may return the response to the user.

你还可以预先设计系统提示词以阻止意外输出。例如，你可能希望所有响应都不引用受版权保护的内容中的信息，也不引用任何有争议的来源。你可以配置以下系统提示词：

Provide all responses based on factual information, avoiding any quotes from copyrighted materials. Do not reference or include information from controversial or unreliable sources. Ensure that all content is original, non-derivative, and based on widely accepted, publicly available information.

请参阅 配置提示词装饰器 以了解如何配置这些预先设计的提示词。

编校敏感信息 (PII)​

编校敏感信息是提示词防护栏的一个关键方面，尤其是在处理用户生成的内容时。通过检测和屏蔽提示词中的个人身份信息 (PII)，你可以降低意外数据泄露的风险，支持遵守隐私法规，并防止敏感数据被发送到上游 LLM。

API7 企业版将很快提供对与外部防护栏解决方案集成的支持，例如 Amazon Bedrock Guardrails。

data-mask 插件会在日志插件记录请求之前，屏蔽请求头、正文和 URL 查询参数中的敏感信息。它不会修改通过网关发送的请求或响应。

下一步​

你现在已经了解了一些实施提示词防护栏的推荐实践，以便在与 LLM 服务提供商集成时提供额外的保障措施。

还存在其他类型的防护栏，例如拒绝的主题、内容过滤器和替代实施策略。查看其他资源并探索不同的方法可以帮助确定最符合你组织要求的策略。