跳到主要内容

参数

有关所有插件均可使用的配置项,请参阅插件通用配置

该插件支持使用 env:// 前缀从环境变量引用敏感参数值,也支持使用 secret:// 前缀从密钥管理器(例如 HashiCorp Vault 的 KV 密钥引擎)引用敏感参数值。有关更多信息,请参阅插件中的环境变量密钥

  • comprehend

    object

    必填


    AWS Comprehend 配置。

    • access_key_id

      string

      必填


      AWS Access Key ID。

    • secret_access_key

      string

      必填


      AWS Secret Access Key。该值在存储到 etcd 前会使用 AES 加密。

    • region

      string

      必填


      AWS 区域。

    • endpoint

      string


      AWS Comprehend 服务端点。未设置时,默认为 https://comprehend.{region}.amazonaws.com

    • ssl_verify

      boolean

      默认值:true


      如果为 true,启用 TLS 证书验证。

  • moderation_categories

    object


    审核类别及其对应阈值的键值对。

    在每一对中,键应该是 PROFANITY(亵渎)、HATE_SPEECH(仇恨言论)、INSULT(侮辱)、HARASSMENT_OR_ABUSE(骚扰或滥用)、SEXUAL(色情)或 VIOLENCE_OR_THREAT(暴力或威胁)之一;阈值应该在 0 到 1 之间(包含 0 和 1)。

  • moderation_threshold

    number

    默认值:0.5

    有效值:

    介于 0 和 1 之间(含边界值)


    整体毒性阈值。值越高意味着允许的毒性内容越多。

    此选项不同于 moderation_categories 中的单个类别阈值。例如,如果 moderation_categoriesPROFANITY 阈值设置为 0.5,而请求的 PROFANITY 分数为 0.1,该请求不会超过类别阈值。但是,如果请求的 SEXUALVIOLENCE_OR_THREAT 等其他类别超过 moderation_threshold,请求将被拒绝。

  • check_request

    boolean

    默认值:true


    如果为 true,则审核请求内容。

    自 API7 企业版 3.9.16 或 3.10.3 起可用。

  • deny_code

    integer

    默认值:200

    有效值:

    介于 200 和 599 之间(含边界值)


    请求被拒绝时返回的 HTTP 状态码。设置为 4xx 值可将拒绝结果表示为 HTTP 错误。

    自 API7 企业版 3.9.16 或 3.10.3 起可用。

  • deny_message

    string


    请求被拒绝时返回的消息。未设置时,插件返回超过阈值的原因。

    自 API7 企业版 3.9.16 或 3.10.3 起可用。

  • fail_mode

    string

    默认值:skip

    有效值:

    skipwarnerror


    当插件绑定到 Consumer 并收到其格式无法识别的请求(例如非 AI 请求)时的行为。取值为 skip 时,未识别的请求将不经检查直接放行。取值为 warn 时,请求将放行并记录一条警告日志。取值为 error 时,请求将以 HTTP 400 被拒绝。

    自 API7 企业版 3.9.14 起可用。

  • request_check_roles

    array[string]

    默认值:["user", "assistant", "system", "tool"]

    有效值:

    userassistantsystemtool


    请求侧需要审查的消息角色。usertoolassistant 遵循 request_check_modesystem 在每次请求时都会被检查,因为其内容可能受到恶意工具调用参数的影响。assistant 消息是客户端提供的会话历史,因此默认也会被审查。

    选中 system 时同时覆盖 developer 角色的消息——developer 是 OpenAI 在较新模型和 Responses API 中用来替代 system 的角色,没有单独的 developer 取值。

    工具结果的审查适用于把工具输出表示为独立 tool 角色或条目的 OpenAI 兼容格式。

    自 API7 企业版 3.9.x 系列的 3.9.18 版本起可用,3.10.x 系列自 3.10.5 版本起可用。

  • request_check_mode

    string

    默认值:all

    有效值:

    alllast


    所选角色中哪些消息会被审查。取值为 all 时,所选角色的每条消息都会被检查;取值为 last 时,只检查所选角色消息中最后一段连续的消息。system 角色不受该选项影响,只要被选中就始终检查。

    同时选择 assistantlast 会扩大被视为「最后一段」的范围,因为 assistant 轮次不再作为该段的结束。

    自 API7 企业版 3.9.x 系列的 3.9.18 版本起可用,3.10.x 系列自 3.10.5 版本起可用。

  • request_check_length_limit

    integer

    默认值:1000

    有效值:

    4 到 1024 之间(含)


    每个 Amazon Comprehend 文本分段中请求内容的最大字节数。超长内容会被切分到多个分段,从而完整审查而不是被截断。

    自 API7 企业版 3.9.x 系列的 3.9.18 版本起可用,3.10.x 系列自 3.10.5 版本起可用。

  • check_response

    boolean

    默认值:false


    如果为 true,则在审查请求之外同时审查 LLM 响应的内容。非流式响应在返回客户端之前完成审查;流式响应按 stream_check_mode 审查。

    自 API7 企业版 3.9.x 系列的 3.9.18 版本起可用,3.10.x 系列自 3.10.5 版本起可用。

  • response_check_length_limit

    integer

    默认值:1000

    有效值:

    4 到 1024 之间(含)


    每个 Amazon Comprehend 文本分段中响应内容的最大字节数。超长内容会被切分到多个分段。

    自 API7 企业版 3.9.x 系列的 3.9.18 版本起可用,3.10.x 系列自 3.10.5 版本起可用。

  • stream_check_mode

    string

    默认值:final_packet

    有效值:

    final_packetrealtime


    启用 check_response 后,流式响应的审查方式。取值为 final_packet 时,对拼装完成的响应审查一次,并在最后一个分片上标注风险等级;取值为 realtime 时,在响应流式转发过程中分批审查,一旦某批命中,流的剩余部分会被替换为拒绝消息。

    自 API7 企业版 3.9.x 系列的 3.9.18 版本起可用,3.10.x 系列自 3.10.5 版本起可用。

  • stream_check_cache_size

    integer

    默认值:128

    有效值:

    大于或等于 1


    realtime 模式下,每个审查批次累积的最大字符数。取值越小越早发现有害内容,代价是审查调用次数增加。

    自 API7 企业版 3.9.x 系列的 3.9.18 版本起可用,3.10.x 系列自 3.10.5 版本起可用。

  • stream_check_interval

    number

    默认值:3

    有效值:

    大于或等于 0.1


    realtime 模式下,两次批量检查之间的间隔秒数。

    自 API7 企业版 3.9.x 系列的 3.9.18 版本起可用,3.10.x 系列自 3.10.5 版本起可用。

  • timeout

    integer

    默认值:10000

    有效值:

    大于或等于 1


    请求 Amazon Comprehend 的超时时间,单位为毫秒。

    自 API7 企业版 3.9.x 系列的 3.9.18 版本起可用,3.10.x 系列自 3.10.5 版本起可用。

  • keepalive

    boolean

    默认值:true


    如果为 true,则保持与 Amazon Comprehend 的连接存活,使同一请求内的多次审查调用复用该连接,而不是每次都重新建立。

    自 API7 企业版 3.9.x 系列的 3.9.18 版本起可用,3.10.x 系列自 3.10.5 版本起可用。

  • keepalive_timeout

    integer

    默认值:60000

    有效值:

    大于或等于 1000


    连接池中与 Amazon Comprehend 的连接在空闲多久后被关闭,单位为毫秒。

    自 API7 企业版 3.9.x 系列的 3.9.18 版本起可用,3.10.x 系列自 3.10.5 版本起可用。