参数
有关所有插件均可使用的配置项,请参阅插件通用配置。
该插件支持使用 env:// 前缀从环境变量引用敏感参数值,也支持使用 secret:// 前缀从密钥管理器(例如 HashiCorp Vault 的 KV 密钥引擎)引用敏感参数值。有关更多信息,请参阅插件中的环境变量和密钥。
comprehend
AWS Comprehend 配置。
access_key_id
AWS Access Key ID。
secret_access_key
AWS Secret Access Key。该值在存储到 etcd 前会使用 AES 加密。
region
AWS 区域。
endpoint
AWS Comprehend 服务端点。未设置时,默认为
https://comprehend.{region}.amazonaws.com。ssl_verify
如果为 true,启用 TLS 证书验证。
moderation_categories
审核类别及其对应阈值的键值对。
在每一对中,键应该是
PROFANITY(亵渎)、HATE_SPEECH(仇恨言论)、INSULT(侮辱)、HARASSMENT_OR_ABUSE(骚扰或滥用)、SEXUAL(色情)或VIOLENCE_OR_THREAT(暴力或威胁)之一;阈值应该在 0 到 1 之间(包含 0 和 1)。moderation_threshold
有效值:
介于 0 和 1 之间(含边界值)
整体毒性阈值。值越高意味着允许的毒性内容越多。
此选项不同于
moderation_categories中的单个类别阈值。例如,如果moderation_categories将PROFANITY阈值设置为0.5,而请求的PROFANITY分数为0.1,该请求不会超过类别阈值。但是,如果请求的SEXUAL或VIOLENCE_OR_THREAT等其他类别超过moderation_threshold,请求将被拒绝。check_request
如果为 true,则审核请求内容。
自 API7 企业版 3.9.16 或 3.10.3 起可用。
deny_code
有效值:
介于 200 和 599 之间(含边界值)
请求被拒绝时返回的 HTTP 状态码。设置为
4xx值可将拒绝结果表示为 HTTP 错误。自 API7 企业版 3.9.16 或 3.10.3 起可用。
deny_message
请求被拒绝时返回的消息。未设置时,插件返回超过阈值的原因。
自 API7 企业版 3.9.16 或 3.10.3 起可用。
fail_mode
有效值:
skip、warn或error当插件绑定到 Consumer 并收到其格式无法识别的请求(例如非 AI 请求)时的行为。取值为
skip时,未识别的请求将不经检查直接放行。取值为warn时,请求将放行并记录一条警告日志。取值为error时,请求将以 HTTP 400 被拒绝。自 API7 企业版 3.9.14 起可用。
request_check_roles
有效值:
user、assistant、system或tool请求侧需要审查的消息角色。
user、tool和assistant遵循request_check_mode;system在每次请求时都会被检查,因为其内容可能受到恶意工具调用参数的影响。assistant消息是客户端提供的会话历史 ,因此默认也会被审查。选中
system时同时覆盖developer角色的消息——developer是 OpenAI 在较新模型和 Responses API 中用来替代system的角色,没有单独的developer取值。工具结果的审查适用于把工具输出表示为独立
tool角色或条目的 OpenAI 兼容格式。自 API7 企业版 3.9.x 系列的 3.9.18 版本起可用,3.10.x 系列自 3.10.5 版本起可用。
request_check_mode
有效值:
all或last所选角色中哪些消息会被审查。取值为
all时,所选角色的每条消息都会被检查;取值为last时,只检查所选角色消息中最后一段连续的消息。system角色不受该选项影响,只要被选中就始终检查。同时选择
assistant与last会扩大被视为「最后一段」的范围,因为 assistant 轮次不再作为该段的结束。自 API7 企业版 3.9.x 系列的 3.9.18 版本起可用,3.10.x 系列自 3.10.5 版本起可用。
request_check_length_limit
有效值:
4 到 1024 之间(含)
每个 Amazon Comprehend 文本分段中请求内容的最大字节数。超长内容会被切分到多个分段,从而完整审查而不是被截断。
自 API7 企业版 3.9.x 系列的 3.9.18 版本起可用,3.10.x 系列自 3.10.5 版本起可用。
check_response
如果为 true,则在审查请求之外同时审查 LLM 响应的内容。非流式响应在返回客户端之前完成审查;流式响应按
stream_check_mode审查。自 API7 企业版 3.9.x 系列的 3.9.18 版本起可用,3.10.x 系列自 3.10.5 版本起可用。
response_check_length_limit
有效值:
4 到 1024 之间(含)
每个 Amazon Comprehend 文本分段中响应内容的最大字节数。超长内容会被切分到多个分段。
自 API7 企业版 3.9.x 系列的 3.9.18 版本起可用,3.10.x 系列自 3.10.5 版本起可用。
stream_check_mode
有效值:
final_packet或realtime启用
check_response后,流式响应的审查方式。取值为final_packet时,对拼装完成的响应审查一次,并在最后一个分片上标注风险等级;取值为realtime时,在响应流式转发过程中分批审查,一旦某批命中,流的剩余部分会被替换为拒绝消息。自 API7 企业版 3.9.x 系列的 3.9.18 版本起可用,3.10.x 系列自 3.10.5 版本起可用。
stream_check_cache_size
有效值:
大于或等于 1
在
realtime模式下,每个审查批次累积的最大字符数。取值越小越早发现有害内容,代价是审查调用次数增加。自 API7 企业版 3.9.x 系列的 3.9.18 版本起可用,3.10.x 系列自 3.10.5 版本起可用。
stream_check_interval
有效值:
大于或等于 0.1
在
realtime模式下,两次批量检查之间的间隔秒数。自 API7 企业版 3.9.x 系列的 3.9.18 版本起可用,3.10.x 系列自 3.10.5 版本起可用。
timeout
有效值:
大于或等于 1
请求 Amazon Comprehend 的超时时间,单位为毫秒。
自 API7 企业版 3.9.x 系列的 3.9.18 版本起可用,3.10.x 系列自 3.10.5 版本起可用。
keepalive
如果为 true,则保持与 Amazon Comprehend 的连接存活,使同一请求内的多次审查调用复用该连接,而不是每次都重新建立。
自 API7 企业版 3.9.x 系列的 3.9.18 版本起可用,3.10.x 系列自 3.10.5 版 本起可用。
keepalive_timeout
有效值:
大于或等于 1000
连接池中与 Amazon Comprehend 的连接在空闲多久后被关闭,单位为毫秒。
自 API7 企业版 3.9.x 系列的 3.9.18 版本起可用,3.10.x 系列自 3.10.5 版本起可用。