参数
有关所有插件均可使用的配置项,请参阅插件通用配置。
access_key_id
阿里云 Access Key ID。
access_key_secret
阿里云 Access Key Secret。该值会在存储前加密。
region_id
阿里云 Region ID。
endpoint
阿里云 Endpoint。
check_request
如果为 true,则审核请求内容。
check_response
如果为 true,则按照
stream_check_mode审核非流式和流式 LLM 响应内容。request_check_service
阿里云审核请求的服务位置。
request_check_length_limit
请求内容长度限制,以字符数计。超过该限制时,内容将分块发送。
例如,请求内容有 250 个字符且
request_check_length_limit设置为100时,内容将通过 3 个请求发送到阿里云。response_check_service
阿里云审核响应的服务位置。
response_check_length_limit
响应内容长度限制,以字符数计。超过该限制时,内容将分块发送。
例如,响应内容有 250 个字符且
response_check_length_limit设置为100时,内容将通过 3 个请求发送到阿里云。risk_level_bar
有效值:
none、low、medium、high或max如果评估的风险等级低于
risk_level_bar,则请求/响应将分别传递给上游 LLM / 客户端。deny_code
有效值:
介于 200 和 599 之间(含边界值)
在响应头发出前拒绝内容时返回的 HTTP 状态码。默认值
200会返回与模型服务提供方兼容的拒绝响应;设置为4xx可将内容审核结果显示为 HTTP 错误。流式响应开始后无法再更改状态码。deny_message
请求或响应内容被拒绝时返回的消息。若未配置,插件会使用阿里云的审核建议。
timeout
有效值:
大于或等于 1
超时时间(毫秒)。
stream_check_mode
有效值:
realtime或final_packet流式检查模式,用于指定如何审核流式(SSE)响应的内容。
realtime在响应流式传输期间以增量批次方式执行审核检查。检测到违规时,将立即中断流并返回拒绝消息。final_packet在 LLM 完成响应后评估完整响应,并将计算出的风险等级追加到 SSE 消息的数据字段中。stream_check_cache_size
有效值:
大于或等于 1
realtime模式下每个审核批次的最大字符数。stream_check_interval
有效值:
大于或等于 0.1
realtime模式下两次批量检查之间的间隔秒数。keepalive
如果为 true,则启用到阿里云的 HTTP keepalive。
keepalive_pool
有效值:
大于或等于 1
keepalive 连接池中的最大连接数。
keepalive_timeout
有效值:
大于或等于 1000
keepalive 超时时间(毫秒)。
ssl_verify
如果为 true,启用 SSL 验证。
fail_mode
有效值:
skip、warn或error插件收到无法审核的请求(例如绑定到 Consumer 的非 AI 流量,或未经过 AI Proxy 的请求)时的处理方式。设置为
skip时,请求不经检查直接放行;设置为warn时,请求不经检查放行并记录警告;设置为error时,插件会根据具体情况以 HTTP 400 或 500 拒绝请求。这些结果均不代表内容审核成功。自 API7 企业版 3.9.14 和 APISIX 3.18.0 起可用。
request_check_mode
有效值:
last或all对请求中由
request_check_roles选定角色的哪些轮次消息进行审核。设置为last时,仅审核最近连续的一组已选user和tool消息;设置为all时,审核所有已选user和tool消息。选择system角色后,每个请求都会审核该角色。自 API7 企业版 3.9.16 和 3.10.3,以及 APISIX 3.18.0 起可用。
request_check_roles
有效值:
user、tool或system请求侧要审核的消息角色。
user和tool遵循request_check_mode;由于系统内容可能受到恶意工具调用参数的影响,system会在每个请求中接受检查。在 APISIX 中,选择
system时也会覆盖developer消息;developer是 OpenAI 在较新模型和 Responses API 中用来替代system的角色,且没有单独的developer取值。API7 企业版 3.9.18 和 3.10.5 采用相同行为;更早的 API7 企业版不会审核developer消息。工具结果审核适用于以单独
tool角色或条目表示工具输出的 OpenAI 兼容格式。自 API7 企业版 3.9.16 和 3.10.3,以及 APISIX 3.18.0 起可用。