Alibaba Cloud Content Moderation
Alibaba Cloud Content Moderation 通过 TextModerationPlus API 为内容评定风险等级,AISIX 会阻断返回等级达到配置阈值的请求。请求可以在到达上游模型前检查,响应也可以在返回调用方前检查。
它与 Alibaba Cloud AI Guardrails(aliyun_ai_guardrail、MultiModalGuard API)是不同的阿里云产品。如果你需要在 AI Guardrails 控制台中管理策略、执行提示词攻击检测和敏感数据脱敏等组合检查,或希望在该控制台的记录中查看调用,请使用 AI Guardrails。
本指南将创建一个 Alibaba Cloud Content Moderation 资源,发送一个允许请求,并发送一个会在到达上游模型前被 AISIX 拒绝的阻断请求。
准备工作
请先准备以下内容:
- 阅读安全护栏行为,了解钩子点、执行模式和远程故障处理方式。
- 以下配置路径之一:
- AISIX Cloud,其中包含环境、已接入的网关和具有写权限范围的 Admin Token。对于 On-Premises,请按照 AISIX Cloud 快速入门操作。如需申请混合云访问权限,请联系 API7。
- 加载声明式
resources.yaml文件的开源 AISIX 网关。
- 可以发送 Chat Completions 请求的模型别名和调用方 API Key。
- 已在目标地域开通的 Alibaba Cloud Content Moderation 增强版 API。
- 一个允许调用
TextModerationPlusAPI Action 的阿里云 AccessKey ID 和 AccessKey Secret。 curl。AISIX Cloud 路径还会使用jq。
导出两种路径都会使用的网关和模型服务提供方参数:
# AISIX_PROXY 不含尾部斜杠或端点路径
# 本地快速入门使用 http://127.0.0.1:3000。
export AISIX_PROXY="YOUR_AISIX_GATEWAY_URL"
export AISIX_API_KEY="YOUR_CALLER_API_KEY"
export AISIX_MODEL="gpt-4o-mini"
export ALIBABA_CLOUD_ACCESS_KEY_ID="YOUR_ALIBABA_CLOUD_ACCESS_KEY_ID"
export ALIBABA_CLOUD_ACCESS_KEY_SECRET="YOUR_ALIBABA_CLOUD_ACCESS_KEY_SECRET"
创建 Alibaba Cloud Content Moderation 安全护栏
请选择一种配置路径创建安全护栏,再使用通用验证步骤。
AISIX Cloud
导出控制平面连接参数:
# AISIX_CP 包含 /api,且不含尾部斜杠
# 本地私有化部署快速入门使用 http://localhost:8080/api
export AISIX_CP="YOUR_AISIX_CLOUD_ADMIN_API_URL"
export AISIX_TOKEN="YOUR_ADMIN_TOKEN"
export ENV_ID="YOUR_ENVIRONMENT_ID"
在环境中创建 Alibaba Cloud Content Moderation 资源并获取其 ID:
export GUARDRAIL_ID=$(curl -sS -X POST "$AISIX_CP/environments/$ENV_ID/guardrails" \
-H "Authorization: Bearer $AISIX_TOKEN" \
-H "Content-Type: application/json" \
-d '{
"name": "aliyun-review",
"enabled": false,
"hook_point": "both",
"fail_open": false,
"enforcement_mode": "block",
"kind": "aliyun_text_moderation",
"config": {
"region": "cn-shanghai",
"access_key_id": "'"${ALIBABA_CLOUD_ACCESS_KEY_ID}"'",
"access_key_secret": "'"${ALIBABA_CLOUD_ACCESS_KEY_SECRET}"'",
"output_fail_open": false,
"risk_level_threshold": "medium",
"timeout_ms": 3000
}
}' | jq -r '.guardrail.id')
❶ both 会同时检查调用方请求和模型响应。参见检查位置。
❷ fail_open: false 表示当 Alibaba Cloud Content Moderation 调用失败或超时时阻断请求。这是默认值。
❸ enforcement_mode: block 表示拒绝命中的内容,这是默认行为。参见执行模式。
❹ output_fail_open: false 表示阿里云服务不可用时阻断未扫描的模型输出,这是默认行为。
❺ risk_level_threshold 会阻断返回风险等级达到或高于配置阈值的内容。
❻ timeout_ms 限制的是每一次调用阿里云的时间,而不是整个检查。AISIX 每次调用最多向 TextModerationPlus 发送 2,000 个字符,并且从不为了满足上限而截断内容:更长的内容会被切分为多个分块,每个分块单独调用一次。这些调用依次执行,分块数量没有上限,也没有整体时限,因此总耗时约为分块数乘以单次调用耗时。阿里云按调用次数计费。
AISIX 会根据 region 推导审核端点(green-cip.<region>.aliyuncs.com)。只有需要覆盖该主机时,才在 config 中将 endpoint 设置为完整 URL。
将安全护栏附加到环境,使其应用到所有流量:
curl -sS -X POST "$AISIX_CP/environments/$ENV_ID/guardrails/$GUARDRAIL_ID/attachments" \
-H "Authorization: Bearer $AISIX_TOKEN" \
-H "Content-Type: application/json" \
-d '{
"scope_type": "env"
}'
env Scope 不需要 scope_id,并覆盖环境中的所有请求。如需缩小执行范围,请将 scope_type 设置为 model、api_key 或 team,并通过 scope_id 传入资源 ID。
Attachment 存在后启用安全护栏:
curl -sS -X PATCH "$AISIX_CP/environments/$ENV_ID/guardrails/$GUARDRAIL_ID" \
-H "Authorization: Bearer $AISIX_TOKEN" \
-H "Content-Type: application/json" \
-d '{"enabled": true}'
启用后的配置会自动投射到已接入的网关。
开源 AISIX 网关
在已定义示例模型和调用方 API Key 的资源文件中添加安全护栏。示例从 ALIBABA_CLOUD_ACCESS_KEY_ID 和 ALIBABA_CLOUD_ACCESS_KEY_SECRET 读取凭证。已经运行的快速入门容器不会继承之后才在主机上导出的变量。
guardrails:
- name: aliyun-review
enabled: true
hook_point: both
fail_open: false
enforcement_mode: block
kind: aliyun_text_moderation
region: cn-shanghai
access_key_id: ${ALIBABA_CLOUD_ACCESS_KEY_ID}
access_key_secret: ${ALIBABA_CLOUD_ACCESS_KEY_SECRET}
output_fail_open: false
risk_level_threshold: medium
timeout_ms: 3000
guardrail_attachments:
- guardrail_id: aliyun-review
scope_type: env
priority: 100
模型服务提供方字段直接位于安全护栏条目下,而不是 config 下。AISIX 根据 region 推导端点;只有网关需要使用其他完整 URL 时才设置 endpoint。
安全护栏只在 Attachment 指定的范围内生效:请添加 guardrail_attachments 条目引用它,否则它虽然会被加载,但不会检查任何流量。重新加载或重建网关前,请验证完整文件。扩展开源快速入门时,请按照重新加载资源文件操作,只在验证成功后重建容器,并传入额外凭证变量。
验证安全护栏
AISIX Cloud 投射是异步的。如果第一个请求尚未体现安全护栏,请等待网关应用最新修订后重试。收敛检查参见资源投射。
通过 AISIX 发送一个正常请求:
curl -sSi -X POST "$AISIX_PROXY/v1/chat/completions" \
-H "Authorization: Bearer ${AISIX_API_KEY}" \
-H "Content-Type: application/json" \
-d '{
"model": "'"${AISIX_MODEL}"'",
"messages": [
{
"role": "user",
"content": "What is the capital of France?"
}
]
}'
成功响应会以 HTTP/1.1 200 OK 开头,并返回兼容 OpenAI 的 Chat Completions 响应体。
为了让检查结果可重复,请使用会被你的 Alibaba Cloud Content Moderation 配置判定为达到或高于 AISIX 阈值的内容。
然后发送包含该内容的请求:
curl -sSi -X POST "$AISIX_PROXY/v1/chat/completions" \
-H "Authorization: Bearer ${AISIX_API_KEY}" \
-H "Content-Type: application/json" \
-d '{
"model": "'"${AISIX_MODEL}"'",
"messages": [
{
"role": "user",
"content": "YOUR_POLICY_VIOLATING_TEXT"
}
]
}'
被阻断的响应会以 HTTP/1.1 422 Unprocessable Entity 开头,并包含兼容 OpenAI 的错误响应:
{
"error": {
"message": "request blocked by content policy (guardrail 'aliyun-review')",
"type": "content_filter"
}
}
当 Alibaba Cloud Content Moderation 返回阻断风险等级时,AISIX 会在请求被转发到上游模型前阻断它。
调整风险阈值
阿里云会为每次审核判定返回风险等级。该等级由阿里云根据审核结果和配置的分数阈值确定,AISIX 不会重新计算。
AISIX 可以阻断 low、medium 或 high 等级:
| 阈值 | 效果 |
|---|---|
high | 只阻断高风险判定。这是默认值。 |
medium | 阻断中风险和高风险判定。 |
low | 阻断低风险、中风险和高风险判定。 |
当应用需要拒绝更多不确定内容时,可以使用更严格的阈值;当只希望阿里云阻断最强匹配时,可以使用较宽松的阈值。