OVHcloud AI Endpoints
OVHcloud AI Endpoints 为托管模型提供推理端点。AISIX 为应用提供调用方密钥和稳定模型别名，以便访问这些端点。
准备工作
开始前，请准备以下内容：
- 一套 AISIX 环境：
- 对于 AISIX Cloud，需要一个已关联网关的环境和具备写入权限的 Admin Token。对于 On-Premises，请按照 AISIX Cloud 快速入门操作。如需申请 Hybrid Cloud 访问权限，请联系 API7。
- 对于开源 AISIX 网关，请准备本地 AISIX 安装，或使用开源 AISIX 网关快速入门中的 Docker 环境。配置网关以加载声明式资源文件。
- 一个 OVHcloud AI Endpoints 访问 Token。
- 所选模型的访问权限。
curl和jq。
使用 AISIX Cloud 配置
导出 AISIX Cloud 连接信息：
# AISIX_CP 是 Admin API 基础 URL；需要包含 /api，且末尾不包含斜杠
# 本地 On-Premises 快速入门使用 http://localhost:8080/api
export AISIX_CP="YOUR_AISIX_CLOUD_ADMIN_API_URL"
export AISIX_TOKEN="YOUR_ADMIN_TOKEN"
export ENV_ID="YOUR_ENVIRONMENT_ID"
OVHcloud 是提供 OpenAI 兼容端点的社区目录服务提供方。AISIX 通过 openai 适配器连接，并使用 Bearer Token 对上游请求进行身份认证。
创建服务提供方密钥
export OVHCLOUD_API_KEY="YOUR_OVHCLOUD_ACCESS_TOKEN"
PROVIDER_KEY_ID=$(
curl -sS -X POST "$AISIX_CP/provider_keys" \
-H "Authorization: Bearer $AISIX_TOKEN" \
-H "Content-Type: application/json" \
-d '{
"display_name": "ovhcloud-prod",
"provider": "ovhcloud",
"api_key": "'"${OVHCLOUD_API_KEY}"'",
"api_base": "https://oai.endpoints.kepler.ai.cloud.ovh.net/v1",
"allowed_environments": ["'"${ENV_ID}"'"]
}' | jq -er '.provider_key.id'
)
echo "$PROVIDER_KEY_ID"
使用目录 ID ovhcloud 并省略 adapter。AISIX 会派生 OpenAI 传输格式和 Bearer 身份认证。
API Base 是 OVHcloud 文档中所述的共享 OpenAI 兼容 Root，其中包含 /v1；AISIX 会追加 /chat/completions。
创建模型
使用准确的 OVHcloud 模型 ID 创建别名：
MODEL_ID=$(
curl -sS -X POST "$AISIX_CP/environments/$ENV_ID/models" \
-H "Authorization: Bearer $AISIX_TOKEN" \
-H "Content-Type: application/json" \
-d '{
"display_name": "ovhcloud-llama-prod",
"model_name": "Meta-Llama-3_3-70B-Instruct",
"provider_key_id": "'"${PROVIDER_KEY_ID}"'"
}' | jq -er '.model.id'
)
echo "$MODEL_ID"
OVHcloud 模型 ID 不一定与发布方的原始仓库 ID 一致。请复制 OVHcloud 显示的值，包括下划线、连字符和大小写。
创建调用方 API Key
AISIX_API_KEY=$(
curl -sS -X POST "$AISIX_CP/environments/$ENV_ID/api_keys" \
-H "Authorization: Bearer $AISIX_TOKEN" \
-H "Content-Type: application/json" \
-d '{
"display_name": "ovhcloud-caller",
"allowed_models": ["'"${MODEL_ID}"'"]
}' | jq -er '.plaintext'
)
echo "$AISIX_API_KEY"
使用开源 AISIX 网关配置
导出上游凭证，并选择应用将发送给网关的调用方 API Key：
export OVHCLOUD_API_KEY="YOUR_PROVIDER_API_KEY"
export CALLER_API_KEY="YOUR_CALLER_API_KEY"
为此服务提供方创建完整的声明式资源文件：
_format_version: "1"
provider_keys:
- display_name: "ovhcloud-prod"
provider: "ovhcloud"
adapter: "openai"
api_key: ${OVHCLOUD_API_KEY}
api_base: "https://oai.endpoints.kepler.ai.cloud.ovh.net/v1"
models:
- display_name: "ovhcloud-llama-prod"
provider: "ovhcloud"
model_name: "Meta-Llama-3_3-70B-Instruct"
provider_key: "ovhcloud-prod"
api_keys:
- display_name: "ovhcloud-caller"
key_env: CALLER_API_KEY
allowed_models:
- "ovhcloud-llama-prod"
如果 AISIX 安装在本地，请在加载前校验文件：
aisix validate --resources resources.yaml
校验后，请在网关进程环境中提供所引用的环境变量并启动网关。仅当这些变量已可用于现有网关进程时才重新加载；否则，请使用更新后的环境重启网关。
如果使用 Docker，请调整开源 AISIX 网关快速入门中的校验和启动命令。挂载此 resources.yaml 文件，并在两个命令中使用 -e 传入该文件引用的每个环境变量。资源加载后，准备下文共用的验证请求：
export AISIX_API_KEY="$CALLER_API_KEY"
验证服务提供方连接
导出 AISIX 网关 Origin：
# 本地快速入门使用 http://127.0.0.1:3000
export AISIX_PROXY="YOUR_AISIX_GATEWAY_ORIGIN"
通过 AISIX 代理发送 Chat Completions 请求：
curl -sS -X POST "$AISIX_PROXY/v1/chat/completions" \
-H "Authorization: Bearer $AISIX_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "ovhcloud-llama-prod",
"messages": [
{
"role": "user",
"content": "Say hello from OVHcloud AI Endpoints."
}
]
}'
AISIX 会使用 Bearer 身份认证，将 OVHcloud 模型 ID 发送到 OpenAI 兼容 Chat 端点。
端点覆盖范围
支持 Chat Completions。AISIX 可以通过 Chat 适配器桥接兼容的 Responses 和 Messages 请求。Embeddings 需要 OVHcloud 提供 Embedding 模型和 OpenAI 兼容的 Embeddings 路由。
图像生成、视频生成和重排序不接受 ovhcloud 服务提供方值。请参阅服务提供方兼容性。
故障排查
| 现象 | 检查项 |
|---|---|
上游返回 401 或 403 | 确认访问 Token 和项目权限。 |
上游返回 404 | 在 api_base 中保留 /v1，并准确复制 OVHcloud 模型 ID。 |
| 找不到模型 | 检查 model_name 中的下划线、连字符和版本片段。 |
创建服务提供方密钥时返回 400 | 使用 provider: "ovhcloud" 并省略 adapter。 |
后续步骤
你已将 AISIX 连接到 OVHcloud AI Endpoints，并验证了模型别名。接下来可阅读以下指南：