跳到主要内容
版本:3.10.x

接入 Vertex AI

Vertex AI 基于 Google Cloud 企业基础设施提供 Gemini 等模型能力,支持服务账号认证、区域端点和企业级 SLA。API7 AI 网关可以在网关层集中管理 Vertex AI 调用凭证和区域路由。

前提条件

  • 已安装 DockercURL
  • 已有可用的 API7 企业版网关环境。
  • 已在 Google Cloud 项目中启用 Vertex AI API
  • 已设置 ADMIN_API_KEYSERVICE_ID 环境变量。

准备 Google Cloud 认证

参考 Google Cloud 服务账号文档创建服务账号和 JSON 密钥,并确保服务账号具备 Vertex AI User 角色。

将服务账号 JSON 写入环境变量:

export GCP_SERVICE_ACCOUNT_JSON="$(cat /path/to/service-account.json)"

网关会基于服务账号凭证自动生成并缓存 OAuth2 令牌。

配置 Vertex AI 代理

curl "http://127.0.0.1:7080/apisix/admin/routes?gateway_group_id=default" -X PUT \
-H "X-API-KEY: $ADMIN_API_KEY" \
-d '{
"id": "vertex-ai-route",
"service_id": "'"$SERVICE_ID"'",
"paths": ["/vertex-ai"],
"plugins": {
"ai-proxy": {
"provider": "vertex-ai",
"provider_conf": {
"project_id": "your-gcp-project-id",
"region": "us-central1"
},
"auth": {
"gcp": {
"service_account_json": "'"$GCP_SERVICE_ACCOUNT_JSON"'"
}
},
"options": {
"model": "google/gemini-2.5-flash"
}
}
}
}'

使用建议

  • 使用不同路由区分不同区域或不同模型部署。
  • 将 Vertex AI 与 Gemini API、OpenAI 或其他模型服务放入多模型路由策略,以提升可用性。
  • 对服务账号 JSON 使用密钥管理能力,避免凭证直接暴露在配置仓库中。