接入 Vertex AI
Vertex AI 基于 Google Cloud 企业基础设施提供 Gemini 等模型能力,支持服务账号认证、区域端点和企业级 SLA。API7 AI 网关可以在网关层集中管理 Vertex AI 调用凭证和区域路由。
前提条件
- 已安装 Docker 和 cURL。
- 已有可用的 API7 企业版网关环境。
- 已在 Google Cloud 项目中启用 Vertex AI API。
- 已设置
ADMIN_API_KEY和SERVICE_ID环境变量。
准备 Google Cloud 认证
参考 Google Cloud 服务账号文档创建服务账号和 JSON 密钥,并确保服务账号具备 Vertex AI User 角色。
将服务账号 JSON 写入环境变量:
export GCP_SERVICE_ACCOUNT_JSON="$(cat /path/to/service-account.json)"
网关会基于服务账号凭证自动生成并缓存 OAuth2 令牌。
配置 Vertex AI 代理
- Admin API
- ADC
curl "http://127.0.0.1:7080/apisix/admin/routes?gateway_group_id=default" -X PUT \
-H "X-API-KEY: $ADMIN_API_KEY" \
-d '{
"id": "vertex-ai-route",
"service_id": "'"$SERVICE_ID"'",
"paths": ["/vertex-ai"],
"plugins": {
"ai-proxy": {
"provider": "vertex-ai",
"provider_conf": {
"project_id": "your-gcp-project-id",
"region": "us-central1"
},
"auth": {
"gcp": {
"service_account_json": "'"$GCP_SERVICE_ACCOUNT_JSON"'"
}
},
"options": {
"model": "google/gemini-2.5-flash"
}
}
}
}'
adc.yaml
services:
- name: Vertex AI Service
routes:
- name: vertex-ai-route
uris:
- /vertex-ai
plugins:
ai-proxy:
provider: vertex-ai
provider_conf:
project_id: your-gcp-project-id
region: us-central1
auth:
gcp:
service_account_json: ${GCP_SERVICE_ACCOUNT_JSON}
options:
model: google/gemini-2.5-flash
使用建议
- 使用不同路由区分不同区域或不同模型部署。
- 将 Vertex AI 与 Gemini API、OpenAI 或其他模型服务放入多模型路由策略,以提升可用性。
- 对服务账号 JSON 使用密钥管理能力,避免凭证直接暴露在配置仓库中。