选择服务提供方上游
服务提供方上游是 AISIX 网关解析面向调用方的模型别名后调用的模型服务。AISIX 会将上游凭证存储在服务提供方密钥中,并使用适配器按上游要求的格式发送请求。
请根据使用的端点和账号选择配置路径,而不只是根据模型系列选择。如果拥有 AI Studio API Key,请通过 Google AI Studio 配置 Gemini;如果模型托管在 Google Cloud 项目中,请使用 Google Vertex AI。
以下每种配置都同时支持 AISIX Cloud 和开源 AISIX 网关。每份服务提供方指南都包含两个产品的完整配置章节,随后提供共用的验证步骤。
配置路径
请从直接服务提供方和托管平台配置中选择:
| 配置 | 适用场景 | 适配器 |
|---|---|---|
| OpenAI | 通过 OpenAI API 账号调用模型。 | openai |
| Azure OpenAI | 模型托管在 Azure OpenAI 部署中。 | azure-openai |
| Anthropic | 通过 Anthropic API 调用 Claude。 | anthropic |
| AWS Bedrock | 模型或推理配置文件托管在 AWS Bedrock 中。 | bedrock |
| Gemini(Google AI Studio) | 使用 Google AI Studio API Key 调用 Gemini。 | openai |
| Google Vertex AI | Gemini 或其他 Vertex 发布方模型托管在 Google Cloud 项目中。 | vertex |
| Qwen(阿里云) | 通过阿里云百炼 Model Studio 调用 Qwen。 | openai |
| DeepSeek | 通过 DeepSeek API 调用模型。 | openai |
| Groq | 调用 Groq 托管的模型。 | openai |
| Mistral AI | 通过 Mistral API 调用模型。 | openai |
| Together AI | 调用 Together AI 目录中的模型。 | openai |
| OpenRouter | 通过一个 OpenRouter 账号调用多个厂商的模型。 | openai |
| Fireworks AI | 调用 Fireworks 托管的模型。 | openai |
| Perplexity | 调用基于搜索 增强的 Sonar 模型。 | openai |
| Cohere | 调用 Cohere Command 模型、向量嵌入或 Rerank。 | openai |
| Cerebras | 在 Cerebras 推理硬件上调用开放权重模型。 | openai |
| Moonshot AI(Kimi) | 通过 Moonshot AI 平台调用 Kimi 模型。 | openai |
| Zhipu AI(GLM) | 调用 GLM 聊天模型或 CogVideoX 视频生成。 | openai |
| Hugging Face | 通过 Hugging Face Inference Providers 路由调用开放权重模型。 | openai |
| Baseten | 调用 Baseten Model 接口或专用 Baseten 部署。 | openai |
另有三种配置适用于网关原生实现了视频或 Rerank 协议的服务提供方。openai 适配器负责构造其聊天和向量嵌入流量,而视频生成和 Rerank 路由则根据服务提供方值本身进行分发。这些服务提供方未列入 models.dev 目录,因此仪表板不会为其推荐模型 ID;预算和用量报告所需的成本元数据需要由运维人员在模型别名上配置,具体请参阅各页面的成本元数据章节:
| 配置 | 适用场景 | 适配器 |
|---|---|---|
| Jina | 调用 Jina 向量嵌入模型,或通过 Rerank 路由调用重排序模型。 | openai |
| RunwayML | 通过视频路由运行 Runway Gen 或 Runway 托管的 Veo 视频任务。 | openai |
| 火山引擎方舟(豆包) | 通过火山引擎方舟调用豆包聊天模型或 Seedance 视频生成。 | openai |
AISIX Cloud 还可以为 models.dev 中的社区目录服务提供方创建服务提供方密钥。这些服务提供方默认使用 openai 适配器,但 AISIX 不会为其维护服务提供方专属的请求改写、响应改写或基础 URL 特殊处理。开源网关可以使用相同的服务提供方标识符作为标签,但必须在 resources.yaml 中显式设置适配器和基础 URL。当服务提供方已在目录中提供,且需要服务提供方专属配置指南时,请使用以下页面:
| 配置 | 适用场景 | 适配器 |
|---|---|---|
| Amazon Nova API | 不通过 Bedrock,而是通过基于 API Key 的 Nova 直接端点调用 Nova 模型。 | openai |
| Cloudflare Workers AI | 调用账号级 Cloudflare Workers AI 模型 ID,例如 @cf/openai/gpt-oss-120b。 | openai |
| Databricks | 调用工作区中的 Databricks Model Serving 端点。 | openai |
| DeepInfra | 通过 DeepInfra 的 OpenAI 兼容 API 调用其托管的开放权重模型。 | openai |
| DigitalOcean Gradient AI | 通过 DigitalOcean Serverless Inference 调用基础 模型。 | openai |
| Meta Llama API | 通过 Meta 的 OpenAI 兼容直接 API 调用 Llama 模型。 | openai |
| MiniMax | 通过 OpenAI 兼容 API 根地址调用 MiniMax 模型。 | openai |
| ModelScope | 调用 ModelScope API-Inference 模型 ID。 | openai |
| Nebius Token Factory | 调用 Nebius Token Factory 托管的开放模型。 | openai |
| NVIDIA NIM | 调用 NVIDIA 托管的 NIM API 或 NVIDIA 发布的模型 ID。 | openai |
| Novita AI | 通过 Novita 的 LLM API 调用其托管的开放模型。 | openai |
| OVHcloud AI Endpoints | 通过 OVHcloud 的 OpenAI 兼容端点调用模型。 | openai |
| SiliconFlow | 调用 SiliconFlow 托管的组织命名空间模型 ID。 | openai |
| Snowflake Cortex | 通过 Cortex REST API 调用 Snowflake 账号中的模型。 | openai |
| Weights & Biases Inference | 通过 W&B Inference 调用开放模型。 | openai |
| xAI | 通过 xAI 的 OpenAI 兼容 API 调用 Grok 模型。 | openai |
对于其他接受 OpenAI 兼容 Chat Completions 请求的公开或私有端点,请选择相应的通用配置:
| 配置 | 适用场景 | 适配器 |
|---|---|---|
| 其他 OpenAI 兼容服务提供方 | 公开服务提供方公开了 OpenAI 兼容 API,但没有专用配置指南。 | openai |
| Ollama | 在本地或私有 Ollama 服务器上运行模型。 | openai |
| vLLM | 使用 vLLM 提供的 OpenAI 兼容服务器托管私有模型。 | openai |
| 自定义端点 | 运行其他私有 OpenAI 兼容端点,例如 SGLang 或内部代理。 | openai |
每种配置都会创建相同的网关资源:服务提供方密钥、模型别名和调用方 API Key。配置页面会提供该服务提供方所需的凭证、上游模型标识符、基础 URL 和适配器详情。请在服务提供方兼容性中对比路由支持范围,或在适配器协议族中查看上游请求格式。