跳到主要内容

选择服务提供方上游

服务提供方上游是 AISIX 网关解析面向调用方的模型别名后调用的模型服务。AISIX 会将上游凭证存储在服务提供方密钥中,并使用适配器按上游要求的格式发送请求。

请根据使用的端点和账号选择配置路径,而不只是根据模型系列选择。如果拥有 AI Studio API Key,请通过 Google AI Studio 配置 Gemini;如果模型托管在 Google Cloud 项目中,请使用 Google Vertex AI。

以下每种配置都同时支持 AISIX Cloud 和开源 AISIX 网关。每份服务提供方指南都包含两个产品的完整配置章节,随后提供共用的验证步骤。

配置路径

请从直接服务提供方和托管平台配置中选择:

配置适用场景适配器
OpenAI通过 OpenAI API 账号调用模型。openai
Azure OpenAI模型托管在 Azure OpenAI 部署中。azure-openai
Anthropic通过 Anthropic API 调用 Claude。anthropic
AWS Bedrock模型或推理配置文件托管在 AWS Bedrock 中。bedrock
Gemini(Google AI Studio)使用 Google AI Studio API Key 调用 Gemini。openai
Google Vertex AIGemini 或其他 Vertex 发布方模型托管在 Google Cloud 项目中。vertex
Qwen(阿里云)通过阿里云百炼 Model Studio 调用 Qwen。openai
DeepSeek通过 DeepSeek API 调用模型。openai
Groq调用 Groq 托管的模型。openai
Mistral AI通过 Mistral API 调用模型。openai
Together AI调用 Together AI 目录中的模型。openai
OpenRouter通过一个 OpenRouter 账号调用多个厂商的模型。openai
Fireworks AI调用 Fireworks 托管的模型。openai
Perplexity调用基于搜索增强的 Sonar 模型。openai
Cohere调用 Cohere Command 模型、向量嵌入或 Rerank。openai
Cerebras在 Cerebras 推理硬件上调用开放权重模型。openai
Moonshot AI(Kimi)通过 Moonshot AI 平台调用 Kimi 模型。openai
Zhipu AI(GLM)调用 GLM 聊天模型或 CogVideoX 视频生成。openai
Hugging Face通过 Hugging Face Inference Providers 路由调用开放权重模型。openai
Baseten调用 Baseten Model 接口或专用 Baseten 部署。openai

另有三种配置适用于网关原生实现了视频或 Rerank 协议的服务提供方。openai 适配器负责构造其聊天和向量嵌入流量,而视频生成Rerank 路由则根据服务提供方值本身进行分发。这些服务提供方未列入 models.dev 目录,因此仪表板不会为其推荐模型 ID;预算和用量报告所需的成本元数据需要由运维人员在模型别名上配置,具体请参阅各页面的成本元数据章节:

配置适用场景适配器
Jina调用 Jina 向量嵌入模型,或通过 Rerank 路由调用重排序模型。openai
RunwayML通过视频路由运行 Runway Gen 或 Runway 托管的 Veo 视频任务。openai
火山引擎方舟(豆包)通过火山引擎方舟调用豆包聊天模型或 Seedance 视频生成。openai

AISIX Cloud 还可以为 models.dev 中的社区目录服务提供方创建服务提供方密钥。这些服务提供方默认使用 openai 适配器,但 AISIX 不会为其维护服务提供方专属的请求改写、响应改写或基础 URL 特殊处理。开源网关可以使用相同的服务提供方标识符作为标签,但必须在 resources.yaml 中显式设置适配器和基础 URL。当服务提供方已在目录中提供,且需要服务提供方专属配置指南时,请使用以下页面:

配置适用场景适配器
Amazon Nova API不通过 Bedrock,而是通过基于 API Key 的 Nova 直接端点调用 Nova 模型。openai
Cloudflare Workers AI调用账号级 Cloudflare Workers AI 模型 ID,例如 @cf/openai/gpt-oss-120bopenai
Databricks调用工作区中的 Databricks Model Serving 端点。openai
DeepInfra通过 DeepInfra 的 OpenAI 兼容 API 调用其托管的开放权重模型。openai
DigitalOcean Gradient AI通过 DigitalOcean Serverless Inference 调用基础模型。openai
Meta Llama API通过 Meta 的 OpenAI 兼容直接 API 调用 Llama 模型。openai
MiniMax通过 OpenAI 兼容 API 根地址调用 MiniMax 模型。openai
ModelScope调用 ModelScope API-Inference 模型 ID。openai
Nebius Token Factory调用 Nebius Token Factory 托管的开放模型。openai
NVIDIA NIM调用 NVIDIA 托管的 NIM API 或 NVIDIA 发布的模型 ID。openai
Novita AI通过 Novita 的 LLM API 调用其托管的开放模型。openai
OVHcloud AI Endpoints通过 OVHcloud 的 OpenAI 兼容端点调用模型。openai
SiliconFlow调用 SiliconFlow 托管的组织命名空间模型 ID。openai
Snowflake Cortex通过 Cortex REST API 调用 Snowflake 账号中的模型。openai
Weights & Biases Inference通过 W&B Inference 调用开放模型。openai
xAI通过 xAI 的 OpenAI 兼容 API 调用 Grok 模型。openai

对于其他接受 OpenAI 兼容 Chat Completions 请求的公开或私有端点,请选择相应的通用配置:

配置适用场景适配器
其他 OpenAI 兼容服务提供方公开服务提供方公开了 OpenAI 兼容 API,但没有专用配置指南。openai
Ollama在本地或私有 Ollama 服务器上运行模型。openai
vLLM使用 vLLM 提供的 OpenAI 兼容服务器托管私有模型。openai
自定义端点运行其他私有 OpenAI 兼容端点,例如 SGLang 或内部代理。openai

每种配置都会创建相同的网关资源:服务提供方密钥、模型别名和调用方 API Key。配置页面会提供该服务提供方所需的凭证、上游模型标识符、基础 URL 和适配器详情。请在服务提供方兼容性中对比路由支持范围,或在适配器协议族中查看上游请求格式。