服务提供方兼容性
服务提供方兼容性同时取决于面向调用方的端点,以及模型别名背后的上游服务提供方配置。一个模型可以在通用聊天端点正常工作,但在某个服务提供方专属端点被拒绝。
AISIX 有两层兼容性判断:
| 层级 | 作用 |
|---|---|
| 适配器协议族 | 决定如何为上游服务提供方编码聊天类请求。参见适配器协议族。 |
| 端点规则 | 决定特定代理路由是否接受选中的模型别名。 |
规划路由时需要同时检查这两层。适配器告诉 AISIX 如何与上游服务提供方通信;端点自身规则决定该代理路由是否支持选中的服务提供方或适配器协议族。
端点兼容性
请根据调用方 API 格式和服务提供方支持要求选择代理路由。
| 需求 | 路由 | 服务提供方支持 |
|---|---|---|
| 广泛聊天兼容性 | /v1/chat/completions | OpenAI、Anthropic、Bedrock、Vertex AI、Azure OpenAI,以及通过已配置适配器接入的 OpenAI 兼容服务提供方。 |
| Anthropic 风格客户 端 | /v1/messages | Anthropic 上游原生支持;受支持的非 Anthropic 上游通过转换支持。文本支持范围最广;图片、文档和工具调用支持取决于所选服务提供方适配器;签名的思考历史仍为 Anthropic 专属。 |
| Anthropic Token 计数 | /v1/messages/count_tokens | 仅支持 Anthropic 上游模型。 |
| 流式聊天 | 带 stream: true 的 /v1/chat/completions 或 /v1/messages | 服务提供方支持范围与所选端点一致。路由模型可以在 AISIX 发送响应字节之前执行故障转移,但响应流开始后不能切换目标。 |
| 向量嵌入 | /v1/embeddings | 支持 OpenAI 兼容上游、Bedrock 的 Amazon Titan/Cohere 向量嵌入模型以及 Vertex AI 的 Google 发布方所提供的向量嵌入模型。其它组合返回 501 not_implemented。 |
| OpenAI Responses API | /v1/responses | OpenAI 上游原样转发;当服务提供方适配器支持转换后的请求形态时,非 OpenAI 上游通过 Responses 桥接支持。 |
| 图片生成 | /v1/images/generations | 已配置服务提供方为 OpenAI 的模型。 |
| 视频生成 | /v1/videos 及其状态和内容路由 | 已配置服务提供方为 alibaba、zhipuai(或 zhipu)、volcengine、runwayml(或 runway)或 openai 的模型。其他服务提供方返回 501 not_implemented。 |
| 音频 | /v1/audio/transcriptions、/v1/audio/translations、/v1/audio/speech | OpenAI 风格上游音频路由。AISIX 会转发音频格式,不跨服务提供方协议族转换音频。 |
| Rerank | /v1/rerank | Cohere、Jina,或使用 openai 服务提供方值且实现 /v1/rerank 的 OpenAI 兼容上游。公开 OpenAI API 不提供该端点。 |
| 服务提供方原生路由 | /passthrough/:provider/*rest | 任何拥有可访问模型和服务提供方密钥的 provider 值,并带有限的网关标准化处理。 |
服务提供方专属支持
所有支持的聊天和 Responses 端点都支持流式请求。下表说明额外端点支持和重要边界:
| 配置路径 | 端点支持和边界 |
|---|---|
| OpenAI | 支持聊天补全、Responses、向量嵌入、图片生成和音频。公开 OpenAI API 不提供 Rerank。 |
| Anthropic | 原生支持 Messages 和 Token 计数;聊天补全和 Responses 使用转换。不支持向量嵌入、图片生成和 Rerank。 |
| Amazon Bedrock | 支持聊天补全和 Responses;向量嵌入仅支持 Amazon Titan 和 Cohere 模型 ID。不支持图片生成和 Rerank。 |
| Google Vertex AI | 支持聊天补全和 Responses;向量嵌入仅支持 Google 发布方模型。不支持图片生成和 Rerank。 |
| Azure OpenAI | 支持聊天补全和 Responses;Azure OpenAI 适配器不实现向量嵌入、图片生成和 Rerank。 |
| Gemini |