为什么需要 AI 网关
AI 网关将 AI 流量视为一等工作负载。在 AISIX 中,模型、模型服务提供方密钥、调用方 API Key、MCP 服务器、A2A Agent、限流策略、缓存策略和安全护栏都是一等资源,而不是附加在通用路由上的功能。网关可以针对 Token 用量、提示词和流式响应应用 AI 专用策略并采集遥测数据。
AISIX AI 网关围绕这种运作模式专门构建。应用通过受支持的客户端端点调用稳定的模型别名,平台团队则在统一的 AI 专用层管理模型服务提供方访问、路由、流量控制、安全护栏和遥测。
为什么 AI 流量需要一等支持
AI 流量仍然需要身份验证、路由、限流和可观测性等常见网关控制,同时还带来了模型和 Agent 特有的问题:
- 同一个面向客户端的模型,可能随时间路由到不同的模型服务提供方或上游模型 ID。
- 用量和容量取决于 Token、上下文大小、流式行为和模型服务提供方限制,而不只是请求数。
- 提示词和模型响应可能需要内容检查、安全护栏和受控日志记录。
- 应用和 Agent 可能通过同一个 AI 平台边界访问模型、MCP 工具和 A2A Agent。
- 运维人员需要 AI 专用遥测信息,例如选中的模型和模型服务提供方、Token 用量以及模型延迟。
如果每个应用独立处理这些问题,各团队就会重复维护模型服务提供方凭据、路由逻辑、限制和遥测。AI 网关将这些能力集中管理,无需向每个应用暴露模型服务提供方的具体细节。
AISIX 将哪些对象作为一等资源
AISIX 直接表示 AI 流量路径中的主要对象:
- 模型与模型服务提供方密钥是独立资源。应用调用稳定的模型别名,运维人员控制上游模型服务提供方、凭据和路由。
- 调用方 API Key 与访问授权用于确定哪些应用可以使用各个模型、MCP 服务器或 A2A Agent。
- 模型配置与策略资源控制路由和回退,限流策略、缓存策略和安全护栏则在网关边界实施 AI 专用控制。
- 面向 AI 的遥测记录模型与模型服务提供方上下文、Token 用量、延迟和错误。AISIX Enterprise 和 AISIX Cloud 还提供集中式用量视图和预算。
- MCP 与 A2A 流量使用理解协议的端点、访问控制和遥测,而不是被当作任意 HTTP 负载处理。
借助这一资源模型,AI 平台团队可以在一处切换模型服务提供方、轮换凭据、应用策略和观察用量,无需每个应用团队重复构建这些控制能力。
根据运作模式选择
APISIX 和 API7 网关已提供模型服务提供方代理、路由、限流、安全护栏和可观测性等 AI 能力。应根据 AI 流量的表示和运作方式进行选择,而不只是对照功能清单:
| 选项 | 适用场景 | AI 管理方式 |
|---|---|---|
| Apache APISIX | AI 调用属于现有开源 APISIX 部署所服务的 API 的一部分。 | AI 插件将模型服务提供方访问、模型选择、提示词控制等行为附加到通用网关资源上,通常是 Route 和 Service。 |
| API7 网关 | 传统 API 和具备 AI 能力的路由需要保留在统一的商业化 API 网关体系中。 | AI 插件附加到网关资源上,并通过 API7 Dashboard、API7 Gateway Admin API 或 ADC 管理。 |
| AISIX AI 网关 | 模型、Agent、工具、凭据、策略和用量需要专门的负责人和生命周期。 | AISIX 使用有类型的模型、模型服务提供方密钥、调用方 API Key、MCP 服务器、A2A Agent、限流策略、缓存策略和安全护栏,并输出 AI 用量遥测。 |
如果 AI 只是现有 API 平台的一项能力,并且应由同一团队运作两类工作负载,可以使用 APISIX 或 API7 网关。如果 AI 流量正在发展为独立平台,需要专门的归属、模型服务提供方抽象、感知 Token 的控制、Agent 和工具访问,或独立的发布与扩缩容生命周期,则应选择 AISIX。
采用 AISIX 无需替换 APISIX 或 API7 网关。它们可以继续治理通用 API 流量,由 AISIX 为 AI 应用和 Agent 提供专用流量路径。
AISIX 不会取代 APISIX 或 API7 网关更广泛的 API 网关能力,包括非 AI 协议、服务发现、转换和自定义插件。
选择 AISIX 产品
AISIX OSS 不依赖控制面运行。AISIX Enterprise 增加了由客户托管的控制面和控制台,AISIX Cloud 则提供由 API7 托管的控制面和控制台。在这三种产品中,AISIX 网关都运行在你的基础设施中,直接处理实时 AI 流量。
继续阅读选择 AISIX AI 网关产品,比较各产品的管理方式与运维职责。
如果 AI 流量应保留在现有网关中,可从 Apache APISIX 的代理 OpenAI 请求或 API7 网关的管理和保护 AI 流量开始。