跳到主要内容
版本:Dev

为什么需要 AI 网关

AI 网关将 AI 流量视为一等工作负载。在 AISIX 中,模型、模型服务提供方密钥、调用方 API Key、MCP 服务器、A2A Agent、限流策略、缓存策略和安全护栏都是一等资源,而不是附加在通用路由上的功能。网关可以针对 Token 用量、提示词和流式响应应用 AI 专用策略并采集遥测数据。

AISIX AI 网关围绕这种运作模式专门构建。应用通过受支持的客户端端点调用稳定的模型别名,平台团队则在统一的 AI 专用层管理模型服务提供方访问、路由、流量控制、安全护栏和遥测。

为什么 AI 流量需要一等支持​

AI 流量仍然需要身份验证、路由、限流和可观测性等常见网关控制,同时还带来了模型和 Agent 特有的问题:

  • 同一个面向客户端的模型,可能随时间路由到不同的模型服务提供方或上游模型 ID。
  • 用量和容量取决于 Token、上下文大小、流式行为和模型服务提供方限制,而不只是请求数。
  • 提示词和模型响应可能需要内容检查、安全护栏和受控日志记录。
  • 应用和 Agent 可能通过同一个 AI 平台边界访问模型、MCP 工具和 A2A Agent。
  • 运维人员需要 AI 专用遥测信息,例如选中的模型和模型服务提供方、Token 用量以及模型延迟。

如果每个应用独立处理这些问题,各团队就会重复维护模型服务提供方凭据、路由逻辑、限制和遥测。AI 网关将这些能力集中管理,无需向每个应用暴露模型服务提供方的具体细节。

AISIX 将哪些对象作为一等资源​

AISIX 直接表示 AI 流量路径中的主要对象:

  • 模型与模型服务提供方密钥是独立资源。应用调用稳定的模型别名,运维人员控制上游模型服务提供方、凭据和路由。
  • 调用方 API Key 与访问授权用于确定哪些应用可以使用各个模型、MCP 服务器或 A2A Agent。
  • 模型配置与策略资源控制路由和回退,限流策略、缓存策略和安全护栏则在网关边界实施 AI 专用控制。
  • 面向 AI 的遥测记录模型与模型服务提供方上下文、Token 用量、延迟和错误。AISIX Enterprise 和 AISIX Cloud 还提供集中式用量视图和预算。
  • MCP 与 A2A 流量使用理解协议的端点、访问控制和遥测,而不是被当作任意 HTTP 负载处理。

借助这一资源模型,AI 平台团队可以在一处切换模型服务提供方、轮换凭据、应用策略和观察用量,无需每个应用团队重复构建这些控制能力。

根据运作模式选择​

APISIX 和 API7 网关已提供模型服务提供方代理、路由、限流、安全护栏和可观测性等 AI 能力。应根据 AI 流量的表示和运作方式进行选择,而不只是对照功能清单:

选项适用场景AI 管理方式
Apache APISIXAI 调用属于现有开源 APISIX 部署所服务的 API 的一部分。AI 插件将模型服务提供方访问、模型选择、提示词控制等行为附加到通用网关资源上,通常是 Route 和 Service。
API7 网关传统 API 和具备 AI 能力的路由需要保留在统一的商业化 API 网关体系中。AI 插件附加到网关资源上,并通过 API7 Dashboard、API7 Gateway Admin API 或 ADC 管理。
AISIX AI 网关模型、Agent、工具、凭据、策略和用量需要专门的负责人和生命周期。AISIX 使用有类型的模型、模型服务提供方密钥、调用方 API Key、MCP 服务器、A2A Agent、限流策略、缓存策略和安全护栏,并输出 AI 用量遥测。

如果 AI 只是现有 API 平台的一项能力,并且应由同一团队运作两类工作负载,可以使用 APISIX 或 API7 网关。如果 AI 流量正在发展为独立平台,需要专门的归属、模型服务提供方抽象、感知 Token 的控制、Agent 和工具访问,或独立的发布与扩缩容生命周期,则应选择 AISIX。

采用 AISIX 无需替换 APISIX 或 API7 网关。它们可以继续治理通用 API 流量,由 AISIX 为 AI 应用和 Agent 提供专用流量路径。

AISIX 不会取代 APISIX 或 API7 网关更广泛的 API 网关能力,包括非 AI 协议、服务发现、转换和自定义插件。

选择 AISIX 产品​

AISIX OSS 不依赖控制面运行。AISIX Enterprise 增加了由客户托管的控制面和控制台,AISIX Cloud 则提供由 API7 托管的控制面和控制台。在这三种产品中,AISIX 网关都运行在你的基础设施中,直接处理实时 AI 流量。

继续阅读选择 AISIX AI 网关产品,比较各产品的管理方式与运维职责。

如果 AI 流量应保留在现有网关中,可从 Apache APISIX 的代理 OpenAI 请求或 API7 网关的管理和保护 AI 流量开始。