AI 流量网关

AISIX AI 网关

在 AI 服务提供方前建立稳定的 API 契约

AISIX AI 网关是面向 LLM 与 AI 智能体流量的开源 Rust 原生网关。它以单个静态二进制运行，让应用持续调用稳定的模型别名，同时由 AI 平台团队在网关侧统一管理服务提供方凭证、路由、故障转移、预算、限流、缓存、安全护栏和可观测性。

开始快速上手查看支持的端点

兼容 OpenAI 的请求localhost:3000

curl -sS \
http://127.0.0.1:3000/v1/chat/completions \
-H "Authorization: Bearer sk-demo-caller" \
-H "Content-Type: application/json" \
-d '{
  "model": "gpt-4o-prod",
  "messages": [
    {"role": "user", "content": "Hello"}
  ]
}'

请求如何流转

应用先调用 AISIX。AISIX 会完成调用方认证、模型别名解析、策略执行，并将请求转发到选定的服务提供方。

应用应用、智能体与后端服务使用网关签发的调用方 API Key，发送兼容 OpenAI 的请求。

AISIX 网关边界稳定契约，可治理的服务提供方访问

AISIX 让客户端流量保持同一套 API 形态，同时在每次请求中解析真实的服务提供方目标。

认证调用方解析模型别名执行限流、缓存和安全护栏选择服务提供方路由

服务提供方OpenAI、Anthropic、Bedrock、Vertex、Azure接收由网关携带服务提供方凭证发起的请求。

服务提供方响应会通过 AISIX 返回，并继续保持同一套面向客户端的契约。

当 AI 流量经过 AISIX，会发生什么变化

应用团队继续调用熟悉的 API，AI 平台团队则把服务提供方凭证、模型别名、路由、预算和策略统一沉淀到可运维的网关层。

访问控制调用方 API Key 与模型访问白名单认证应用身份，并决定每个 API Key 可以访问哪些模型别名。

服务提供方集中管理上游凭证将服务提供方密钥、base URL 和适配器细节从应用代码中解耦出来。

路由稳定别名与故障转移对外暴露一个模型别名，由 AISIX 在背后选择真实目标模型。

策略预算、限流、缓存、安全护栏和遥测在请求离开网关边界前，执行面向 AI 场景的控制并记录用量可见性。

已经使用 APISIX 或 API7 Gateway，为什么还需要 AISIX？

APISIX 和 API7 Gateway 可以通过 AI 插件为常规网关路由添加 AI 能力。这适合以 API 流量为主、AI 调用只是现有 API 网关部署中的一部分的团队。

AISIX 面向以 AI 流量为核心负载的团队。它将服务提供方密钥、模型别名、调用方 API Key、预算、路由、策略和 AI 用量遥测作为一等资源管理，而不是普通路由上的插件配置。

APISIX

为现有 API 路由增加 AI 能力。当现有 API 网关路由就是调用或转换 AI 服务的自然入口时，可以使用 AI 插件。

AISIX

让 AI 流量进入专门的网关域。当应用需要调用稳定模型别名，而 AI 平台团队需要统一管理服务提供方密钥、预算、路由、策略和用量可见性时，使用 AISIX。

继续阅读

从第一个请求到生产环境

从一次本地请求开始，然后按需选择端点、模型、路由、流量控制和生产运行指南。

快速开始

启动 AISIX 并发送代理请求在快速开始中配置一个服务提供方密钥、一个模型别名和一个调用方 API Key。

端点

选择面向调用方的 API 入口为应用流量选择兼容 OpenAI、Anthropic 风格、专用端点或透传路由。

模型访问

暴露稳定的模型别名让应用请求保持稳定，同时由运维人员管理服务提供方凭证、上游模型名称和支持的请求格式。

路由

在一个别名背后增加弹性能力当最佳上游目标应该由网关决定时，使用故障转移、多目标模型和集成模型。

流量控制

控制 AI 请求规模与策略先配置限流，再随着流量进入生产环境逐步加入预算、缓存和安全护栏。

生产运行