AI 流量网关
AISIX AI 网关
在 AI 服务提供方前建立稳定的 API 契约
AISIX AI 网关是面向 LLM 与 AI Agent 流量的 Rust 原生网关。开源网关以单个静态二进制运行,可以独立使用,也可以搭配 AISIX Cloud 实现集中管理。无论采用哪种方式,应用都调用稳定的模型别名,而 AI 平台团队负责管理模型服务提供方凭证、路由、故障转移、限流、缓存、安全护栏和可观测性。AISIX Cloud 还提供集中的用量和预算管理。
启动 On-Premises AISIX Cloud 部署localhost:8080
curl -fsSL https://run.api7.ai/aisix-self-hosted/quickstart | bash
# 启动控制面和控制台
# Dashboard: http://localhost:8080请求如何流转
应用先调用 AISIX。AISIX 会完成调用方认证、模型别名解析、策略执行,并将请求转发到选定的服务提供方。
应用应用 、智能体与后端服务使用网关签发的调用方 API Key,发送兼容 OpenAI 的请求。
AISIX 网关边界稳定契约,可治理的服务提供方访问
AISIX 让客户端流量保持同一套 API 形态,同时在每次请求中解析真实的服务提供方目标。
认证调用方解析模型别名执行限流、缓存和安全护栏选择服务提供方路由
服务提供方OpenAI、Anthropic、Bedrock、Vertex、Azure接收由网关携带服务提供方凭证发起的请求。
服务提供方响应会通过 AISIX 返回,并继续保持同一套面向客户端的契约。
当 AI 流量经过 AISIX,会发生什么变化
应用团队继续调用熟悉的 API,AI 平台团队则把模型服务提供方凭证、模型别名、路由和策略统一沉淀到可运维的网关层。AISIX Cloud 还提供共享的用量和预算控制。
访问控制调用方 API Key 与模型访问白名单认证应用身份,并决定每个 API Key 可以访问哪些模型别名。
服务提供方集中管理上游凭证将服务提供方密钥、base URL 和适配器细节从应用代码中解耦出来。
路由稳定别名与故障转移对外暴露一个模型别名,由 AISIX 在背后 选择真实目标模型。
策略限流、缓存、安全护栏和遥测在请求离开网关边界前,执行面向 AI 场景的控制并提供用量可见性。
已经使用 APISIX 或 API7 Gateway,为什么还需要 AISIX?
APISIX 和 API7 Gateway 可以通过 AI 插件为常规网关路由添加 AI 能力。这适合以 API 流量为主、AI 调用只是现有 API 网关部署中的一部分的团队。
AISIX 面向以 AI 流量为核心负载的团队。它将模型服务提供方密钥、模型别名、调用方 API Key、路由、策略和 AI 用量遥测作为一等资源管理,而不是普通路由上的插件配置。AISIX Cloud 还提供集中的用量视图和预算。
APISIX
为现有 API 路由增加 AI 能力。当现有 API 网关路由就是调用或转换 AI 服务的自然入口时,可以使用 AI 插件。
AISIX
让 AI 流量进入专门的网关域。当应用需要调用稳定模型名称,而 AI 平台团队需要统一管理模型服务提供方密钥、路由、策略和用量可见性时,请使用 AISIX。
继续阅读
选择下一条路径
首先选择 AISIX 的运行方式,然后了解 AISIX Cloud、连接应用,或为生产环境准备网关。