请求生命周期
AISIX 位于应用和 AI 服务提供方之间。应用携带调用方凭证和模型别名向代理 API 发送请求,AISIX 会据此执行访问控制、解析上游目标、应用 AI 流量策略,并记录请求过程中发生的事件。
每个请求都会经历以下阶段:
调用方应用请求
AISIX 网关
调用方身份认证通过哈希值验证调用方 API Key,或将 JWT 映射到调用方 Key
模型解析将别名解析为直接、路由、语义或合议形态
请求控制输入安全护栏、AISIX Cloud 预算、限流和缓存查找——请求被拒绝或缓存命中时会提前结束
服务提供方分发服务提供方凭证、上游模型名称和服务提供方适配器
上游 · 网关之外服务提供方模型 API重试与故障转移
响应处理输出安全护栏、用量和遥测
调用方返回响应
调用方认证
每个代理请求都会提供调用方 API Key,或由已配置的 OIDC 提供方签发的 JWT。对于明文 Key,AISIX 会通过其哈希值查找;对于 JWT,AISIX 会先确定其信任提供方,验证签名和必需 Claim,再将外部身份映射到与之绑定的调用方 API Key。
完成身份认证后,两条路径都会使用解析出的调用方 API Key 作为授权身份。该 Key 控制调用方可以使用哪些模型别名以及应用哪些流量控制,因此应用团队不需要直接持有服务提供方凭证。明文网关凭证请参阅调用方 API Key,外部身份提供商凭证请参阅 JWT 身份认证。
模型解析
请求中的 model 值是面向调用方的别名。AISIX 会将该别名解析为以下四种分发形态之一:
- 直接模型:通过一个服务提供方凭证指向一个上游模型。当语义路由器使用直接模型进行相似度比较时,该模型还可以包含向量嵌入元数据。
- 路由模型:允许 AISIX 通过故障转移、加权轮询、一致性哈希、成本、延迟或负载选择一个目标模型。
- 语义模型:通过比较请求文本和配置的路由示例选择目标模型。
- 合议模型:将聊天请求发送给多个合议成员,并使用评审模型综合生成最终响应。
一个模型资源只能配置一种分发形态。有关完整资源关系,请参阅模型和服务提供方。