请求生命周期
AISIX 位于应用和 AI 服务提供方之间。应用携带调用方凭证和模型别名向代理 API 发送请求,AISIX 会据此执行访问控制、解析上游目标、应用 AI 流量策略,并记录请求过程中发生的事件。
生命周期如下:
调用方认证
每个代理请求都会提供调用方 API Key,或由已配置的 OIDC 提供方签发的 JWT。对于明文 Key,AISIX 会通过其哈希值查找;对于 JWT,AISIX 会验证签发者、签名和必需 Claim,再将外部身份映射到与之绑定的调用方 API Key。
完成身份认证后,两条路径都会使用解析出的调用方 API Key 作为授权身份。该 Key 控制调用方可以使用哪些模型别名以及应用哪些流量控制,因此应用团队不需要直接持有服务提供方凭证。明文网关凭证请参阅调用方 API Key,外部身份提供商凭证请参阅 JWT 身份认证。
模型解析
请求中的 model 值是面向调用方的别名。AISIX 会将该别名解析为以下四种分 发形态之一:
- 直接模型:通过一个服务提供方凭证指向一个上游模型。当语义路由器使用直接模型进行相似度比较时,该模型还可以包含向量嵌入元数据。
- 路由模型:允许 AISIX 通过故障转移、轮询、加权路由、成本、延迟或负载选择一个目标模型。
- 语义模型:通过比较请求文本和配置的路由示例选择目标模型。
- 合议模型:将聊天请求发送给多个合议成员,并使用评审模型综合生成最终响应。
一个模型资源只能配置一种分发形态。有关完整资源关系,请参阅模型和服务提供方。
请求控制
AISIX 可以在请求到达服务提供方之前将其停止。调用方 API Key 和模型别名可以携带限流策略,AISIX Cloud 部署则可以执行请求预算。安全护栏可以检查输入,响应缓存也可以在调用上游前直接返回已保存的聊天补全结果。
服务提供方转发
请求被允许后,AISIX 会使用运维人员配置的服务提供方密钥和适配器,将请求调度到选中的服务提供方。应用可以保持面向网关的 API 形态,而由 AISIX 处理服务提供方凭证、上游模型名称、base URL 和服务提供方专属请求行为。