请求生命周期
本页拆解 AISIX 处理请求的关键阶段,帮助你理解认证、路由、策略和可观测性在链路中的位置。
AISIX 位于应用和 AI 服务提供方之间。应用携带调用方 API Key 和模型别名向代 理 API 发送请求,AISIX 会据此执行访问控制、解析上游目标、应用 AI 流量策略,并记录请求过程中发生的事件。
生命周期如下:
调用方认证
每个代理请求都会使用一个调用方 API Key。AISIX 会先检查该密钥,再解析请求中的模型。该密钥控制调用方可以使用哪些模型别名,因此应用团队不需要直接持有服务提供方凭证。
模型解析
请求中的 model 值是面向调用方的别名。AISIX 会将该别名解析为以下三种模型形态之一:
- 单目标模型:通过一个服务提供方凭证指向一个上游模型。
- 多目标模型:允许 AISIX 通过故障转移、轮询或加权路由选择一个目标模型。
- 合议模型:将聊天请求发送给多个合议成员,并使用评审模型综合生成最终响应。
请求控制
AISIX 可以在请求到达服务提供方之前将其停止。调用方 API Key 和模型别名可以携带限流策略,托管部署可以执行请求预算,安全护栏可以检查输入,响应缓存也可以在调用上游前直接返回已保存的聊天补全结果。