跳到主要内容

请求生命周期

本页拆解 AISIX 处理请求的关键阶段,帮助你理解认证、路由、策略和可观测性在链路中的位置。

AISIX 位于应用和 AI 服务提供方之间。应用携带调用方 API Key 和模型别名向代理 API 发送请求,AISIX 会据此执行访问控制、解析上游目标、应用 AI 流量策略,并记录请求过程中发生的事件。

生命周期如下:

调用方认证

每个代理请求都会使用一个调用方 API Key。AISIX 会先检查该密钥,再解析请求中的模型。该密钥控制调用方可以使用哪些模型别名,因此应用团队不需要直接持有服务提供方凭证。

模型解析

请求中的 model 值是面向调用方的别名。AISIX 会将该别名解析为以下三种模型形态之一:

  • 单目标模型:通过一个服务提供方凭证指向一个上游模型。
  • 多目标模型:允许 AISIX 通过故障转移、轮询或加权路由选择一个目标模型。
  • 集成模型:将聊天请求发送给多个 panel 模型,并使用 judge 模型综合生成最终响应。

请求控制

AISIX 可以在请求到达服务提供方之前将其停止。调用方 API Key 和模型别名可以携带限流策略,托管部署可以执行请求预算,安全护栏可以检查输入,响应缓存也可以在调用上游前直接返回已保存的聊天补全结果。

服务提供方转发

请求被允许后,AISIX 会使用运维人员配置的服务提供方密钥和适配器,将请求调度到选中的服务提供方。应用可以保持面向网关的 API 形态,而由 AISIX 处理服务提供方凭证、上游模型名称、base URL 和服务提供方专属请求行为。

响应处理

服务提供方响应会经由 AISIX 返回。输出安全护栏可以在响应到达调用方之前检查生成文本。对于成功请求,AISIX 会记录用量和遥测,帮助运维人员了解请求别名、解析后的模型、服务提供方尝试、token 用量、延迟和错误。

部署边界

在自托管部署中,运维人员通过本地 Admin API 管理网关资源。在托管部署中,AISIX Cloud 负责资源管理,并将已接受的配置投射到托管网关。从调用方视角看,代理请求生命周期保持一致:应用调用代理 API,AISIX 应用已配置的模型访问、路由、控制策略和可观测性行为。