添加流量控制
本页概览 AISIX 的流量控制能力,帮助你决定先配置限流、预算、安全护栏还是响应缓存。
请求链路打通后,流量控制用于决定这条链路在真实应用流量下如何运行。它可以保护共享模型容量、执行成本策略、阻断不安全内容,并复用重复请求的响应。
有些控制会在 AISIX 调用服务提供方之前执行,另一些会在服务提供方返回响应之后执行。请求链路如下:
应用调用方请求
AISIX AI 网关
调用服务提供方前
调用方 API Key
模型别名
请求侧控制限流、预算、输入安全护栏
缓存查找命中则直接返回,未命中则调用上游
服务提供方返回后
响应侧控制输出安全护栏
服务提供方上游缓存未命中链路
返回给调用方保持同一模型别名
请求侧控制可以在 AISIX 调用服务提供方之前停止请求。限流、预算和输入安全护栏会共同决定请求是否允许继续;缓存查找命中时可直接返回已存响应,未命中时 AISIX 才会调用服务提供方。
服务提供方返回后,输出安全护栏可以在 AISIX 将响应返回给调用方之前检查响应内容。
建议先从最符合当前策略需求的控制项开始配置,并在理解每个控制项所处链路位置后,再逐步叠加更多能力。