跳到主要内容

用量上报

AISIX Cloud 使用托管网关遥测来展示流量规模、Token 消耗、延迟、成本和缓存节省情况。这些用量视图可以帮助平台团队和财务团队理解各环境的消耗,并解释预算行为。

当你关注的是聚合消耗问题时,请使用 Usage 视图,例如:一段时间内处理了多少请求、哪些环境或模型带来了主要花费,以及用量记录是否已经到达 AISIX Cloud。

用量如何上报

托管网关会在你的运行环境中承载 AI 流量,并把用量事件上报回 AISIX Cloud。

托管网关会根据 AISIX Cloud manager URL 推导遥测端点,并把面向用量的数据发送到固定的 /dp/telemetry 路径。运维人员不需要为 Cloud 用量上报单独配置遥测目标。

当相关值可用时,用量事件会包含请求结果和消耗信号,例如状态、延迟、Token 用量和成本。

用量事件还会区分调用方请求的模型别名与实际处理某次尝试的解析模型。这有助于理解路由流量和合议模型流量。流式聊天请求也可以上报首 Token 时间。

Usage 视图展示什么

Usage 视图会汇总各环境中的托管网关流量。它可以展示请求数、Token 总量、花费、缓存节省、按环境统计的用量,以及用量最高的模型。

AISIX Cloud Usage 展示花费、请求数、Token 总量和按环境统计的用量

只有当 AISIX 能够从服务提供方响应中观察或推导相关值,并且存在对应价格数据时,Token 数和成本才会显示。

请使用 Usage 视图查看趋势。如果需要排查单个请求结果,请使用请求日志。

用量与预算执行

AISIX Cloud 使用托管网关用量记录来评估托管预算。预算策略会控制作用范围、限制额度和执行模式。

当硬停止预算被超出时,托管网关可以对受影响请求返回 HTTP 429。仅告警预算会继续在 Cloud 中显示,但不会阻断流量。

如果预算拒绝不符合预期,请先检查预算作用域和额度。如果策略看起来正确,但用量显示不完整,再确认请求是否经过了预期的托管网关和环境。

当用量看起来不完整时

如果用量没有反映你预期的流量,请先确认请求确实经过了挂载到目标环境的托管网关。用量记录按该环境的托管网关流量归属,因此发送到其它网关端点或其它环境的请求会出现在别处。

如果请求路径正确,请检查托管网关是否有最近心跳,以及是否可以访问 AISIX Cloud 遥测端点。

在 Cloud 短暂失联期间,实时流量可以继续使用最新投射的配置处理。用量上报、预算评估、导出器健康状态和心跳都依赖连接恢复。

下一步

如果需要调查单个请求结果或 Cloud 资源变更,请继续阅读日志与审计