跳到主要内容

用量上报

使用 Usage 视图比较各托管网关环境和模型的请求量、Token 消耗与支出。该视图还汇总组织范围内的语义缓存节省量,可用于调查异常支出或确认用量记录已到达控制面。

用量如何上报

托管网关会在你的运行环境中承载 AI 流量,并把用量事件上报到控制面。

托管网关会根据控制面 URL 推导遥测端点,并把面向用量的数据发送到固定的 /dp/telemetry 路径。运维人员不需要为控制面用量上报单独配置目标。

当相关值可用时,用量事件会包含请求结果和消耗信号,例如状态、延迟、Token 用量和成本。

用量事件还会区分调用方请求的模型别名与实际处理某次尝试的解析模型。这有助于理解路由流量和合议模型流量。流式聊天请求也可以上报首 Token 时间。

解读用量

Usage 视图按滚动 30 天窗口汇总各环境中的托管网关流量,所有总计和表格都使用同一时间窗口。

托管控制面 Usage 视图展示花费、请求数、Token 总量和按环境统计的用量

信号可帮助解释的内容
请求数流量规模和需求变化。
Token 总量服务提供方上报的输入与输出消耗。
支出根据 Token 数和匹配的模型价格计算的成本。
缓存节省语义缓存命中避免的上游输入和输出 Token 消耗。
按环境统计的用量哪个部署环境产生了流量和支出。
热门模型按支出排序的前 10 个环境与调用方请求模型别名组合;缺少请求模型值的旧记录回退到解析后的模型。
热门 API Key按支出排序的前 10 个环境与调用方 API Key 组合。

只要 AISIX 能够从服务提供方响应中观察到 Token 数,Token 数就会显示。支出还需要与事件的 (provider, model name) 匹配的价格。Usage 会把支出四舍五入到两位小数,因此即使存在匹配价格,低流量也可能显示 $0.00

使用模型定价添加或检查价格,并在请求日志中以六位小数检查事件或尝试成本。价格变更只影响变更后记录的事件。

用量与预算执行

控制面使用托管网关用量记录评估预算。每个预算都定义作用范围、支出上限、周期和执行模式。滚动 30 天的 Usage 窗口与预算周期彼此独立,因此两者的总额可能覆盖不同时间范围。

当硬停止预算被超出时,托管网关可以对受影响请求返回 HTTP 429。仅告警预算会继续在控制面中显示,但不会阻断流量。

如果预算拒绝不符合预期,请检查返回的预算作用域、配置上限,以及决定团队或成员预算适用范围的调用方 API Key 绑定。完整执行路径请参见预算

排查缺失或异常用量

按以下顺序检查上报路径:

  1. 确认请求经过了连接到预期环境的托管网关。同一组织中的其它环境会把流量显示在对应环境中;其它组织的流量会出现在其自己的 Usage 视图中。
  2. 确认请求已完成并出现在 Request Logs 中。网关会批量刷新遥测,新请求可能需要几秒才会出现。
  3. 确认托管网关有最近的心跳。
  4. 确认网关能够访问控制面遥测端点。
  5. 如果出现 Token 数但没有支出,请检查 Model Pricing 是否精确匹配服务提供方和模型名称。

在控制面短暂失联期间,实时流量可以继续使用最近投射的配置。失联期间发送失败的遥测批次会被丢弃而不会重试,因此连接恢复后相关记录仍可能缺失;新记录会在连接恢复后继续上报。导出器健康、心跳和新的预算决策也依赖控制面连接。预算检查可暂时复用缓存决策,之后再应用配置的失败模式;详见可用性与缓存

下一步

继续阅读日志与审计,调查单个请求或控制面资源变更。当用量包含 Token 但无法计算支出时,请配置模型定价