资源文件参考
开源 AISIX 网关可以从声明式 resources.yaml 文件加载服务提供方凭证、模型、调用方凭证和运行时策略。本参考涵盖该文件的 YAML 规则、跨资源命名、环境变量插值和所有受支持的资源集合。
在启动配置中设置 resources_file 以选择该文件。如需创建并加载可用配置,请从开源 AISIX 网关快速入门开始。使用 CLI 参考校验变更,并通过配置状态检查已启用或被拒绝的配置。
文件格式
AISIX 从一个资源文件中只加载一个 YAML 文档。文件名并不固定:本文档约定使用 resources.yaml,但 resources_file 可以指向任意可读文件路径。
该设置只接受一个路径。AISIX 不会加载目录、解析 include 或 import 指令,也不会合并多个资源文件。如果你以多个源文件片段维护配置,请在校验和加载前将它们组装成一个 YAML 文档。
安全应用资源示例
AISIX 不会把资源文件与之前加载的配置合并。每次成功加载都会替换活动资源快照。新增或更改资源时,请从网关当前使用的完整文件开始;组装后的文件中省略的条目和集合将从活动配置中消失。
代码块标题用于区分完整文档与局部配置块:
- 标题为
resources.yaml的代码块是包含_format_version的自包含文档。请结合上下文判断它是新网关配置还是参考示例。 resources.yaml(OIDC 服务提供方)之类的标题表示不含_format_version的局部配置块。括号中的简短说明标识其内容;上下文会说明应添加、替换、更新还是仅检查该配置块。
应用局部配置块时,请从网关当前使用的完整文件开始。每个受影响的集合只更新或创建一次,保留无关条目和集合,不要重复创建已有的顶层集合键。
组装完所有局部配置块后,请验证完整文件,而不是单独验证局部配置块。
文档顶层是一个映射,其中必须包含 _format_version,并且最多包含十四个资源集合:
_format_version: "1"
provider_keys:
- display_name: openai-prod
provider: openai
api_key: ${OPENAI_API_KEY}
models:
- display_name: gpt-4o
provider: openai
model_name: gpt-4o-2024-11-20
provider_key: openai-prod
api_keys:
- display_name: ci-bot
key_env: CI_BOT_KEY
allowed_models: ["gpt-4o"]
rate_limit_policies:
- name: cap-gpt4o
scope: model
scope_ref: gpt-4o
window: minute
max_requests: 300
| 集合 | 用途 | 标识字段 |
|---|---|---|
provider_keys | 存储上游服务提供方凭证和连接设置。 | display_name |
models | 定义面向调用方的模型别名和分发行为。 | display_name |
api_keys | 对调用方进行身份认证,并控制其模型、MCP 工具和 A2A Agent 访问权限。 | display_name |
oidc_providers | 信任用于调用方身份认证的 JWT 签发者。 | name |
mcp_auth_settings | 配置 OAuth Discovery 以及 MCP 客户端可选的匿名访问。 | 单例;无标识字段 |
claim_mappings | 把验证通过的 JWT Claims 解析到调用方 API Key。 | name |
guardrails | 检查或转换请求和响应内容。 | name |
guardrail_attachments | 把安全护栏绑定 到它要检查的流量。 | guardrail_id + scope_type + scope_id |
mcp_servers | 将 MCP 服务器或 OpenAPI 操作公开为工具。 | name 或 display_name |
a2a_agents | 为 A2A 调用方注册上游 Agent。 | name 或 display_name |
passthrough_routes | 将匹配的 HTTP 流量在网关审计和策略下中继到服务提供方端点。 | name 或 display_name |
cache_policies | 缓存匹配的非流式模型响应。 | name |
observability_exporters | 将请求遥测数据导出到外部系统。 | name |
rate_limit_policies | 应用条件式或单作用域的请求和 Token 限制。 | name |
YAML 结构
_format_version 必须是字符串 "1",需要加引号以确保 YAML 将其解析为字符串。缺少版本或版本无法识别会导致加载错误;未加引号的 1 会触发专用错误,提示你为它添加引号。
网关会应用以下 YAML 约束:
- 文件必须只包含一个 YAML 文档。使用
---分隔的多个文档会导致加载错误。 - 顶层映射和所有嵌套映射都必须使用字符串 Key。
- 每个存在的资源集合都必须是映射序列。不存在或值为
null的集合按空集合加载。 - 未知顶层集合和资源中的未知字段都会导致加载错误。
- YAML 锚点和别名可以复用值。合并 Key(
<<)不会展开,并会在 Schema 校验时被视为未知字段而失败。
标识与派生 ID
除 mcp_auth_settings 和 guardrail_attachments 外,每个条目的标识字段都必须是非空字符串,并且在集合中唯一;重复会导致加载错误,并指出两个冲突条目。对于 mcp_servers、a2a_agents 和 passthrough_routes,可以使用 name 或 display_name 作为标识;同时包含两种写法会导致加载错误,只能使用其中一种。mcp_auth_settings 采用固定的单例标识,因此文件在该集合中最多只能包含一个条目。guardrail_attachments 条目由 guardrail_id + scope_type + scope_id 三元组标识,因此把同一个安全护栏挂到同一个目标两次属于重复条目。
所有条目都不接受 id 字段。条目 ID 根据 <kind>/<identity>,在命名空间 63e50ab2-677a-54d3-8d1e-c0cb29ceae94 中以 UUIDv5 确定性派生,因此相同文件在重新加载和不同进程中始终生成相同 ID。例如,api_keys/anonymous-mcp 会派生出 d6869ae7-741a-598e-8213-16672e922546。由 ID 标识的引用和限流计数器因此可以跨 SIGHUP 重新加载保留。
名称引用
条目通常通过名称选择关联资源。加载器会按以下方式检查每种关系:
| 关系 | 使用的引用 | 校验行为 |
|---|---|---|
| 模型到服务提供方凭证 | 服务提供方密钥的显示名称(推荐),或其确定性 ID | provider_key 会解析显示名称;名称未知时,错误会列出可用密钥。provider_key_id 必须匹配同一文件中已定义服务提供方密钥的派生 ID。两字段互斥。 |
| 调用方或虚拟模型到目标模型 | 模型的显示名称 | 必须匹配文件中定义的模型。包含 * 的值是 Glob 模式,不检查是否精确匹配。 |
| 限流策略到其主体 | 模型或调用方 API Key 的显示名称 | 对于 model 和 api_key 作用域,名称会解析为目标;对于其它作用域,该值原样传递。 |
| 安全护栏绑定到安全护栏 | 安全护栏 name | 必须匹配已定义的安全护栏;未知名称会导致加载错误,并列出可用的安全护栏。 |
| 安全护栏绑定到作用目标 | 目标集合各自的标识——模型的 display_name,MCP 服务器或透传路由的 name,调用方 API Key 的 display_name | 必须匹配该集合中的条目。scope_type: team 原样保留,因为文件中没有团队集合可供校验。 |
| 调用方身份到 JWT 签发者 | OIDC 服务提供方名称 | 保留为名称,而不解析成派生 ID。 |
| 透传路由到注入凭证 | 经 provider_key 引用的服务提供方密钥显示名称 | 必须匹配已定义的服务提供方密钥;未知名称会导致加载错误,并列出可用的密钥。与 provider_key_id 互斥。 |
| 透传路由到匿名主体 | 经 anonymous_key 引用的调用方 Key 显示名称 | 必须匹配已定义的调用方 API Key。与 anonymous_key_id 互斥。 |
| 调用方 Key 到透传路由 | 经 allowed_routes 引用的路由名称 | 条目是单 * Glob;不含 * 的条目必须匹配文件中定义的路由。 |
环境变量插值
${VAR} 引用只会在字符串标量中根据网关进程环境解析。替换发生在已解析的 YAML 树中,因此环境变量值无法注入 YAML 结构,映射 Key 也不会被插值。
此插值用于用户自定义的进程变量。有关 AISIX 定义的启动和连接变量,请参见环境变量。
- 支持部分插值:
api_base: https://${UPSTREAM_HOST}/v1。 - 变量未设置或值为空都会导致加载错误;错误只指出变量名,绝不会包含变量值。
- 不支持
${VAR:-default}和${VAR:?message}等 Shell 风格的回退值和必填值表达式。 $$生成字面量$;没有大括号的$VAR原样保留;未闭合的${或空的${}会导致错误。- 整数、浮点数、布尔值和
null等非字符串标量不会被插值。
加载、错误与重 新加载
启动、SIGHUP 重新加载和 aisix validate 使用相同的加载流程。网关会读取文件、解析 YAML、插值 ${VAR} 引用、转换各条目、解析名称引用、执行 Schema 校验并检查交叉引用。所有配置来源使用相同的 Schema 校验。
错误会在整个文件范围内聚合,并定位到问题条目和字段,例如 models[2] ("gpt-4o")。加载为全有或全无:任何错误都会拒绝整个文件。
启动时,被拒绝的文件会使网关立即停止。SIGHUP 重新加载时,网关会继续提供上一个有效快照,记录聚合报告,并通过 GET /status/config 暴露被拒绝的加载。网关不会监视文件变化,必须显式重新加载。
服务提供方密钥
服务提供方密钥保存上游凭证及该服务提供方使用的连接设置。模型通常通过 display_name 选择服务提供方密钥;直接模型也可以按照直接模型所述改用该密钥的确定性 ID。每个嵌套层级都会拒绝未知字段。
| 字段 | 类型 | 必填 | 说明 |
|---|---|---|---|
display_name | string | 是 | 条目标识,在 provider_keys 中唯一。这是推荐的模型引用;直接模型也可以改用该密钥的确定性 ID。 |
api_key | string | 视情况而定 | 上游服务提供方 API Key。请以 ${VAR} 形式提供。也可以使用 secret 作为替代写法;两者必须且只能提供一个。部分服务提供方的凭证包含多个字段。对于这些服务提供方,请通过一个环境变量提供 JSON 凭证文档。有关凭证格式,请参见 AWS Bedrock 和使用 Entra ID 的 Azure OpenAI。 |
provider | string | 否 | 上游服务提供方标识符,例如 openai 或 deepseek。这是用于服务提供方专用分发的开放字符串,默认为空。 |
adapter | enum | 否 | 没有适用的服务提供方专用分发时所用的上游协议族:openai、anthropic、bedrock、vertex 或 azure-openai。参见适配器协议族。 |
api_base | string | 否 | 覆盖上游服务提供方的基础 URL。私有 OpenAI 兼容端点实际上必须设置此字段。支持部分插值,例如 https://${UPSTREAM_HOST}/v1。 |
apis | object | 否 | 该端点原生提供哪些 API 协议面、分别在哪个地址。写了 apis 但省略某个协议面,表示该协议面不是原生提供的,网关会改为转换成 chat completions。完全省略该块则从 provider 和 adapter 推导所有协议面,这是默认行为。bedrock、vertex 和 azure-openai 适配器不接受该字段。见声明 API 协议面。 |
apis.responses | object | 否 | 该端点原生提供 /v1/responses。apis 一旦存在,此项即为权威依据:不写它就是在声明该端点没有这个接口。 |
apis.messages | object | 否 | 该端点原生提供 /v1/messages 和 /v1/messages/count_tokens。此项是叠加的——adapter 为 anthropic 的密钥无论是否列出都提供这两个接口;列出它是为了给适配器是其他协议的密钥补上这两条路由。 |
apis.<surface>.base | string | 否 | 该协议面的基础 URL,用于端点把它放在与 api_base 不同的路径上的情况。形式要求与 api_base 相同。该协议面就在 api_base 上时省略此字段。 |
strip_headers | 字符串数组 | 否 | 使用此密钥的 inject 模式透传路由转发前删除的入站请求头。默认:authorization、cookie、set-cookie、x-api-key。条目会去除首尾空格、转成小写并去重。显式 [] 会禁用此列表,但 inject 模式恒剥离 authorization 和 x-api-key,确保调用方凭证绝不与注入凭证并排发送。这并不是绝对禁令:路由自己的 forward_client_headers 会覆盖它,对于既非凭证也非链路上下文的名称,x-* 这类通配符就足以把请求头放回传输上。 |
tls | object | 否 | HTTP 服务提供方分发使用的端点级 TLS 设置。Amazon Bedrock 和 Realtime 分发会忽略此配置块;请改用适用的部署级 upstream.tls 设置。 |
tls.ca_cert | string | 否 | 此 HTTP 端点额外信任为签发者的 PEM 编码 CA 证书。一个证书包可以包含多张证书。参见 TLS 和 mTLS。 |
tls.verify | boolean | 否 | 是否验证此 HTTP 端点的证书。默认:true。设为 false 会接受任意证书,仅用于测试环境。 |
telemetry_tags | object | 否 | 通过该 Key 路由请求时发出的归因标签。 |
telemetry_tags.kind | enum | 否 | 归因类别:catalog 或 byo。 |
telemetry_tags.featured | boolean | 否 | 是否突出显示该服务提供方密钥。默认:false。 |
telemetry_tags.branded_provider | string | 否 | 目录条目的品牌服务提供方 Slug。 |
telemetry_tags.pk_label | string | 否 | 运维人员定义的服务提供方密钥标签,例如 production。 |
telemetry_tags.byo_label | string | 否 | 运维人员定义的自带服务提供方标签,例如团队名称。 |
request | object | 否 | 分发前应用的请求格式覆盖。 |
request.param_renames | 字符串到字符串的映射 | 否 | 分发前,把左侧指定的顶层请求体 Key 重命名为右侧 Key。 |
request.param_constraints | object | 否 | Chat Completions 请求体中 temperature 的截断边界。 |
request.param_constraints.temperature_min | number | 否 | 接受的最小 temperature。省略时不应用下限。 |
request.param_constraints.temperature_max | number | 否 | 接受的最大 temperature。省略时不应用上限。 |
request.default_headers | 字符串到字符串的映射 | 否 | 添加到出站请求的请求头。由于加载器会先从环境中解析 ${...},请求上下文引用需要写成 $${...},例如 $${request.api_key.team_id} 加载后会变成 ${request.api_key.team_id},用于按请求渲染。某个请求中变量无值时,该请求头会被丢弃,而不是发送空值。除凭证槽位外,这些请求头的优先级高于 forward_client_headers 转发的请求头——在凭证槽位上转发值胜出;它们也不能替换网关自身设置的同名请求头。无论来自哪里,host、逐跳请求头和 x-aisix-* 都会被丢弃;保存服务提供方密钥时,AISIX Cloud 拒绝的也正是这些名称。凭证名称在两种路径下都被接受,且只有在服务提供方桥接留空该槽位时才会到达上游。request 块的这一半在 /v1/realtime 上并不生效,那里只有 forward_client_headers 起作用。参见上游请求头。 |
request.forward_client_headers | 字符串数组 | 否 | 中继给上游的入站客户端请求头,取值为精确名称或含一个 * 的通配符(例如 x-trace-*),匹配不区分大小写。为空(默认值)时不转发任何请求头。凭证槽位以及链路上下文请求头 traceparent/tracestate 只有在模式精确点名时才会中继,通配符永远不会匹配到它们,x-amz-* 也不例外。中继的凭证会占用该密钥本会注入的槽位,而不是与之 并存。host、逐跳请求头、x-aisix-*,以及网关会重新序列化的请求体与内容协商请求头(content-type、content-length、accept、accept-encoding、content-encoding、expect)、set-cookie、anthropic-version 和 x-stainless-* 绝不会被中继。在 Bedrock 形态的密钥上,SigV4 签名涉及的名称(authorization、x-amz-date、x-amz-content-sha256、x-amz-security-token、x-amz-target、x-amzn-bedrock-accept)会被丢弃而不是投递。在 /v1/realtime 上,该面拥有的握手槽位(sec-websocket-accept、sec-websocket-extensions、sec-websocket-key、sec-websocket-protocol、sec-websocket-version)即使被模式完整点名也会被拒绝。参见上游请求头。 |
request.default_body_fields | 字符串到 JSON 值的映射 | 否 | 调用方未设置时添加到出站请求的顶层请求体字段。 |
response | object | 否 | 由支持的服务提供方桥接器应用的响应格式覆盖。 |
response.stream_done_marker | enum | 否 | 上游 SSE 流是否应发出 data: [DONE]:required、optional 或 none。省略时两种情况均可接受。 |
response.content_list_to_string | boolean | 否 | 为 true 时,在分发前把 messages[*].content 文本块数组展平为一个字符串。默认 false。 |
response.reasoning_field | string | 否 | 从服务提供方响应中提取推 理内容的路径,例如 delta.reasoning_content。 |
response.error_envelope | string | 否 | 为兼容控制面配置而保留的错误信封首选项;代理目前不会应用。 |
以下示例综合使用了这些设置。它定义一个 OpenAI 服务提供方密钥和一个私有 OpenAI 兼容端点。私有端点声明 openai 适配器,从环境变量构建基础 URL,并信任一个额外的 CA。
_format_version: "1"
provider_keys:
- display_name: openai-prod
provider: openai
api_key: ${OPENAI_API_KEY}
- display_name: internal-vllm
provider: internal-vllm
adapter: openai
api_base: https://${UPSTREAM_HOST}/v1
api_key: ${INTERNAL_LLM_KEY}
# 仅当此端点的证书由私有或企业 CA 签发时,
# 才需要配置以下内容。
tls:
ca_cert: |
-----BEGIN CERTIFICATE-----
MIIB...
-----END CERTIFICATE-----
模型
模型条目定义一个面向调用方的别名。直接、向量嵌入、路由、合议和语义别名都会出现在 /v1/models 中;通配符模式不会列出(参见模型别名)。每个条目只使用一种分发形态:直接、路由、合议或语义。在同一条目中混合不同形态会导致加载错误,每个嵌套层级也都会拒绝未知字段。
以下超时、重试、访问、成本和内联限额字段在各模型形态间共享,但每个字段只在网关会解析它的 kind 上被接受——适用 kind 列列出这些 kind;在不解析该字段的 kind 上设置它会作为加载错误被拒绝:
| 字段 | 类型 | 适用 kind | 说明 |
|---|---|---|---|
display_name | string | 全部 | 条目标识,在 models 中唯一,也是面向调用方的别名。每种形态都必填。 |
timeout | 整数(ms) | direct、embedding、routing、semantic | 非流式上游调用的端到端截止时间。在路由模型或语义路由器上,这是应用于未自行设置该值的每个目标的组/路由器级槽位;缺省时依次回退到该槽位和部署级 upstream.timeout_ms 默认值(6000000 ms,即 6000 s)。0 禁用超时。ensemble 不接受此字段——其每次调用的截止时间是 ensemble.timeout_ms。 |
stream_timeout | 整数(ms) | direct、embedding、routing、semantic | 上游流式分块之间的最长间隔。0 或缺省时依次回退到组/路由器的 stream_timeout、timeout 和部署默认值。ensemble 不接受此字段。 |
retries | integer | direct、embedding、semantic | 发生可重试的上游失败后,对此模型执行的重试次数。在语义路由器上这是路由器级槽位。0 禁用对同一目标的重试。路由模型不接受顶层 retries——其组级槽位是下文的 routing.retries;路由目标自身的 retries 会覆盖它。ensemble 不接受此字段。 |
rate_limit | object | 全部 | 按调用方所寻址的条目强制执行的请求、Token 和并发限制,见下文。 |
allowed_cidrs | 字符串数组 | 全部 | 采用 CIDR 表示法的客户端 IP 允许列表(支持 IPv4 和 IPv6)。空值或缺省允许所有客户端。配置限制后,缺少或格式错误的源 IP 会被拒绝。 |
cost | object | direct、embedding | 用于 least_cost 排序以及 Realtime 会话和已完成 Batch 作业的用量事件中 cost_usd 的每 Token 成本元数据:input_per_1k 和 output_per_1k,单位均为每 1,000 个 Token 的美元;存在该块时两者都必填。设置在组所分发到的 direct 或 embedding 模型上,而非组本身。 |
rate_limit 中的每个字段均可选,省略时不限制:
| 字段 | 限制 |
|---|---|
rate_limit.rps | 固定 1 秒窗口内的请求数。 |
rate_limit.rpm | 固定 60 秒窗口内的请求数。 |
rate_limit.rph | 固定 3,600 秒窗口内的请求数。 |
rate_limit.rpd | 固定 86,400 秒窗口内的请求数。 |
rate_limit.tpm | 固定 60 秒窗口内的 Token 数。 |
rate_limit.tpd | 固定 86,400 秒窗口内的 Token 数。 |
rate_limit.concurrency | 最大进行中请求数。它是信号量,不是窗口。 |
直接模型
直接模型指定一个服务提供方密钥背后的一个上游模型:
| 字段 | 类型 | 必填 | 说明 |
|---|---|---|---|
provider | string | 是 | 服务提供方标识,例如 openai 或 anthropic。首字符必须为小写字母或数字;后续可使用 .、_ 和 -;长度 1–64 个字符。 |
model_name | string | 是 | 在服务提供方请求中发送的上游模型标识,例如 gpt-4o-2024-11-20。 |
provider_key | string | 是* | provider_keys 条目的名称。这是资源文件中的推荐引用。与 provider_key_id 互斥。 |
provider_key_id | string | 是* | 同一文件中已定义 provider_keys 条目的确定性 ID。与 provider_key 互斥。ID 与同一文件中的任何服务提供方密钥都不匹配时会发生加载错误。 |
embedding | object | 否 | 将模型标记为支持向量嵌入:dimensions(必填,向量维度)和 normalize(默认 true,端点是否已经返回 L2 归一化向量)。随后该模型可以服务 /v1/embeddings 并支持语义路由器。 |
background_model_check | object | 否 | 后台健康检查,参见健康检查。存在该块时,子字段 enabled、interval_seconds(最小 5)、timeout_seconds、prompt、max_tokens 和 stale_after_seconds 必填;ignore_statuses(状态码数组)可选。 |
cooldown | object | 否 | 发生可重试上游失败后的请求路径冷却。冷却需要显式开启:省略该块,或不设置其中的 enabled,请求路径失败都不会让模型退出轮转。见下文。 |
auto_prompt_caching | object | 否 | 自动注入 Anthropic 提示词缓存标记。仅支持服务提供方为 anthropic 的直接模型。存在该对象时 enabled 必填;ttl 可设为 5m(默认)或 1h。参见 Anthropic 提示词缓存。 |
effort_mapping | 字符串对象 | 否 | 直接模型的精确请求力度改写。键是调用方取值,值是上游取值;最终目标选定后只查找一次。省略或设为空对象即关闭。参见推理力度映射。 |
必须且只能设置 provider_key 与 provider_key_id 其中一个。
可选的 cooldown 对象接受以下设置。 只有 enabled: true 才会开启冷却;其余设置是冷却开启后使用的参数,单独设置其中某一项并不会开启该功能:
| 字段 | 默认值 | 行为 |
|---|---|---|
cooldown.enabled | false | 启用请求路径冷却跟踪。省略 cooldown 块或不设置该字段的模型,无论上游如何失败都会留在轮转中。 |
cooldown.default_seconds | 30 | 没有可用 Retry-After 响应头时设置冷却 TTL。设为 0 不是把冷却时长设为零,而是彻底关闭该模型的冷却,包括走 Retry-After 的那条路径。 |
cooldown.max_seconds | 600 | 限制根据 Retry-After 得出的冷却时间。 |
cooldown.honor_retry_after | true | 存在有效的 Retry-After 值时使用该值。 |
cooldown.trigger_statuses | [401, 408, 429, 500, 502, 503, 504] | 触发冷却的状态码。设置该字段会替换完整默认列表。 |
cooldown.trigger_on_timeout | true | 上游超时后触发冷却。 |
cooldown.trigger_on_transport | true | 上游传输失败后触发冷却。 |
只有直接模型可以配置 embedding、background_model_check、cooldown 和 auto_prompt_caching。自动提示词缓存还要求服务提供方为 anthropic。
路由模型
routing 条目会 为每个请求选择一个目标,并通过该目标模型的上游配置分发:
| 字段 | 类型 | 必填 | 说明 |
|---|---|---|---|
routing.targets | array | 是 | 有序目标集合,至少一个条目。每请求的路由标签和 allowed_cidrs 过滤器会先缩小该集合,再由配置的策略对保留目标排序。 |
routing.targets[].model | string | 是 | 可以接收路由流量的现有直接模型名称。 |
routing.targets[].weight | integer | 否 | 默认:1。在 round_robin 下设置轮转份额,在 consistent_hash 下设置哈希环份额,在 least_busy 下设置分数的分母 max(weight, 1)。运行时会把 0 视为 1。failover、least_cost 和 least_latency 接受但忽略此值。 |
routing.targets[].priority | integer | 否 | 默认:0。把符合条件的目标划分为层级,值越高越优先。更高层级没有可用目标后才尝试较低层级;使用 -1 可设置备用层级。 |
routing.targets[].tags | 字符串数组 | 否 | 用于按请求筛选资格的标签。如果所有目标都没有标签,则不启用标签筛选,所有目标均符合条件。否则,携带标签的请求会保留至少一个标签匹配的目标;没有匹配项时回退到带 default 标签的目标。未携带标签的请求优先选择 default 目标;不存在该类目标时,所有目标仍符合条件。 |
routing.strategy | enum | 否 | round_robin(平滑加权轮询)、consistent_hash、failover(默认)、least_cost、least_latency 或 least_busy。位置策略在每个优先级层内选择一个起始目标,并在失败时向后遍历;指标策略在每层内按最佳优先排序。 |
routing.retries | integer | 否 | 故障转移前每个目标的默认重试次数。目标模型的 retries 会覆盖此值。如果两处都未设置,AISIX 会直接移至下一个符合条件的目标,并且仅对最后一个目标应用部署级默认值。 |
routing.max_fallbacks | integer | 否 | 初始目标失败后最多尝试的后续目标数。默认:所有后续目标。0 禁用故障转移。 |
routing.retry_on_429 | boolean | 否 | 上游 429 是否参与重试和故障转移。默认 false。 |
routing.fallback_on_statuses | 整数数组 | 否 | 额外视为可重试的 4xx 状态码,适用于使用这些状态表示暂时性情况的服务提供方,例如 [408, 409]。5xx 已默认可重试。 |
routing.when_all_unavailable | enum | 否 | fail(默认):健康状态和冷却状态排除所有目标时返回 503;try_anyway:无论状态如何,都按声明顺序尝试所有目标。 |
routing.hash_on | array | 否 | 仅用于 consistent_hash:有序的哈希键来源链,取第一个非空值。每个条目形如 {type, name?},type 为 header、cookie(两者通过 name 指定名称)、api_key 或 client_ip 之一。默认:x-aisix-routing-key 请求头,其次调用方 API Key。 |
配置、路由行为和可运行的故障测试请参见多目标路由与故障转移。
合议模型
ensemble 条目会把每个请求并发分发给所有合议成员,再由评审模型合成一个答案:
| 字段 | 类型 | 必填 | 说明 |
|---|---|---|---|
ensemble.panel | array | 是 | 合议成员,至少一个。panel[].model 指定直接模型;可选的 panel[].temperature 和 panel[].seed 覆盖每个成员的采样参数;panel[].weight 可以配置,但目前忽略。 |
ensemble.judge | object | 是 | judge.model 指定执行合成的直接模型;可选 judge.synthesis_prompt 覆盖内置合成提示词。 |
ensemble.min_responses | integer | 否 | 合成前要求的最少成功成员响应数。默认是 2 与成员数中的较小值,上限为成员数,下限为 1。 |
ensemble.timeout_ms | 整数(ms) | 否 | 每个合议成员调用和评审调用的截止时间。0 或缺省时禁用。 |
行为和响应格式请参见合议模型。
语义路由器
semantic 条目会对最新用户消息进行向量嵌入,根据 每条路由的示例向量计算分数,并分发到达到阈值的最佳路由;如果没有路由达到阈值,则分发到 default:
| 字段 | 类型 | 必填 | 说明 |
|---|---|---|---|
semantic.embedding_model | string | 是 | 支持向量嵌入的直接模型名称(即包含 embedding 块的模型)。 |
semantic.routes | array | 是 | 至少一条路由。每条路由必须包含 name(通过 x-aisix-route 响应头暴露)、target(直接模型名称)和 examples(至少一条示例话语;应用配置时计算并缓存向量);可选 description(仅用于文档)和 threshold(覆盖该路由的 match.threshold)。 |
semantic.default | string | 是 | 没有路由匹配时接收请求的直接模型。 |
semantic.match | object | 是 | 共享匹配参数:threshold(必填,0.0–1.0,越高越严格)、distance_metric(仅支持 cosine)和 aggregation(仅支持 max,路由分数取最匹配的示例)。 |
semantic.embedding_timeout_ms | 整数(ms) | 否 | 向量嵌入调用的截止时间。0 或缺省时禁用。 |
semantic.on_embedding_failure | enum 或 object | 否 | 向量嵌入调用失败时的处理方式:default(路由到 default 模型,也是默认行为)、fail(以 503 拒绝),或 { target: "<alias>" }(路由到指定模型)。 |
行为和调优请参见语义路由