使用 TypeSafe Jev 进行语义路由
语义路由器有两种决策方式。默认情况下,它把请求的向量嵌入与各路由的示例进行比较。使用 TypeSafe jev 决策后端时,AISIX 改为询问 TypeSafe 托管的 jev 决策模型:已配置的路由中哪一条适合该请求。
对于每个请求,AISIX 把请求中最新的用户文本(选取方式参见参与分类的文本)连同每条路由的名称和 description 一起发送给 jev。jev 选出一条路由,并给出它对该选择的置信度。jev 正是在各路由的描述之间进行选择,因此这种方式不需要示例提示词、向量嵌入模型或相似度阈值。
决策之后的行为与基于向量嵌入的路由器相同:由选中路由的目标处理请求,访问日志的 semantic_route 字段标明该路由,没有任何路由处理的请求则发往路由器的默认模型。目标可以是模型组,会话固定可以让会话保持在首个命中的路由上,不再询问 jev。
使用前须知
选择此决策后端前,请考虑以下几点:
- 每个请求多一次调用。 每个经过路由的请求在分发前都会同步调用一次 TypeSafe 托管 API,会话已固定到某条路由的请求除外。网关需要能够出站访问 TypeSafe,并且请求中最新的用户文本会被发送给 TypeSafe。
- 语言。 TypeSafe 表示,jev 目前对非英语输入的准确率较低。
- 计量。 在 AISIX Enterprise 和 AISIX Cloud 中,每次 jev 调用都会记录为请求的一次内部调用,按路由器引用的决策模型的价格计费。你的 TypeSafe 账户同样会对该调用计费。开源 AISIX 网关会记录该调用,但不计算费用。
- 调试工具。 控制台的测试路由和自动检测阈值工具仅适用于基于向量嵌入的路由器,jev 路由器无法使用。