集成
AISIX 通过直接配置客户端或由运维人员管理的正向代理,与开发者工具、应用框架、AI 应用平台和语音 Agent 平台集成。在这两种模式中,客户端都保持原生请求格式,而 AISIX 会应用访问控制、策略和遥测。
大多数集成会将客户端指向 AISIX API 端点,并使用 AISIX 调用方 Key 和模型别名替换服务提供方 API Key 和模型名称。这种直接连接模式适用于支持自定义端点的客户端,包括兼容 OpenAI 的 Chat Completions、OpenAI Responses API 和兼容 Anthropic 的请求。
有些工具必须继续使用其官方服务端点和上游凭证。对于这类工具,终止 TLS 的出口设备可以将选定流量发送到按主机匹配的 AISIX 透传路由。IDE AI 流量正向代理以 GitHub Copilot 为例介绍了这一模式。
采用这两种模式,团队都无需重写应用代码或更换编码工具。客户端继续使用熟悉的 SDK、CLI 或框架,而网关策略和可观测性集中在 AISIX 中管理。直接集成还会将路由和服务提供方凭证移至 AISIX 模型别名之后。
对于新的 OpenAI 协议族集成,如果客户端当前推荐的 API 仍能指向自定义 AISIX 基础 URL,请优先使用该 API。当框架原生提供 Responses 客户端时,请使用 Responses API;当客户端只说明了 OpenAI 兼容服务提供方路径,或现有工作流依赖 Chat Completions 兼容性时,请使用 Chat Completions。有关 AISIX 向客户端公开的 API 类型,请参阅支持的端点。
集成如何使用 AISIX
直接集成使用以下三个 AISIX 值:
- 代理 API 基础 URL。
- 调用方 API Key。
- 调用方 API Key 有权访问的模型别名。
许多客户端将第三个值称为自定义模型、模型 ID、模型名称或公开模型名称。在 AISIX 中,该字段应填写模型别名。AISIX 会验证调用方 API Key,将别名解析为上游服务提供方配置,应用策略并记录网关遥测数据。
在 GitHub Copilot 正向代理模式中,透传路由会将来自可信出口设备的流量解析到一个专用的调用方 Key 主体。在主要的 header_key 配置中,出口设备提供网关凭证;匿名路由则可以绑定该主体,并通过来源 CIDR 限制流量。客户端保留官方端点和上游凭证;出口设备还可以附加可信的员工身份,以便追踪流量来源。
集成类型
| 客户端类型 | 适用场景 | 指南 |
|---|---|---|
| 客户端 SDK | 现有应用代码使用兼容 OpenAI 或 Anthropic 的客户端。 | OpenAI SDK、Anthropic SDK |
| 编码 Agent | 本地编辑器、AI CLI、远程开发环境或自动化任务需要通过 AISIX 发送请求。 | 编码 Agent |
| 框架与库 | 应用框架、Agent 框架或 AI 库需要从应用代码调用 AISIX。 | LangChain 和 LangGraph、LlamaIndex、Haystack、Vercel AI SDK、Pydantic AI、Instructor、OpenAI Agents SDK、CrewAI、Microsoft Agent Framework |
| AI 应用平台 | 可视化应用、工作流或聊天平台需要通过 AISIX 发送模型请求。 | AI 应用平台 |
| 语音 Agent 平台 | 托管平台或语音框架需要使用 AISIX 处理文本 LLM 环节,同时保留自己的音频和会话流水线。 | 语音 Agent 平台 |