AI 应用平台
AI 应用平台将模型访问与用户界面、可视化工作流、Agent、工具、检索和应用状态结合起来,让团队无需在应用代码中逐一组装所有组件,即可构建和运行 AI 应用。
当平台支持兼容 OpenAI 的端点时,其语言模型请求可以经由 AISIX 进行调用方身份认证、模型别名管理、路由、策略执行和遥测。平台继续负责应用工作流和用户体验,AISIX 则治理从平台到已配置模型服务提供方的请求路径。
选择平台指南
各平台通过不同的配置入口连接 AISIX:
| 平台 | 集成入口 | 指南 |
|---|---|---|
| Open WebUI | 兼容 OpenAI 的连接 | Open WebUI |
| n8n | OpenAI Chat Model 子节点 | n8n |
| Dify | OpenAI-API-compatible 模型服务提供方插件 | Dify |
这些平台是 AISIX 的客户端,而非上游模型服务提供方。请在 AISIX 中配置服务提供方凭证和上游模型 ID,并向平台提供 AISIX 调用方 API Key 和模型别名。
准备 AISIX
各平台都需要以下网关连接信息:
- 平台部署环境可访问的 AISIX 代理 URL。
- 专用于平台或应用的 AISIX 调用方 API Key。
- 支持聊天的模型别名,且调用方密钥可通过
POST /v1/chat/completions访问该别名。
如果组织已部署 AISIX,请向管理团队获取 这些信息。否则,请按照开源 AISIX 网关快速入门或 AISIX Cloud 快速入门进行配置,或联系 API7获取混合云访问权限。
将调用方密钥的访问范围限制为平台所需的模型别名。共享的平台连接通常向 AISIX 标识平台或应用,而非使用界面的每个用户。除非已单独设计并验证逐用户身份转发,否则请在应用平台中管理最终用户的授权和审计上下文。
了解职责边界
应用平台完成提示词组装、上下文检索或工具选择后,AISIX 才会收到模型请求。AISIX 不会替代平台的工作流引擎、用户账户、对话状态、知识库、向量存储或工具执行。
网关策略作用于到达 AISIX 且受支持的内容。平台还可能为标题、摘要、记忆、检索或 Agent 规划发起额外的模型调用。在将网关遥测或限额视为平台活动的完整记录之前,请确认哪些调用使用了已配置的 AISIX 连接。
AISIX 模型发现会返回调用方密钥可访问的所有别名,包括用于非聊天端点的别名。请在每个应用平台中选择为 Chat Completions 配置的别名。
工具调用也需要两个产品共同完成。AISIX 必须保留模型返回的兼容 OpenAI 的工具调用响应,应用平台则必须执行工具,并在后续请求中发送工具结果。请测试一次完整的工具调用往返,不要仅凭文本响应成功就判断工具兼容性。
验证集成
使用一个简短的平台工作流确认完整路径:
- 平台通过已配置的 AISIX 连接发送提示词。
- AISIX 为预期的调用方密钥和模型别名记录
POST /v1/chat/completions请求。 - 平台展示或处理模型响应。
首次成功后,再验证应用依赖的流式响应、工具、检索和后台模型调用。
相关指南
选择上方的平台指南进行配置。以下指南介绍各集成共用的网关行为:
- 兼容 OpenAI 的 API:查看面向网关的请求格式。
- 流式响应:了解流式响应行为。
- 工具调用:验证完整的工具调用循环。
- API Key 与模型限流:限制平台流量。