跳到主要内容

AI 应用平台

AI 应用平台将模型访问与用户界面、可视化工作流、Agent、工具、检索和应用状态结合起来,让团队无需在应用代码中逐一组装所有组件,即可构建和运行 AI 应用。

当平台支持兼容 OpenAI 的端点时,其语言模型请求可以经由 AISIX 进行调用方身份认证、模型别名管理、路由、策略执行和遥测。平台继续负责应用工作流和用户体验,AISIX 则治理从平台到已配置模型服务提供方的请求路径。

选择平台指南

各平台通过不同的配置入口连接 AISIX:

平台集成入口指南
Open WebUI兼容 OpenAI 的连接Open WebUI
n8nOpenAI Chat Model 子节点n8n
DifyOpenAI-API-compatible 模型服务提供方插件Dify

这些平台是 AISIX 的客户端,而非上游模型服务提供方。请在 AISIX 中配置服务提供方凭证和上游模型 ID,并向平台提供 AISIX 调用方 API Key 和模型别名。

准备 AISIX

各平台都需要以下网关连接信息:

  • 平台部署环境可访问的 AISIX 代理 URL。
  • 专用于平台或应用的 AISIX 调用方 API Key。
  • 支持聊天的模型别名,且调用方密钥可通过 POST /v1/chat/completions 访问该别名。

如果组织已部署 AISIX,请向管理团队获取这些信息。否则,请按照开源 AISIX 网关快速入门AISIX Cloud 快速入门进行配置,或联系 API7获取混合云访问权限。

将调用方密钥的访问范围限制为平台所需的模型别名。共享的平台连接通常向 AISIX 标识平台或应用,而非使用界面的每个用户。除非已单独设计并验证逐用户身份转发,否则请在应用平台中管理最终用户的授权和审计上下文。

了解职责边界

应用平台完成提示词组装、上下文检索或工具选择后,AISIX 才会收到模型请求。AISIX 不会替代平台的工作流引擎、用户账户、对话状态、知识库、向量存储或工具执行。

网关策略作用于到达 AISIX 且受支持的内容。平台还可能为标题、摘要、记忆、检索或 Agent 规划发起额外的模型调用。在将网关遥测或限额视为平台活动的完整记录之前,请确认哪些调用使用了已配置的 AISIX 连接。

AISIX 模型发现会返回调用方密钥可访问的所有别名,包括用于非聊天端点的别名。请在每个应用平台中选择为 Chat Completions 配置的别名。

工具调用也需要两个产品共同完成。AISIX 必须保留模型返回的兼容 OpenAI 的工具调用响应,应用平台则必须执行工具,并在后续请求中发送工具结果。请测试一次完整的工具调用往返,不要仅凭文本响应成功就判断工具兼容性。

验证集成

使用一个简短的平台工作流确认完整路径:

  1. 平台通过已配置的 AISIX 连接发送提示词。
  2. AISIX 为预期的调用方密钥和模型别名记录 POST /v1/chat/completions 请求。
  3. 平台展示或处理模型响应。

首次成功后,再验证应用依赖的流式响应、工具、检索和后台模型调用。

相关指南

选择上方的平台指南进行配置。以下指南介绍各集成共用的网关行为: