跳到主要内容

LangChain

LangChain 是用于构建 LLM 应用的框架，涵盖链、Agent、检索工作流和工具调用工作流。许多 LangChain 应用通过集成包使用服务提供方 SDK，因此网关通常接入模型客户端，而无需改变应用的其他部分。

LangChain OpenAI 包提供可调用自定义基础 URL 的聊天模型客户端 ChatOpenAI。当 LangChain 应用需要通过 AISIX 发送兼容 OpenAI 的聊天请求时，请使用此设置。

本指南使用带有 langchain-openai 的 LangChain Python。你将使用 AISIX 代理 URL、调用方 API Key 和模型别名配置 ChatOpenAI。

前置条件​

开始前，请准备以下内容：

  • 一个受 LangChain 支持的 Python 环境。
  • 一个代理监听器可用的运行中 AISIX 网关。
  • 一个 AISIX 调用方 API Key。
  • 一个可通过兼容 OpenAI 的 API访问的模型别名。

配置 LangChain​

如果应用尚未包含 LangChain OpenAI 集成，请先安装：

pip install langchain-openai

设置 LangChain 应用要使用的值：

# Replace with your values
export AISIX_BASE_URL="http://127.0.0.1:3000/v1"
export AISIX_API_KEY="YOUR_CALLER_API_KEY"
export AISIX_MODEL="gpt-4o-prod"

使用 AISIX 值创建 ChatOpenAI 客户端：

import os

from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
  model=os.environ["AISIX_MODEL"],
  api_key=os.environ["AISIX_API_KEY"],
  base_url=os.environ["AISIX_BASE_URL"],
)

response = llm.invoke("Write one sentence about why gateways help AI teams.")
print(response.content)

模型值应填写 AISIX 模型别名，而不是上游服务提供方模型 ID。AISIX 负责模型请求路径：验证调用方 API Key、解析别名、应用策略、记录遥测数据，并将请求分发到别名背后的服务提供方。LangChain 应用仍负责链、提示词、工具、检索和响应处理。

验证路由​

在已设置 AISIX 环境变量的 Shell 中运行脚本。

请求成功后，请确认以下结果：

  • 脚本输出聊天响应。
  • AISIX 为所选模型别名记录一条成功的 POST /v1/chat/completions 请求。

如果使用 AISIX Cloud 或私有化部署的托管控制面，请在托管网关日志中验证请求。对于自托管网关，请使用已配置的日志、指标或上游服务提供方日志。

处理兼容性问题​

如果请求失败，请先确认调用方 API Key 可以访问所选模型别名，且 base_url 指向包含 /v1 的 AISIX 代理 API 根路径。

启用流式响应、工具调用或结构化输出时，LangChain 可能发送可选的 OpenAI 字段。在依赖该路径的网关策略或遥测数据前，请验证实际使用的链或 Agent 工作流。

后续步骤​