版本：Dev

LangChain 和 LangGraph

LangChain 是用于构建 LLM 应用的框架，涵盖链、Agent、检索工作流和工具调用工作流。LangGraph 基于 LangChain 生态构建有状态 Agent 和图工作流。对于两者，网关通常接入模型客户端，而无需改变应用的其他部分。

LangChain OpenAI 包提供可调用自定义基础 URL、并可选择使用 OpenAI Responses API 的聊天模型客户端 ChatOpenAI。当 LangChain 应用需要通过 AISIX 发送 Responses API 请求时，请使用这些设置。

本指南使用带有 langchain-openai 的 LangChain Python。你将使用 AISIX 代理 URL、调用方 API Key、模型别名和 use_responses_api=True 配置 ChatOpenAI。LangGraph 应用可以在图节点或 Agent 工作流中复用同一个 ChatOpenAI 客户端。

前置条件

开始前，请准备以下内容：

一个受 LangChain 支持的 Python 环境。
一个正在运行且应用可以访问的 AISIX 网关。
一个 AISIX 调用方 API Key。
一个可通过Responses API访问的模型别名。

如果你的组织已经部署 AISIX，请向管理团队获取网关 URL、模型别名和调用方 API Key。否则，请按照开源 AISIX 网关快速上手或 AISIX Cloud 快速上手完成部署，也可以联系 API7申请 Hybrid Cloud 访问权限。

配置 LangChain

如果应用尚未包含 LangChain OpenAI 集成，请先安装：

pip install langchain-openai langgraph

设置 LangChain 应用要使用的值：

# AISIX_BASE_URL 以 /v1 结尾，末尾不带斜杠
# 本地快速入门使用 http://127.0.0.1:3000/v1
export AISIX_BASE_URL="YOUR_AISIX_GATEWAY_URL/v1"
export AISIX_API_KEY="YOUR_CALLER_API_KEY"
export AISIX_MODEL="gpt-4o-prod"

使用 AISIX 值创建 ChatOpenAI 客户端：

import os

from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
  model=os.environ["AISIX_MODEL"],
  api_key=os.environ["AISIX_API_KEY"],
  base_url=os.environ["AISIX_BASE_URL"],
  use_responses_api=True,
)

response = llm.invoke("Write one sentence about why gateways help AI teams.")
print(response.content)

模型值应填写 AISIX 模型别名，而不是上游服务提供方模型 ID。AISIX 负责模型请求路径：验证调用方 API Key、解析别名、应用策略、记录遥测数据，并将请求分发到别名背后的服务提供方。LangChain 应用仍负责链、提示词、工具、检索和响应处理。

在 LangGraph 中使用客户端

将同一个 ChatOpenAI 客户端传递给 LangGraph 节点或图状态转换：

import os

from langchain_openai import ChatOpenAI
from typing_extensions import TypedDict

from langgraph.graph import END, START, StateGraph

llm = ChatOpenAI(
  model=os.environ["AISIX_MODEL"],
  api_key=os.environ["AISIX_API_KEY"],
  base_url=os.environ["AISIX_BASE_URL"],
  use_responses_api=True,
)


class State(TypedDict):
  prompt: str
  answer: str


def call_model(state: State):
  response = llm.invoke(state["prompt"])
  return {"answer": response.content}


graph = StateGraph(State)
graph.add_node("call_model", call_model)
graph.add_edge(START, "call_model")
graph.add_edge("call_model", END)

app = graph.compile()
result = app.invoke({
  "prompt": "Write one sentence about governed agents.",
})

print(result["answer"])

LangGraph 负责状态管理、图执行、重试和工具编排。AISIX 只会看到已配置的 ChatOpenAI 客户端发出的模型请求。

验证集成

在已设置 AISIX 环境变量的 Shell 中运行脚本。

请求成功后，请确认以下结果：

脚本输出聊天响应。
AISIX 为所选模型别名记录一条成功的 POST /v1/responses 请求。

请在 AISIX 网关日志中验证请求。也可以使用已配置的指标或上游服务提供方日志。

如果请求失败，请先确认调用方 API Key 可以访问所选模型别名，且 base_url 指向包含 /v1 的 AISIX 代理 API 根路径。

LangChain 也可以通过同一个 ChatOpenAI 类使用 Chat Completions。只有已有链或依赖项要求 Chat Completions 兼容性时才使用该路径；新的 OpenAI 系列 LangChain 集成优先使用此处的 Responses API 路径。

启用流式响应、工具调用、结构化输出、内置工具或推理选项时，LangChain 可能发送可选的 OpenAI 字段。在依赖该路径的网关策略或遥测数据前，请验证实际使用的链或 Agent 工作流。

后续步骤

Responses API：查看面向网关的请求行为。
兼容 OpenAI 的 API：当已有 LangChain 工作流需要 Chat Completions 时使用该路由。
工具调用：启用 LangChain 工具或 Agent 前确认工具调用行为。
指标与用量事件：查看网关指标和每次尝试的用量事件。

前置条件​

配置 LangChain​

在 LangGraph 中使用客户端​

验证集成​

后续步骤​

前置条件

配置 LangChain

在 LangGraph 中使用客户端

验证集成

后续步骤