Baseten

Baseten 通过共享模型目录和专用模型部署提供托管推理。使用 AISIX 后，应用可以通过一个 OpenAI 兼容 API 调用这些模型，同时由网关管理凭证、模型访问、限流和用量核算。

Baseten 通过两种不同的界面提供模型，所选界面决定要配置的端点：

Model APIs — 位于单个固定端点的共享多租户开放权重模型目录。本页使用该界面。
专用部署 — 部署到自有 Baseten 工作区的模型所使用的逐部署端点。请参阅路由到专用部署。

准备工作

开始前，请准备以下内容：

一套 AISIX 环境：
- 对于 AISIX Cloud，需要一个已关联网关的环境和具有写入作用域的 Admin Token。对于 On-Premises，请按照 AISIX Cloud 快速入门操作。如需申请 Hybrid Cloud 访问权限，请联系 API7。
- 对于开源 AISIX 网关，请准备本地 AISIX 安装，或使用开源 AISIX 网关快速入门中的 Docker 配置。配置网关以加载声明式资源文件。
从工作区 API Key 页面获取的 Baseten API Key。请参阅 Baseten API Key。
curl 和 jq。

使用 AISIX Cloud 配置

导出 AISIX Cloud 连接信息：

# AISIX_CP 是 Admin API 基础 URL；应包含 /api，且末尾不带斜杠
# 本地 On-Premises 快速入门使用 http://localhost:8080/api
export AISIX_CP="YOUR_AISIX_CLOUD_ADMIN_API_URL"
export AISIX_TOKEN="YOUR_ADMIN_TOKEN"
export ENV_ID="YOUR_ENVIRONMENT_ID"

为 Baseten 支持的 Chat Completions 路由创建服务提供方密钥、模型别名和调用方 API Key。

Baseten 暴露 OpenAI 兼容 API，因此 AISIX 通过 openai 适配器连接。请为所用的 Baseten 界面设置 api_base。

创建服务提供方密钥

创建用于存储 Baseten 凭证和 API 根路径的服务提供方密钥：

# 请替换为实际值
export BASETEN_API_KEY="YOUR_PROVIDER_API_KEY"

PROVIDER_KEY_ID=$(curl -sS -X POST "$AISIX_CP/provider_keys" \
  -H "Authorization: Bearer $AISIX_TOKEN" \
  -H "Content-Type: application/json" \
  -d '{
    "display_name": "baseten-prod",
    "provider": "baseten",
    "api_key": "'"${BASETEN_API_KEY}"'",
    "api_base": "https://inference.baseten.co/v1",
    "allowed_environments": ["'"${ENV_ID}"'"]
  }' | jq -r '.provider_key.id')

echo "$PROVIDER_KEY_ID"

❶ provider 为 baseten。AISIX Cloud Admin API 从目录服务提供方派生适配器；adapter 字段仅接受 BYO 服务提供方密钥。

❷ api_key 存储 Baseten API Key。它遵循服务提供方密钥中的凭证处理行为。

❸ api_base 是 Baseten Model APIs 根路径，且已包含 /v1 路径。AISIX 会向其追加端点路径，因此不要添加 /chat/completions。Baseten 是 AISIX Cloud Admin API 可以填充该值的目录服务提供方之一：省略 api_base 时，创建操作仍会成功，并解析为 https://inference.baseten.co/v1。仍建议显式设置该值，因为以后读取资源时，只有该值能够区分 Model APIs 服务提供方密钥和专用部署服务提供方密钥。

该命令会把返回的服务提供方密钥 ID 保存到 PROVIDER_KEY_ID。

创建模型

Baseten Model APIs 标识符使用 publisher/model-name 命名空间，与发布权重的上游仓库一致。它们区分大小写，且不同发布方的大小写形式并不统一：deepseek-ai/DeepSeek-V4-Pro 和 zai-org/GLM-5.2 使用混合大小写，而 openai/gpt-oss-120b 全部为小写。请从 Baseten Model APIs 概述逐字复制标识符，不要手动重新输入。

创建调用方将在请求中发送的模型别名：

MODEL_ID=$(curl -sS -X POST "$AISIX_CP/environments/$ENV_ID/models" \
  -H "Authorization: Bearer $AISIX_TOKEN" \
  -H "Content-Type: application/json" \
  -d '{
    "display_name": "baseten-deepseek-v4-pro",
    "model_name": "deepseek-ai/DeepSeek-V4-Pro",
    "provider_key_id": "'"${PROVIDER_KEY_ID}"'"
  }' | jq -r '.model.id')

echo "$MODEL_ID"

❶ display_name 是调用方在 model 中发送的别名。Baseten 模型标识符包含斜杠，因此使用较短的别名也能让客户端配置更易读。

❷ model_name 是 Baseten 模型标识符，例如 deepseek-ai/DeepSeek-V4-Pro、openai/gpt-oss-120b 或 zai-org/GLM-5.2。

❸ provider_key_id 将别名关联到 Baseten 服务提供方密钥。

创建调用方 API Key

创建能够访问该模型别名的调用方 API Key。明文密钥由服务器生成，并只在响应中返回一次，请安全保存：

AISIX_API_KEY=$(curl -sS -X POST "$AISIX_CP/environments/$ENV_ID/api_keys" \
  -H "Authorization: Bearer $AISIX_TOKEN" \
  -H "Content-Type: application/json" \
  -d '{
    "display_name": "baseten-caller",
    "allowed_models": ["'"${MODEL_ID}"'"]
  }' | jq -r '.plaintext')

echo "$AISIX_API_KEY"

allowed_models 值必须引用上一步保存的模型 ID。

写入后，配置会自动投射到已关联的网关。

使用开源 AISIX 网关配置

导出上游凭证，并选择应用将发送给网关的调用方 API Key：

export BASETEN_API_KEY="YOUR_PROVIDER_API_KEY"
export CALLER_API_KEY="YOUR_CALLER_API_KEY"

为该服务提供方创建完整的声明式资源文件：

resources.yaml
_format_version: "1"

provider_keys:
  - display_name: "baseten-prod"
    provider: "baseten"
    adapter: "openai"
    api_key: ${BASETEN_API_KEY}
    api_base: "https://inference.baseten.co/v1"

models:
  - display_name: "baseten-deepseek-v4-pro"
    provider: "baseten"
    model_name: "deepseek-ai/DeepSeek-V4-Pro"
    provider_key: "baseten-prod"

api_keys:
  - display_name: "baseten-caller"
    key_env: CALLER_API_KEY
    allowed_models:
      - "baseten-deepseek-v4-pro"

如果 AISIX 安装在本地，请在加载前验证文件：

aisix validate --resources resources.yaml

验证后，在网关进程环境中提供文件引用的环境变量，再启动网关。仅当这些变量已经可供进程使用时，才重新加载现有网关；否则，请使用更新后的环境重启网关。

如果使用 Docker，请调整开源 AISIX 网关快速入门中的验证和启动命令。挂载此 resources.yaml 文件，并在两条命令中使用 -e 传入它引用的每个环境变量。资源加载后，准备下文共用的验证请求：

export AISIX_API_KEY="$CALLER_API_KEY"

验证服务提供方连接

导出 AISIX 网关 Origin：

# 本地快速入门使用 http://127.0.0.1:3000
export AISIX_PROXY="YOUR_AISIX_GATEWAY_ORIGIN"

通过 AISIX 代理发送 Chat Completions 请求：

curl -sS -X POST "$AISIX_PROXY/v1/chat/completions" \
  -H "Authorization: Bearer ${AISIX_API_KEY}" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "baseten-deepseek-v4-pro",
    "messages": [
      {
        "role": "user",
        "content": "Say hello from Baseten."
      }
    ]
  }'

网关返回 OpenAI 兼容响应，其中回显面向调用方的别名 baseten-deepseek-v4-pro，而不是上游标识符 deepseek-ai/DeepSeek-V4-Pro。如果请求失败，请检查服务提供方密钥的 api_key、api_base 和 model_name 中的 Baseten 模型标识符。最常见的原因是 model_name 大小写不匹配，因为上游标识符区分大小写。

路由到专用部署

专用部署不会在共享 Model APIs 主机上响应。Baseten 会为每个部署提供由模型 ID 派生的独立主机名，而 OpenAI 兼容路由位于环境范围内的路径段下：

https://model-{model_id}.api.baseten.co/environments/production/sync/v1

有关当前 URL 形式以及工作区中可用的环境名称，请参阅调用模型。

这会对网关配置产生两个影响：

为每个专用部署创建一个独立的服务提供方密钥，并将 api_base 设置为该部署的 URL。AISIX Cloud Admin API 只会填充共享 Model APIs 根路径，因此这里实际上必须设置 api_base。
别名上的 model_name 是部署本身提供的模型名称，通常是原始权重标识符，而不是 Baseten Model APIs 目录标识符。

在专用部署服务提供方密钥上保留 baseten 服务提供方值，使其用量核算、指标和访问日志仍与其他 Baseten 流量归为一组。专用部署提供的模型不在定价目录覆盖范围内，因此应将其费率设置为组织定价覆盖项，而不是更换服务提供方值。请参阅模型定价和成本元数据。

使用推理模型

Baseten Model APIs 上的若干模型会输出推理轨迹。AISIX 无需为它们进行额外配置：

推理输出。 Baseten 在 reasoning_content 中返回推理，该字段已经是 AISIX 处理流式和非流式响应时的规范字段。与在厂商特定 delta 路径下传输推理的服务提供方不同，Baseten 不需要在服务提供方密钥上设置 response.reasoning_field 覆盖项。
推理控制。 AISIX 不会显式建模每个请求参数。它不识别的顶层字段会通过 openai 适配器原样转发给上游，因此 Baseten 记录的逐模型推理控制项——部分模型使用顶层 reasoning_effort，其他模型使用顶层 chat_template_args 对象——会原样到达 Baseten。请查看 Baseten 推理，确认每个模型接受的控制项，因为它因模型而异，而不是因账户而异。

Baseten 未配置参数重命名，因此 Token 限制字段也会按发送时的名称传递。请发送目标 Baseten 模型文档所规定的字段名。

端点支持

Baseten 支持的别名可用于标准化聊天路由；当配置的 api_base 提供 Embeddings 路由时，也可用于 /v1/embeddings。Baseten Embeddings Inference 部署会暴露 OpenAI 兼容 /v1/embeddings 路由，因此当服务提供方密钥指向该部署 URL 时，Embedding 别名可以正常工作。

由于别名解析到 openai 适配器，调用 /v1/messages 的 Anthropic 风格客户端会由 AISIX 转换为 OpenAI 请求形态。AISIX 不会分发到 Baseten 原生的 Anthropic 形态路由。

以 openai/ 开头的 Baseten 模型标识符（例如 openai/gpt-oss-120b）不会让别名成为 OpenAI 服务提供方模型。服务提供方值仍为 baseten，因此按服务提供方身份而不是适配器执行门禁的路由（图像生成、视频生成和 rerank）会拒绝该别名。完整路由矩阵请参阅服务提供方兼容性。

后续步骤

你已将 AISIX 接入 Baseten，并验证了模型别名。接下来可以阅读：

模型别名：为该别名配置路由、重试行为或成本元数据。
路由和故障转移：在 Baseten 专用部署和共享 Model APIs 目录之间进行故障转移。
服务提供方特定覆盖项：当上游 API 与其适配器不同时，调整请求和响应形态。
服务提供方兼容性：查看支持的代理端点和服务提供方特定边界。

准备工作​

使用 AISIX Cloud 配置​

创建服务提供方密钥​

创建模型​

创建调用方 API Key​

使用开源 AISIX 网关配置​

验证服务提供方连接​

路由到专用部署​

使用推理模型​

端点支持​

后续步骤​