跳到主要内容

Together AI

Together AI 为开放模型和合作伙伴模型提供托管推理。应用通过稳定的 AISIX 别名调用所选模型，网关负责保管 Together API Key。

准备工作​

开始前，请准备以下内容：

  • 一套 AISIX 环境：
    • 对于 AISIX Cloud，需要一个已关联网关的环境和具有写入作用域的 Admin Token。对于 On-Premises，请按照 AISIX Cloud 快速入门操作。如需申请 Hybrid Cloud 访问权限，请联系 API7。
    • 对于开源 AISIX 网关，请准备本地 AISIX 安装，或使用开源 AISIX 网关快速入门中的 Docker 环境。配置网关以加载声明式资源文件。
  • 从 Together 控制台获取的 Together API Key。
  • curl 和 jq。

使用 AISIX Cloud 配置​

导出 AISIX Cloud 连接信息：

# AISIX_CP 是 Admin API 基础 URL；应包含 /api，且末尾不带斜杠
# 本地 On-Premises 快速入门使用 http://localhost:8080/api
export AISIX_CP="YOUR_AISIX_CLOUD_ADMIN_API_URL"
export AISIX_TOKEN="YOUR_ADMIN_TOKEN"
export ENV_ID="YOUR_ENVIRONMENT_ID"

为由 Together 提供支持的 Chat Completions 路由创建服务提供方密钥、模型别名和调用方 API Key。

由于 Together AI 提供 OpenAI 兼容 API，AISIX 通过 openai 适配器连接，并使用 Together API 根地址作为 api_base。

创建服务提供方密钥​

创建用于存储 Together 凭证和 API 根地址的服务提供方密钥，并允许其在该环境中使用：

# 请替换为实际值
export TOGETHER_API_KEY="YOUR_PROVIDER_API_KEY"

PROVIDER_KEY_ID=$(curl -sS -X POST "$AISIX_CP/provider_keys" \
  -H "Authorization: Bearer $AISIX_TOKEN" \
  -H "Content-Type: application/json" \
  -d '{
    "display_name": "together-prod",
    "provider": "togetherai",
    "api_key": "'"${TOGETHER_API_KEY}"'",
    "api_base": "https://api.together.ai/v1",
    "allowed_environments": ["'"$ENV_ID"'"]
  }' | jq -r '.provider_key.id')

❶ provider 为目录服务提供方 ID togetherai。

❷ api_key 存储 Together API Key。其行为遵循服务提供方密钥中的凭证处理方式。

❸ api_base 已包含 /v1 路径。AISIX 会将 /chat/completions 追加到该地址。Together 当前记录的地址是 https://api.together.ai/v1；省略该字段时，AISIX Cloud 仍会填入等价的 https://api.together.xyz/v1 根地址。请显式设置官方根地址，使目标在资源中保持可见，且不依赖该回退值。

该命令会将返回的服务提供方密钥 ID 保存到 PROVIDER_KEY_ID。

创建模型​

Together 目录经常变化。创建模型别名前，请在 Together 模型列表中查找准确的 <publisher>/<model> ID。

创建调用方将在请求中发送的模型别名：

MODEL_ID=$(curl -sS -X POST "$AISIX_CP/environments/$ENV_ID/models" \
  -H "Authorization: Bearer $AISIX_TOKEN" \
  -H "Content-Type: application/json" \
  -d '{
    "display_name": "together-gptoss-prod",
    "model_name": "openai/gpt-oss-120b",
    "provider_key_id": "'"$PROVIDER_KEY_ID"'"
  }' | jq -r '.model.id')

❶ display_name 是调用方在 model 中发送的别名。

❷ model_name 是 <publisher>/<model> 形式的 Together 模型 ID。gpt-4o 等不含命名空间的 OpenAI 风格名称会导致 Together 返回 404。

❸ provider_key_id 将别名关联到 Together 服务提供方密钥。

创建调用方 API Key​

创建可访问模型别名的调用方 API Key。API 会生成密钥值，并仅返回一次明文：

AISIX_API_KEY=$(curl -sS -X POST "$AISIX_CP/environments/$ENV_ID/api_keys" \
  -H "Authorization: Bearer $AISIX_TOKEN" \
  -H "Content-Type: application/json" \
  -d '{
    "display_name": "together-caller",
    "allowed_models": ["'"$MODEL_ID"'"]
  }' | jq -r '.plaintext')

allowed_models 值通过 ID 引用模型。明文密钥仅在此响应中返回，因此请妥善保存。

新资源会自动投射到已关联的网关。

使用开源 AISIX 网关配置​

导出上游凭证，并选择应用将发送给网关的调用方 API Key：

export TOGETHER_API_KEY="YOUR_PROVIDER_API_KEY"
export CALLER_API_KEY="YOUR_CALLER_API_KEY"

为该服务提供方创建完整的声明式资源文件：

resources.yaml
_format_version: "1"

provider_keys:
  - display_name: "together-prod"
    provider: "togetherai"
    adapter: "openai"
    api_key: ${TOGETHER_API_KEY}
    api_base: "https://api.together.ai/v1"

models:
  - display_name: "together-gptoss-prod"
    provider: "togetherai"
    model_name: "openai/gpt-oss-120b"
    provider_key: "together-prod"

api_keys:
  - display_name: "together-caller"
    key_env: CALLER_API_KEY
    allowed_models:
      - "together-gptoss-prod"

如果 AISIX 安装在本地，请在加载文件前进行验证：

aisix validate --resources resources.yaml

验证后，在网关进程环境中提供文件引用的环境变量，再启动网关。仅当这些变量已经可供进程使用时，才重新加载现有网关；否则，请使用更新后的环境重启网关。

如果使用 Docker，请调整开源 AISIX 网关快速入门中的验证和启动命令。挂载此 resources.yaml 文件，并在两条命令中使用 -e 传入它引用的每个环境变量。资源加载后，准备下文共用的验证请求：

export AISIX_API_KEY="$CALLER_API_KEY"

验证服务提供方连接​

导出 AISIX 网关 Origin：

# 本地快速入门使用 http://127.0.0.1:3000
export AISIX_PROXY="YOUR_AISIX_GATEWAY_ORIGIN"

通过 AISIX 代理发送 Chat Completions 请求：

curl -sS -X POST "$AISIX_PROXY/v1/chat/completions" \
  -H "Authorization: Bearer ${AISIX_API_KEY}" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "together-gptoss-prod",
    "messages": [
      {
        "role": "user",
        "content": "Say hello from Together AI."
      }
    ]
  }'

网关会返回 OpenAI 兼容响应，其中回显面向调用方的别名 together-gptoss-prod。如果请求失败，请检查服务提供方密钥的 api_key、api_base，以及 model_name 中的 <publisher>/<model> ID。

端点覆盖​

Together 在同一基础地址上提供多个 OpenAI 格式 API，但规范化路由支持也取决于模型的 togetherai 服务提供方值：

路由使用 Together AI 别名时的行为
/v1/chat/completions 和 /v1/completions所选模型实现相应路由时支持，包括缓冲和流式传输。
/v1/responses通过 AISIX Responses 桥接支持。Together 没有实现原生 Responses API，没有 Chat Completions 等价项的字段会被忽略。
/v1/messages通过转换为 Chat Completions 支持。/v1/messages/count_tokens 仅限 Anthropic 后端模型。
/v1/embeddings别名指向 Together 嵌入模型时支持。AISIX 会重写面向调用方的别名，并将 OpenAI 格式请求转发到 {api_base}/embeddings。
/v1/audio/transcriptions、/v1/audio/translations 和 /v1/audio/speech别名指向所选音频路由对应的 Together 模型时支持。AISIX 会在重写模型别名的同时保留 OpenAI 请求和响应结构。
/v1/images/generations不支持。即使 Together 原生提供相同路径，规范化路由只接受配置的服务提供方为 openai 的模型。请改用 /passthrough/togetherai/images/generations。
/v1/videos不支持。视频路由允许列表不包含 togetherai；请通过服务提供方透传使用 Together 原生视频协议。
/v1/rerank不支持。规范化路由只接受 openai、cohere 和 jina 服务提供方值。请通过 /passthrough/togetherai/rerank 使用 Together 重排模型和原生请求体。
/passthrough/togetherai/*rest支持 Together 原生路由，并提供有限的网关规范化。透传不会重写请求体中面向调用方的别名，会缓冲上游 SSE 响应，且 Token 和成本用量记录为零。

完整端点与服务提供方矩阵请参阅服务提供方兼容性。

后续步骤​

你已将 AISIX 连接到 Together AI，并验证了模型别名。接下来可阅读以下指南：