OpenClaw vLLM 提供商配置指南

2026-03-31 11:40 更新

vLLM 可以通过兼容 OpenAI 的 HTTP API 来托管开源(以及部分自定义)模型。OpenClaw 可以通过 openai-completions API 连接到 vLLM。 当你通过 VLLM_API_KEY 启用该功能(如果你的服务器未启用鉴权,任意值均可),且未显式定义 models.providers.vllm 条目时,OpenClaw 还可以自动发现 vLLM 上的可用模型。

快速开始

  1. 启动 vLLM,开启兼容 OpenAI 的服务端。 你的基础 URL 需要暴露 /v1 端点(例如 /v1/models/v1/chat/completions)。vLLM 通常运行在以下端点: http://127.0.0.1:8000/v1
  2. 启用该提供商(如果服务器未配置鉴权,任意值均可):

export VLLM_API_KEY="vllm-local"

  1. 选择模型(替换为你的 vLLM 模型 ID):

{
agents: {
defaults: {
model: { primary: "vllm/your-model-id" },
},
},
}

模型发现(隐式提供商)

VLLM_API_KEY 已设置(或存在对应的认证配置),且你定义 models.providers.vllm 时,OpenClaw 会自动调用: GET http://127.0.0.1:8000/v1/models 并将返回的模型 ID 转换为模型条目。 如果你显式设置了 models.providers.vllm,自动发现功能会被跳过,你需要手动定义模型。

显式配置(手动模型)

在以下场景使用显式配置:

  • vLLM 运行在其他主机 / 端口上
  • 你需要固定 contextWindow/maxTokens 的值
  • 你的服务器需要真实的 API 密钥(或者你需要自定义请求头)

配置示例:

{
models: {
providers: {
vllm: {
baseUrl: "http://127.0.0.1:8000/v1",
apiKey: "${VLLM_API_KEY}",
api: "openai-completions",
models: [
{
id: "your-model-id",
name: "Local vLLM Model",
reasoning: false,
input: ["text"],
cost: { input: 0, output: 0, cacheRead: 0, cacheWrite: 0 },
contextWindow: 128000,
maxTokens: 8192,
},
],
},
},
},
}

故障排查

  • 检查服务器是否可访问:

curl http://127.0.0.1:8000/v1/models

  • 如果请求因鉴权错误失败,请设置与服务器配置匹配的真实 VLLM_API_KEY,或者在 models.providers.vllm 下显式配置提供商。
以上内容是否对您有帮助:
在线笔记
App下载
App下载

扫描二维码

下载编程狮App

公众号
微信公众号

编程狮公众号