vLLM

vLLM 會被視為代理式的 OpenAI 相容 /v1 後端，而非原生 OpenAI 端點：

對於 Qwen 模型，當伺服器需要 Qwen 聊天範本參數時，請在模型列設定 compat.thinkingFormat: "qwen-chat-template"。這些模型提供二元的 /think 設定檔（off、on），因為 Qwen 聊天範本的思考功能是開啟／關閉旗標，而非 OpenAI 式的投入程度階梯。

{  models: {    providers: {      vllm: {        models: [          {            id: "Qwen/Qwen3-8B",            name: "Qwen3 8B",            reasoning: true,            compat: { thinkingFormat: "qwen-chat-template" },          },        ],      },    },  },}

OpenClaw 會將 /think off 對應至：

{  "chat_template_kwargs": {    "enable_thinking": false,    "preserve_thinking": true  }}

非 off 的思考層級會傳送 enable_thinking: true。如果你的端點改為需要 DashScope 式的頂層旗標，請使用 compat.thinkingFormat: "qwen"，將 enable_thinking 傳送至請求根層級。

對於關閉思考功能的 vllm/nemotron-3-* 模型，隨附的外掛會傳送：

{  "chat_template_kwargs": {    "enable_thinking": false,    "force_nonempty_content": true  }}

若要自訂這些值，請在模型參數下設定 chat_template_kwargs。如果你也設定 params.extra_body.chat_template_kwargs，該值會優先，因為 extra_body 是最後套用的請求主體覆寫。

{  agents: {    defaults: {      models: {        "vllm/nemotron-3-super": {          params: {            chat_template_kwargs: {              enable_thinking: false,              force_nonempty_content: true,            },          },        },      },    },  },}

請先確認 vLLM 啟動時使用了適合該模型的正確工具呼叫解析器與聊天範本。vLLM 文件指出，Qwen2.5 模型使用 hermes，而 Qwen3-Coder 模型使用 qwen3_xml。

症狀：Skills／工具從未執行、助理輸出 {"name":"read","arguments":...} 之類的原始 JSON／XML，或 OpenClaw 傳送 tool_choice: "auto" 時，vLLM 傳回空的 tool_calls 陣列。

某些 Qwen／vLLM 組合只會在請求使用 tool_choice: "required" 時傳回結構化工具呼叫。可透過 params.extra_body 為個別模型強制設定：

{  agents: {    defaults: {      models: {        "vllm/Qwen-Qwen2.5-Coder-32B-Instruct": {          params: {            extra_body: {              tool_choice: "required",            },          },        },      },    },  },}

將模型 ID 替換為 openclaw models list --provider vllm 顯示的確切 ID，或透過命令列介面套用相同的覆寫：

openclaw config set agents.defaults.models '{"vllm/Qwen-Qwen2.5-Coder-32B-Instruct":{"params":{"extra_body":{"tool_choice":"required"}}}}' --strict-json --merge

這是一項選擇啟用的因應措施：它會強制每個含有工具的回合進行工具呼叫，因此僅應用於可接受此行為的專用模型項目。請勿將其設為所有 vLLM 模型的全域預設值，也不要將其與會把任意助理文字轉換成可執行工具呼叫的代理搭配使用。

如果你的 vLLM 伺服器執行於非預設主機或連接埠，請在明確提供者設定中設定 baseUrl：

{  models: {    providers: {      vllm: {        baseUrl: "http://192.168.1.50:9000/v1",        apiKey: "${VLLM_API_KEY}",        api: "openai-completions",        timeoutSeconds: 300,        models: [          {            id: "my-custom-model",            name: "Remote vLLM Model",            reasoning: false,            input: ["text"],            contextWindow: 64000,            maxTokens: 4096,          },        ],      },    },  },}

對於大型本機模型、遠端區域網路主機或 tailnet 連線，請設定提供者範圍的請求逾時：

{  models: {    providers: {      vllm: {        baseUrl: "http://192.168.1.50:8000/v1",        apiKey: "${VLLM_API_KEY}",        api: "openai-completions",        timeoutSeconds: 300,        models: [{ id: "your-model-id", name: "Local vLLM Model" }],      },    },  },}

timeoutSeconds 僅套用於 vLLM 模型的 HTTP 請求：連線建立、回應標頭、主體串流，以及受保護擷取的總體中止。它也會將此提供者的 LLM 閒置／串流監控上限提高至隱含的約 120 秒預設值以上。請優先使用此設定，而非增加控制整個代理執行過程的 agents.defaults.timeoutSeconds。

請檢查 vLLM 伺服器是否正在執行且可供存取：

curl http://127.0.0.1:8000/v1/models

如果看到連線錯誤，請確認主機、連接埠，以及 vLLM 是否以 OpenAI 相容伺服器模式啟動。對於迴路、區域網路及 Tailscale 端點上的受保護模型請求，OpenClaw 會信任已設定 models.providers.vllm.baseUrl 的確切來源。若未明確選擇啟用，中繼資料／連結本機來源仍會遭到封鎖。僅當 vLLM 請求必須存取另一個私人來源時，才將 models.providers.vllm.request.allowPrivateNetwork: true 設為 true；若要停用確切來源信任，則設為 false。

如果請求因驗證錯誤而失敗，請設定與伺服器設定相符的有效 VLLM_API_KEY，或在 models.providers.vllm 下明確設定提供者。

自動探索要求設定 VLLM_API_KEY。如果你已定義 models.providers.vllm，除非 agents.defaults.models 包含 "vllm/*": {}，否則 OpenClaw 只會使用你宣告的模型。

如果 Qwen 模型輸出 JSON／XML 工具語法而非執行 Skill：

• 使用適合該模型的正確解析器／範本啟動 vLLM。
• 使用 openclaw models list --provider vllm 確認確切的模型 ID。
• 僅當 tool_choice: "auto" 仍傳回空的工具呼叫或純文字工具呼叫時，才加入專用的個別模型 params.extra_body.tool_choice: "required" 覆寫。