vLLM

O vLLM é tratado como um backend /v1 compatível com a OpenAI no estilo proxy, não como um endpoint nativo da OpenAI:

Para modelos Qwen, defina compat.thinkingFormat: "qwen-chat-template" na entrada do modelo quando o servidor esperar argumentos nomeados do modelo de chat do Qwen. Esses modelos expõem um perfil /think binário (off, on), pois o raciocínio do modelo de chat do Qwen é uma opção de ativação/desativação, não uma escala de esforço no estilo da OpenAI.

{  models: {    providers: {      vllm: {        models: [          {            id: "Qwen/Qwen3-8B",            name: "Qwen3 8B",            reasoning: true,            compat: { thinkingFormat: "qwen-chat-template" },          },        ],      },    },  },}

O OpenClaw mapeia /think off para:

{  "chat_template_kwargs": {    "enable_thinking": false,    "preserve_thinking": true  }}

Níveis de raciocínio diferentes de off enviam enable_thinking: true. Se o endpoint esperar sinalizadores de nível superior no estilo DashScope, use compat.thinkingFormat: "qwen" para enviar enable_thinking na raiz da solicitação.

Para modelos vllm/nemotron-3-* com o raciocínio desativado, o plugin incluído envia:

{  "chat_template_kwargs": {    "enable_thinking": false,    "force_nonempty_content": true  }}

Para personalizar esses valores, defina chat_template_kwargs nos parâmetros do modelo. Se você também definir params.extra_body.chat_template_kwargs, esse valor terá precedência porque extra_body é a última substituição aplicada ao corpo da solicitação.

{  agents: {    defaults: {      models: {        "vllm/nemotron-3-super": {          params: {            chat_template_kwargs: {              enable_thinking: false,              force_nonempty_content: true,            },          },        },      },    },  },}

Primeiro, confirme que o vLLM foi iniciado com o analisador de chamadas de ferramentas e o modelo de chat corretos para o modelo. A documentação do vLLM indica hermes para modelos Qwen2.5 e qwen3_xml para modelos Qwen3-Coder.

Sintomas: Skills/ferramentas nunca são executadas, o assistente exibe JSON/XML bruto, como {"name":"read","arguments":...}, ou o vLLM retorna um array tool_calls vazio quando o OpenClaw envia tool_choice: "auto".

Algumas combinações de Qwen/vLLM retornam chamadas de ferramentas estruturadas somente quando a solicitação usa tool_choice: "required". Force essa opção por modelo com params.extra_body:

{  agents: {    defaults: {      models: {        "vllm/Qwen-Qwen2.5-Coder-32B-Instruct": {          params: {            extra_body: {              tool_choice: "required",            },          },        },      },    },  },}

Substitua o ID do modelo pelo ID exato obtido com openclaw models list --provider vllm ou aplique a mesma substituição pela CLI:

openclaw config set agents.defaults.models '{"vllm/Qwen-Qwen2.5-Coder-32B-Instruct":{"params":{"extra_body":{"tool_choice":"required"}}}}' --strict-json --merge

Esta é uma solução alternativa opcional: ela força cada interação com ferramentas a realizar uma chamada de ferramenta, portanto, use-a somente em uma entrada de modelo dedicada em que isso seja aceitável. Não a defina como padrão global para todos os modelos vLLM e não a combine com um proxy que converta texto arbitrário do assistente em chamadas de ferramentas executáveis.

Se o servidor vLLM for executado em um host ou porta diferente do padrão, defina baseUrl na configuração explícita do provedor:

{  models: {    providers: {      vllm: {        baseUrl: "http://192.168.1.50:9000/v1",        apiKey: "${VLLM_API_KEY}",        api: "openai-completions",        timeoutSeconds: 300,        models: [          {            id: "my-custom-model",            name: "Remote vLLM Model",            reasoning: false,            input: ["text"],            contextWindow: 64000,            maxTokens: 4096,          },        ],      },    },  },}

Para modelos locais grandes, hosts remotos na LAN ou conexões de tailnet, defina um tempo limite de solicitação no escopo do provedor:

{  models: {    providers: {      vllm: {        baseUrl: "http://192.168.1.50:8000/v1",        apiKey: "${VLLM_API_KEY}",        api: "openai-completions",        timeoutSeconds: 300,        models: [{ id: "your-model-id", name: "Local vLLM Model" }],      },    },  },}

timeoutSeconds se aplica somente às solicitações HTTP de modelos vLLM: estabelecimento da conexão, cabeçalhos da resposta, streaming do corpo e cancelamento total da busca protegida. Ele também aumenta o limite do monitor de inatividade/streaming do LLM acima do padrão implícito de aproximadamente 120 segundos para esse provedor. Prefira essa opção a aumentar agents.defaults.timeoutSeconds, que controla toda a execução do agente.

Verifique se o servidor vLLM está em execução e acessível:

curl http://127.0.0.1:8000/v1/models

Se ocorrer um erro de conexão, verifique o host, a porta e se o vLLM foi iniciado no modo de servidor compatível com a OpenAI. O OpenClaw confia na origem exata configurada em models.providers.vllm.baseUrl para solicitações protegidas de modelos em endpoints de local loopback, LAN e Tailscale. Origens de metadados/link-local continuam bloqueadas sem habilitação explícita. Defina models.providers.vllm.request.allowPrivateNetwork: true somente quando as solicitações do vLLM precisarem alcançar outra origem privada, ou false para desabilitar a confiança na origem exata.

Se as solicitações falharem com erros de autenticação, defina uma VLLM_API_KEY real que corresponda à configuração do servidor ou configure o provedor explicitamente em models.providers.vllm.

A descoberta automática exige que VLLM_API_KEY esteja definida. Se você definiu models.providers.vllm, o OpenClaw usará somente os modelos declarados, a menos que agents.defaults.models inclua "vllm/*": {}.

Se um modelo Qwen exibir a sintaxe JSON/XML de ferramentas em vez de executar uma Skill:

• Inicie o vLLM com o analisador/modelo correto para esse modelo.
• Confirme o ID exato do modelo com openclaw models list --provider vllm.
• Adicione uma substituição dedicada por modelo params.extra_body.tool_choice: "required" somente se tool_choice: "auto" ainda retornar chamadas de ferramentas vazias ou apenas como texto.