vLLM

vLLM se trata como un backend /v1 de tipo proxy compatible con OpenAI, no como un punto de conexión nativo de OpenAI:

Para los modelos Qwen, establece compat.thinkingFormat: "qwen-chat-template" en la fila del modelo cuando el servidor espere argumentos de palabra clave de la plantilla de chat de Qwen. Estos modelos exponen un perfil binario /think (off, on) porque el pensamiento de la plantilla de chat de Qwen es una opción de activación o desactivación, no una escala de esfuerzo al estilo de OpenAI.

{  models: {    providers: {      vllm: {        models: [          {            id: "Qwen/Qwen3-8B",            name: "Qwen3 8B",            reasoning: true,            compat: { thinkingFormat: "qwen-chat-template" },          },        ],      },    },  },}

OpenClaw asigna /think off a:

{  "chat_template_kwargs": {    "enable_thinking": false,    "preserve_thinking": true  }}

Los niveles de pensamiento distintos de off envían enable_thinking: true. Si tu punto de conexión espera en su lugar indicadores de nivel superior al estilo de DashScope, usa compat.thinkingFormat: "qwen" para enviar enable_thinking en la raíz de la solicitud.

Para los modelos vllm/nemotron-3-* con el pensamiento desactivado, el Plugin incluido envía:

{  "chat_template_kwargs": {    "enable_thinking": false,    "force_nonempty_content": true  }}

Para personalizar estos valores, establece chat_template_kwargs en los parámetros del modelo. Si también estableces params.extra_body.chat_template_kwargs, ese valor prevalece porque extra_body es la última sobrescritura del cuerpo de la solicitud.

{  agents: {    defaults: {      models: {        "vllm/nemotron-3-super": {          params: {            chat_template_kwargs: {              enable_thinking: false,              force_nonempty_content: true,            },          },        },      },    },  },}

Primero, confirma que vLLM se haya iniciado con el analizador de llamadas a herramientas y la plantilla de chat correctos para el modelo. La documentación de vLLM especifica hermes para los modelos Qwen2.5 y qwen3_xml para los modelos Qwen3-Coder.

Síntomas: las Skills o herramientas nunca se ejecutan, el asistente imprime JSON/XML sin procesar, como {"name":"read","arguments":...}, o vLLM devuelve una matriz tool_calls vacía cuando OpenClaw envía tool_choice: "auto".

Algunas combinaciones de Qwen y vLLM solo devuelven llamadas a herramientas estructuradas cuando la solicitud utiliza tool_choice: "required". Fuérzalo para cada modelo mediante params.extra_body:

{  agents: {    defaults: {      models: {        "vllm/Qwen-Qwen2.5-Coder-32B-Instruct": {          params: {            extra_body: {              tool_choice: "required",            },          },        },      },    },  },}

Sustituye el ID del modelo por el ID exacto que muestra openclaw models list --provider vllm, o aplica la misma sobrescritura desde la CLI:

openclaw config set agents.defaults.models '{"vllm/Qwen-Qwen2.5-Coder-32B-Instruct":{"params":{"extra_body":{"tool_choice":"required"}}}}' --strict-json --merge

Esta es una solución alternativa opcional: obliga a que cada turno con herramientas realice una llamada a una herramienta, por lo que debes usarla únicamente en una entrada de modelo dedicada donde ese comportamiento sea aceptable. No la establezcas como valor predeterminado global para todos los modelos de vLLM ni la combines con un proxy que convierta texto arbitrario del asistente en llamadas ejecutables a herramientas.

Si tu servidor vLLM se ejecuta en un host o puerto distinto del predeterminado, establece baseUrl en la configuración explícita del proveedor:

{  models: {    providers: {      vllm: {        baseUrl: "http://192.168.1.50:9000/v1",        apiKey: "${VLLM_API_KEY}",        api: "openai-completions",        timeoutSeconds: 300,        models: [          {            id: "my-custom-model",            name: "Remote vLLM Model",            reasoning: false,            input: ["text"],            contextWindow: 64000,            maxTokens: 4096,          },        ],      },    },  },}

Para modelos locales grandes, hosts remotos de la LAN o enlaces de la red de Tailscale, establece un tiempo de espera para las solicitudes limitado al proveedor:

{  models: {    providers: {      vllm: {        baseUrl: "http://192.168.1.50:8000/v1",        apiKey: "${VLLM_API_KEY}",        api: "openai-completions",        timeoutSeconds: 300,        models: [{ id: "your-model-id", name: "Local vLLM Model" }],      },    },  },}

timeoutSeconds se aplica únicamente a las solicitudes HTTP de modelos vLLM: establecimiento de la conexión, encabezados de respuesta, transmisión del cuerpo y cancelación total de la solicitud protegida. También eleva el límite del supervisor de inactividad o transmisión del LLM por encima del valor predeterminado implícito de unos 120 segundos para este proveedor. Es preferible usar esta opción en lugar de aumentar agents.defaults.timeoutSeconds, que controla toda la ejecución del agente.

Comprueba que el servidor vLLM esté en ejecución y sea accesible:

curl http://127.0.0.1:8000/v1/models

Si aparece un error de conexión, verifica el host, el puerto y que vLLM se haya iniciado en modo de servidor compatible con OpenAI. OpenClaw confía en el origen exacto configurado en models.providers.vllm.baseUrl para las solicitudes protegidas de modelos en puntos de conexión local loopback, de LAN y de Tailscale. Los orígenes de metadatos o de vínculo local permanecen bloqueados sin una habilitación explícita. Establece models.providers.vllm.request.allowPrivateNetwork: true únicamente cuando las solicitudes de vLLM deban llegar a otro origen privado, o false para desactivar la confianza en el origen exacto.

Si las solicitudes fallan con errores de autenticación, establece una VLLM_API_KEY real que coincida con la configuración del servidor o configura el proveedor explícitamente en models.providers.vllm.

La detección automática requiere que se establezca VLLM_API_KEY. Si has definido models.providers.vllm, OpenClaw utiliza únicamente los modelos que hayas declarado, salvo que agents.defaults.models incluya "vllm/*": {}.

Si un modelo Qwen imprime sintaxis JSON/XML de herramientas en lugar de ejecutar una Skill:

• Inicia vLLM con el analizador y la plantilla correctos para ese modelo.
• Confirma el ID exacto del modelo con openclaw models list --provider vllm.
• Añade una sobrescritura dedicada por modelo params.extra_body.tool_choice: "required" únicamente si tool_choice: "auto" sigue devolviendo llamadas a herramientas vacías o solo como texto.