vLLM

vLLM はネイティブ OpenAI エンドポイントではなく、プロキシ形式の OpenAI 互換 /v1 バックエンドとして扱われます。

Qwen モデルでは、サーバーが Qwen チャットテンプレートのキーワード引数を期待する場合、モデル行に compat.thinkingFormat: "qwen-chat-template" を設定します。Qwen チャットテンプレートの思考は OpenAI 形式の労力レベルではなくオン／オフのフラグであるため、これらのモデルは二値の /think プロファイル（off、on）を公開します。

{  models: {    providers: {      vllm: {        models: [          {            id: "Qwen/Qwen3-8B",            name: "Qwen3 8B",            reasoning: true,            compat: { thinkingFormat: "qwen-chat-template" },          },        ],      },    },  },}

OpenClaw は /think off を次のようにマッピングします。

{  "chat_template_kwargs": {    "enable_thinking": false,    "preserve_thinking": true  }}

off 以外の思考レベルでは enable_thinking: true を送信します。エンドポイントが代わりに DashScope 形式のトップレベルフラグを期待する場合は、compat.thinkingFormat: "qwen" を使用してリクエストのルートに enable_thinking を送信します。

思考がオフの vllm/nemotron-3-* モデルでは、同梱の Plugin が次を送信します。

{  "chat_template_kwargs": {    "enable_thinking": false,    "force_nonempty_content": true  }}

これらの値をカスタマイズするには、モデルパラメーターの下に chat_template_kwargs を設定します。params.extra_body.chat_template_kwargs も設定した場合、extra_body がリクエスト本文の最後のオーバーライドであるため、そちらの値が優先されます。

{  agents: {    defaults: {      models: {        "vllm/nemotron-3-super": {          params: {            chat_template_kwargs: {              enable_thinking: false,              force_nonempty_content: true,            },          },        },      },    },  },}

まず、対象モデルに適したツール呼び出しパーサーとチャットテンプレートを使用して vLLM が起動されたことを確認してください。vLLM のドキュメントでは、Qwen2.5 モデルには hermes、Qwen3-Coder モデルには qwen3_xml が指定されています。

症状としては、Skills／ツールがまったく実行されない、アシスタントが {"name":"read","arguments":...} のような未加工の JSON／XML を出力する、または OpenClaw が tool_choice: "auto" を送信したときに vLLM が空の tool_calls 配列を返す、といったものがあります。

一部の Qwen／vLLM の組み合わせでは、リクエストが tool_choice: "required" を使用する場合にのみ、構造化されたツール呼び出しが返されます。params.extra_body を使用してモデルごとに強制できます。

{  agents: {    defaults: {      models: {        "vllm/Qwen-Qwen2.5-Coder-32B-Instruct": {          params: {            extra_body: {              tool_choice: "required",            },          },        },      },    },  },}

モデル ID を openclaw models list --provider vllm で得られる正確な ID に置き換えるか、CLI から同じオーバーライドを適用します。

openclaw config set agents.defaults.models '{"vllm/Qwen-Qwen2.5-Coder-32B-Instruct":{"params":{"extra_body":{"tool_choice":"required"}}}}' --strict-json --merge

これはオプトイン方式の回避策です。ツールを伴うすべてのターンでツール呼び出しを強制するため、それが許容される専用のモデルエントリにのみ使用してください。すべての vLLM モデルに対するグローバルデフォルトとして設定しないでください。また、任意のアシスタントテキストを実行可能なツール呼び出しに変換するプロキシと組み合わせないでください。

vLLM サーバーがデフォルト以外のホストまたはポートで動作している場合は、明示的なプロバイダー設定で baseUrl を設定します。

{  models: {    providers: {      vllm: {        baseUrl: "http://192.168.1.50:9000/v1",        apiKey: "${VLLM_API_KEY}",        api: "openai-completions",        timeoutSeconds: 300,        models: [          {            id: "my-custom-model",            name: "Remote vLLM Model",            reasoning: false,            input: ["text"],            contextWindow: 64000,            maxTokens: 4096,          },        ],      },    },  },}

大規模なローカルモデル、リモート LAN ホスト、または tailnet 接続では、プロバイダー単位のリクエストタイムアウトを設定します。

{  models: {    providers: {      vllm: {        baseUrl: "http://192.168.1.50:8000/v1",        apiKey: "${VLLM_API_KEY}",        api: "openai-completions",        timeoutSeconds: 300,        models: [{ id: "your-model-id", name: "Local vLLM Model" }],      },    },  },}

timeoutSeconds は vLLM モデルへの HTTP リクエスト（接続の確立、レスポンスヘッダー、本文のストリーミング、保護された fetch 全体の中断）にのみ適用されます。また、このプロバイダーに対する LLM のアイドル／ストリーム監視の上限を、暗黙的なデフォルトである約 120 秒より長くします。エージェント実行全体を制御する agents.defaults.timeoutSeconds を増やすより、こちらを優先してください。

vLLM サーバーが動作しており、アクセス可能であることを確認します。

curl http://127.0.0.1:8000/v1/models

接続エラーが表示される場合は、ホスト、ポート、および vLLM が OpenAI 互換サーバーモードで起動されていることを確認してください。OpenClaw は、loopback、LAN、Tailscale エンドポイントへの保護されたモデルリクエストについて、設定された正確な models.providers.vllm.baseUrl のオリジンを信頼します。メタデータ／リンクローカルのオリジンは、明示的にオプトインしない限り引き続きブロックされます。vLLM リクエストが別のプライベートオリジンへ到達する必要がある場合にのみ models.providers.vllm.request.allowPrivateNetwork: true を設定し、正確なオリジンへの信頼を無効にする場合は false を設定します。

リクエストが認証エラーで失敗する場合は、サーバー設定と一致する実際の VLLM_API_KEY を設定するか、models.providers.vllm でプロバイダーを明示的に設定してください。

自動検出には VLLM_API_KEY の設定が必要です。models.providers.vllm を定義している場合、agents.defaults.models に "vllm/*": {} が含まれていない限り、OpenClaw は宣言されたモデルのみを使用します。

Qwen モデルが Skills を実行せず、JSON／XML のツール構文を出力する場合は、次を行います。

• 対象モデルに適したパーサー／テンプレートを使用して vLLM を起動します。
• openclaw models list --provider vllm で正確なモデル ID を確認します。
• tool_choice: "auto" が引き続き空またはテキストのみのツール呼び出しを返す場合に限り、モデルごとに専用の params.extra_body.tool_choice: "required" オーバーライドを追加します。