vLLM

vLLM จะถูกจัดการเป็นแบ็กเอนด์ /v1 แบบพร็อกซีที่เข้ากันได้กับ OpenAI ไม่ใช่ปลายทาง OpenAI แบบเนทีฟ:

สำหรับโมเดล Qwen ให้ตั้งค่า compat.thinkingFormat: "qwen-chat-template" ในแถวของโมเดลเมื่อเซิร์ฟเวอร์คาดว่าจะได้รับอาร์กิวเมนต์คีย์เวิร์ดของเทมเพลตแชต Qwen โมเดลเหล่านี้เปิดเผยโปรไฟล์ /think แบบสองสถานะ (off, on) เนื่องจากการคิดผ่านเทมเพลตแชต Qwen เป็นแฟล็กเปิด/ปิด ไม่ใช่ลำดับระดับความพยายามแบบ OpenAI

{  models: {    providers: {      vllm: {        models: [          {            id: "Qwen/Qwen3-8B",            name: "Qwen3 8B",            reasoning: true,            compat: { thinkingFormat: "qwen-chat-template" },          },        ],      },    },  },}

OpenClaw แมป /think off เป็น:

{  "chat_template_kwargs": {    "enable_thinking": false,    "preserve_thinking": true  }}

ระดับการคิดอื่นที่ไม่ใช่ off จะส่ง enable_thinking: true หากปลายทางของคุณคาดว่าจะได้รับแฟล็กระดับบนสุดแบบ DashScope แทน ให้ใช้ compat.thinkingFormat: "qwen" เพื่อส่ง enable_thinking ที่รากของคำขอ

สำหรับโมเดล vllm/nemotron-3-* ที่ปิดการคิด Plugin ที่มาพร้อมระบบจะส่ง:

{  "chat_template_kwargs": {    "enable_thinking": false,    "force_nonempty_content": true  }}

หากต้องการปรับแต่งค่าเหล่านี้ ให้ตั้งค่า chat_template_kwargs ภายใต้พารามิเตอร์ของโมเดล หากคุณตั้งค่า params.extra_body.chat_template_kwargs ด้วย ค่านั้นจะมีผลเหนือกว่า เนื่องจาก extra_body เป็นการเขียนทับเนื้อหาคำขอขั้นสุดท้าย

{  agents: {    defaults: {      models: {        "vllm/nemotron-3-super": {          params: {            chat_template_kwargs: {              enable_thinking: false,              force_nonempty_content: true,            },          },        },      },    },  },}

ก่อนอื่นให้ยืนยันว่า vLLM เริ่มทำงานด้วยตัวแยกวิเคราะห์การเรียกใช้เครื่องมือและเทมเพลตแชตที่ถูกต้องสำหรับโมเดลนั้น เอกสาร vLLM ระบุให้ใช้ hermes สำหรับโมเดล Qwen2.5 และ qwen3_xml สำหรับโมเดล Qwen3-Coder

อาการ: Skills/เครื่องมือไม่เคยทำงาน ผู้ช่วยพิมพ์ JSON/XML ดิบ เช่น {"name":"read","arguments":...} หรือ vLLM ส่งคืนอาร์เรย์ tool_calls ว่างเมื่อ OpenClaw ส่ง tool_choice: "auto"

ชุดการทำงานร่วมกันบางแบบของ Qwen/vLLM จะส่งคืนการเรียกใช้เครื่องมือแบบมีโครงสร้างเฉพาะเมื่อคำขอใช้ tool_choice: "required" บังคับใช้แยกตามโมเดลด้วย params.extra_body:

{  agents: {    defaults: {      models: {        "vllm/Qwen-Qwen2.5-Coder-32B-Instruct": {          params: {            extra_body: {              tool_choice: "required",            },          },        },      },    },  },}

แทนที่ ID โมเดลด้วย ID ที่ตรงกันทุกประการจาก openclaw models list --provider vllm หรือใช้การเขียนทับเดียวกันจาก CLI:

openclaw config set agents.defaults.models '{"vllm/Qwen-Qwen2.5-Coder-32B-Instruct":{"params":{"extra_body":{"tool_choice":"required"}}}}' --strict-json --merge

นี่เป็นวิธีแก้ปัญหาชั่วคราวที่ต้องเลือกเปิดใช้ โดยจะบังคับให้ทุกรอบที่มีเครื่องมือทำการเรียกใช้เครื่องมือ ดังนั้นให้ใช้เฉพาะกับรายการโมเดลเฉพาะที่ยอมรับพฤติกรรมนี้ได้เท่านั้น ห้ามตั้งค่าเป็นค่าเริ่มต้นส่วนกลางสำหรับโมเดล vLLM ทั้งหมด และห้ามใช้ร่วมกับพร็อกซีที่แปลงข้อความใด ๆ จากผู้ช่วยเป็นการเรียกใช้เครื่องมือที่สามารถดำเนินการได้

หากเซิร์ฟเวอร์ vLLM ของคุณทำงานบนโฮสต์หรือพอร์ตที่ไม่ใช่ค่าเริ่มต้น ให้ตั้งค่า baseUrl ในการกำหนดค่าผู้ให้บริการอย่างชัดเจน:

{  models: {    providers: {      vllm: {        baseUrl: "http://192.168.1.50:9000/v1",        apiKey: "${VLLM_API_KEY}",        api: "openai-completions",        timeoutSeconds: 300,        models: [          {            id: "my-custom-model",            name: "Remote vLLM Model",            reasoning: false,            input: ["text"],            contextWindow: 64000,            maxTokens: 4096,          },        ],      },    },  },}

สำหรับโมเดลภายในเครื่องขนาดใหญ่ โฮสต์ LAN ระยะไกล หรือลิงก์ tailnet ให้ตั้งค่าระยะหมดเวลาของคำขอในขอบเขตของผู้ให้บริการ:

{  models: {    providers: {      vllm: {        baseUrl: "http://192.168.1.50:8000/v1",        apiKey: "${VLLM_API_KEY}",        api: "openai-completions",        timeoutSeconds: 300,        models: [{ id: "your-model-id", name: "Local vLLM Model" }],      },    },  },}

timeoutSeconds มีผลเฉพาะกับคำขอ HTTP ของโมเดล vLLM ได้แก่ การตั้งค่าการเชื่อมต่อ ส่วนหัวการตอบกลับ การสตรีมเนื้อหา และการยกเลิก guarded-fetch เมื่อครบเวลารวม นอกจากนี้ยังเพิ่มเพดานตัวเฝ้าระวังการไม่มีการทำงาน/สตรีมของ LLM ให้สูงกว่าค่าเริ่มต้นโดยนัยประมาณ 120 วินาทีสำหรับผู้ให้บริการนี้ ควรใช้วิธีนี้แทนการเพิ่ม agents.defaults.timeoutSeconds ซึ่งควบคุมการทำงานทั้งหมดของเอเจนต์

ตรวจสอบว่าเซิร์ฟเวอร์ vLLM กำลังทำงานและสามารถเข้าถึงได้:

curl http://127.0.0.1:8000/v1/models

หากพบข้อผิดพลาดในการเชื่อมต่อ ให้ตรวจสอบโฮสต์ พอร์ต และยืนยันว่า vLLM เริ่มทำงานในโหมดเซิร์ฟเวอร์ที่เข้ากันได้กับ OpenAI OpenClaw เชื่อถือต้นทาง models.providers.vllm.baseUrl ที่กำหนดค่าไว้อย่างตรงกันทุกประการสำหรับคำขอโมเดลแบบมีการป้องกันบนปลายทาง local loopback, LAN และ Tailscale ต้นทางเมทาดาทา/link-local ยังคงถูกบล็อกหากไม่ได้เลือกเปิดใช้อย่างชัดเจน ตั้งค่า models.providers.vllm.request.allowPrivateNetwork: true เฉพาะเมื่อคำขอ vLLM จำเป็นต้องเข้าถึงต้นทางส่วนตัวอื่น หรือใช้ false เพื่อยกเลิกการเชื่อถือต้นทางที่ตรงกันทุกประการ

หากคำขอล้มเหลวด้วยข้อผิดพลาดการยืนยันตัวตน ให้ตั้งค่า VLLM_API_KEY จริงที่ตรงกับการกำหนดค่าเซิร์ฟเวอร์ของคุณ หรือกำหนดค่าผู้ให้บริการอย่างชัดเจนภายใต้ models.providers.vllm

การค้นหาอัตโนมัติกำหนดให้ต้องตั้งค่า VLLM_API_KEY หากคุณกำหนด models.providers.vllm ไว้ OpenClaw จะใช้เฉพาะโมเดลที่คุณประกาศ เว้นแต่ agents.defaults.models จะมี "vllm/*": {}

หากโมเดล Qwen พิมพ์ไวยากรณ์เครื่องมือ JSON/XML แทนการเรียกใช้ Skill:

• เริ่ม vLLM ด้วยตัวแยกวิเคราะห์/เทมเพลตที่ถูกต้องสำหรับโมเดลนั้น
• ยืนยัน ID โมเดลที่ตรงกันทุกประการด้วย openclaw models list --provider vllm
• เพิ่มการเขียนทับ params.extra_body.tool_choice: "required" แยกเฉพาะโมเดลนั้น หาก tool_choice: "auto" ยังคงส่งคืนการเรียกใช้เครื่องมือที่ว่างเปล่าหรือมีเพียงข้อความ