การสร้างวิดีโอ

"status" ส่งคืนงานปัจจุบันของเซสชัน ส่วน "list" ใช้ตรวจสอบผู้ให้บริการ

OPENCLAW_DOCS_MARKER:paramOpen:IHBhdGg9InRpbWVvdXRNcyIgdHlwZT0ibnVtYmVyIg ระยะหมดเวลาของการดำเนินการกับผู้ให้บริการเป็นมิลลิวินาที ซึ่งระบุหรือไม่ก็ได้ เมื่อไม่ได้ระบุ OpenClaw จะใช้ agents.defaults.videoGenerationModel.timeoutMs หากมีการกำหนดค่าไว้ มิฉะนั้นจะใช้ค่าปริยายของผู้ให้บริการที่ผู้เขียน Plugin กำหนด หากมี OPENCLAW_DOCS_MARKER:paramClose:

อินพุตอ้างอิงจะเลือกโหมดรันไทม์ดังนี้:

• ไม่มีสื่ออ้างอิง -> generate
• มีการอ้างอิงรูปภาพใด ๆ -> imageToVideo
• มีการอ้างอิงวิดีโอใด ๆ -> videoToVideo
• อินพุตเสียงอ้างอิง ไม่ เปลี่ยนโหมดที่กำหนดแล้ว แต่จะใช้ เพิ่มเติมจากโหมดที่การอ้างอิงรูปภาพ/วิดีโอเลือกไว้ และทำงานได้เฉพาะ กับผู้ให้บริการที่ประกาศ maxInputAudios

การผสมการอ้างอิงรูปภาพและวิดีโอไม่ใช่พื้นผิวความสามารถร่วมที่เสถียร ควรใช้การอ้างอิงเพียงประเภทเดียวต่อคำขอ

การใช้ผู้ให้บริการสำรองและตัวเลือกแบบระบุชนิด

การตรวจสอบความสามารถบางอย่างเกิดขึ้นที่ชั้นการใช้ผู้ให้บริการสำรองแทนที่จะเป็นขอบเขตของเครื่องมือ ดังนั้นคำขอที่เกินขีดจำกัดของผู้ให้บริการหลักยังสามารถ ทำงานกับผู้ให้บริการสำรองที่มีความสามารถเพียงพอได้:

• ตัวเลือกที่กำลังใช้งานซึ่งไม่ได้ประกาศ maxInputAudios (หรือประกาศเป็น 0) จะถูกข้ามเมื่อ คำขอมีเสียงอ้างอิง จากนั้นจะลองตัวเลือกถัดไป การตรวจสอบแบบเดียวกันนี้ ใช้กับจำนวนการอ้างอิงรูปภาพและวิดีโอเทียบกับ maxInputImages/maxInputVideos
• หาก maxDurationSeconds ของตัวเลือกที่กำลังใช้งานต่ำกว่า durationSeconds ที่ขอ และไม่มีรายการ supportedDurationSeconds ที่ประกาศไว้ -> ข้าม
• หากคำขอมี providerOptions และตัวเลือกที่กำลังใช้งานประกาศ สคีมา providerOptions แบบระบุชนิดไว้อย่างชัดเจน -> ข้ามหากคีย์ที่ระบุ ไม่อยู่ในสคีมาหรือชนิดค่าไม่ตรงกัน ผู้ให้บริการที่ไม่มี สคีมาที่ประกาศไว้จะได้รับตัวเลือกตามที่ระบุโดยไม่มีการเปลี่ยนแปลง (การส่งผ่านที่ เข้ากันได้กับรุ่นก่อนหน้า) ผู้ให้บริการสามารถปฏิเสธตัวเลือกทั้งหมดของผู้ให้บริการได้โดย ประกาศสคีมาว่าง (capabilities.providerOptions: {}) ซึ่ง ทำให้ถูกข้ามเช่นเดียวกับกรณีชนิดไม่ตรงกัน

เหตุผลในการข้ามรายการแรกของคำขอจะถูกบันทึกที่ระดับ warn เพื่อให้ผู้ดูแลระบบเห็นว่า ผู้ให้บริการหลักของตนถูกข้าม ส่วนการข้ามรายการถัด ๆ ไปจะถูกบันทึกที่ระดับ debug เพื่อ ไม่ให้สายโซ่ผู้ให้บริการสำรองที่ยาวสร้างข้อมูลรบกวนมากเกินไป หากตัวเลือกทั้งหมดถูกข้าม ข้อผิดพลาดแบบรวมจะมีเหตุผลในการข้ามของแต่ละตัวเลือก

การดำเนินการ

การเลือกโมเดล

OpenClaw จะกำหนดโมเดลตามลำดับต่อไปนี้:

1. พารามิเตอร์เครื่องมือ model - หากเอเจนต์ระบุไว้ในการเรียก
2. videoGenerationModel.primary จากการกำหนดค่า
3. videoGenerationModel.fallbacks ตามลำดับ
4. การตรวจหาอัตโนมัติ - ผู้ให้บริการที่มีข้อมูลรับรองความถูกต้อง โดยเริ่มจาก ผู้ให้บริการปริยายปัจจุบัน จากนั้นจึงเป็นผู้ให้บริการที่เหลือตามลำดับ ตัวอักษร

หากผู้ให้บริการล้มเหลว ระบบจะลองตัวเลือกถัดไปโดยอัตโนมัติ หาก ตัวเลือกทั้งหมดล้มเหลว ข้อผิดพลาดจะมีรายละเอียดจากการลองแต่ละครั้ง

ตั้งค่า agents.defaults.mediaGenerationAutoProviderFallback: false เพื่อใช้ เฉพาะรายการ model, primary และ fallbacks ที่ระบุไว้อย่างชัดเจน

{  agents: {    defaults: {      videoGenerationModel: {        primary: "google/veo-3.1-fast-generate-preview",        fallbacks: ["runway/gen4.5", "qwen/wan2.6-t2v"],        timeoutMs: 180000, // optional per-tool provider request timeout override      },    },  },}

หมายเหตุเกี่ยวกับผู้ให้บริการ

โหมดความสามารถของผู้ให้บริการ

สัญญาการสร้างวิดีโอร่วมรองรับความสามารถเฉพาะโหมด แทนที่จะรองรับเพียงขีดจำกัดรวมแบบแบน การติดตั้งใช้งานผู้ให้บริการใหม่ ควรเลือกใช้บล็อกโหมดที่ระบุชัดเจน:

capabilities: {  generate: {    maxVideos: 1,    maxDurationSeconds: 10,    supportsResolution: true,  },  imageToVideo: {    enabled: true,    maxVideos: 1,    maxInputImages: 1,    maxInputImagesByModel: { "provider/reference-to-video": 9 },    maxDurationSeconds: 5,  },  videoToVideo: {    enabled: true,    maxVideos: 1,    maxInputVideos: 1,    maxDurationSeconds: 5,  },}

ฟิลด์รวมแบบแบน เช่น maxInputImages และ maxInputVideos ไม่เพียงพอสำหรับระบุว่ารองรับโหมดแปลง ผู้ให้บริการควร ประกาศ generate, imageToVideo และ videoToVideo อย่างชัดเจน เพื่อให้การทดสอบ แบบสด การทดสอบสัญญา และเครื่องมือ video_generate ที่ใช้ร่วมกันสามารถตรวจสอบ การรองรับโหมดได้อย่างแน่นอน

เมื่อโมเดลหนึ่งของผู้ให้บริการรองรับอินพุตอ้างอิงได้กว้างกว่า โมเดลอื่น ให้ใช้ maxInputImagesByModel, maxInputVideosByModel หรือ maxInputAudiosByModel แทนการเพิ่มขีดจำกัดสำหรับทั้งโหมด

การทดสอบแบบสด

เปิดใช้ความครอบคลุมการทดสอบแบบสดสำหรับผู้ให้บริการร่วมที่รวมมาให้ได้ตามต้องการ:

OPENCLAW_LIVE_TEST=1 pnpm test:live -- extensions/video-generation-providers.live.test.ts

ตัวครอบของคลัง:

pnpm test:live:media video

โดยค่าเริ่มต้น ไฟล์ทดสอบแบบสดนี้ใช้ตัวแปรสภาพแวดล้อมของผู้ให้บริการที่ส่งออกไว้แล้วก่อน โปรไฟล์การยืนยันตัวตนที่จัดเก็บไว้ และเรียกใช้การทดสอบเบื้องต้นที่ปลอดภัยสำหรับการเผยแพร่โดยค่าเริ่มต้น:

• generate สำหรับผู้ให้บริการทุกรายที่ไม่ใช่ FAL ในการทดสอบรอบนี้
• พรอมต์กุ้งมังกรความยาวหนึ่งวินาที
• ขีดจำกัดเวลาการดำเนินการต่อผู้ให้บริการจาก OPENCLAW_LIVE_VIDEO_GENERATION_TIMEOUT_MS (ค่าเริ่มต้นคือ 180000)

FAL ต้องเปิดใช้เอง เนื่องจากเวลาแฝงของคิวฝั่งผู้ให้บริการอาจกินเวลาส่วนใหญ่ของ กระบวนการเผยแพร่:

pnpm test:live:media video --video-providers fal

ตั้งค่า OPENCLAW_LIVE_VIDEO_GENERATION_FULL_MODES=1 เพื่อเรียกใช้ โหมดแปลงที่ประกาศไว้เพิ่มเติม ซึ่งการทดสอบร่วมสามารถทดสอบได้อย่างปลอดภัยด้วยสื่อในเครื่อง:

• imageToVideo เมื่อ capabilities.imageToVideo.enabled
• videoToVideo เมื่อ capabilities.videoToVideo.enabled และ ผู้ให้บริการ/โมเดลยอมรับอินพุตวิดีโอในเครื่องที่มีบัฟเฟอร์รองรับในการทดสอบ ร่วม

ปัจจุบันช่องทางทดสอบแบบสด videoToVideo ที่ใช้ร่วมกันครอบคลุมเฉพาะ runway เมื่อเลือก runway/gen4_aleph

การกำหนดค่า

ตั้งค่าโมเดลเริ่มต้นสำหรับการสร้างวิดีโอในการกำหนดค่า OpenClaw ของคุณ:

{  agents: {    defaults: {      videoGenerationModel: {        primary: "qwen/wan2.6-t2v",        fallbacks: ["qwen/wan2.6-r2v-flash"],      },    },  },}

หรือผ่าน CLI:

openclaw config set agents.defaults.videoGenerationModel.primary "qwen/wan2.6-t2v"

เนื้อหาที่เกี่ยวข้อง

• Alibaba Model Studio
• งานเบื้องหลัง - การติดตามงานสำหรับการสร้างวิดีโอแบบอะซิงโครนัส
• BytePlus
• ComfyUI
• ข้อมูลอ้างอิงการกำหนดค่า
• fal
• Google (Gemini)
• MiniMax
• โมเดล
• OpenAI
• Qwen
• Runway
• Together AI
• ภาพรวมเครื่องมือ
• Vydra
• xAI