Tools
ภาพรวมสื่อ
OpenClaw สร้างรูปภาพ วิดีโอ และเพลง ทำความเข้าใจสื่อขาเข้า (รูปภาพ เสียง วิดีโอ) และอ่านคำตอบออกเสียงด้วยการแปลงข้อความเป็นเสียง ความสามารถด้าน สื่อทั้งหมดขับเคลื่อนด้วยเครื่องมือ โดยเอเจนต์จะตัดสินใจว่าเมื่อใดควรใช้ตาม บทสนทนา และแต่ละเครื่องมือจะปรากฏเฉพาะเมื่อมีการกำหนดค่า ผู้ให้บริการเบื้องหลังอย่างน้อยหนึ่งราย
เสียงพูดสดใช้สัญญาเซสชัน Talk แทนเส้นทางเครื่องมือสื่อแบบ
ครั้งเดียว Talk มีสามโหมด ได้แก่ realtime ที่ทำงานโดยตรงผ่านผู้ให้บริการ,
stt-tts แบบภายในเครื่องหรือแบบสตรีม และ transcription สำหรับจับเสียงพูดเพื่อสังเกตการณ์เท่านั้น โหมดเหล่านี้
ใช้แค็ตตาล็อกผู้ให้บริการ ซองเหตุการณ์ และความหมายของการยกเลิกร่วมกับ
ระบบโทรศัพท์ การประชุม การสื่อสารแบบเรียลไทม์ผ่านเบราว์เซอร์ และไคลเอนต์แบบกดเพื่อพูดโดยตรง
ความสามารถ
สร้างและแก้ไขรูปภาพจากพรอมต์ข้อความหรือรูปภาพอ้างอิงผ่าน
image_generate ทำงานแบบอะซิงโครนัสในเซสชันแชต โดยทำงานเบื้องหลังและ
โพสต์ผลลัพธ์เมื่อพร้อม
แปลงข้อความเป็นวิดีโอ รูปภาพเป็นวิดีโอ และวิดีโอเป็นวิดีโอผ่าน video_generate
ทำงานแบบอะซิงโครนัส โดยทำงานเบื้องหลังและโพสต์ผลลัพธ์เมื่อพร้อม
สร้างเพลงหรือแทร็กเสียงผ่าน music_generate ทำงานแบบอะซิงโครนัสในเซสชัน
แชตตามวงจรชีวิตงานสร้างสื่อที่ใช้ร่วมกัน
แปลงคำตอบขาออกเป็นเสียงพูดผ่านเครื่องมือ tts ร่วมกับ
การกำหนดค่า messages.tts ทำงานแบบซิงโครนัส
สรุปรูปภาพ เสียง และวิดีโอขาเข้าโดยใช้ผู้ให้บริการโมเดล ที่รองรับการมองเห็นและ Plugin เฉพาะสำหรับการทำความเข้าใจสื่อ
ถอดเสียงข้อความเสียงขาเข้าผ่าน STT แบบแบตช์หรือผู้ให้บริการ STT แบบสตรีมสำหรับ Voice Call
เมทริกซ์ความสามารถของผู้ให้บริการ
| ผู้ให้บริการ | รูปภาพ | วิดีโอ | เพลง | TTS | STT | เสียงแบบเรียลไทม์ | การทำความเข้าใจสื่อ |
|---|---|---|---|---|---|---|---|
| Alibaba | ✓ | ||||||
| Azure Speech | ✓ | ||||||
| BytePlus | ✓ | ||||||
| ComfyUI | ✓ | ✓ | ✓ | ||||
| Deepgram | ✓ | ||||||
| DeepInfra | ✓ | ✓ | ✓ | ✓ | ✓ | ||
| ElevenLabs | ✓ | ✓ | |||||
| fal | ✓ | ✓ | ✓ | ||||
| ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | |
| Gradium | ✓ | ||||||
| Inworld | ✓ | ||||||
| LiteLLM | ✓ | ||||||
| CLI ภายในเครื่อง | ✓ | ||||||
| Microsoft | ✓ | ||||||
| Microsoft Foundry | ✓ | ||||||
| MiniMax | ✓ | ✓ | ✓ | ✓ | |||
| Mistral | ✓ | ||||||
| OpenAI | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | |
| OpenRouter | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | |
| PixVerse | ✓ | ||||||
| Qwen | ✓ | ✓ | |||||
| Runway | ✓ | ||||||
| SenseAudio | ✓ | ||||||
| Together | ✓ | ||||||
| Volcengine | ✓ | ||||||
| Vydra | ✓ | ✓ | ✓ | ||||
| xAI | ✓ | ✓ | ✓ | ✓ | ✓ | ||
| Xiaomi MiMo | ✓ |
แบบอะซิงโครนัสเทียบกับแบบซิงโครนัส
| ความสามารถ | โหมด | เหตุผล |
|---|---|---|
| รูปภาพ | อะซิงโครนัส | การประมวลผลของผู้ให้บริการอาจใช้เวลานานกว่ารอบแชต ไฟล์แนบที่สร้างขึ้นใช้เส้นทางการดำเนินการเสร็จสิ้นร่วมกัน |
| การแปลงข้อความเป็นเสียง | ซิงโครนัส | คำตอบจากผู้ให้บริการส่งกลับภายในไม่กี่วินาที และแนบไปกับเสียงของคำตอบ |
| วิดีโอ | อะซิงโครนัส | การประมวลผลของผู้ให้บริการใช้เวลา 30 วินาทีถึงหลายนาที คิวที่ช้าอาจทำงานจนถึงระยะหมดเวลาที่กำหนดค่าไว้ |
| เพลง | อะซิงโครนัส | มีลักษณะการประมวลผลของผู้ให้บริการเช่นเดียวกับวิดีโอ |
สำหรับเครื่องมือแบบอะซิงโครนัส OpenClaw จะส่งคำขอไปยังผู้ให้บริการ ส่งคืนรหัสงาน
ทันที และติดตามงานในบัญชีแยกประเภทงาน เอเจนต์ยังคง
ตอบกลับข้อความอื่นได้ระหว่างที่งานกำลังทำงาน เมื่อผู้ให้บริการดำเนินการเสร็จ
OpenClaw จะปลุกเอเจนต์พร้อมพาธของสื่อที่สร้างขึ้น เพื่อให้แจ้ง
ผู้ใช้ผ่านโหมดคำตอบที่มองเห็นได้ตามปกติของเซสชัน ได้แก่ การส่งคำตอบสุดท้าย
โดยอัตโนมัติเมื่อกำหนดค่าไว้ หรือ message(action="send") เมื่อเซสชันกำหนดให้
ใช้เครื่องมือข้อความ หากเซสชันของผู้ร้องขอไม่ทำงานหรือการปลุกที่ใช้งานอยู่
ล้มเหลว และยังมีสื่อที่สร้างขึ้นบางรายการหายไปจากคำตอบเมื่อดำเนินการเสร็จ
OpenClaw จะส่งทางเลือกสำรองโดยตรงแบบทำซ้ำได้โดยไม่เกิดผลซ้ำ ซึ่งมีเฉพาะสื่อที่หายไป สื่อ
ที่ส่งผ่านคำตอบเมื่อดำเนินการเสร็จแล้วจะไม่ถูกโพสต์ซ้ำ
การแปลงเสียงพูดเป็นข้อความและ Voice Call
Deepgram, DeepInfra, ElevenLabs, Google, Groq, Mistral, OpenAI, OpenRouter,
SenseAudio และ xAI สามารถถอดเสียงขาเข้าผ่านเส้นทางแบบแบตช์
tools.media.audio ได้ทั้งหมดเมื่อกำหนดค่าไว้ Plugin ช่องทางที่ตรวจสอบเบื้องต้น
ข้อความเสียงเพื่อคัดกรองการกล่าวถึงหรือแยกวิเคราะห์คำสั่ง จะทำเครื่องหมายไฟล์แนบที่ถอดเสียงแล้ว
ในบริบทขาเข้า เพื่อให้ขั้นตอนการทำความเข้าใจสื่อที่ใช้ร่วมกัน
นำบทถอดเสียงนั้นกลับมาใช้แทนการเรียก STT ครั้งที่สองสำหรับเสียงเดียวกัน
Deepgram, ElevenLabs, Mistral, OpenAI และ xAI ยังลงทะเบียนผู้ให้บริการ STT แบบสตรีมสำหรับ Voice Call ด้วย จึงสามารถส่งต่อเสียงโทรศัพท์สดไปยังผู้จำหน่าย ที่เลือกได้โดยไม่ต้องรอให้การบันทึกเสร็จสมบูรณ์
สำหรับการสนทนาสดกับผู้ใช้ ควรใช้โหมด Talk ไฟล์แนบเสียงแบบแบตช์ ยังคงใช้เส้นทางสื่อ ส่วนเสียงแบบเรียลไทม์ผ่านเบราว์เซอร์ การกดเพื่อพูดโดยตรง ระบบโทรศัพท์ และการประชุม ควรใช้เหตุการณ์ Talk และแค็ตตาล็อกระดับเซสชัน ที่ Gateway ส่งคืน
การแมปผู้ให้บริการ (วิธีที่ผู้จำหน่ายแบ่งความสามารถตามพื้นผิว)
พื้นผิวสำหรับรูปภาพ วิดีโอ เพลง TTS แบบแบตช์ STT แบบแบตช์ เสียงแบบเรียลไทม์ที่แบ็กเอนด์ และ การทำความเข้าใจสื่อ
OpenAI
พื้นผิวสำหรับรูปภาพ วิดีโอ TTS แบบแบตช์ STT แบบแบตช์ STT แบบสตรีมสำหรับ Voice Call เสียงแบบ เรียลไทม์ที่แบ็กเอนด์ และการฝังเวกเตอร์หน่วยความจำ
DeepInfra
พื้นผิวสำหรับการกำหนดเส้นทางแชต/โมเดล การสร้าง/แก้ไขรูปภาพ การแปลงข้อความเป็นวิดีโอ TTS แบบแบตช์ STT แบบแบตช์ การทำความเข้าใจสื่อรูปภาพ และการฝังเวกเตอร์หน่วยความจำ DeepInfra ยังให้บริการการจัดอันดับใหม่ การจำแนกประเภท การตรวจจับวัตถุ และ โมเดลชนิดอื่นที่รองรับโดยตรง แต่ OpenClaw ยังไม่มีสัญญาผู้ให้บริการสำหรับ หมวดหมู่เหล่านั้น ดังนั้น Plugin นี้จึงไม่ลงทะเบียนความสามารถดังกล่าว
xAI
รูปภาพ วิดีโอ การค้นหา การเรียกใช้โค้ด TTS แบบแบตช์ STT แบบแบตช์ และ STT แบบสตรีมสำหรับ Voice Call เสียงแบบเรียลไทม์ของ xAI เป็นความสามารถจากต้นทาง แต่ ยังไม่ได้ลงทะเบียนใน OpenClaw จนกว่าสัญญาเสียงแบบเรียลไทม์ที่ใช้ร่วมกันจะ สามารถรองรับได้
