Tools
مروری بر رسانهها
OpenClaw تصویر، ویدئو و موسیقی تولید میکند، رسانههای ورودی (تصویر، صدا و ویدئو) را درک میکند و پاسخها را با تبدیل متن به گفتار با صدای بلند میخواند. همهٔ قابلیتهای رسانهای مبتنی بر ابزار هستند: عامل بر اساس گفتوگو تصمیم میگیرد چه زمانی از آنها استفاده کند و هر ابزار تنها زمانی نمایش داده میشود که دستکم یک ارائهدهندهٔ پشتیبان پیکربندی شده باشد.
گفتار زنده بهجای مسیر ابزار رسانهای تکمرحلهای، از قرارداد نشست Talk استفاده میکند.
Talk سه حالت دارد: realtime بومی ارائهدهنده، stt-tts محلی یا جریانی،
و transcription برای ضبط گفتار صرفاً با هدف مشاهده. این حالتها
کاتالوگهای ارائهدهنده، پوشهای رویداد و معناشناسی لغو را با
تلفن، جلسهها، بلادرنگ مرورگر و کلاینتهای بومی «فشار برای صحبت» مشترک میدانند.
قابلیتها
با استفاده از image_generate، از اعلانهای متنی یا تصاویر مرجع
تصویر بسازید و ویرایش کنید. در نشستهای چت ناهمگام است — در پسزمینه اجرا میشود و
پس از آمادهشدن، نتیجه را ارسال میکند.
تبدیل متن به ویدئو، تصویر به ویدئو و ویدئو به ویدئو با video_generate.
ناهمگام — در پسزمینه اجرا میشود و پس از آمادهشدن، نتیجه را ارسال میکند.
با استفاده از music_generate موسیقی یا قطعهٔ صوتی تولید کنید. در نشستهای
چت و در چرخهٔ عمر مشترک وظیفهٔ تولید رسانه، ناهمگام است.
پاسخهای خروجی را با استفاده از ابزار tts و پیکربندی
messages.tts به صوت گفتاری تبدیل کنید. همگام.
تصاویر، صداها و ویدئوهای ورودی را با استفاده از ارائهدهندگان مدل دارای قابلیت بینایی و Pluginهای اختصاصی درک رسانه خلاصه کنید.
پیامهای صوتی ورودی را از طریق ارائهدهندگان STT دستهای یا STT جریانی تماس صوتی رونویسی کنید.
ماتریس قابلیتهای ارائهدهندگان
| ارائهدهنده | تصویر | ویدئو | موسیقی | TTS | STT | صدای بلادرنگ | درک رسانه |
|---|---|---|---|---|---|---|---|
| Alibaba | ✓ | ||||||
| Azure Speech | ✓ | ||||||
| BytePlus | ✓ | ||||||
| ComfyUI | ✓ | ✓ | ✓ | ||||
| Deepgram | ✓ | ||||||
| DeepInfra | ✓ | ✓ | ✓ | ✓ | ✓ | ||
| ElevenLabs | ✓ | ✓ | |||||
| fal | ✓ | ✓ | ✓ | ||||
| ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | |
| Gradium | ✓ | ||||||
| Inworld | ✓ | ||||||
| LiteLLM | ✓ | ||||||
| CLI محلی | ✓ | ||||||
| Microsoft | ✓ | ||||||
| Microsoft Foundry | ✓ | ||||||
| MiniMax | ✓ | ✓ | ✓ | ✓ | |||
| Mistral | ✓ | ||||||
| OpenAI | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | |
| OpenRouter | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | |
| PixVerse | ✓ | ||||||
| Qwen | ✓ | ✓ | |||||
| Runway | ✓ | ||||||
| SenseAudio | ✓ | ||||||
| Together | ✓ | ||||||
| Volcengine | ✓ | ||||||
| Vydra | ✓ | ✓ | ✓ | ||||
| xAI | ✓ | ✓ | ✓ | ✓ | ✓ | ||
| Xiaomi MiMo | ✓ |
ناهمگام در برابر همگام
| قابلیت | حالت | دلیل |
|---|---|---|
| تصویر | ناهمگام | پردازش ارائهدهنده ممکن است از یک نوبت چت طولانیتر شود؛ پیوستهای تولیدشده از مسیر تکمیل مشترک استفاده میکنند. |
| تبدیل متن به گفتار | همگام | پاسخهای ارائهدهنده طی چند ثانیه برمیگردند و به صوت پاسخ پیوست میشوند. |
| ویدئو | ناهمگام | پردازش ارائهدهنده از ۳۰ ثانیه تا چند دقیقه طول میکشد؛ صفهای کند میتوانند تا مهلت زمانی پیکربندیشده اجرا شوند. |
| موسیقی | ناهمگام | ویژگی پردازش ارائهدهنده همانند ویدئو است. |
برای ابزارهای ناهمگام، OpenClaw درخواست را به ارائهدهنده ارسال میکند، بلافاصله یک
شناسهٔ وظیفه برمیگرداند و کار را در دفتر کل وظایف پیگیری میکند. عامل در حین اجرای
کار، به پاسخگویی به پیامهای دیگر ادامه میدهد. وقتی کار ارائهدهنده تمام میشود،
OpenClaw عامل را با مسیرهای رسانهٔ تولیدشده بیدار میکند تا بتواند از طریق حالت عادی
پاسخ قابلمشاهدهٔ نشست، کاربر را مطلع کند: تحویل خودکار پاسخ نهایی
در صورت پیکربندی، یا message(action="send") هنگامی که نشست به
ابزار پیام نیاز دارد. اگر نشست درخواستکننده غیرفعال باشد یا بیدارسازی فعال آن
ناموفق شود و هنوز برخی رسانههای تولیدشده در پاسخ تکمیل وجود نداشته باشند،
OpenClaw یک پاسخ جایگزین مستقیم و همتوان را که فقط شامل رسانههای مفقود است ارسال میکند. رسانهای که
پیشتر با پاسخ تکمیل تحویل شده است، دوباره ارسال نمیشود.
تبدیل گفتار به متن و تماس صوتی
Deepgram، DeepInfra، ElevenLabs، Google، Groq، Mistral، OpenAI، OpenRouter،
SenseAudio و xAI همگی در صورت پیکربندی میتوانند صوت ورودی را از طریق مسیر دستهای
tools.media.audio رونویسی کنند. Pluginهای کانال که یک
یادداشت صوتی را برای بررسی اولیهٔ الزام اشاره یا تجزیهٔ فرمان بررسی میکنند، پیوست رونویسیشده
را در بافت ورودی علامتگذاری میکنند تا گذر مشترک درک رسانه
بهجای انجام فراخوانی دوم STT برای همان صوت، از آن رونوشت دوباره استفاده کند.
Deepgram، ElevenLabs، Mistral، OpenAI و xAI همچنین ارائهدهندگان STT جریانی تماس صوتی را ثبت میکنند تا صوت زندهٔ تلفن بدون انتظار برای کاملشدن ضبط، به فروشندهٔ انتخابشده ارسال شود.
برای گفتوگوهای زندهٔ کاربر، حالت Talk را ترجیح دهید. پیوستهای صوتی دستهای در مسیر رسانه باقی میمانند؛ بلادرنگ مرورگر، «فشار برای صحبت» بومی، تلفن و صوت جلسه باید از رویدادهای Talk و کاتالوگهای محدود به نشست برگشتی از Gateway استفاده کنند.
نگاشت ارائهدهندگان (نحوهٔ تقسیم فروشندگان میان سطوح)
سطوح تصویر، ویدئو، موسیقی، TTS دستهای، STT دستهای، صدای بلادرنگ سمت پشتی و درک رسانه.
OpenAI
سطوح تصویر، ویدئو، TTS دستهای، STT دستهای، STT جریانی تماس صوتی، صدای بلادرنگ سمت پشتی و جاسازی حافظه.
DeepInfra
سطوح مسیریابی چت/مدل، تولید/ویرایش تصویر، تبدیل متن به ویدئو، TTS دستهای، STT دستهای، درک رسانهٔ تصویری و جاسازی حافظه. DeepInfra همچنین بازرتبهبندی، طبقهبندی، تشخیص اشیا و انواع دیگر مدلهای بومی را ارائه میدهد؛ OpenClaw هنوز برای این دستهها قرارداد ارائهدهنده ندارد، بنابراین این Plugin آنها را ثبت نمیکند.
xAI
تصویر، ویدئو، جستوجو، اجرای کد، TTS دستهای، STT دستهای و STT جریانی تماس صوتی. صدای بلادرنگ xAI یک قابلیت بالادستی است، اما تا زمانی که قرارداد مشترک صدای بلادرنگ بتواند آن را نمایش دهد، در OpenClaw ثبت نمیشود.
