---
read_when:
- 想要了解 OpenClaw 媒体能力的概览
- 决定配置哪个媒体提供商
- 了解异步媒体生成的工作原理
sidebarTitle: Media overview
summary: 图像、视频、音乐、语音和媒体理解能力概览
title: 媒体概览
x-i18n:
generated_at: "2026-07-11T21:00:14Z"
model: gpt-5.6
postprocess_version: locale-links-v1
provider: openai
source_hash: f7d7bf8bd2052cdba088d7a612bb89b0fc3a95b3635c7fcd2138eb731121b85f
source_path: tools/media-overview.md
workflow: 16
---
OpenClaw 可生成图像、视频和音乐，理解入站媒体
（图像、音频、视频），并通过文本转语音朗读回复。所有
媒体能力均由工具驱动：智能体根据对话决定何时使用它们，
并且只有配置了至少一个后端提供商时，各工具才会显示。
实时语音使用 Talk 会话契约，而不是一次性媒体工具
路径。Talk 有三种模式：提供商原生 `realtime`、本地或流式
`stt-tts`，以及用于仅观察式语音捕获的 `transcription`。这些模式
与电话、会议、浏览器实时功能和原生按键通话客户端共享
提供商目录、事件信封和取消语义。
## 能力
通过 `image_generate`，根据文本提示词或参考图像创建和编辑图像。
在聊天会话中异步执行——在后台运行，并在就绪后
发布结果。
通过 `video_generate` 实现文本生成视频、图像生成视频和视频转换视频。
异步执行——在后台运行，并在就绪后发布结果。
通过 `music_generate` 生成音乐或音轨。在聊天
会话中，基于共享媒体生成任务生命周期异步执行。
通过 `tts` 工具和 `messages.tts` 配置，将出站回复转换为语音音频。
同步执行。
使用支持视觉的模型提供商和专用媒体理解插件，
总结入站图像、音频和视频。
通过批量 STT 或 Voice Call 流式 STT 提供商，
转录入站语音消息。
## 提供商能力矩阵
此表涵盖专用的媒体生成、TTS 和 STT 插件。许多
聊天模型提供商（Anthropic、Google、OpenAI 等）也可通过其回复模型
理解入站媒体；完整提供商列表请参阅
[媒体理解](/zh-CN/nodes/media-understanding#provider-support-matrix)。
| 提供商 | 图像 | 视频 | 音乐 | TTS | STT | 实时语音 | 媒体理解 |
| ----------------- | :---: | :---: | :---: | :-: | :-: | :------------: | :-----------------: |
| Alibaba | | ✓ | | | | | |
| Azure Speech | | | | ✓ | | | |
| BytePlus | | ✓ | | | | | |
| ComfyUI | ✓ | ✓ | ✓ | | | | |
| Deepgram | | | | | ✓ | | |
| DeepInfra | ✓ | ✓ | | ✓ | ✓ | | ✓ |
| ElevenLabs | | | | ✓ | ✓ | | |
| fal | ✓ | ✓ | ✓ | | | | |
| Google | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ |
| Gradium | | | | ✓ | | | |
| Inworld | | | | ✓ | | | |
| LiteLLM | ✓ | | | | | | |
| 本地 CLI | | | | ✓ | | | |
| Microsoft | | | | ✓ | | | |
| Microsoft Foundry | ✓ | | | | | | |
| MiniMax | ✓ | ✓ | ✓ | ✓ | | | |
| Mistral | | | | | ✓ | | |
| OpenAI | ✓ | ✓ | | ✓ | ✓ | ✓ | ✓ |
| OpenRouter | ✓ | ✓ | ✓ | ✓ | ✓ | | ✓ |
| PixVerse | | ✓ | | | | | |
| Qwen | | ✓ | | | | | ✓ |
| Runway | | ✓ | | | | | |
| SenseAudio | | | | | ✓ | | |
| Together | | ✓ | | | | | |
| Volcengine | | | | ✓ | | | |
| Vydra | ✓ | ✓ | | ✓ | | | |
| xAI | ✓ | ✓ | | ✓ | ✓ | | ✓ |
| Xiaomi MiMo | | | | ✓ | | | |
此处的**实时语音**是指提供商原生的双向实时功能（Talk
`realtime` 模式，例如 Gemini Live 或 OpenAI Realtime API）——目前只有 Google
和 OpenAI 注册了此功能。Deepgram、ElevenLabs、Mistral、OpenAI 和 xAI
另行注册了 Voice Call 流式 STT（单向音频转文本）；请参阅下方的
[语音转文本和 Voice Call](#speech-to-text-and-voice-call)。
xAI 实时语音是上游能力，但在共享实时语音契约能够表示它之前，
不会在 OpenClaw 中注册。
## 异步与同步
| 能力 | 模式 | 原因 |
| ---------- | ---- | ---- |
| 图像 | 异步 | 提供商处理时间可能超过一次聊天轮次；生成的附件使用共享完成路径。 |
| 文本转语音 | 同步 | 提供商响应会在数秒内返回，并附加到回复音频中。 |
| 视频 | 异步 | 提供商处理耗时为 30 秒至数分钟；缓慢队列最长可运行至配置的超时时间。 |
| 音乐 | 异步 | 与视频具有相同的提供商处理特性。 |
对于异步工具，OpenClaw 会将请求提交给提供商，立即返回任务
ID，并在任务账本中跟踪该作业。作业运行期间，智能体可以继续
响应其他消息。提供商完成处理后，OpenClaw 会使用生成的媒体路径
唤醒智能体，使其能够通过会话的正常可见回复模式告知
用户：如果已配置，则自动投递最终回复；如果会话要求
使用消息工具，则调用 `message(action="send")`。如果请求方会话处于非活动状态，
或其主动唤醒失败，并且完成回复中仍缺少部分已生成媒体，
OpenClaw 会发送一条幂等的直接回退消息，其中仅包含缺失的媒体。完成回复
已经投递的媒体不会再次发布。
## 语音转文本和 Voice Call
配置后，Deepgram、DeepInfra、ElevenLabs、Google、Groq、Mistral、OpenAI、OpenRouter、
SenseAudio 和 xAI 均可通过批量
`tools.media.audio` 路径转录入站音频。对语音消息进行预检以执行
提及门控或命令解析的渠道插件，会在入站上下文中标记已转录的
附件，因此共享媒体理解流程会复用该转录文本，而不是对同一
音频再次发起 STT 调用。
Deepgram、ElevenLabs、Mistral、OpenAI 和 xAI 还注册了 Voice Call
流式 STT 提供商，因此实时电话音频可以转发给选定的
供应商，而无需等待完整录音生成。
对于实时用户对话，优先使用 [Talk 模式](/zh-CN/nodes/talk)。批量音频
附件继续使用媒体路径；浏览器实时功能、原生按键通话、
电话和会议音频应使用 Talk 事件以及 Gateway 网关返回的会话级
目录。
## 提供商映射（供应商如何分布在不同功能界面）
图像、视频、音乐、批量 TTS、批量 STT、后端实时语音和
媒体理解功能界面。
图像、视频、批量 TTS、批量 STT、Voice Call 流式 STT、后端
实时语音和记忆嵌入功能界面。
聊天/模型路由、图像生成/编辑、文本生成视频、批量 TTS、
批量 STT、图像媒体理解和记忆嵌入功能界面。
DeepInfra 还提供重排序、分类、对象检测和
其他原生模型类型；OpenClaw 尚未为这些
类别提供提供商契约，因此此插件不会注册它们。
图像、视频、搜索、代码执行、批量 TTS、批量 STT 和 Voice
Call 流式 STT。xAI 实时语音是上游能力，但在共享实时语音契约能够
表示它之前，不会在 OpenClaw 中注册。
## 相关内容
- [图像生成](/zh-CN/tools/image-generation)
- [视频生成](/zh-CN/tools/video-generation)
- [音乐生成](/zh-CN/tools/music-generation)
- [文本转语音](/zh-CN/tools/tts)
- [媒体理解](/zh-CN/nodes/media-understanding)
- [音频节点](/zh-CN/nodes/audio)
- [Talk 模式](/zh-CN/nodes/talk)