Geração de vídeo

"status" retorna a tarefa atual da sessão; "list" inspeciona os provedores.

OPENCLAW_DOCS_MARKER:paramOpen:IHBhdGg9InRpbWVvdXRNcyIgdHlwZT0ibnVtYmVyIg Tempo limite opcional da operação do provedor, em milissegundos. Quando omitido, o OpenClaw usa agents.defaults.videoGenerationModel.timeoutMs, se configurado; caso contrário, usa o padrão do provedor definido pelo autor do plugin, quando houver. OPENCLAW_DOCS_MARKER:paramClose:

As entradas de referência selecionam o modo de execução:

• Nenhuma mídia de referência -> generate
• Qualquer referência de imagem -> imageToVideo
• Qualquer referência de vídeo -> videoToVideo
• As entradas de áudio de referência não alteram o modo determinado; elas são aplicadas sobre qualquer modo selecionado pelas referências de imagem/vídeo e funcionam apenas com provedores que declaram maxInputAudios.

A combinação de referências de imagem e vídeo não constitui uma superfície estável de recursos compartilhados. Prefira um único tipo de referência por solicitação.

Fallback e opções tipadas

Algumas verificações de recursos são aplicadas na camada de fallback, e não no limite da ferramenta. Portanto, uma solicitação que exceda os limites do provedor primário ainda pode ser executada por um fallback compatível:

• O candidato ativo que não declarar maxInputAudios (ou declarar 0) será ignorado quando a solicitação contiver referências de áudio; o próximo candidato será testado. A mesma proteção se aplica às quantidades de referências de imagem e vídeo em relação a maxInputImages/maxInputVideos.
• O candidato ativo cujo maxDurationSeconds seja menor do que o durationSeconds solicitado e que não declare uma lista supportedDurationSeconds -> será ignorado.
• Se a solicitação contiver providerOptions e o candidato ativo declarar explicitamente um esquema tipado de providerOptions -> será ignorado se as chaves fornecidas não estiverem no esquema ou se os tipos dos valores não corresponderem. Os provedores sem um esquema declarado recebem as opções sem alterações (repasse com compatibilidade retroativa). Um provedor pode recusar todas as opções de provedor declarando um esquema vazio (capabilities.providerOptions: {}), o que causa a mesma rejeição que uma incompatibilidade de tipo.

O primeiro motivo de rejeição de uma solicitação é registrado no nível warn, para que os operadores percebam quando o provedor primário foi ignorado; as rejeições seguintes são registradas no nível debug, para manter silenciosas as cadeias longas de fallback. Se todos os candidatos forem ignorados, o erro agregado incluirá o motivo de rejeição de cada um.

Ações

Seleção de modelo

O OpenClaw determina o modelo nesta ordem:

1. Parâmetro model da ferramenta - se o agente especificar um na chamada.
2. videoGenerationModel.primary da configuração.
3. videoGenerationModel.fallbacks na ordem definida.
4. Detecção automática - provedores que têm autenticação válida, começando pelo provedor padrão atual e depois pelos provedores restantes em ordem alfabética.

Se um provedor falhar, o próximo candidato será testado automaticamente. Se todos os candidatos falharem, o erro incluirá detalhes de cada tentativa.

Defina agents.defaults.mediaGenerationAutoProviderFallback: false para usar somente as entradas explícitas de model, primary e fallbacks.

{  agents: {    defaults: {      videoGenerationModel: {        primary: "google/veo-3.1-fast-generate-preview",        fallbacks: ["runway/gen4.5", "qwen/wan2.6-t2v"],        timeoutMs: 180000, // substituição opcional do tempo limite da solicitação ao provedor por ferramenta      },    },  },}

Observações sobre os provedores

Modos de capacidade dos provedores

O contrato compartilhado de geração de vídeo é compatível com capacidades específicas por modo, em vez de apenas limites agregados simples. Novas implementações de provedores devem preferir blocos de modo explícitos:

capabilities: {  generate: {    maxVideos: 1,    maxDurationSeconds: 10,    supportsResolution: true,  },  imageToVideo: {    enabled: true,    maxVideos: 1,    maxInputImages: 1,    maxInputImagesByModel: { "provider/reference-to-video": 9 },    maxDurationSeconds: 5,  },  videoToVideo: {    enabled: true,    maxVideos: 1,    maxInputVideos: 1,    maxDurationSeconds: 5,  },}

Campos agregados simples, como maxInputImages e maxInputVideos, não são suficientes para anunciar compatibilidade com modos de transformação. Os provedores devem declarar generate, imageToVideo e videoToVideo explicitamente para que testes em ambiente real, testes de contrato e a ferramenta compartilhada video_generate possam validar a compatibilidade com os modos de forma determinística.

Quando um modelo de um provedor tem compatibilidade mais ampla com entradas de referência do que os demais, use maxInputImagesByModel, maxInputVideosByModel ou maxInputAudiosByModel em vez de aumentar o limite de todo o modo.

Testes em ambiente real

Cobertura opcional em ambiente real para os provedores compartilhados incluídos:

OPENCLAW_LIVE_TEST=1 pnpm test:live -- extensions/video-generation-providers.live.test.ts

Wrapper do repositório:

pnpm test:live:media video

Por padrão, esse arquivo de testes em ambiente real usa as variáveis de ambiente já exportadas dos provedores antes dos perfis de autenticação armazenados e executa um teste de fumaça seguro para lançamento:

• generate para cada provedor que não seja FAL na varredura.
• Prompt de lagosta com duração de um segundo.
• Limite de tempo por operação e por provedor definido por OPENCLAW_LIVE_VIDEO_GENERATION_TIMEOUT_MS (180000 por padrão).

O FAL é opcional porque a latência da fila no lado do provedor pode dominar o tempo de lançamento:

pnpm test:live:media video --video-providers fal

Defina OPENCLAW_LIVE_VIDEO_GENERATION_FULL_MODES=1 para também executar os modos de transformação declarados que a varredura compartilhada pode exercitar com segurança usando mídia local:

• imageToVideo quando capabilities.imageToVideo.enabled.
• videoToVideo quando capabilities.videoToVideo.enabled e o provedor/modelo aceita entrada de vídeo local baseada em buffer na varredura compartilhada.

Atualmente, a faixa compartilhada de testes em ambiente real de videoToVideo abrange apenas runway quando você seleciona runway/gen4_aleph.

Configuração

Defina o modelo padrão de geração de vídeo na configuração do OpenClaw:

{  agents: {    defaults: {      videoGenerationModel: {        primary: "qwen/wan2.6-t2v",        fallbacks: ["qwen/wan2.6-r2v-flash"],      },    },  },}

Ou por meio da CLI:

openclaw config set agents.defaults.videoGenerationModel.primary "qwen/wan2.6-t2v"

Relacionados

• Alibaba Model Studio
• Tarefas em segundo plano - acompanhamento de tarefas para geração assíncrona de vídeo
• BytePlus
• ComfyUI
• Referência de configuração
• fal
• Google (Gemini)
• MiniMax
• Modelos
• OpenAI
• Qwen
• Runway
• Together AI
• Visão geral das ferramentas
• Vydra
• xAI