Generazione di video

"status" restituisce l'attività corrente della sessione; "list" esamina i provider.

OPENCLAW_DOCS_MARKER:paramOpen:IHBhdGg9InRpbWVvdXRNcyIgdHlwZT0ibnVtYmVyIg Timeout facoltativo dell'operazione del provider in millisecondi. Se omesso, OpenClaw utilizza agents.defaults.videoGenerationModel.timeoutMs, se configurato; in caso contrario, utilizza il valore predefinito del provider definito dal plugin, se disponibile. OPENCLAW_DOCS_MARKER:paramClose:

Gli input di riferimento selezionano la modalità di runtime:

• Nessun contenuto multimediale di riferimento -> generate
• Qualsiasi immagine di riferimento -> imageToVideo
• Qualsiasi video di riferimento -> videoToVideo
• Gli input audio di riferimento non modificano la modalità risolta; vengono applicati alla modalità selezionata dai riferimenti immagine/video e funzionano soltanto con i provider che dichiarano maxInputAudios.

La combinazione di riferimenti immagine e video non costituisce una superficie di funzionalità condivisa stabile. È preferibile utilizzare un solo tipo di riferimento per richiesta.

Fallback e opzioni tipizzate

Alcuni controlli delle funzionalità vengono applicati al livello di fallback anziché al limite dello strumento; pertanto, una richiesta che supera i limiti del provider principale può comunque essere eseguita su un fallback compatibile:

• Un candidato attivo che non dichiara maxInputAudios (o dichiara 0) viene saltato quando la richiesta contiene riferimenti audio; viene quindi provato il candidato successivo. La stessa protezione si applica al numero di riferimenti immagine e video rispetto a maxInputImages/maxInputVideos.
• Un candidato attivo il cui maxDurationSeconds è inferiore al durationSeconds richiesto e che non dichiara un elenco supportedDurationSeconds viene saltato.
• Se la richiesta contiene providerOptions e il candidato attivo dichiara esplicitamente uno schema providerOptions tipizzato, viene saltato se le chiavi fornite non sono incluse nello schema o se i tipi dei valori non corrispondono. I provider privi di uno schema dichiarato ricevono le opzioni così come sono (passaggio diretto compatibile con le versioni precedenti). Un provider può rifiutare tutte le opzioni specifiche del provider dichiarando uno schema vuoto (capabilities.providerOptions: {}), che determina lo stesso salto di un'incompatibilità di tipo.

Il primo motivo di salto in una richiesta viene registrato al livello warn, affinché gli operatori vedano quando il provider principale è stato ignorato; i salti successivi vengono registrati al livello debug per evitare rumore nelle lunghe catene di fallback. Se tutti i candidati vengono saltati, l'errore aggregato include il motivo del salto per ciascuno di essi.

Azioni

Selezione del modello

OpenClaw risolve il modello nel seguente ordine:

1. Parametro dello strumento model - se l'agente ne specifica uno nella chiamata.
2. videoGenerationModel.primary dalla configurazione.
3. videoGenerationModel.fallbacks nell'ordine specificato.
4. Rilevamento automatico - i provider con autenticazione valida, a partire dal provider predefinito corrente, seguiti dai provider rimanenti in ordine alfabetico.

Se un provider non riesce, viene provato automaticamente il candidato successivo. Se tutti i candidati non riescono, l'errore include i dettagli di ciascun tentativo.

Impostare agents.defaults.mediaGenerationAutoProviderFallback: false per utilizzare soltanto le voci esplicite model, primary e fallbacks.

{  agents: {    defaults: {      videoGenerationModel: {        primary: "google/veo-3.1-fast-generate-preview",        fallbacks: ["runway/gen4.5", "qwen/wan2.6-t2v"],        timeoutMs: 180000, // sostituzione facoltativa del timeout della richiesta al provider per strumento      },    },  },}

Note sui provider

Modalità delle funzionalità dei provider

Il contratto condiviso per la generazione video supporta funzionalità specifiche per modalità anziché soltanto limiti aggregati generali. Le nuove implementazioni dei provider dovrebbero preferire blocchi di modalità espliciti:

capabilities: {  generate: {    maxVideos: 1,    maxDurationSeconds: 10,    supportsResolution: true,  },  imageToVideo: {    enabled: true,    maxVideos: 1,    maxInputImages: 1,    maxInputImagesByModel: { "provider/reference-to-video": 9 },    maxDurationSeconds: 5,  },  videoToVideo: {    enabled: true,    maxVideos: 1,    maxInputVideos: 1,    maxDurationSeconds: 5,  },}

I campi aggregati generali come maxInputImages e maxInputVideos non sono sufficienti per dichiarare il supporto delle modalità di trasformazione. I provider dovrebbero dichiarare esplicitamente generate, imageToVideo e videoToVideo, affinché i test in ambiente reale, i test del contratto e lo strumento condiviso video_generate possano convalidare in modo deterministico il supporto delle modalità.

Quando un modello di un provider supporta un numero di input di riferimento maggiore rispetto agli altri, utilizzare maxInputImagesByModel, maxInputVideosByModel o maxInputAudiosByModel anziché aumentare il limite dell'intera modalità.

Test in ambiente reale

Copertura in ambiente reale facoltativa per i provider condivisi inclusi:

OPENCLAW_LIVE_TEST=1 pnpm test:live -- extensions/video-generation-providers.live.test.ts

Script wrapper del repository:

pnpm test:live:media video

Per impostazione predefinita, questo file di test in ambiente reale usa le variabili d'ambiente dei provider già esportate con precedenza sui profili di autenticazione archiviati ed esegue un test rapido sicuro per il rilascio:

• generate per ogni provider diverso da FAL incluso nell'esecuzione.
• Prompt di un'aragosta della durata di un secondo.
• Limite temporale per operazione e per provider definito da OPENCLAW_LIVE_VIDEO_GENERATION_TIMEOUT_MS (180000 per impostazione predefinita).

FAL è facoltativo perché la latenza della coda lato provider può incidere in modo predominante sui tempi di rilascio:

pnpm test:live:media video --video-providers fal

Impostare OPENCLAW_LIVE_VIDEO_GENERATION_FULL_MODES=1 per eseguire anche le modalità di trasformazione dichiarate che l'esecuzione condivisa può verificare in sicurezza con contenuti multimediali locali:

• imageToVideo quando capabilities.imageToVideo.enabled.
• videoToVideo quando capabilities.videoToVideo.enabled e il provider/modello accetta, nell'esecuzione condivisa, un input video locale basato su buffer.

Attualmente, il percorso di test in ambiente reale condiviso videoToVideo copre solo runway quando viene selezionato runway/gen4_aleph.

Configurazione

Impostare il modello predefinito di generazione video nella configurazione di OpenClaw:

{  agents: {    defaults: {      videoGenerationModel: {        primary: "qwen/wan2.6-t2v",        fallbacks: ["qwen/wan2.6-r2v-flash"],      },    },  },}

Oppure tramite la CLI:

openclaw config set agents.defaults.videoGenerationModel.primary "qwen/wan2.6-t2v"

Argomenti correlati

• Alibaba Model Studio
• Attività in background - monitoraggio delle attività per la generazione video asincrona
• BytePlus
• ComfyUI
• Riferimento della configurazione
• fal
• Google (Gemini)
• MiniMax
• Modelli
• OpenAI
• Qwen
• Runway
• Together AI
• Panoramica degli strumenti
• Vydra
• xAI