Videogeneratie

"status" retourneert de huidige sessietaak; "list" inspecteert providers.

OPENCLAW_DOCS_MARKER:paramOpen:IHBhdGg9InRpbWVvdXRNcyIgdHlwZT0ibnVtYmVyIg Optionele time-out voor de providerbewerking in milliseconden. Wanneer deze is weggelaten, gebruikt OpenClaw agents.defaults.videoGenerationModel.timeoutMs indien geconfigureerd, en anders de door de plugin-auteur ingestelde standaardwaarde van de provider, als die bestaat. OPENCLAW_DOCS_MARKER:paramClose:

Referentie-invoer bepaalt de uitvoeringsmodus:

• Geen referentiemedia -> generate
• Een of meer afbeeldingsreferenties -> imageToVideo
• Een of meer videoreferenties -> videoToVideo
• Referentie-audio-invoer verandert de bepaalde modus niet; deze wordt toegepast boven op de modus die door de afbeeldings-/videoreferenties wordt bepaald en werkt alleen met providers die maxInputAudios declareren.

Gemengde afbeeldings- en videoreferenties vormen geen stabiel gedeeld mogelijkhedenoppervlak. Gebruik bij voorkeur één referentietype per aanvraag.

Terugval en getypeerde opties

Sommige controles van mogelijkheden worden op de terugvallaag uitgevoerd in plaats van aan de grens van het hulpmiddel, zodat een aanvraag die de limieten van de primaire provider overschrijdt nog steeds door een geschikte terugvalprovider kan worden uitgevoerd:

• Een actieve kandidaat die geen maxInputAudios (of 0) declareert, wordt overgeslagen wanneer de aanvraag audioreferenties bevat; de volgende kandidaat wordt geprobeerd. Dezelfde controle geldt voor het aantal afbeeldings- en videoreferenties ten opzichte van maxInputImages/maxInputVideos.
• De maxDurationSeconds van de actieve kandidaat ligt onder de aangevraagde durationSeconds en er is geen lijst supportedDurationSeconds gedeclareerd -> overgeslagen.
• De aanvraag bevat providerOptions en de actieve kandidaat declareert expliciet een getypeerd providerOptions-schema -> overgeslagen als opgegeven sleutels niet in het schema voorkomen of waardetypen niet overeenkomen. Providers zonder gedeclareerd schema ontvangen de opties ongewijzigd (achterwaarts compatibele doorgifte). Een provider kan alle provideropties uitschakelen door een leeg schema te declareren (capabilities.providerOptions: {}), wat leidt tot dezelfde overslag als een typeverschil.

De eerste reden voor overslaan in een aanvraag wordt op warn-niveau vastgelegd, zodat beheerders zien wanneer hun primaire provider is overgeslagen; volgende overslagen worden op debug-niveau vastgelegd om lange terugvalketens stil te houden. Als elke kandidaat wordt overgeslagen, bevat de samengevoegde fout de reden voor het overslaan van elke kandidaat.

Acties

Modelselectie

OpenClaw bepaalt het model in deze volgorde:

1. Hulpmiddelparameter model - als de agent er een opgeeft in de aanroep.
2. videoGenerationModel.primary uit de configuratie.
3. videoGenerationModel.fallbacks in volgorde.
4. Automatische detectie - providers met geldige authenticatie, beginnend met de huidige standaardprovider en daarna de overige providers in alfabetische volgorde.

Als een provider mislukt, wordt de volgende kandidaat automatisch geprobeerd. Als alle kandidaten mislukken, bevat de fout details van elke poging.

Stel agents.defaults.mediaGenerationAutoProviderFallback: false in om alleen de expliciete vermeldingen model, primary en fallbacks te gebruiken.

{  agents: {    defaults: {      videoGenerationModel: {        primary: "google/veo-3.1-fast-generate-preview",        fallbacks: ["runway/gen4.5", "qwen/wan2.6-t2v"],        timeoutMs: 180000, // optionele overschrijving van de time-out per provideraanvraag voor dit hulpmiddel      },    },  },}

Opmerkingen per provider

Modi voor providermogelijkheden

Het gedeelde contract voor videogeneratie ondersteunt modusspecifieke mogelijkheden in plaats van alleen platte geaggregeerde limieten. Nieuwe providerimplementaties moeten bij voorkeur expliciete modusblokken gebruiken:

capabilities: {  generate: {    maxVideos: 1,    maxDurationSeconds: 10,    supportsResolution: true,  },  imageToVideo: {    enabled: true,    maxVideos: 1,    maxInputImages: 1,    maxInputImagesByModel: { "provider/reference-to-video": 9 },    maxDurationSeconds: 5,  },  videoToVideo: {    enabled: true,    maxVideos: 1,    maxInputVideos: 1,    maxDurationSeconds: 5,  },}

Platte geaggregeerde velden zoals maxInputImages en maxInputVideos zijn niet voldoende om ondersteuning voor transformatiemodi aan te geven. Providers moeten generate, imageToVideo en videoToVideo expliciet declareren, zodat livetests, contracttests en het gedeelde hulpmiddel video_generate de ondersteuning voor modi deterministisch kunnen valideren.

Wanneer één model van een provider bredere ondersteuning voor referentie-invoer heeft dan de overige modellen, gebruik dan maxInputImagesByModel, maxInputVideosByModel of maxInputAudiosByModel in plaats van de limiet voor de hele modus te verhogen.

Livetests

Optionele livedekking voor de gedeelde meegeleverde providers:

OPENCLAW_LIVE_TEST=1 pnpm test:live -- extensions/video-generation-providers.live.test.ts

Repo-wrapper:

pnpm test:live:media video

Dit livebestand gebruikt standaard reeds geëxporteerde provideromgevingsvariabelen vóór opgeslagen authenticatieprofielen en voert standaard een releaseveilige rooktest uit:

• generate voor elke niet-FAL-provider in de reeks.
• Kreeftenprompt van één seconde.
• Bewerkingslimiet per provider uit OPENCLAW_LIVE_VIDEO_GENERATION_TIMEOUT_MS (standaard 180000).

FAL is optioneel, omdat wachtrijvertraging aan providerzijde de releasetijd kan domineren:

pnpm test:live:media video --video-providers fal

Stel OPENCLAW_LIVE_VIDEO_GENERATION_FULL_MODES=1 in om ook gedeclareerde transformatiemodi uit te voeren die de gedeelde reeks veilig met lokale media kan testen:

• imageToVideo wanneer capabilities.imageToVideo.enabled.
• videoToVideo wanneer capabilities.videoToVideo.enabled en het provider/model lokale video-invoer vanuit een buffer accepteert in de gedeelde reeks.

Momenteel dekt het gedeelde livepad voor videoToVideo alleen runway wanneer u runway/gen4_aleph selecteert.

Configuratie

Stel het standaardmodel voor videogeneratie in uw OpenClaw-configuratie in:

{  agents: {    defaults: {      videoGenerationModel: {        primary: "qwen/wan2.6-t2v",        fallbacks: ["qwen/wan2.6-r2v-flash"],      },    },  },}

Of via de CLI:

openclaw config set agents.defaults.videoGenerationModel.primary "qwen/wan2.6-t2v"

Gerelateerd

• Alibaba Model Studio
• Achtergrondtaken - taakregistratie voor asynchrone videogeneratie
• BytePlus
• ComfyUI
• Configuratiereferentie
• fal
• Google (Gemini)
• MiniMax
• Modellen
• OpenAI
• Qwen
• Runway
• Together AI
• Overzicht van hulpmiddelen
• Vydra
• xAI