Videogenerierung

"status" gibt die aktuelle Sitzungsaufgabe zurück; "list" prüft Provider.

OPENCLAW_DOCS_MARKER:paramOpen:IHBhdGg9InRpbWVvdXRNcyIgdHlwZT0ibnVtYmVyIg Optionale Zeitüberschreitung für den Provider-Vorgang in Millisekunden. Wenn nicht angegeben, verwendet OpenClaw den Wert agents.defaults.videoGenerationModel.timeoutMs, sofern konfiguriert, andernfalls den vom Plugin festgelegten Standardwert des Providers, sofern vorhanden. OPENCLAW_DOCS_MARKER:paramClose:

Referenzeingaben bestimmen den Laufzeitmodus:

• Keine Referenzmedien -> generate
• Beliebige Bildreferenz -> imageToVideo
• Beliebige Videoreferenz -> videoToVideo
• Referenzaudioeingaben ändern den ermittelten Modus nicht; sie werden zusätzlich zu dem Modus angewendet, den die Bild-/Videoreferenzen bestimmen, und funktionieren nur mit Providern, die maxInputAudios deklarieren.

Gemischte Bild- und Videoreferenzen bilden keine stabile gemeinsame Fähigkeitsoberfläche. Bevorzugen Sie einen Referenztyp pro Anfrage.

Fallback und typisierte Optionen

Einige Fähigkeitsprüfungen erfolgen auf der Fallback-Ebene statt an der Werkzeuggrenze. Daher kann eine Anfrage, die die Grenzen des primären Providers überschreitet, weiterhin bei einem geeigneten Fallback ausgeführt werden:

• Ein aktiver Kandidat, der kein maxInputAudios (oder 0) deklariert, wird übersprungen, wenn die Anfrage Audioreferenzen enthält; der nächste Kandidat wird versucht. Dieselbe Prüfung gilt für die Anzahl der Bild- und Videoreferenzen im Verhältnis zu maxInputImages/maxInputVideos.
• Liegt maxDurationSeconds des aktiven Kandidaten unter dem angeforderten durationSeconds, ohne dass eine Liste supportedDurationSeconds deklariert ist, wird der Kandidat übersprungen.
• Enthält die Anfrage providerOptions und deklariert der aktive Kandidat ausdrücklich ein typisiertes providerOptions-Schema, wird er übersprungen, wenn bereitgestellte Schlüssel nicht im Schema enthalten sind oder Werttypen nicht übereinstimmen. Provider ohne deklariertes Schema erhalten die Optionen unverändert (abwärtskompatible Durchleitung). Ein Provider kann sämtliche Provider-Optionen ablehnen, indem er ein leeres Schema (capabilities.providerOptions: {}) deklariert, was zum gleichen Überspringen wie bei einer Typabweichung führt.

Der erste Grund für das Überspringen in einer Anfrage wird mit warn protokolliert, damit Betreiber erkennen, wenn ihr primärer Provider übergangen wurde; weitere Überspringvorgänge werden mit debug protokolliert, damit lange Fallback-Ketten übersichtlich bleiben. Wenn jeder Kandidat übersprungen wird, enthält der zusammengefasste Fehler den jeweiligen Grund.

Aktionen

Modellauswahl

OpenClaw ermittelt das Modell in dieser Reihenfolge:

1. Werkzeugparameter model – falls der Agent beim Aufruf einen angibt.
2. videoGenerationModel.primary aus der Konfiguration.
3. videoGenerationModel.fallbacks in der angegebenen Reihenfolge.
4. Automatische Erkennung – Provider mit gültiger Authentifizierung, beginnend mit dem aktuellen Standard-Provider, anschließend die übrigen Provider in alphabetischer Reihenfolge.

Wenn ein Provider fehlschlägt, wird automatisch der nächste Kandidat versucht. Wenn alle Kandidaten fehlschlagen, enthält der Fehler Details zu jedem Versuch.

Legen Sie agents.defaults.mediaGenerationAutoProviderFallback: false fest, um nur die expliziten Einträge model, primary und fallbacks zu verwenden.

{  agents: {    defaults: {      videoGenerationModel: {        primary: "google/veo-3.1-fast-generate-preview",        fallbacks: ["runway/gen4.5", "qwen/wan2.6-t2v"],        timeoutMs: 180000, // optionale Zeitüberschreibung pro Werkzeug für Provider-Anfragen      },    },  },}

Hinweise zu Providern

Provider-Fähigkeitsmodi

Der gemeinsame Vertrag zur Videogenerierung unterstützt modusspezifische Fähigkeiten anstelle ausschließlich flacher Gesamtgrenzen. Neue Provider-Implementierungen sollten explizite Modusblöcke bevorzugen:

capabilities: {  generate: {    maxVideos: 1,    maxDurationSeconds: 10,    supportsResolution: true,  },  imageToVideo: {    enabled: true,    maxVideos: 1,    maxInputImages: 1,    maxInputImagesByModel: { "provider/reference-to-video": 9 },    maxDurationSeconds: 5,  },  videoToVideo: {    enabled: true,    maxVideos: 1,    maxInputVideos: 1,    maxDurationSeconds: 5,  },}

Flache Gesamtfelder wie maxInputImages und maxInputVideos reichen nicht aus, um die Unterstützung von Transformationsmodi auszuweisen. Provider sollten generate, imageToVideo und videoToVideo explizit deklarieren, damit Live- Tests, Vertragstests und das gemeinsame Werkzeug video_generate die Modusunterstützung deterministisch validieren können.

Wenn ein Modell eines Providers eine umfassendere Unterstützung für Referenzeingaben als die übrigen Modelle bietet, verwenden Sie maxInputImagesByModel, maxInputVideosByModel oder maxInputAudiosByModel, anstatt die Grenze für den gesamten Modus anzuheben.

Live-Tests

Optional aktivierbare Live-Abdeckung für die gemeinsam mitgelieferten Provider:

OPENCLAW_LIVE_TEST=1 pnpm test:live -- extensions/video-generation-providers.live.test.ts

Repository-Wrapper:

pnpm test:live:media video

Diese Live-Datei verwendet standardmäßig bereits exportierte Provider-Umgebungsvariablen vor gespeicherten Authentifizierungsprofilen und führt standardmäßig einen release-sicheren Smoke-Test aus:

• generate für jeden Nicht-FAL-Provider im Durchlauf.
• Einsekündige Hummer-Eingabeaufforderung.
• Provider-spezifische Zeitbegrenzung für Vorgänge aus OPENCLAW_LIVE_VIDEO_GENERATION_TIMEOUT_MS (standardmäßig 180000).

FAL muss explizit aktiviert werden, da die providerseitige Warteschlangenlatenz die Release- Zeit dominieren kann:

pnpm test:live:media video --video-providers fal

Setzen Sie OPENCLAW_LIVE_VIDEO_GENERATION_FULL_MODES=1, um zusätzlich deklarierte Transformationsmodi auszuführen, die der gemeinsame Durchlauf mit lokalen Medien sicher testen kann:

• imageToVideo, wenn capabilities.imageToVideo.enabled.
• videoToVideo, wenn capabilities.videoToVideo.enabled und der Provider bzw. das Modell im gemeinsamen Durchlauf lokale, puffergestützte Videoeingaben akzeptiert.

Derzeit deckt der gemeinsame videoToVideo-Live-Testlauf runway nur ab, wenn Sie runway/gen4_aleph auswählen.

Konfiguration

Legen Sie das standardmäßige Videogenerierungsmodell in Ihrer OpenClaw-Konfiguration fest:

{  agents: {    defaults: {      videoGenerationModel: {        primary: "qwen/wan2.6-t2v",        fallbacks: ["qwen/wan2.6-r2v-flash"],      },    },  },}

Oder über die CLI:

openclaw config set agents.defaults.videoGenerationModel.primary "qwen/wan2.6-t2v"

Verwandte Themen

• Alibaba Model Studio
• Hintergrundaufgaben – Aufgabenverfolgung für die asynchrone Videogenerierung
• BytePlus
• ComfyUI
• Konfigurationsreferenz
• fal
• Google (Gemini)
• MiniMax
• Modelle
• OpenAI
• Qwen
• Runway
• Together AI
• Werkzeugübersicht
• Vydra
• xAI