Génération de vidéos

"status" renvoie la tâche de la session actuelle ; "list" inspecte les fournisseurs.

OPENCLAW_DOCS_MARKER:paramOpen:IHBhdGg9InRpbWVvdXRNcyIgdHlwZT0ibnVtYmVyIg Délai d’expiration facultatif de l’opération du fournisseur, en millisecondes. Lorsqu’il est omis, OpenClaw utilise agents.defaults.videoGenerationModel.timeoutMs s’il est configuré, sinon la valeur par défaut définie par l’auteur du plugin pour le fournisseur lorsqu’elle existe. OPENCLAW_DOCS_MARKER:paramClose:

Les entrées de référence déterminent le mode d’exécution :

• Aucun média de référence -> generate
• Toute référence d’image -> imageToVideo
• Toute référence vidéo -> videoToVideo
• Les entrées audio de référence ne modifient pas le mode résolu ; elles s’appliquent par-dessus le mode sélectionné par les références d’image ou de vidéo, et fonctionnent uniquement avec les fournisseurs qui déclarent maxInputAudios.

Le mélange de références d’images et de vidéos ne constitue pas une interface de capacité partagée stable. Privilégiez un seul type de référence par requête.

Repli et options typées

Certaines vérifications de capacité s’appliquent au niveau du repli plutôt qu’à la frontière de l’outil. Une requête qui dépasse les limites du fournisseur principal peut donc tout de même être exécutée par un fournisseur de repli adapté :

• Un candidat actif ne déclarant aucun maxInputAudios (ou déclarant 0) est ignoré lorsque la requête contient des références audio ; le candidat suivant est essayé. La même protection s’applique au nombre de références d’images et de vidéos par rapport à maxInputImages/maxInputVideos.
• Si la valeur maxDurationSeconds du candidat actif est inférieure à la valeur durationSeconds demandée et qu’aucune liste supportedDurationSeconds n’est déclarée, le candidat est ignoré.
• Si la requête contient providerOptions et que le candidat actif déclare explicitement un schéma providerOptions typé, il est ignoré si les clés fournies ne figurent pas dans le schéma ou si les types des valeurs ne correspondent pas. Les fournisseurs sans schéma déclaré reçoivent les options telles quelles (transmission rétrocompatible). Un fournisseur peut refuser toutes les options de fournisseur en déclarant un schéma vide (capabilities.providerOptions: {}), ce qui entraîne la même exclusion qu’une incompatibilité de type.

La première raison d’exclusion d’une requête est journalisée au niveau warn afin que les opérateurs voient quand leur fournisseur principal a été écarté ; les exclusions suivantes sont journalisées au niveau debug afin de ne pas encombrer les longues chaînes de repli. Si tous les candidats sont ignorés, l’erreur agrégée inclut la raison d’exclusion de chacun.

Actions

Sélection du modèle

OpenClaw résout le modèle dans l’ordre suivant :

1. Paramètre d’outil model - si l’agent en indique un dans l’appel.
2. videoGenerationModel.primary dans la configuration.
3. videoGenerationModel.fallbacks dans l’ordre.
4. Détection automatique - fournisseurs disposant d’une authentification valide, en commençant par le fournisseur par défaut actuel, puis les fournisseurs restants dans l’ordre alphabétique.

Si un fournisseur échoue, le candidat suivant est essayé automatiquement. Si tous les candidats échouent, l’erreur inclut les détails de chaque tentative.

Définissez agents.defaults.mediaGenerationAutoProviderFallback: false pour utiliser uniquement les entrées explicites model, primary et fallbacks.

{  agents: {    defaults: {      videoGenerationModel: {        primary: "google/veo-3.1-fast-generate-preview",        fallbacks: ["runway/gen4.5", "qwen/wan2.6-t2v"],        timeoutMs: 180000, // remplacement facultatif du délai d’expiration de la requête au fournisseur pour chaque outil      },    },  },}

Remarques sur les fournisseurs

Modes de capacités des fournisseurs

Le contrat partagé de génération vidéo prend en charge des capacités propres à chaque mode plutôt que de simples limites agrégées globales. Les nouvelles implémentations de fournisseurs doivent privilégier des blocs de mode explicites :

capabilities: {  generate: {    maxVideos: 1,    maxDurationSeconds: 10,    supportsResolution: true,  },  imageToVideo: {    enabled: true,    maxVideos: 1,    maxInputImages: 1,    maxInputImagesByModel: { "provider/reference-to-video": 9 },    maxDurationSeconds: 5,  },  videoToVideo: {    enabled: true,    maxVideos: 1,    maxInputVideos: 1,    maxDurationSeconds: 5,  },}

Les champs agrégés globaux tels que maxInputImages et maxInputVideos ne suffisent pas à annoncer la prise en charge des modes de transformation. Les fournisseurs doivent déclarer explicitement generate, imageToVideo et videoToVideo afin que les tests en conditions réelles, les tests de contrat et l’outil partagé video_generate puissent valider de manière déterministe la prise en charge de chaque mode.

Lorsqu’un modèle d’un fournisseur prend en charge davantage d’entrées de référence que les autres, utilisez maxInputImagesByModel, maxInputVideosByModel ou maxInputAudiosByModel plutôt que d’augmenter la limite applicable à l’ensemble du mode.

Tests en conditions réelles

Couverture en conditions réelles facultative pour les fournisseurs intégrés partagés :

OPENCLAW_LIVE_TEST=1 pnpm test:live -- extensions/video-generation-providers.live.test.ts

Script d’encapsulation du dépôt :

pnpm test:live:media video

Par défaut, ce fichier de test en conditions réelles utilise les variables d’environnement des fournisseurs déjà exportées avant les profils d’authentification enregistrés, et exécute un test de bon fonctionnement sûr pour la publication :

• generate pour chaque fournisseur autre que FAL inclus dans la série de tests.
• Une invite d’une seconde mettant en scène un homard.
• Une limite de durée par opération et par fournisseur définie par OPENCLAW_LIVE_VIDEO_GENERATION_TIMEOUT_MS (180000 par défaut).

FAL est facultatif, car la latence de la file d’attente côté fournisseur peut dominer la durée de publication :

pnpm test:live:media video --video-providers fal

Définissez OPENCLAW_LIVE_VIDEO_GENERATION_FULL_MODES=1 pour exécuter également les modes de transformation déclarés que la série de tests partagée peut exercer en toute sécurité avec des médias locaux :

• imageToVideo lorsque capabilities.imageToVideo.enabled.
• videoToVideo lorsque capabilities.videoToVideo.enabled et que le fournisseur ou le modèle accepte, dans la série de tests partagée, une entrée vidéo locale adossée à un tampon.

Actuellement, le parcours de test en conditions réelles partagé videoToVideo ne couvre runway que lorsque vous sélectionnez runway/gen4_aleph.

Configuration

Définissez le modèle de génération vidéo par défaut dans votre configuration OpenClaw :

{  agents: {    defaults: {      videoGenerationModel: {        primary: "qwen/wan2.6-t2v",        fallbacks: ["qwen/wan2.6-r2v-flash"],      },    },  },}

Ou via la CLI :

openclaw config set agents.defaults.videoGenerationModel.primary "qwen/wan2.6-t2v"

Ressources associées

• Alibaba Model Studio
• Tâches en arrière-plan - suivi des tâches pour la génération vidéo asynchrone
• BytePlus
• ComfyUI
• Référence de configuration
• fal
• Google (Gemini)
• MiniMax
• Modèles
• OpenAI
• Qwen
• Runway
• Together AI
• Présentation des outils
• Vydra
• xAI