Generowanie wideo

"status" zwraca bieżące zadanie sesji; "list" sprawdza dostawców.

OPENCLAW_DOCS_MARKER:paramOpen:IHBhdGg9InRpbWVvdXRNcyIgdHlwZT0ibnVtYmVyIg Opcjonalny limit czasu operacji dostawcy w milisekundach. Jeśli zostanie pominięty, OpenClaw używa agents.defaults.videoGenerationModel.timeoutMs, jeśli skonfigurowano tę wartość, a w przeciwnym razie domyślnej wartości dostawcy określonej przez autora pluginu, jeśli taka istnieje. OPENCLAW_DOCS_MARKER:paramClose:

Wejścia referencyjne wybierają tryb działania:

• Brak multimediów referencyjnych -> generate
• Dowolny obraz referencyjny -> imageToVideo
• Dowolny film referencyjny -> videoToVideo
• Referencyjne wejścia audio nie zmieniają wybranego trybu; są stosowane do trybu wybranego przez referencje obrazów lub filmów i działają wyłącznie z dostawcami deklarującymi maxInputAudios.

Łączenie referencji obrazów i filmów nie stanowi stabilnego wspólnego zakresu możliwości. Preferuj jeden typ referencji na żądanie.

Przełączanie awaryjne i typowane opcje

Niektóre kontrole możliwości są wykonywane w warstwie przełączania awaryjnego, a nie na granicy narzędzia, dlatego żądanie przekraczające limity głównego dostawcy nadal może zostać obsłużone przez odpowiedniego dostawcę awaryjnego:

• Aktywny kandydat, który nie deklaruje maxInputAudios (lub deklaruje 0), jest pomijany, gdy żądanie zawiera referencje audio; następuje próba użycia kolejnego kandydata. Ta sama kontrola dotyczy liczby referencji obrazów i filmów względem maxInputImages/maxInputVideos.
• Aktywny kandydat, którego maxDurationSeconds jest mniejsze od żądanego durationSeconds i który nie deklaruje listy supportedDurationSeconds -> zostaje pominięty.
• Żądanie zawiera providerOptions, a aktywny kandydat jawnie deklaruje typowany schemat providerOptions -> zostaje pominięty, jeśli podanych kluczy nie ma w schemacie lub typy wartości są niezgodne. Dostawcy bez zadeklarowanego schematu otrzymują opcje bez zmian (przekazywanie zgodne wstecznie). Dostawca może zrezygnować ze wszystkich opcji dostawcy, deklarując pusty schemat (capabilities.providerOptions: {}), co powoduje takie samo pominięcie jak niezgodność typów.

Pierwsza przyczyna pominięcia w żądaniu jest rejestrowana na poziomie warn, aby operatorzy widzieli, kiedy ich główny dostawca został pominięty; kolejne pominięcia są rejestrowane na poziomie debug, aby długie łańcuchy przełączania awaryjnego nie generowały nadmiernych komunikatów. Jeśli każdy kandydat zostanie pominięty, zbiorczy błąd zawiera przyczynę pominięcia każdego z nich.

Akcje

Wybór modelu

OpenClaw wybiera model w następującej kolejności:

1. Parametr narzędzia model — jeśli agent poda go w wywołaniu.
2. videoGenerationModel.primary z konfiguracji.
3. videoGenerationModel.fallbacks po kolei.
4. Automatyczne wykrywanie — dostawcy z prawidłowym uwierzytelnieniem, począwszy od bieżącego domyślnego dostawcy, a następnie pozostali dostawcy w kolejności alfabetycznej.

Jeśli dostawca zawiedzie, automatycznie podejmowana jest próba użycia kolejnego kandydata. Jeśli wszyscy kandydaci zawiodą, błąd zawiera szczegóły każdej próby.

Ustaw agents.defaults.mediaGenerationAutoProviderFallback: false, aby używać wyłącznie jawnych wpisów model, primary i fallbacks.

{  agents: {    defaults: {      videoGenerationModel: {        primary: "google/veo-3.1-fast-generate-preview",        fallbacks: ["runway/gen4.5", "qwen/wan2.6-t2v"],        timeoutMs: 180000, // opcjonalne nadpisanie limitu czasu żądania dostawcy dla poszczególnych narzędzi      },    },  },}

Uwagi dotyczące dostawców

Tryby możliwości dostawców

Wspólny kontrakt generowania wideo obsługuje możliwości zależne od trybu zamiast wyłącznie płaskich limitów zbiorczych. Nowe implementacje dostawców powinny preferować jawne bloki trybów:

capabilities: {  generate: {    maxVideos: 1,    maxDurationSeconds: 10,    supportsResolution: true,  },  imageToVideo: {    enabled: true,    maxVideos: 1,    maxInputImages: 1,    maxInputImagesByModel: { "provider/reference-to-video": 9 },    maxDurationSeconds: 5,  },  videoToVideo: {    enabled: true,    maxVideos: 1,    maxInputVideos: 1,    maxDurationSeconds: 5,  },}

Płaskie pola zbiorcze, takie jak maxInputImages i maxInputVideos, nie wystarczają do deklarowania obsługi trybów przekształcania. Dostawcy powinni jawnie deklarować generate, imageToVideo i videoToVideo, aby testy na żywo, testy kontraktowe i wspólne narzędzie video_generate mogły deterministycznie weryfikować obsługę trybów.

Gdy jeden model dostawcy obsługuje więcej danych referencyjnych niż pozostałe, użyj maxInputImagesByModel, maxInputVideosByModel lub maxInputAudiosByModel zamiast zwiększać limit dla całego trybu.

Testy na żywo

Opcjonalne pokrycie testami na żywo dla wspólnych dołączonych dostawców:

OPENCLAW_LIVE_TEST=1 pnpm test:live -- extensions/video-generation-providers.live.test.ts

Skrypt opakowujący repozytorium:

pnpm test:live:media video

Ten plik testów na żywo domyślnie używa już wyeksportowanych zmiennych środowiskowych dostawców przed zapisanymi profilami uwierzytelniania i domyślnie przeprowadza bezpieczny dla wydania test dymny:

• generate dla każdego dostawcy innego niż FAL objętego przebiegiem testowym.
• Jednosekundowe polecenie z homarem.
• Limit czasu operacji dla każdego dostawcy określony przez OPENCLAW_LIVE_VIDEO_GENERATION_TIMEOUT_MS (domyślnie 180000).

FAL jest opcjonalny, ponieważ opóźnienie kolejki po stronie dostawcy może zdominować czas wydania:

pnpm test:live:media video --video-providers fal

Ustaw OPENCLAW_LIVE_VIDEO_GENERATION_FULL_MODES=1, aby uruchomić również zadeklarowane tryby przekształcania, które wspólny przebieg testowy może bezpiecznie wykonać przy użyciu lokalnych multimediów:

• imageToVideo, gdy capabilities.imageToVideo.enabled.
• videoToVideo, gdy capabilities.videoToVideo.enabled, a dostawca/model przyjmuje lokalne wejście wideo oparte na buforze we wspólnym przebiegu testowym.

Obecnie wspólna ścieżka testów na żywo videoToVideo obejmuje tylko runway, gdy wybierzesz runway/gen4_aleph.

Konfiguracja

Ustaw domyślny model generowania wideo w konfiguracji OpenClaw:

{  agents: {    defaults: {      videoGenerationModel: {        primary: "qwen/wan2.6-t2v",        fallbacks: ["qwen/wan2.6-r2v-flash"],      },    },  },}

Lub za pomocą CLI:

openclaw config set agents.defaults.videoGenerationModel.primary "qwen/wan2.6-t2v"

Powiązane materiały

• Alibaba Model Studio
• Zadania w tle — śledzenie zadań asynchronicznego generowania wideo
• BytePlus
• ComfyUI
• Dokumentacja konfiguracji
• fal
• Google (Gemini)
• MiniMax
• Modele
• OpenAI
• Qwen
• Runway
• Together AI
• Przegląd narzędzi
• Vydra
• xAI