Генерация видео

"status" возвращает текущую задачу сеанса; "list" проверяет провайдеров.

OPENCLAW_DOCS_MARKER:paramOpen:IHBhdGg9InRpbWVvdXRNcyIgdHlwZT0ibnVtYmVyIg Необязательный тайм-аут операции провайдера в миллисекундах. Если он не указан, OpenClaw использует agents.defaults.videoGenerationModel.timeoutMs, если этот параметр настроен; в противном случае используется заданное автором плагина значение провайдера по умолчанию, если оно существует. OPENCLAW_DOCS_MARKER:paramClose:

Референсные входные данные определяют режим выполнения:

• Нет референсных медиафайлов -> generate
• Есть референсное изображение -> imageToVideo
• Есть референсное видео -> videoToVideo
• Референсные входные аудиоданные не изменяют определённый режим; они применяются поверх режима, выбранного референсными изображениями/видео, и работают только с провайдерами, которые объявляют maxInputAudios.

Смешивание референсных изображений и видео не является стабильной общей возможностью. Предпочтительно использовать один тип референсов на запрос.

Резервное переключение и типизированные параметры

Некоторые проверки возможностей выполняются на уровне резервного переключения, а не на границе инструмента, поэтому запрос, превышающий ограничения основного провайдера, всё ещё может быть выполнен подходящим резервным провайдером:

• Активный кандидат, не объявляющий maxInputAudios (или 0), пропускается, если запрос содержит аудиореференсы; затем проверяется следующий кандидат. Та же проверка применяется к количеству референсных изображений и видео относительно maxInputImages/maxInputVideos.
• Если maxDurationSeconds активного кандидата меньше запрошенного durationSeconds и список supportedDurationSeconds не объявлен, кандидат пропускается.
• Если запрос содержит providerOptions, а активный кандидат явно объявляет типизированную схему providerOptions, кандидат пропускается, если переданные ключи отсутствуют в схеме или типы значений не совпадают. Провайдеры без объявленной схемы получают параметры без изменений (обратно совместимая сквозная передача). Провайдер может полностью отказаться от параметров провайдера, объявив пустую схему (capabilities.providerOptions: {}), что приводит к такому же пропуску, как при несоответствии типов.

Первая причина пропуска в запросе записывается в журнал на уровне warn, чтобы операторы видели, когда основной провайдер был пропущен; последующие пропуски записываются на уровне debug, чтобы не перегружать журнал при длинных цепочках резервного переключения. Если пропущены все кандидаты, сводная ошибка включает причину пропуска каждого из них.

Действия

Выбор модели

OpenClaw определяет модель в следующем порядке:

1. Параметр инструмента model — если агент указывает его в вызове.
2. videoGenerationModel.primary из конфигурации.
3. videoGenerationModel.fallbacks по порядку.
4. Автоматическое определение — провайдеры с действительными данными аутентификации, начиная с текущего провайдера по умолчанию, а затем остальные провайдеры в алфавитном порядке.

Если провайдер завершается с ошибкой, автоматически выполняется попытка со следующим кандидатом. Если ошибки возникают у всех кандидатов, сообщение об ошибке содержит сведения о каждой попытке.

Задайте agents.defaults.mediaGenerationAutoProviderFallback: false, чтобы использовать только явно указанные записи model, primary и fallbacks.

{  agents: {    defaults: {      videoGenerationModel: {        primary: "google/veo-3.1-fast-generate-preview",        fallbacks: ["runway/gen4.5", "qwen/wan2.6-t2v"],        timeoutMs: 180000, // необязательное переопределение тайм-аута запроса провайдера для отдельного инструмента      },    },  },}

Примечания о провайдерах

Режимы возможностей провайдеров

Общий контракт генерации видео поддерживает возможности для отдельных режимов, а не только общие совокупные ограничения. В новых реализациях провайдеров предпочтительно использовать явные блоки режимов:

capabilities: {  generate: {    maxVideos: 1,    maxDurationSeconds: 10,    supportsResolution: true,  },  imageToVideo: {    enabled: true,    maxVideos: 1,    maxInputImages: 1,    maxInputImagesByModel: { "provider/reference-to-video": 9 },    maxDurationSeconds: 5,  },  videoToVideo: {    enabled: true,    maxVideos: 1,    maxInputVideos: 1,    maxDurationSeconds: 5,  },}

Плоских совокупных полей, таких как maxInputImages и maxInputVideos, недостаточно для объявления поддержки режимов преобразования. Провайдеры должны явно объявлять generate, imageToVideo и videoToVideo, чтобы тесты в реальной среде, контрактные тесты и общий инструмент video_generate могли детерминированно проверять поддержку режимов.

Если одна модель провайдера поддерживает больше входных референсов, чем остальные, используйте maxInputImagesByModel, maxInputVideosByModel или maxInputAudiosByModel вместо увеличения ограничения для всего режима.

Тесты в реальной среде

Опциональное тестирование в реальной среде для общих встроенных провайдеров:

OPENCLAW_LIVE_TEST=1 pnpm test:live -- extensions/video-generation-providers.live.test.ts

Обёртка репозитория:

pnpm test:live:media video

По умолчанию этот файл тестов в реальной среде использует уже экспортированные переменные окружения провайдеров с приоритетом перед сохранёнными профилями аутентификации и выполняет безопасную для выпуска дымовую проверку:

• generate для каждого провайдера в проверке, кроме FAL.
• Односекундный запрос с лобстером.
• Ограничение числа операций для каждого провайдера из OPENCLAW_LIVE_VIDEO_GENERATION_TIMEOUT_MS (по умолчанию 180000).

FAL включается отдельно, поскольку задержка очереди на стороне провайдера может занимать основную часть времени выпуска:

pnpm test:live:media video --video-providers fal

Установите OPENCLAW_LIVE_VIDEO_GENERATION_FULL_MODES=1, чтобы также запускать объявленные режимы преобразования, которые общая проверка может безопасно тестировать с локальными медиафайлами:

• imageToVideo, когда capabilities.imageToVideo.enabled.
• videoToVideo, когда capabilities.videoToVideo.enabled и провайдер или модель принимает в общей проверке локальный видеофайл на основе буфера.

На данный момент общий тестовый маршрут videoToVideo в реальной среде охватывает runway, только если выбрано runway/gen4_aleph.

Конфигурация

Укажите модель генерации видео по умолчанию в конфигурации OpenClaw:

{  agents: {    defaults: {      videoGenerationModel: {        primary: "qwen/wan2.6-t2v",        fallbacks: ["qwen/wan2.6-r2v-flash"],      },    },  },}

Или через CLI:

openclaw config set agents.defaults.videoGenerationModel.primary "qwen/wan2.6-t2v"

Связанные материалы

• Alibaba Model Studio
• Фоновые задачи — отслеживание задач асинхронной генерации видео
• BytePlus
• ComfyUI
• Справочник по конфигурации
• fal
• Google (Gemini)
• MiniMax
• Модели
• OpenAI
• Qwen
• Runway
• Together AI
• Обзор инструментов
• Vydra
• xAI