Muziek genereren

Prompt voor muziekgeneratie. Vereist voor action: "generate".

"status" retourneert de huidige sessietaak; "list" toont de providers.

Overschrijving van provider/model (bijvoorbeeld google/lyria-3-pro-preview, comfy/workflow).

Optionele songtekst wanneer de provider expliciete invoer van songteksten ondersteunt.

Vraag om uitsluitend instrumentale uitvoer wanneer de provider dit ondersteunt.

Pad of URL van één referentieafbeelding.

Meerdere referentieafbeeldingen (maximaal 10 bij providers die dit ondersteunen).

Gewenste duur in seconden wanneer de provider duuraanwijzingen ondersteunt.

Aanwijzing voor de uitvoerindeling wanneer de provider dit ondersteunt.

Time-outs voor providerverzoeken zijn uitsluitend operatorconfiguratie. OpenClaw gebruikt agents.defaults.musicGenerationModel.timeoutMs wanneer dit is geconfigureerd, verhoogt waarden onder 120000ms naar 120000ms en gebruikt anders standaard 300000ms voor providerverzoeken.

Asynchroon gedrag

Muziekgeneratie met sessieondersteuning wordt uitgevoerd als achtergrondtaak:

• Achtergrondtaak: music_generate maakt een achtergrondtaak, retourneert onmiddellijk een gestart/taakantwoord en plaatst de voltooide track later in een vervolbericht van de agent.
• Voorkoming van duplicaten: zolang een taak queued of running is, retourneren latere aanroepen van music_generate in dezelfde sessie de taakstatus in plaats van een nieuwe generatie te starten. Gebruik action: "status" voor een expliciete controle. Een onlangs voltooide identieke aanvraag wordt gedurende 2 minuten eveneens gededupliceerd.
• Status opzoeken: openclaw tasks list of openclaw tasks show <taskId> toont de wachtrijstatus, actieve status en eindstatus.
• Wekken bij voltooiing: OpenClaw voegt een interne voltooiingsgebeurtenis terug in dezelfde sessie in, zodat het model zelf het gebruikersgerichte vervolbericht kan schrijven.
• Promptaanwijzing: latere gebruikers-/handmatige beurten in dezelfde sessie krijgen een kleine runtime-aanwijzing wanneer er al een muziektaak wordt uitgevoerd, zodat het model music_generate niet blindelings opnieuw aanroept.
• Terugval zonder sessie: directe/lokale contexten zonder een echte agent- sessie worden inline uitgevoerd en retourneren het uiteindelijke audioresultaat in dezelfde beurt.

Levenscyclus van taken

De muziektaak toont dezelfde statussen als het algemene takenregister (zie Achtergrondtaken voor de volledige toestandsmachine, inclusief timed_out, cancelled en lost). De meeste muziekuitvoeringen doorlopen:

Controleer de status via de CLI:

openclaw tasks listopenclaw tasks show <taskId>openclaw tasks cancel <taskId>

Configuratie

Modelselectie

{  agents: {    defaults: {      musicGenerationModel: {        primary: "google/lyria-3-clip-preview",        fallbacks: ["fal/fal-ai/minimax-music/v2.6", "minimax/music-2.6"],      },    },  },}

Selectievolgorde van providers

OpenClaw probeert providers in deze volgorde:

1. De parameter model uit de hulpmiddelaanroep (als de agent er een opgeeft).
2. musicGenerationModel.primary uit de configuratie.
3. musicGenerationModel.fallbacks in de opgegeven volgorde.
4. Automatische detectie, uitsluitend met standaardproviders waarvoor authenticatie is geconfigureerd:
   • eerst de provider van het huidige standaardtekstmodel, als deze ook muziek- generatie aanbiedt;
   • daarna de overige geregistreerde providers voor muziekgeneratie, alfabetisch op provider-id.

Als een provider mislukt, wordt automatisch de volgende kandidaat geprobeerd. Als alle pogingen mislukken, bevat de fout details van elke poging.

Stel agents.defaults.mediaGenerationAutoProviderFallback: false in om uitsluitend expliciete vermeldingen voor model, primary en fallbacks te gebruiken.

Opmerkingen over providers

Het juiste pad kiezen

• Gedeeld en providerondersteund wanneer u modelselectie, provider- failover en de ingebouwde asynchrone taak-/statusstroom wilt.
• Plugin-pad (ComfyUI) wanneer u een aangepaste workflowgraaf nodig hebt of een provider die geen deel uitmaakt van de gedeelde, meegeleverde muziekfunctionaliteit.

Als u ComfyUI-specifiek gedrag onderzoekt, raadpleeg dan ComfyUI. Als u gedeeld providergedrag onderzoekt, begin dan met fal, Google (Gemini), MiniMax of OpenRouter.

Modi voor providermogelijkheden

Het gedeelde contract voor muziekgeneratie ondersteunt expliciete modusdeclaraties:

• generate voor generatie op basis van alleen een prompt.
• edit wanneer het verzoek een of meer referentieafbeeldingen bevat.

Nieuwe providerimplementaties moeten bij voorkeur expliciete modusblokken gebruiken:

capabilities: {  generate: {    maxTracks: 1,    supportsLyrics: true,    supportsFormat: true,  },  edit: {    enabled: true,    maxTracks: 1,    maxInputImages: 1,    supportsFormat: true,  },}

Verouderde platte velden zoals maxInputImages, supportsLyrics en supportsFormat zijn niet voldoende om ondersteuning voor bewerken aan te geven. Providers moeten generate en edit expliciet declareren, zodat livetests, contracttests en de gedeelde tool music_generate de modusondersteuning deterministisch kunnen valideren.

Livetests

Optionele livedekking voor de gedeelde, meegeleverde providers (fal, Google, MiniMax, OpenRouter):

OPENCLAW_LIVE_TEST=1 pnpm test:live -- extensions/music-generation-providers.live.test.ts

Gelijkwaardige repository-wrapper die hetzelfde testbestand uitvoert:

pnpm test:live:media:music

Dit livebestand gebruikt standaard reeds geëxporteerde provideromgevingsvariabelen vóór opgeslagen authenticatieprofielen en voert zowel generate als de gedeclareerde edit-dekking uit wanneer de provider de bewerkingsmodus inschakelt. Huidige dekking:

• google: generate plus edit
• fal: alleen generate
• minimax: alleen generate
• openrouter: generate plus edit
• comfy: afzonderlijke Comfy-livedekking, niet de gedeelde providersweep

Optionele livedekking voor het meegeleverde ComfyUI-muziekpad:

OPENCLAW_LIVE_TEST=1 COMFY_LIVE_TEST=1 pnpm test:live -- extensions/comfy/comfy.live.test.ts

Het Comfy-livebestand dekt ook Comfy-workflows voor afbeeldingen en video wanneer die secties zijn geconfigureerd.

Gerelateerd

• Achtergrondtaken — taakregistratie voor losgekoppelde music_generate-uitvoeringen
• ComfyUI
• Configuratiereferentie — configuratie van musicGenerationModel
• Google (Gemini)
• MiniMax
• Modellen — modelconfiguratie en failover
• Overzicht van tools