Musikerzeugung

Prompt für die Musikgenerierung. Für action: "generate" erforderlich.

"status" gibt die aktuelle Sitzungsaufgabe zurück; "list" zeigt Provider an.

Überschreibung von Provider/Modell (z. B. google/lyria-3-pro-preview, comfy/workflow).

Optionale Liedtexte, wenn der Provider eine explizite Liedtexteingabe unterstützt.

Fordert eine rein instrumentale Ausgabe an, wenn der Provider dies unterstützt.

Pfad oder URL eines einzelnen Referenzbilds.

Mehrere Referenzbilder (bis zu 10 bei unterstützenden Providern).

Zieldauer in Sekunden, wenn der Provider Dauerhinweise unterstützt.

Hinweis zum Ausgabeformat, wenn der Provider es unterstützt.

Zeitüberschreitungen für Provider-Anfragen sind ausschließlich eine Betreiberkonfiguration. OpenClaw verwendet agents.defaults.musicGenerationModel.timeoutMs, wenn dies konfiguriert ist, erhöht Werte unter 120000ms auf 120000ms und verwendet andernfalls für Provider-Anfragen standardmäßig 300000ms.

Asynchrones Verhalten

Die sitzungsgebundene Musikgenerierung wird als Hintergrundaufgabe ausgeführt:

• Hintergrundaufgabe: music_generate erstellt eine Hintergrundaufgabe, gibt sofort eine Antwort mit Start-/Aufgabenstatus zurück und veröffentlicht den fertigen Titel später in einer nachfolgenden Agent-Nachricht.
• Vermeidung von Duplikaten: Solange eine Aufgabe queued oder running ist, geben spätere music_generate-Aufrufe in derselben Sitzung den Aufgabenstatus zurück, statt eine weitere Generierung zu starten. Verwenden Sie action: "status", um dies ausdrücklich zu prüfen. Eine kürzlich abgeschlossene, übereinstimmende Anfrage wird ebenfalls 2 Minuten lang dedupliziert.
• Statusabfrage: openclaw tasks list oder openclaw tasks show <taskId> zeigt den Status wartender, laufender und abgeschlossener Aufgaben an.
• Aufwecken bei Abschluss: OpenClaw fügt ein internes Abschlussereignis wieder in dieselbe Sitzung ein, sodass das Modell die benutzerseitige Folgenachricht selbst verfassen kann.
• Prompt-Hinweis: Spätere Benutzer-/manuelle Interaktionen in derselben Sitzung erhalten einen kleinen Laufzeithinweis, wenn bereits eine Musikaufgabe ausgeführt wird, damit das Modell nicht unbedacht erneut music_generate aufruft.
• Fallback ohne Sitzung: Direkte/lokale Kontexte ohne echte Agent-Sitzung werden direkt ausgeführt und geben das endgültige Audioergebnis im selben Durchgang zurück.

Aufgabenlebenszyklus

Die Musikaufgabe zeigt dieselben Zustände wie die allgemeine Aufgabenregistrierung (siehe Hintergrundaufgaben für die vollständige Zustandsmaschine einschließlich timed_out, cancelled und lost). Die meisten Musikgenerierungen durchlaufen:

Prüfen Sie den Status über die CLI:

openclaw tasks listopenclaw tasks show <taskId>openclaw tasks cancel <taskId>

Konfiguration

Modellauswahl

{  agents: {    defaults: {      musicGenerationModel: {        primary: "google/lyria-3-clip-preview",        fallbacks: ["fal/fal-ai/minimax-music/v2.6", "minimax/music-2.6"],      },    },  },}

Reihenfolge der Provider-Auswahl

OpenClaw probiert Provider in dieser Reihenfolge aus:

1. Parameter model aus dem Tool-Aufruf (wenn der Agent einen angibt).
2. musicGenerationModel.primary aus der Konfiguration.
3. musicGenerationModel.fallbacks in der angegebenen Reihenfolge.
4. Automatische Erkennung ausschließlich anhand der Standardwerte von Providern mit konfigurierter Authentifizierung:
   • zuerst der aktuelle Standard-Provider des Textmodells, sofern er auch Musikgenerierung anbietet;
   • anschließend die übrigen registrierten Provider für Musikgenerierung, alphabetisch nach Provider-ID.

Wenn ein Provider fehlschlägt, wird automatisch der nächste Kandidat ausprobiert. Wenn alle fehlschlagen, enthält der Fehler Details zu jedem Versuch.

Legen Sie agents.defaults.mediaGenerationAutoProviderFallback: false fest, um ausschließlich explizite Einträge für model, primary und fallbacks zu verwenden.

Hinweise zu Providern

Den richtigen Pfad wählen

• Gemeinsamer, Provider-gestützter Pfad, wenn Sie Modellauswahl, Provider- Failover und den integrierten asynchronen Aufgaben-/Statusablauf benötigen.
• Plugin-Pfad (ComfyUI), wenn Sie einen benutzerdefinierten Workflow-Graphen oder einen Provider benötigen, der nicht Teil der gemeinsamen gebündelten Musikfunktion ist.

Wenn Sie ComfyUI-spezifisches Verhalten debuggen, lesen Sie ComfyUI. Wenn Sie das Verhalten gemeinsamer Provider debuggen, beginnen Sie mit fal, Google (Gemini), MiniMax oder OpenRouter.

Fähigkeitsmodi der Provider

Der gemeinsame Vertrag für die Musikgenerierung unterstützt explizite Modusdeklarationen:

• generate für die Generierung ausschließlich anhand eines Prompts.
• edit, wenn die Anfrage ein oder mehrere Referenzbilder enthält.

Neue Provider-Implementierungen sollten explizite Modusblöcke bevorzugen:

capabilities: {  generate: {    maxTracks: 1,    supportsLyrics: true,    supportsFormat: true,  },  edit: {    enabled: true,    maxTracks: 1,    maxInputImages: 1,    supportsFormat: true,  },}

Veraltete flache Felder wie maxInputImages, supportsLyrics und supportsFormat reichen nicht aus, um Bearbeitungsunterstützung anzugeben. Provider sollten generate und edit explizit deklarieren, damit Live-Tests, Vertragstests und das gemeinsame Tool music_generate die Modusunterstützung deterministisch validieren können.

Live-Tests

Optional aktivierbare Live-Testabdeckung für die gemeinsamen gebündelten Provider (fal, Google, MiniMax, OpenRouter):

OPENCLAW_LIVE_TEST=1 pnpm test:live -- extensions/music-generation-providers.live.test.ts

Äquivalenter Repository-Wrapper, der dieselbe Testdatei ausführt:

pnpm test:live:media:music

Diese Live-Datei verwendet standardmäßig bereits exportierte Provider-Umgebungsvariablen vor gespeicherten Authentifizierungsprofilen und führt sowohl die Abdeckung für generate als auch für deklariertes edit aus, wenn der Provider den Bearbeitungsmodus aktiviert. Aktuelle Abdeckung:

• google: generate plus edit
• fal: nur generate
• minimax: nur generate
• openrouter: generate plus edit
• comfy: separate Comfy-Live-Testabdeckung, nicht Teil des gemeinsamen Provider-Durchlaufs

Optional aktivierbare Live-Testabdeckung für den gebündelten ComfyUI-Musikpfad:

OPENCLAW_LIVE_TEST=1 COMFY_LIVE_TEST=1 pnpm test:live -- extensions/comfy/comfy.live.test.ts

Die Comfy-Live-Datei deckt außerdem Comfy-Bild- und -Video-Workflows ab, wenn diese Abschnitte konfiguriert sind.

Verwandte Themen

• Hintergrundaufgaben — Aufgabenverfolgung für entkoppelte music_generate-Ausführungen
• ComfyUI
• Konfigurationsreferenz — musicGenerationModel-Konfiguration
• Google (Gemini)
• MiniMax
• Modelle — Modellkonfiguration und Failover
• Tool-Übersicht