Modo de conversa

O modo de conversa abrange cinco formatos de execução:

• Conversa nativa no macOS/iOS/Android: reconhecimento de fala local, chat do Gateway e TTS por talk.speak. Os Nodes anunciam a capacidade talk e declaram quais comandos talk.* são compatíveis.
• Conversa no iOS (em tempo real): WebRTC controlado pelo cliente para configurações em tempo real da OpenAI que selecionam o transporte webrtc ou omitem o transporte. Configurações em tempo real explícitas com gateway-relay, provider-websocket e de outros provedores que não a OpenAI permanecem no retransmissor controlado pelo Gateway; configurações que não são em tempo real usam o ciclo de fala nativo.
• Conversa no navegador: talk.client.create para sessões webrtc/provider-websocket controladas pelo cliente ou talk.session.create para sessões gateway-relay controladas pelo Gateway. managed-room é reservado para transferência ao Gateway e salas de comunicação por turnos.
• Conversa no Android (em tempo real): habilite explicitamente com talk.realtime.mode: "realtime" e talk.realtime.transport: "gateway-relay". Caso contrário, o Android permanece com reconhecimento de fala nativo, chat do Gateway e talk.speak.
• Clientes somente de transcrição: talk.session.create({ mode: "transcription", transport: "gateway-relay", brain: "none" }) e, em seguida, talk.session.appendAudio, talk.session.cancelTurn e talk.session.close para legendas/ditado sem resposta de voz do assistente. Mensagens de voz enviadas de forma avulsa continuam usando o caminho de áudio de compreensão de mídia.

A conversa nativa é um ciclo contínuo: ouvir a fala, enviar a transcrição ao modelo por meio da sessão ativa, aguardar a resposta e então reproduzi-la pelo provedor de conversa configurado (talk.speak).

A conversa em tempo real controlada pelo cliente encaminha as chamadas de ferramentas do provedor por meio de talk.client.toolCall, em vez de chamar chat.send diretamente. Enquanto uma consulta em tempo real está ativa, os clientes podem chamar talk.client.steer ou talk.session.steer para classificar a entrada falada como status, steer, cancel ou followup. O direcionamento aceito entra na fila da execução integrada ativa; o direcionamento rejeitado retorna um motivo como no_active_run, not_streaming ou compacting.

A conversa somente de transcrição emite o mesmo envelope de eventos de conversa que as sessões em tempo real e de STT/TTS, mas usa mode: "transcription" e brain: "none". Todas as sessões de conversa transmitem eventos no canal talk.event; os clientes assinam esse canal para receber atualizações parciais/finais da transcrição (transcript.delta/transcript.done) e outras informações de telemetria da sessão.

Comportamento (macOS)

• Sobreposição sempre visível enquanto o modo de conversa estiver habilitado.
• Transições entre as fases Ouvindo → Pensando → Falando.
• Após uma pausa curta (janela de silêncio), a transcrição atual é enviada.
• As respostas são gravadas no WebChat (da mesma forma que ao digitar).
• Interromper ao detectar fala (ativado por padrão): se o usuário falar enquanto o assistente estiver falando, a reprodução será interrompida e o horário da interrupção será registrado para o próximo prompt.

Diretivas de voz nas respostas

O assistente pode prefixar uma resposta com uma única linha JSON para controlar a voz:

{ "voice": "<voice-id>", "once": true }

Regras:

• Somente a primeira linha não vazia; a linha JSON é removida antes da reprodução por TTS.
• Chaves desconhecidas são ignoradas.
• once: true aplica-se somente à resposta atual; sem essa opção, a voz se torna o novo padrão do modo de conversa.

Chaves compatíveis: voice / voice_id / voiceId, model / model_id / modelId, speed, rate (PPM), stability, similarity, style, speakerBoost, seed, normalize, lang, output_format, latency_tier, once.

Configuração (~/.openclaw/openclaw.json)

{  talk: {    provider: "elevenlabs",    providers: {      elevenlabs: {        voiceId: "elevenlabs_voice_id",        modelId: "eleven_v3",        outputFormat: "mp3_44100_128",        apiKey: "elevenlabs_api_key",      },      mlx: {        modelId: "mlx-community/Soprano-80M-bf16",      },      system: {},    },    speechLocale: "ru-RU",    silenceTimeoutMs: 1500,    interruptOnSpeech: true,    realtime: {      provider: "openai",      providers: {        openai: {          apiKey: "openai_api_key",          model: "gpt-realtime-2.1",          speakerVoice: "cedar",        },      },      instructions: "Fale de forma acolhedora e mantenha as respostas breves.",      mode: "realtime",      transport: "webrtc",      brain: "agent-consult",    },  },}

talk.catalog expõe IDs canônicos de provedores e aliases do registro, os modos/transportes/estratégias de cérebro/formatos de áudio em tempo real/sinalizadores de capacidade válidos de cada provedor e o resultado de prontidão selecionado em tempo de execução. Os clientes Talk primários devem consultar esse catálogo em vez de manter aliases de provedores localmente; trate um Gateway mais antigo que omita a prontidão do grupo como não verificado, em vez de definitivamente não configurado. Os provedores de transcrição por streaming são descobertos por meio de talk.catalog.transcription; a retransmissão atual do Gateway usa a configuração do provedor de streaming de chamadas de voz até que uma superfície de configuração dedicada à transcrição do Talk seja disponibilizada.

Interface do macOS

• Alternância na barra de menus: Talk
• Aba de configuração: grupo Talk Mode (ID de voz + alternância de interrupção)
• Sobreposição: a esfera renderiza a forma de onda universal do Talk (compartilhada com iOS, watchOS e Android). Durante a escuta, ela acompanha o nível do microfone em tempo real; durante a fala, acompanha o envelope real da reprodução de TTS; durante o processamento, pulsa suavemente. Clique na esfera para pausar/retomar, clique duas vezes para parar a fala e clique em X para sair do modo Talk.

Interface do Android

• Alternância na aba de voz: Talk
• Os modos manuais de captura Mic e Talk são mutuamente exclusivos.
• O microfone manual e o Talk em tempo real priorizam o microfone de um headset Bluetooth Classic ou BLE conectado; se ele for desconectado, o aplicativo solicita outra entrada de headset ou recorre ao microfone padrão, restaurando a preferência padrão quando a captura termina.
• O microfone manual é interrompido quando o aplicativo sai do primeiro plano ou quando o usuário sai da aba de voz.
• O modo Talk continua em execução até ser desativado ou até o Node ser desconectado, usando o tipo de serviço em primeiro plano de microfone do Android enquanto estiver ativo.
• O Android é compatível com os formatos de saída pcm_16000, pcm_22050, pcm_24000 e pcm_44100 para streaming de baixa latência com AudioTrack.

Observações

• Requer permissões de fala e microfone.
• O Talk nativo usa a sessão ativa do Gateway e só recorre à consulta periódica do histórico quando os eventos de resposta não estão disponíveis.
• O Gateway processa a reprodução do Talk por meio de talk.speak, usando o provedor ativo do Talk. O Android só recorre ao TTS local do sistema quando esse RPC não está disponível.
• A reprodução local com MLX no macOS usa o utilitário openclaw-mlx-tts incluído quando disponível ou um executável no PATH. Defina OPENCLAW_MLX_TTS_BIN para apontar para um binário de utilitário personalizado durante o desenvolvimento.
• Intervalos de valores das diretivas de voz (ElevenLabs): stability, similarity e style aceitam 0..1; speed aceita 0.5..2; latency_tier aceita 0..4.

Relacionado

• Ativação por voz
• Áudio e mensagens de voz
• Compreensão de mídia