Chế độ trò chuyện

Chế độ Talk bao gồm năm dạng thức chạy:

• Talk gốc trên macOS/iOS/Android: nhận dạng giọng nói cục bộ, trò chuyện qua Gateway và TTS talk.speak. Các Node quảng bá khả năng talk và khai báo những lệnh talk.* mà chúng hỗ trợ.
• Talk trên iOS (thời gian thực): WebRTC do máy khách quản lý dành cho các cấu hình thời gian thực của OpenAI chọn phương thức truyền tải webrtc hoặc không chỉ định phương thức truyền tải. Các cấu hình thời gian thực chỉ định rõ gateway-relay, provider-websocket và không thuộc OpenAI vẫn sử dụng chuyển tiếp do Gateway quản lý; các cấu hình không theo thời gian thực sử dụng vòng lặp giọng nói gốc.
• Talk trên trình duyệt: talk.client.create dành cho các phiên webrtc/provider-websocket do máy khách quản lý, hoặc talk.session.create dành cho các phiên gateway-relay do Gateway quản lý. managed-room được dành riêng cho việc bàn giao qua Gateway và các phòng liên lạc bộ đàm.
• Talk trên Android (thời gian thực): chủ động bật bằng talk.realtime.mode: "realtime" và talk.realtime.transport: "gateway-relay". Nếu không, Android vẫn sử dụng nhận dạng giọng nói gốc, trò chuyện qua Gateway và talk.speak.
• Máy khách chỉ phiên âm: talk.session.create({ mode: "transcription", transport: "gateway-relay", brain: "none" }), sau đó dùng talk.session.appendAudio, talk.session.cancelTurn và talk.session.close để tạo phụ đề/đọc chính tả mà không có phản hồi bằng giọng nói từ trợ lý. Ghi chú thoại tải lên một lần vẫn sử dụng đường dẫn âm thanh hiểu nội dung đa phương tiện.

Talk gốc là một vòng lặp liên tục: nghe lời nói, gửi bản phiên âm đến mô hình thông qua phiên đang hoạt động, chờ phản hồi, rồi phát phản hồi bằng nhà cung cấp Talk đã cấu hình (talk.speak).

Talk thời gian thực do máy khách quản lý chuyển tiếp các lệnh gọi công cụ của nhà cung cấp qua talk.client.toolCall thay vì gọi trực tiếp chat.send. Khi một lượt tham vấn thời gian thực đang hoạt động, máy khách có thể gọi talk.client.steer hoặc talk.session.steer để phân loại đầu vào lời nói thành status, steer, cancel hoặc followup. Yêu cầu điều hướng được chấp nhận sẽ được đưa vào hàng đợi của lượt chạy nhúng đang hoạt động; yêu cầu bị từ chối sẽ trả về lý do như no_active_run, not_streaming hoặc compacting.

Talk chỉ phiên âm phát cùng một vỏ sự kiện Talk như các phiên thời gian thực và STT/TTS, nhưng sử dụng mode: "transcription" và brain: "none". Tất cả các phiên Talk phát sự kiện trên kênh talk.event; máy khách đăng ký kênh này để nhận các bản cập nhật phiên âm từng phần/hoàn chỉnh (transcript.delta/transcript.done) và dữ liệu đo từ xa khác của phiên.

Hành vi (macOS)

• Lớp phủ luôn hiển thị khi chế độ Talk được bật.
• Chuyển đổi giữa các giai đoạn Đang nghe → Đang suy nghĩ → Đang nói.
• Khi có một khoảng dừng ngắn (khoảng im lặng), bản phiên âm hiện tại sẽ được gửi.
• Câu trả lời được ghi vào WebChat (giống như khi nhập văn bản).
• Ngắt khi có lời nói (bật theo mặc định): nếu người dùng nói trong khi trợ lý đang phát lời, việc phát sẽ dừng và dấu thời gian ngắt được ghi lại cho lời nhắc tiếp theo.

Chỉ thị giọng nói trong câu trả lời

Trợ lý có thể thêm một dòng JSON ở đầu câu trả lời để điều khiển giọng nói:

{ "voice": "<voice-id>", "once": true }

Quy tắc:

• Chỉ áp dụng cho dòng không trống đầu tiên; dòng JSON được loại bỏ trước khi phát TTS.
• Các khóa không xác định sẽ bị bỏ qua.
• once: true chỉ áp dụng cho câu trả lời hiện tại; nếu không có, giọng nói sẽ trở thành mặc định mới của chế độ Talk.

Các khóa được hỗ trợ: voice / voice_id / voiceId, model / model_id / modelId, speed, rate (WPM), stability, similarity, style, speakerBoost, seed, normalize, lang, output_format, latency_tier, once.

Cấu hình (~/.openclaw/openclaw.json)

{  talk: {    provider: "elevenlabs",    providers: {      elevenlabs: {        voiceId: "elevenlabs_voice_id",        modelId: "eleven_v3",        outputFormat: "mp3_44100_128",        apiKey: "elevenlabs_api_key",      },      mlx: {        modelId: "mlx-community/Soprano-80M-bf16",      },      system: {},    },    speechLocale: "ru-RU",    silenceTimeoutMs: 1500,    interruptOnSpeech: true,    realtime: {      provider: "openai",      providers: {        openai: {          apiKey: "openai_api_key",          model: "gpt-realtime-2.1",          speakerVoice: "cedar",        },      },      instructions: "Nói với giọng ấm áp và giữ câu trả lời ngắn gọn.",      mode: "realtime",      transport: "webrtc",      brain: "agent-consult",    },  },}

talk.catalog cung cấp các id nhà cung cấp chuẩn và bí danh trong registry, các chế độ/phương thức truyền/chiến lược brain/định dạng âm thanh thời gian thực/cờ khả năng hợp lệ của từng nhà cung cấp, cùng kết quả về trạng thái sẵn sàng được chọn trong thời gian chạy. Các ứng dụng Talk chính chủ nên đọc catalog đó thay vì tự duy trì bí danh nhà cung cấp cục bộ; hãy xem một Gateway cũ không cung cấp trạng thái sẵn sàng theo nhóm là chưa được xác minh, thay vì kết luận chắc chắn rằng nhóm đó chưa được cấu hình. Các nhà cung cấp phiên âm trực tuyến được phát hiện thông qua talk.catalog.transcription; relay Gateway hiện tại sử dụng cấu hình nhà cung cấp phát trực tuyến Voice Call cho đến khi có bề mặt cấu hình phiên âm Talk chuyên biệt.

Giao diện macOS

• Nút bật/tắt trên thanh menu: Talk
• Thẻ cấu hình: nhóm Talk Mode (id giọng nói + nút bật/tắt ngắt lời)
• Lớp phủ: quả cầu hiển thị dạng sóng Talk chung (dùng chung với iOS, watchOS và Android). Trạng thái Listening phản ánh mức mic trực tiếp, trạng thái Speaking phản ánh đường bao phát TTS thực tế, còn trạng thái Thinking dao động nhẹ nhàng. Nhấp vào quả cầu để tạm dừng/tiếp tục, nhấp đúp để dừng nói, nhấp vào X để thoát chế độ Talk.

Giao diện Android

• Nút bật/tắt trong thẻ Voice: Talk
• Mic và Talk thủ công là các chế độ thu âm loại trừ lẫn nhau.
• Mic thủ công và Talk thời gian thực ưu tiên mic của tai nghe Bluetooth Classic hoặc BLE đang kết nối; nếu tai nghe ngắt kết nối, ứng dụng yêu cầu một đầu vào tai nghe khác hoặc chuyển về mic mặc định, đồng thời khôi phục tùy chọn ưu tiên mặc định sau khi dừng thu âm.
• Mic thủ công sẽ dừng khi ứng dụng rời khỏi tiền cảnh hoặc người dùng rời khỏi thẻ Voice.
• Talk Mode tiếp tục chạy cho đến khi bị tắt hoặc Node ngắt kết nối, đồng thời sử dụng loại dịch vụ tiền cảnh dành cho mic của Android khi đang hoạt động.
• Android hỗ trợ các định dạng đầu ra pcm_16000, pcm_22050, pcm_24000 và pcm_44100 để phát trực tuyến AudioTrack với độ trễ thấp.

Ghi chú

• Yêu cầu quyền truy cập Giọng nói + Micrô.
• Talk gốc sử dụng phiên Gateway đang hoạt động và chỉ chuyển sang thăm dò lịch sử khi không có sự kiện phản hồi.
• Gateway phân giải việc phát Talk thông qua talk.speak bằng nhà cung cấp Talk đang hoạt động. Android chỉ chuyển sang TTS hệ thống cục bộ khi RPC đó không khả dụng.
• Tính năng phát MLX cục bộ trên macOS sử dụng trình trợ giúp openclaw-mlx-tts đi kèm khi có, hoặc một tệp thực thi trên PATH. Đặt OPENCLAW_MLX_TTS_BIN để trỏ đến tệp nhị phân của trình trợ giúp tùy chỉnh trong quá trình phát triển.
• Phạm vi giá trị chỉ thị giọng nói (ElevenLabs): stability, similarity và style chấp nhận 0..1; speed chấp nhận 0.5..2; latency_tier chấp nhận 0..4.

Liên quan

• Đánh thức bằng giọng nói
• Âm thanh và ghi chú thoại
• Hiểu nội dung đa phương tiện