OpenClawDocs
View as MarkdownView this page as plain textOpen in ChatGPTAsk questions about this pageOpen in ClaudeAsk questions about this page

Providers

SGLang

SGLang menyajikan model berbobot terbuka melalui API HTTP yang kompatibel dengan OpenAI. OpenClaw terhubung ke SGLang menggunakan keluarga penyedia openai-completions dengan penemuan otomatis model yang tersedia.

Properti Nilai
ID penyedia sglang
Plugin bawaan, enabledByDefault: true
Variabel lingkungan autentikasi SGLANG_API_KEY (nilai apa pun yang tidak kosong jika server tidak menggunakan autentikasi)
Flag orientasi awal --auth-choice sglang
API Kompatibel dengan OpenAI (openai-completions)
URL dasar default http://127.0.0.1:30000/v1
Placeholder model default sglang/Qwen/Qwen3-8B
Penggunaan streaming Ya (supportsStreamingUsage: true)
Harga Ditandai gratis eksternal (modelPricing.external: false)

OpenClaw juga menemukan secara otomatis model yang tersedia dari SGLang saat Anda mengaktifkannya dengan SGLANG_API_KEY. Gunakan sglang/* di agents.defaults.models agar penemuan tetap dinamis ketika Anda juga mengonfigurasi URL dasar SGLang khusus. Lihat Penemuan model (penyedia implisit) di bawah.

Memulai

  • Mulai SGLang

    Jalankan SGLang dengan server yang kompatibel dengan OpenAI. URL dasar Anda harus menyediakan endpoint /v1 (misalnya /v1/models, /v1/chat/completions). SGLang biasanya berjalan di:

    • http://127.0.0.1:30000/v1

  • Tetapkan kunci API

    Nilai apa pun dapat digunakan jika autentikasi tidak dikonfigurasi pada server Anda:

    bash
    export SGLANG_API_KEY="sglang-local"

  • Jalankan orientasi awal atau tetapkan model secara langsung

    bash
    openclaw onboard

    Atau konfigurasikan model secara manual:

    json5
    {  agents: {    defaults: {      model: { primary: "sglang/your-model-id" },    },  },}

    • Penemuan model (penyedia implisit)

    Ketika SGLANG_API_KEY ditetapkan (atau profil autentikasi tersedia) dan Anda tidak mendefinisikan models.providers.sglang, OpenClaw mengirim kueri ke:

    • GET http://127.0.0.1:30000/v1/models

    dan mengonversi ID yang dikembalikan menjadi entri model.

    Konfigurasi eksplisit (model manual)

    Gunakan konfigurasi eksplisit ketika:

    • SGLang berjalan pada host/port yang berbeda.
    • Anda ingin menetapkan nilai contextWindow/maxTokens.
    • Server Anda memerlukan kunci API yang sebenarnya (atau Anda ingin mengontrol header).
    json5
    {  models: {    providers: {      sglang: {        baseUrl: "http://127.0.0.1:30000/v1",        apiKey: "${SGLANG_API_KEY}",        api: "openai-completions",        models: [          {            id: "your-model-id",            name: "Local SGLang Model",            reasoning: false,            input: ["text"],            cost: { input: 0, output: 0, cacheRead: 0, cacheWrite: 0 },            contextWindow: 128000,            maxTokens: 8192,          },        ],      },    },  },}

    Konfigurasi lanjutan

    Perilaku bergaya proksi

    SGLang diperlakukan sebagai backend /v1 bergaya proksi yang kompatibel dengan OpenAI, bukan endpoint OpenAI native.

    Perilaku SGLang
    Pembentukan permintaan khusus OpenAI Tidak diterapkan
    service_tier, store Responses, petunjuk cache prompt Tidak dikirim
    Pembentukan payload kompatibilitas penalaran Tidak diterapkan
    Header atribusi tersembunyi (originator, version, User-Agent) Tidak disisipkan pada URL dasar SGLang khusus
    Pemecahan masalah

    Server tidak dapat dijangkau

    Pastikan server berjalan dan merespons:

    bash
    curl http://127.0.0.1:30000/v1/models

    Kesalahan autentikasi

    Jika permintaan gagal karena kesalahan autentikasi, tetapkan SGLANG_API_KEY sebenarnya yang sesuai dengan konfigurasi server Anda, atau konfigurasikan penyedia secara eksplisit di bawah models.providers.sglang.

    Terkait

    Pemilihan model

    Memilih penyedia, referensi model, dan perilaku failover.
    Referensi konfigurasi

    Skema konfigurasi lengkap termasuk entri penyedia.
    Was this useful?
    On this page

    On this page