Providers

SGLang

SGLang stellt Open-Weight-Modelle über eine OpenAI-kompatible HTTP-API bereit. OpenClaw verbindet sich über die Provider-Familie openai-completions mit SGLang und erkennt verfügbare Modelle automatisch.

Eigenschaft Wert
Provider-ID sglang
Plugin gebündelt, enabledByDefault: true
Authentifizierungs-Umgebungsvariable SGLANG_API_KEY (beliebiger nicht leerer Wert, wenn der Server keine Authentifizierung verwendet)
Onboarding-Flag --auth-choice sglang
API OpenAI-kompatibel (openai-completions)
Standard-Basis-URL http://127.0.0.1:30000/v1
Standard-Modellplatzhalter sglang/Qwen/Qwen3-8B
Streaming-Nutzungsdaten Ja (supportsStreamingUsage: true)
Preisgestaltung Als extern kostenlos gekennzeichnet (modelPricing.external: false)

OpenClaw erkennt verfügbare Modelle von SGLang außerdem automatisch, wenn Sie sich mit SGLANG_API_KEY dafür entscheiden. Verwenden Sie sglang/* in agents.defaults.models, damit die Erkennung dynamisch bleibt, wenn Sie zusätzlich eine benutzerdefinierte SGLang-Basis-URL konfigurieren. Weitere Informationen finden Sie unten unter Modellerkennung (impliziter Provider).

Erste Schritte

  • SGLang starten

    Starten Sie SGLang mit einem OpenAI-kompatiblen Server. Ihre Basis-URL sollte /v1-Endpunkte bereitstellen (zum Beispiel /v1/models, /v1/chat/completions). SGLang wird üblicherweise unter folgender Adresse ausgeführt:

    • http://127.0.0.1:30000/v1
  • API-Schlüssel festlegen

    Wenn auf Ihrem Server keine Authentifizierung konfiguriert ist, funktioniert ein beliebiger Wert:

    bash
    export SGLANG_API_KEY="sglang-local"
  • Onboarding ausführen oder ein Modell direkt festlegen

    bash
    openclaw onboard

    Oder konfigurieren Sie das Modell manuell:

    json5
    {  agents: {    defaults: {      model: { primary: "sglang/your-model-id" },    },  },}
  • Modellerkennung (impliziter Provider)

    Wenn SGLANG_API_KEY festgelegt ist (oder ein Authentifizierungsprofil vorhanden ist) und Sie models.providers.sglang nicht definieren, fragt OpenClaw Folgendes ab:

    • GET http://127.0.0.1:30000/v1/models

    und wandelt die zurückgegebenen IDs in Modelleinträge um.

    Explizite Konfiguration (manuelle Modelle)

    Verwenden Sie eine explizite Konfiguration, wenn:

    • SGLang auf einem anderen Host oder Port ausgeführt wird.
    • Sie Werte für contextWindow/maxTokens fest vorgeben möchten.
    • Ihr Server einen echten API-Schlüssel erfordert (oder Sie die Header steuern möchten).
    json5
    {  models: {    providers: {      sglang: {        baseUrl: "http://127.0.0.1:30000/v1",        apiKey: "${SGLANG_API_KEY}",        api: "openai-completions",        models: [          {            id: "your-model-id",            name: "Lokales SGLang-Modell",            reasoning: false,            input: ["text"],            cost: { input: 0, output: 0, cacheRead: 0, cacheWrite: 0 },            contextWindow: 128000,            maxTokens: 8192,          },        ],      },    },  },}

    Erweiterte Konfiguration

    Proxy-ähnliches Verhalten

    SGLang wird als Proxy-ähnliches, OpenAI-kompatibles /v1-Backend behandelt, nicht als nativer OpenAI-Endpunkt.

    Verhalten SGLang
    Nur für OpenAI vorgesehene Anfragegestaltung Nicht angewendet
    service_tier, Responses-store, Hinweise zum Prompt-Cache Nicht gesendet
    Reasoning-Kompatibilitätsgestaltung der Nutzlast Nicht angewendet
    Verborgene Zuordnungs-Header (originator, version, User-Agent) Bei benutzerdefinierten SGLang-Basis-URLs nicht eingefügt
    Fehlerbehebung

    Server nicht erreichbar

    Vergewissern Sie sich, dass der Server ausgeführt wird und antwortet:

    bash
    curl http://127.0.0.1:30000/v1/models

    Authentifizierungsfehler

    Wenn Anfragen aufgrund von Authentifizierungsfehlern fehlschlagen, legen Sie einen echten SGLANG_API_KEY fest, der Ihrer Serverkonfiguration entspricht, oder konfigurieren Sie den Provider ausdrücklich unter models.providers.sglang.

    Verwandte Themen

    Was this useful?
    On this page

    On this page