Providers

SGLang

SGLang обслуживает модели с открытыми весами через HTTP API, совместимый с OpenAI. OpenClaw подключается к SGLang с помощью семейства провайдеров openai-completions с автоматическим обнаружением доступных моделей.

Свойство Значение
Идентификатор провайдера sglang
Плагин встроенный, enabledByDefault: true
Переменная окружения для аутентификации SGLANG_API_KEY (любое непустое значение, если сервер не использует аутентификацию)
Флаг первоначальной настройки --auth-choice sglang
API совместимый с OpenAI (openai-completions)
Базовый URL по умолчанию http://127.0.0.1:30000/v1
Заполнитель модели по умолчанию sglang/Qwen/Qwen3-8B
Использование потоковой передачи Да (supportsStreamingUsage: true)
Тарификация Помечено как бесплатное внешнее использование (modelPricing.external: false)

OpenClaw также автоматически обнаруживает доступные модели в SGLang, когда вы включаете эту возможность с помощью SGLANG_API_KEY. Используйте sglang/* в agents.defaults.models, чтобы обнаружение оставалось динамическим, если вы также настраиваете пользовательский базовый URL SGLang. См. раздел Обнаружение моделей (неявный провайдер) ниже.

Начало работы

  • Запустите SGLang

    Запустите SGLang с сервером, совместимым с OpenAI. Ваш базовый URL должен предоставлять конечные точки /v1 (например, /v1/models, /v1/chat/completions). Обычно SGLang работает по адресу:

    • http://127.0.0.1:30000/v1
  • Задайте ключ API

    Если на вашем сервере не настроена аутентификация, подойдет любое значение:

    bash
    export SGLANG_API_KEY="sglang-local"
  • Выполните первоначальную настройку или задайте модель напрямую

    bash
    openclaw onboard

    Либо настройте модель вручную:

    json5
    {  agents: {    defaults: {      model: { primary: "sglang/your-model-id" },    },  },}
  • Обнаружение моделей (неявный провайдер)

    Если задано SGLANG_API_KEY (или существует профиль аутентификации) и вы не определили models.providers.sglang, OpenClaw выполняет запрос к:

    • GET http://127.0.0.1:30000/v1/models

    и преобразует возвращенные идентификаторы в записи моделей.

    Явная конфигурация (ручное задание моделей)

    Используйте явную конфигурацию, если:

    • SGLang работает на другом узле или порте.
    • Вы хотите зафиксировать значения contextWindow/maxTokens.
    • Ваш сервер требует настоящий ключ API (или вы хотите управлять заголовками).
    json5
    {  models: {    providers: {      sglang: {        baseUrl: "http://127.0.0.1:30000/v1",        apiKey: "${SGLANG_API_KEY}",        api: "openai-completions",        models: [          {            id: "your-model-id",            name: "Local SGLang Model",            reasoning: false,            input: ["text"],            cost: { input: 0, output: 0, cacheRead: 0, cacheWrite: 0 },            contextWindow: 128000,            maxTokens: 8192,          },        ],      },    },  },}

    Расширенная конфигурация

    Поведение в режиме прокси

    SGLang рассматривается как прокси-серверная часть /v1, совместимая с OpenAI, а не как нативная конечная точка OpenAI.

    Поведение SGLang
    Формирование запросов только для OpenAI Не применяется
    service_tier, Responses store, подсказки для кэша промптов Не отправляются
    Формирование полезной нагрузки для совместимости с рассуждениями Не применяется
    Скрытые заголовки атрибуции (originator, version, User-Agent) Не добавляются для пользовательских базовых URL SGLang
    Устранение неполадок

    Сервер недоступен

    Убедитесь, что сервер запущен и отвечает:

    bash
    curl http://127.0.0.1:30000/v1/models

    Ошибки аутентификации

    Если запросы завершаются ошибками аутентификации, задайте настоящий SGLANG_API_KEY, соответствующий конфигурации вашего сервера, либо явно настройте провайдера в models.providers.sglang.

    Связанные материалы

    Was this useful?
    On this page

    On this page