Провайдер llama.cpp

llama-cpp — це офіційний зовнішній Plugin-постачальник для локальних вбудовувань GGUF. Він реєструє ідентифікатор постачальника вбудовувань local і відповідає за залежність середовища виконання node-llama-cpp, яку використовує memorySearch.provider: "local".

Установіть його перед використанням локальних вбудовувань пам’яті:

openclaw plugins install @openclaw/llama-cpp-provider

Основний npm-пакет openclaw не містить node-llama-cpp. Зберігання нативної залежності в цьому Plugin запобігає видаленню вручну встановленого середовища виконання в каталозі пакета OpenClaw під час звичайних оновлень OpenClaw через npm.

Конфігурація

Установіть для memorySearch.provider значення local:

{  agents: {    defaults: {      memorySearch: {        provider: "local",        local: {          modelPath: "hf:ggml-org/embeddinggemma-300m-qat-q8_0-GGUF/embeddinggemma-300m-qat-Q8_0.gguf",        },      },    },  },}

За замовчуванням local.modelPath має значення URI hf:, наведене вище (embeddinggemma-300m-qat-Q8_0.gguf). Укажіть інший URI hf: або локальний файл .gguf, щоб використовувати іншу модель. local.modelCacheDir змінює розташування кешу завантажених моделей (за замовчуванням: ~/.node-llama-cpp/models), а local.contextSize приймає ціле число або "auto".

Коли local.contextSize має числове значення, постачальник також передає цю вимогу механізму автоматичного розміщення шарів у GPU в node-llama-cpp. Це дає змогу node-llama-cpp одночасно розмістити модель і контекст вбудовувань, зберігаючи перевірки безпеки пам’яті. Зі значенням "auto" node-llama-cpp використовує звичайне автоматичне розміщення.

Нативне середовище виконання

Використовуйте Node 24 для найпростішого встановлення нативних компонентів. У вихідних копіях, що використовують pnpm, може знадобитися схвалити й перебудувати нативну залежність:

pnpm approve-buildspnpm rebuild node-llama-cpp

Діагностика середовища виконання

Після завантаження постачальника виконайте openclaw memory status --deep, щоб перевірити вибраний бекенд і збірку, назви пристроїв, кількість шарів, вивантажених у GPU, запитаний розмір контексту та останній зафіксований знімок VRAM або уніфікованої пам’яті. Значення VRAM містять позначку часу спостереження, оскільки пасивне читання стану не перезавантажує модель і не опитує пристрій.

Ті самі останні відомі дані можуть відображатися в openclaw doctor, якщо запущений Gateway уже використовував локального постачальника. Звичайна команда перевірки стану або doctor не завантажує модель лише для збирання діагностичних даних.

Усунення несправностей

Якщо node-llama-cpp відсутній або не завантажується, OpenClaw повідомляє про помилку з такими рекомендаціями:

1. Установіть Plugin: openclaw plugins install @openclaw/llama-cpp-provider.
2. Використовуйте Node 24 для встановлення й оновлення нативних компонентів.
3. У вихідній копії з pnpm виконайте pnpm approve-builds, а потім pnpm rebuild node-llama-cpp.

Щоб використовувати локальні вбудовування без складнощів, пов’язаних із нативним збиранням, натомість установіть для memorySearch.provider віддаленого постачальника вбудовувань, наприклад lmstudio, ollama, openai або voyage.