Ollama

Local और LAN Ollama hosts को वास्तविक bearer token की आवश्यकता नहीं होती. OpenClaw local ollama-local marker का उपयोग केवल loopback, private-network, .local, और bare-hostname Ollama base URLs के लिए करता है.

Remote public hosts और Ollama Cloud (https://ollama.com) को OLLAMA_API_KEY, auth profile, या provider के apiKey के ज़रिए वास्तविक credential चाहिए. Direct hosted उपयोग के लिए, provider ollama-cloud prefer करें.

Custom provider ids जो api: "ollama" set करते हैं, वही नियम follow करते हैं. उदाहरण के लिए, private LAN Ollama host की ओर point करने वाला ollama-remote provider apiKey: "ollama-local" का उपयोग कर सकता है और sub-agents उस marker को missing credential मानने के बजाय Ollama provider hook के ज़रिए resolve करेंगे. Memory search agents.defaults.memorySearch.provider को उस custom provider id पर भी set कर सकता है ताकि embeddings matching Ollama endpoint का उपयोग करें.

auth-profiles.json provider id के लिए credential store करता है. Endpoint settings (baseUrl, api, model ids, headers, timeouts) को models.providers.<id> में रखें. पुराने flat auth-profile files जैसे { "ollama-windows": { "apiKey": "ollama-local" } } runtime format नहीं हैं; backup के साथ canonical ollama-windows:default API-key profile में rewrite करने के लिए openclaw doctor --fix चलाएं. उस file में baseUrl compatibility noise है और इसे provider config में move करना चाहिए.

जब Ollama का उपयोग memory embeddings के लिए किया जाता है, bearer auth उसी host तक scoped होता है जहां इसे declared किया गया था:

• Provider-level key केवल उस provider के Ollama host को भेजी जाती है.
• agents.*.memorySearch.remote.apiKey केवल अपने remote embedding host को भेजी जाती है.
• Pure OLLAMA_API_KEY env value को Ollama Cloud convention माना जाता है, default रूप से local या self-hosted hosts को नहीं भेजा जाता.

इसका उपयोग तब करें जब Ollama, Gateway वाली ही मशीन पर चल रहा हो और आप चाहते हों कि OpenClaw इंस्टॉल किए गए मॉडलों को अपने-आप खोजे।

ollama serveollama pull gemma4export OLLAMA_API_KEY="ollama-local"openclaw models list --provider ollamaopenclaw models set ollama/gemma4

यह पथ कॉन्फिग को न्यूनतम रखता है। जब तक आप मॉडलों को मैन्युअल रूप से परिभाषित नहीं करना चाहते, models.providers.ollama ब्लॉक न जोड़ें।

LAN होस्ट के लिए मूल Ollama URL का उपयोग करें। /v1 न जोड़ें।

{  models: {    providers: {      ollama: {        baseUrl: "http://gpu-box.local:11434",        apiKey: "ollama-local",        api: "ollama",        timeoutSeconds: 300,        contextWindow: 32768,        maxTokens: 8192,        models: [          {            id: "qwen3.5:9b",            name: "qwen3.5:9b",            reasoning: true,            input: ["text"],            params: {              num_ctx: 32768,              thinking: false,              keep_alive: "15m",            },          },        ],      },    },  },  agents: {    defaults: {      model: { primary: "ollama/qwen3.5:9b" },    },  },}

contextWindow OpenClaw-पक्ष का संदर्भ बजट है। params.num_ctx अनुरोध के लिए Ollama को भेजा जाता है। जब आपका हार्डवेयर मॉडल के पूरे घोषित संदर्भ को नहीं चला सकता, तो इन्हें संरेखित रखें।

इसका उपयोग तब करें जब आप local daemon नहीं चला रहे हों और hosted Ollama मॉडल सीधे चाहते हों।

export OLLAMA_API_KEY="your-ollama-api-key"

{  models: {    providers: {      ollama: {        baseUrl: "https://ollama.com",        apiKey: "OLLAMA_API_KEY",        api: "ollama",        models: [          {            id: "kimi-k2.5:cloud",            name: "kimi-k2.5:cloud",            reasoning: false,            input: ["text", "image"],            contextWindow: 128000,            maxTokens: 8192,          },        ],      },    },  },  agents: {    defaults: {      model: { primary: "ollama/kimi-k2.5:cloud" },    },  },}

इसका उपयोग तब करें जब local या LAN Ollama daemon ollama signin से साइन इन हो और उसे local मॉडल और :cloud मॉडल, दोनों उपलब्ध कराने हों।

ollama signinollama pull gemma4

{  models: {    providers: {      ollama: {        baseUrl: "http://127.0.0.1:11434",        apiKey: "ollama-local",        api: "ollama",        timeoutSeconds: 300,        models: [          { id: "gemma4", name: "gemma4", input: ["text"] },          { id: "kimi-k2.5:cloud", name: "kimi-k2.5:cloud", input: ["text", "image"] },        ],      },    },  },  agents: {    defaults: {      model: {        primary: "ollama/gemma4",        fallbacks: ["ollama/kimi-k2.5:cloud"],      },    },  },}

जब आपके पास एक से अधिक Ollama सर्वर हों, तो कस्टम provider ID का उपयोग करें। हर provider को अपना होस्ट, मॉडल, प्रमाणीकरण, timeout, और मॉडल refs मिलते हैं।

{  models: {    providers: {      "ollama-fast": {        baseUrl: "http://mini.local:11434",        apiKey: "ollama-local",        api: "ollama",        contextWindow: 32768,        models: [{ id: "gemma4", name: "gemma4", input: ["text"] }],      },      "ollama-large": {        baseUrl: "http://gpu-box.local:11434",        apiKey: "ollama-local",        api: "ollama",        timeoutSeconds: 420,        contextWindow: 131072,        maxTokens: 16384,        models: [{ id: "qwen3.5:27b", name: "qwen3.5:27b", input: ["text"] }],      },    },  },  agents: {    defaults: {      model: {        primary: "ollama-fast/gemma4",        fallbacks: ["ollama-large/qwen3.5:27b"],      },    },  },}

जब OpenClaw अनुरोध भेजता है, तो सक्रिय provider prefix हटा दिया जाता है, ताकि ollama-large/qwen3.5:27b Ollama तक qwen3.5:27b के रूप में पहुँचे।

कुछ local मॉडल सरल prompts का उत्तर दे सकते हैं, लेकिन पूरे agent tool surface के साथ संघर्ष करते हैं। global runtime settings बदलने से पहले tools और context को सीमित करके शुरू करें।

{  agents: {    list: [      {        id: "local",        experimental: {          localModelLean: true,        },        model: { primary: "ollama/gemma4" },      },    ],  },  models: {    providers: {      ollama: {        baseUrl: "http://127.0.0.1:11434",        apiKey: "ollama-local",        api: "ollama",        contextWindow: 32768,        models: [          {            id: "gemma4",            name: "gemma4",            input: ["text"],            params: { num_ctx: 32768 },            compat: { supportsTools: false },          },        ],      },    },  },}

compat.supportsTools: false का उपयोग केवल तब करें जब मॉडल या सर्वर tool schemas पर लगातार विफल होता हो। यह स्थिरता के बदले agent capability घटाता है। localModelLean direct agent surface से browser, Cron, और message tools हटाता है और बड़े catalogs को structured Tool Search controls के पीछे default करता है, सिवाय तब जब किसी run को direct message delivery semantics बनाए रखने हों, लेकिन यह Ollama के runtime context या thinking mode को नहीं बदलता। छोटे Qwen-style thinking models के लिए, जो loop करते हैं या अपना response budget hidden reasoning पर खर्च कर देते हैं, इसे explicit params.num_ctx और params.thinking: false के साथ जोड़ें।

यदि आपको इसके बजाय OpenAI-compatible endpoint का उपयोग करना हो (उदाहरण के लिए, ऐसे proxy के पीछे जो केवल OpenAI format का समर्थन करता है), तो api: "openai-completions" स्पष्ट रूप से set करें:

{  models: {    providers: {      ollama: {        baseUrl: "http://ollama-host:11434/v1",        api: "openai-completions",        injectNumCtxForOpenAICompat: true, // default: true        apiKey: "ollama-local",        models: [...]      }    }  }}

यह mode streaming और tool calling को साथ-साथ support नहीं कर सकता। आपको model config में params: { streaming: false } के साथ streaming disable करनी पड़ सकती है।

जब Ollama के साथ api: "openai-completions" उपयोग किया जाता है, तो OpenClaw default रूप से options.num_ctx inject करता है, ताकि Ollama चुपचाप 4096 context window पर वापस न जाए। यदि आपका proxy/upstream अज्ञात options fields reject करता है, तो इस behavior को disable करें:

{  models: {    providers: {      ollama: {        baseUrl: "http://ollama-host:11434/v1",        api: "openai-completions",        injectNumCtxForOpenAICompat: false,        apiKey: "ollama-local",        models: [...]      }    }  }}

auto-discovered models के लिए, OpenClaw उपलब्ध होने पर Ollama द्वारा report की गई context window का उपयोग करता है, जिसमें custom Modelfiles से बड़े PARAMETER num_ctx values भी शामिल हैं। अन्यथा यह OpenClaw द्वारा उपयोग की जाने वाली default Ollama context window पर fall back करता है।

आप उस Ollama प्रदाता के अंतर्गत हर मॉडल के लिए प्रदाता-स्तर के contextWindow, contextTokens, और maxTokens डिफ़ॉल्ट सेट कर सकते हैं, फिर आवश्यकता होने पर उन्हें प्रति मॉडल ओवरराइड कर सकते हैं। contextWindow OpenClaw का प्रॉम्प्ट और Compaction बजट है। नेटिव Ollama अनुरोध options.num_ctx को सेट नहीं करते, जब तक आप स्पष्ट रूप से params.num_ctx कॉन्फ़िगर नहीं करते, ताकि Ollama अपना मॉडल, OLLAMA_CONTEXT_LENGTH, या VRAM-आधारित डिफ़ॉल्ट लागू कर सके। Modelfile को दोबारा बनाए बिना Ollama के प्रति-अनुरोध रनटाइम संदर्भ को सीमित या बाध्य करने के लिए, params.num_ctx सेट करें; अमान्य, शून्य, ऋणात्मक, और अपरिमित मान अनदेखे किए जाते हैं। यदि आपने किसी पुराने कॉन्फ़िग को अपग्रेड किया है जो नेटिव Ollama अनुरोध संदर्भ को बाध्य करने के लिए केवल contextWindow या maxTokens का उपयोग करता था, तो उन स्पष्ट प्रदाता या मॉडल बजटों को params.num_ctx में कॉपी करने के लिए openclaw doctor --fix चलाएँ। OpenAI-संगत Ollama एडॉप्टर अभी भी कॉन्फ़िगर किए गए params.num_ctx या contextWindow से डिफ़ॉल्ट रूप से options.num_ctx इंजेक्ट करता है; यदि आपका अपस्ट्रीम options अस्वीकार करता है, तो इसे injectNumCtxForOpenAICompat: false से अक्षम करें।

नेटिव Ollama मॉडल प्रविष्टियाँ params के अंतर्गत सामान्य Ollama रनटाइम विकल्प भी स्वीकार करती हैं, जिनमें temperature, top_p, top_k, min_p, num_predict, stop, repeat_penalty, num_batch, num_thread, और use_mmap शामिल हैं। OpenClaw केवल Ollama अनुरोध कुंजियाँ आगे भेजता है, इसलिए streaming जैसे OpenClaw रनटाइम params Ollama तक लीक नहीं होते। शीर्ष-स्तरीय Ollama think भेजने के लिए params.think या params.thinking का उपयोग करें; false Qwen-शैली के thinking मॉडलों के लिए API-स्तर thinking को अक्षम करता है।

{  models: {    providers: {      ollama: {        contextWindow: 32768,        models: [          {            id: "llama3.3",            contextWindow: 131072,            maxTokens: 65536,            params: {              num_ctx: 32768,              temperature: 0.7,              top_p: 0.9,              thinking: false,            },          }        ]      }    }  }}

प्रति-मॉडल agents.defaults.models["ollama/<model>"].params.num_ctx भी काम करता है। यदि दोनों कॉन्फ़िगर किए गए हैं, तो स्पष्ट प्रदाता मॉडल प्रविष्टि एजेंट डिफ़ॉल्ट पर प्राथमिकता पाती है।

नेटिव Ollama मॉडलों के लिए, OpenClaw thinking नियंत्रण को वैसे ही आगे भेजता है जैसे Ollama अपेक्षा करता है: शीर्ष-स्तरीय think, options.think नहीं। स्वतः खोजे गए मॉडल जिनकी /api/show प्रतिक्रिया में thinking क्षमता शामिल है, /think low, /think medium, /think high, और /think max उपलब्ध कराते हैं; non-thinking मॉडल केवल /think off उपलब्ध कराते हैं।

openclaw agent --model ollama/gemma4 --thinking offopenclaw agent --model ollama/gemma4 --thinking low

आप मॉडल डिफ़ॉल्ट भी सेट कर सकते हैं:

{  agents: {    defaults: {      models: {        "ollama/gemma4": {          thinking: "low",        },      },    },  },}

प्रति-मॉडल params.think या params.thinking किसी विशिष्ट कॉन्फ़िगर किए गए मॉडल के लिए Ollama API thinking को अक्षम या बाध्य कर सकता है। OpenClaw उन स्पष्ट मॉडल params को तब सुरक्षित रखता है जब सक्रिय रन में केवल अंतर्निहित डिफ़ॉल्ट off हो; /think medium जैसे non-off रनटाइम कमांड फिर भी सक्रिय रन को ओवरराइड करते हैं।

OpenClaw deepseek-r1, reasoning, या think जैसे नामों वाले मॉडलों को डिफ़ॉल्ट रूप से reasoning-सक्षम मानता है।

ollama pull deepseek-r1:32b

कोई अतिरिक्त कॉन्फ़िगरेशन आवश्यक नहीं है। OpenClaw उन्हें स्वचालित रूप से चिह्नित करता है।

Ollama मुफ़्त है और स्थानीय रूप से चलता है, इसलिए सभी मॉडल लागतें $0 पर सेट हैं। यह स्वतः खोजे गए और मैन्युअल रूप से परिभाषित, दोनों प्रकार के मॉडलों पर लागू होता है।

बंडल किया गया Ollama Plugin मेमरी खोज के लिए मेमरी embedding प्रदाता पंजीकृत करता है। यह कॉन्फ़िगर किए गए Ollama आधार URL और API कुंजी का उपयोग करता है, Ollama के वर्तमान /api/embed endpoint को कॉल करता है, और संभव होने पर कई मेमरी chunks को एक input अनुरोध में batch करता है।

जब proxy.enabled=true होता है, तो कॉन्फ़िगर किए गए baseUrl से निकले सटीक host-local loopback origin के लिए Ollama मेमरी embedding अनुरोध managed forward proxy के बजाय OpenClaw के संरक्षित direct path का उपयोग करते हैं। कॉन्फ़िगर किया गया hostname स्वयं localhost या loopback IP literal होना चाहिए; DNS नाम जो केवल loopback पर resolve होते हैं, वे फिर भी managed proxy path का उपयोग करते हैं। LAN, tailnet, private-network, और public Ollama hosts भी managed proxy path पर ही रहते हैं। किसी दूसरे host या port पर redirect trust inherit नहीं करता। ऑपरेटर फिर भी global proxy.loopbackMode: "proxy" setting सेट कर सकते हैं ताकि loopback traffic proxy के माध्यम से भेजा जाए, या proxy.loopbackMode: "block" ताकि connection खोलने से पहले loopback connections अस्वीकार किए जाएँ; इस setting के process-wide प्रभाव के लिए Managed proxy देखें।

Query-time embeddings उन मॉडलों के लिए retrieval prefixes का उपयोग करते हैं जिन्हें उनकी आवश्यकता होती है या जो उनकी अनुशंसा करते हैं, जिनमें nomic-embed-text, qwen3-embedding, और mxbai-embed-large शामिल हैं। मेमरी दस्तावेज़ batches raw रहते हैं ताकि मौजूदा indexes को format migration की आवश्यकता न हो।

Ollama को मेमरी खोज embedding प्रदाता के रूप में चुनने के लिए:

{  agents: {    defaults: {      memorySearch: {        provider: "ollama",        remote: {          // Default for Ollama. Raise on larger hosts if reindexing is too slow.          nonBatchConcurrency: 1,        },      },    },  },}

remote embedding host के लिए, auth को उसी host तक सीमित रखें:

{  agents: {    defaults: {      memorySearch: {        provider: "ollama",        model: "nomic-embed-text",        remote: {          baseUrl: "http://gpu-box.local:11434",          apiKey: "ollama-local",          nonBatchConcurrency: 2,        },      },    },  },}

OpenClaw का Ollama integration डिफ़ॉल्ट रूप से native Ollama API (/api/chat) का उपयोग करता है, जो streaming और tool calling दोनों को साथ-साथ पूरी तरह support करता है। कोई विशेष कॉन्फ़िगरेशन आवश्यक नहीं है।

native /api/chat अनुरोधों के लिए, OpenClaw thinking नियंत्रण को सीधे Ollama तक भी आगे भेजता है: /think off और openclaw agent --thinking off शीर्ष-स्तरीय think: false भेजते हैं, जब तक कोई स्पष्ट model params.think/params.thinking value कॉन्फ़िगर न हो, जबकि /think low|medium|high मेल खाती शीर्ष-स्तरीय think effort string भेजते हैं। /think max Ollama के सर्वोच्च native effort, think: "high", पर map होता है।

NVIDIA/CUDA वाले WSL2 पर, आधिकारिक Ollama Linux installer Restart=always के साथ एक ollama.service systemd unit बनाता है। यदि वह service autostart होती है और WSL2 boot के दौरान GPU-backed model load करती है, तो model load होते समय Ollama host memory को pin कर सकता है। Hyper-V memory reclaim हमेशा उन pinned pages को reclaim नहीं कर सकता, इसलिए Windows WSL2 VM को terminate कर सकता है, systemd Ollama को फिर शुरू करता है, और loop दोहराता है।

सामान्य प्रमाण:

• Windows side से बार-बार WSL2 reboots या terminations
• WSL2 startup के तुरंत बाद app.slice या ollama.service में उच्च CPU
• Linux OOM-killer event के बजाय systemd से SIGTERM

OpenClaw startup warning log करता है जब वह WSL2, Restart=always के साथ enabled ollama.service, और visible CUDA markers detect करता है।

शमन:

sudo systemctl disable ollama

इसे Windows side पर %USERPROFILE%\.wslconfig में जोड़ें, फिर wsl --shutdown चलाएँ:

[experimental]autoMemoryReclaim=disabled

Ollama service environment में shorter keep-alive सेट करें, या Ollama को केवल आवश्यकता होने पर manually start करें:

export OLLAMA_KEEP_ALIVE=5mollama serve

ollama/ollama#11317 देखें।

सुनिश्चित करें कि Ollama चल रहा है और आपने OLLAMA_API_KEY (या कोई auth profile) सेट किया है, और आपने कोई स्पष्ट models.providers.ollama entry परिभाषित नहीं की है:

ollama serve

सत्यापित करें कि API accessible है:

curl http://localhost:11434/api/tags

यदि आपका मॉडल सूचीबद्ध नहीं है, तो या तो model को locally pull करें या उसे models.providers.ollama में स्पष्ट रूप से define करें।

ollama list  # See what's installedollama pull gemma4ollama pull gpt-oss:20bollama pull llama3.3     # Or another model

जाँचें कि Ollama सही port पर चल रहा है:

# Check if Ollama is runningps aux | grep ollama # Or restart Ollamaollama serve

उसी machine और runtime से सत्यापित करें जो Gateway चलाता है:

openclaw gateway status --deepcurl http://ollama-host:11434/api/tags

सामान्य कारण:

• baseUrl localhost की ओर इंगित करता है, लेकिन Gateway Docker में या किसी दूसरे host पर चलता है।
• URL /v1 का उपयोग करता है, जो native Ollama के बजाय OpenAI-संगत behavior चुनता है।
• remote host को Ollama side पर firewall या LAN binding changes की आवश्यकता है।
• model आपके laptop के daemon पर मौजूद है लेकिन remote daemon पर नहीं।

इसका आम तौर पर अर्थ है कि provider OpenAI-संगत mode का उपयोग कर रहा है या model tool schemas संभाल नहीं सकता।

native Ollama mode को प्राथमिकता दें:

{  models: {    providers: {      ollama: {        baseUrl: "http://ollama-host:11434",        api: "ollama",      },    },  },}

यदि कोई छोटा local model फिर भी tool schemas पर विफल होता है, तो उस model entry पर compat.supportsTools: false सेट करें और फिर retest करें।

Hosted Kimi/GLM प्रतिक्रियाएँ जो लंबी, non-linguistic symbol runs होती हैं, उन्हें सफल assistant answer के बजाय failed provider output माना जाता है। इससे corrupted text को session में persist किए बिना normal retry, fallback, या error handling takeover कर सकती है।

यदि यह बार-बार होता है, तो raw model name, current session file, और क्या run ने Cloud + Local या Cloud only उपयोग किया, capture करें, फिर fresh session और fallback model आज़माएँ:

openclaw infer model run --model ollama/kimi-k2.5:cloud --prompt "Reply with exactly: ok" --jsonopenclaw models set ollama/gemma4

बड़े local models को streaming शुरू होने से पहले लंबे first load की आवश्यकता हो सकती है। timeout को Ollama provider तक scoped रखें, और वैकल्पिक रूप से Ollama से turns के बीच model loaded रखने को कहें:

{  models: {    providers: {      ollama: {        timeoutSeconds: 300,        models: [          {            id: "gemma4:26b",            name: "gemma4:26b",            params: { keep_alive: "15m" },          },        ],      },    },  },}

यदि होस्ट स्वयं कनेक्शन स्वीकार करने में धीमा है, तो timeoutSeconds इस प्रदाता के लिए सुरक्षित Undici कनेक्ट टाइमआउट को भी बढ़ाता है।

कई Ollama मॉडल ऐसे कॉन्टेक्स्ट विज्ञापित करते हैं जो आपके हार्डवेयर पर आराम से चलाने के लिए बहुत बड़े होते हैं। Native Ollama, Ollama का अपना रनटाइम कॉन्टेक्स्ट डिफ़ॉल्ट उपयोग करता है, जब तक आप params.num_ctx सेट नहीं करते। जब आपको अनुमानित first-token latency चाहिए, तो OpenClaw के बजट और Ollama के अनुरोध कॉन्टेक्स्ट, दोनों को सीमित करें:

{  models: {    providers: {      ollama: {        contextWindow: 32768,        maxTokens: 8192,        models: [          {            id: "qwen3.5:9b",            name: "qwen3.5:9b",            params: { num_ctx: 32768, thinking: false },          },        ],      },    },  },}

यदि OpenClaw बहुत अधिक prompt भेज रहा है, तो पहले contextWindow घटाएँ। यदि Ollama ऐसा रनटाइम कॉन्टेक्स्ट लोड कर रहा है जो मशीन के लिए बहुत बड़ा है, तो params.num_ctx घटाएँ। यदि generation बहुत देर तक चलता है, तो maxTokens घटाएँ।