Локальныя LLM-модулі з Ollama: сеткаванне праз CLI, API і WSL

Запускайце локальны LLM з дапамогай Ollama: выбірайце модэлі, якія падходзяць за дапамогай llmfit, аналізуйце тагі за дапамогай ollama show, і падключайцеся да API Ollama, якая рэгулюецца на Windows, праз WSL за дапамогай IP-адрэсы гэйтвэю.

Выдавец: REACTAPP.TOPДададзена на сайт 26 вер 20264 хв чытання808 слоў

Крыніцы: Setting up local LLMs with Ollama

Местныя LLM-ы зноў сталі цікавымі, калі паднялася якосьць адкрытага коду і графічныя процэсоры ноутбукав падняліся на той жа рэвэль. Пасля перайшчы на HP OMEN Max з NVIDIA RTX 5070 Ti (12 GB VRAM), працэва з мадэлямі в домашніх умовах перэстала быць нарадою над наукавым праектам і стала звычным інструментам для кождага дня.

Існуе многа програм для запуску, якія робяць гэты процэс простым: Ollama, vLLM, LM Studio, llama.cpp. Я выбраў Ollama за швальнасць наладжвання. Кроме простых размов, мне хочацца, каб фрэймворкі агентаў, такія як LangChain DeepAgents, вярбаваліся з местным API, а не спалвалі пакеты на хмарных сервісах за кожны эксперымент.

Кой модэль падходзіць для гэтага апарату?

Каталог расце ўсіх тыдняў. Часта задаваемая запітанне — «які модэль на адкрытым кодзе мне насправды запускаць на гэтым GPU?» — цяпер мае дапамогу: llmfit, які прадстаўляе, якія модэлі падходзяць для вашага апаратуры, перш чым вы завантажываеце дзесяткі гігабайтаў на прымус. Ёж толькі гэта дапамагае заўсёды заошчадзіць час на пробах і памылках.

Інтэрфейс чату Ollama

Інтэрфейс здаецца знайомым, калі вы вжывалі ChatGPT або Gemini. Выберыце модэль, якая розмешана ў воблаку, або локальную (напрыклад qwen3.6), калі VRAM дазволяе. Пераключаннем глобуса можна увімкнуць або выключыць доступ да сеткі для модэлі, калі хочаце браузерскага пошуку з падтрымкай сеткі або адпаведных адказаў без звязку з сеткай.

Каманды CLI, якія паказваюць рэальную модэль

Абазаваныя на інтэрфейсе позначэння, такія як qwen3.6, маскуюць дэталі архітэктуры — колькасць параметраў, класы модэляў і особлівасці файлаў модэляў. Каманды CLI шыбка заполняюць гэты прывал.

Спісаце тое, што ўстановлена локальна:

ollama list
NAME              ID              SIZE      MODIFIED
qwen3.6:latest    07d35212591f    23 GB     2 months ago
gemma4:latest     c6eb396dbd59    9.6 GB    3 months ago

Апранаць параметраў і архітэктуры для пазначанага тагу:

ollama show qwen3.6:latest
  Model
    architecture        qwen35moe
    parameters          36.0B
    context length      262144
    embedding length    2048
    quantization        Q4_K_M

  Capabilities
    completion
    vision
    tools
    thinking

  Parameters
    temperature         1
    top_k               20
    top_p               0.95
    min_p               0
    presence_penalty    1.5
    repeat_penalty      1

  License
    Apache License
    Version 2.0, January 2004
    ...

Вывесць файл модэлі, які быў выкарыстоўваны для ўтварэння яе:

 ollama show --modelfile qwen3.6:latest
# Modelfile generated by "ollama show"
# To build a new Modelfile based on this, replace FROM with:
# FROM qwen3.6:latest

FROM C:\Users\Guangyuan\.ollama\models\blobs\sha256-f5ee307a2982106a6eb82b62b2c00b575c9072145a759ae4660378acda8dcf2d
TEMPLATE {{ .Prompt }}
RENDERER qwen3.5
PARSER qwen3.5
PARAMETER min_p 0
PARAMETER presence_penalty 1.5
PARAMETER repeat_penalty 1
PARAMETER temperature 1
PARAMETER top_k 20
PARAMETER top_p 0.95
LICENSE """

Гэтыя тры каманды даюць адказ на пытанне «што саме працуе?» без неабходнасці чытання дасягледаў або здагадваўця на аднойчыну назве.

Размова з модэлямі праз HTTP

Ollama адкрывае HTTP API, які за своім прынцыпам супадае з канцэнтрамі OpenAI або Claude. Гэта ідэальна для эксперыментаў з LangGraph або DeepAgents, калі не трэба плаціць за кожны токен пад час працы з запросамі і інструментамі.

Працэс перапраналення тагоў:

curl http://localhost:11434/api/tags

StatusCode        : 200
StatusDescription : OK
Content           : {"models":[{"name":"qwen3.6:latest","model":"qwen3.6:latest","modified_at":"2026-05-17T22:03:48.7536396+01:00","size":23938333577,"digest":"07d35212591fc27746f0a317c975a6d68754fb38e9053d82e25f06057af2...
RawContent        : HTTP/1.1 200 OK
                    Content-Length: 843
                    Content-Type: application/json; charset=utf-8
                    Date: Fri, 14 Aug 2026 21:04:05 GMT

                    {"models":[{"name":"qwen3.6:latest","model":"qwen3.6:latest","modified_at":"...
Forms             : {}
Headers           : {[Content-Length, 843], [Content-Type, application/json; charset=utf-8], [Date, Fri, 14 Aug 2026 21:04:05 GMT]}
Images            : {}
InputFields       : {}
Links             : {}
ParsedHtml        : mshtml.HTMLDocumentClass
RawContentLength  : 843

Варыяцыя WSL на Windows

Калі Ollama працуе на Windows, а код вашага агента — унутры WSL, то стандартны localhost вядома не той камп’ютар — ён аднасецца да Linux-ВМ, а не да Windows-хоста, дзе працуе Ollama. У налашчаннях Ollama увімкніце Выкліканне Ollama ў сетка, а пасля — з’ясавайце IP-адрэс Windows-хоста з WSL:

wsl

ip route | grep default
default via 172.20.160.1 dev eth0 proto kernel

З’явіцца на IP-адрэсе гейтвэю на порту 11434:

curl http://172.20.160.1:11434/api/tags
{"models":[{"name":"qwen3.6:latest","model":"qwen3.6:latest","modified_at":"2026-05-17T22:03:48.7536396+01:00","size":23938333577,"digest":"07d35212591fc27746f0a317c975a6d68754fb38e9053d82e25f06057af28522","details":{"parent_model":"","format":"gguf","family":"qwen35moe","families":["qwen35moe"],"parameter_size":"36.0B","quantization_level":"Q4_K_M","context_length":262144,"embedding_length":2048},"capabilities":["vision","completion","tools","thinking"]},{"name":"gemma4:latest","model":"gemma4:latest","modified_at":"2026-05-08T20:45:49.3801369+01:00","size":9608350718,"digest":"c6eb396dbd5992bbe3f5cdb947e8bbc0ee413d7c17e2beaae69f5d569cf982eb","details":{"parent_model":"","format":"gguf","family":"gemma4","families":["gemma4"],"parameter_size":"8.0B","quantization_level":"Q4_K_M"},"capabilities":["completion","tools","thinking"]}]}

Тада код на Python або Node ў Linux можа прабіцца да модэляў, якія ранжуюцца на Windows, так сама, як і ў разе вікорыстання localhost у сістэме з аднім ОС.

Практычна польза локальных LLM-модэляў ў повсякдзеннай працы яшчэ залежыць ад задач, якія вы ўсталявайце для іх — ставіце вярныя аспактаванні, а пасля продовжваеце працу з вышэўказаным CLI і API, пакуль час адпаведзення і якосьць будуць адпавядаць вашаму робочаму працэсу.

← Усе артыкулы Даслаць брыф