Локальные LLM с Ollama: CLI, API и сетевое взаимодействие в WSL

Запустите локальную большую языковую модель с Ollama: выберите подходящие модели с помощью llmfit, просмотрите теги через ollama show, а также получите доступ к API Ollama, размещенному на Windows, из WSL по IP-адресу шлюза.

Издатель: REACTAPP.TOPДобавлено на сайт 26 сент. 2026 г.4 мин чтения808 слов

Источники: Setting up local LLMs with Ollama

Локальные LLM снова стали интересными, когда качество open-source-моделей улучшилось, а графические процессоры ноутбуков догнали их по мощности. После перехода на ноутбук HP OMEN Max с графическим процессором NVIDIA RTX 5070 Ti (12 ГБ VRAM) работа с моделями дома перестала казаться научным проектом и превратилась в обычный инструмент повседневного использования.

Существует множество инструментов для запуска моделей, что делает этот процесс удобным: Ollama, vLLM, LM Studio, llama.cpp. Я выбрал Ollama из-за быстрой настройки. Помимо простых чатов, мне нужны фреймворки вроде LangChain DeepAgents, которые могли бы общаться с локальным API вместо того, чтобы тратить деньги на облачные сервисы при каждом эксперименте.

Какая модель подойдёт для этого устройства?

Каталог пополняется каждую неделю. Часто возникающий вопрос — «какую модель с открытым исходным кодом мне на самом деле стоит запустить на этой GPU?» — теперь имеет решение: llmfit, который заранее определяет, какие модели подходят к вашему оборудованию, позволяя избежать загрузки десятков гигабайт информации наугад. Это уже экономит много времени, потраченного на пробные попытки.

Интерфейс чата Ollama

Интерфейс кажется знакомым, если вы использовали ChatGPT или Gemini. Выберите модель, размещенную в облаке, или локальную (например qwen3.6), если у вас достаточно VRAM. Функция переключения глобуса включает или выключает сетевой доступ к модели, когда вам нужен доступ к интернету или ответы без подключения к сети.

Команды CLI, показывающие реальную модель

Наименования в интерфейсе, такие как qwen3.6, скрывают детали архитектуры — количество параметров, семейства моделей и особенности файлов моделей. Команды CLI быстро заполняют этот пробел.

Список того, что установлено локально:

ollama list
NAME              ID              SIZE      MODIFIED
qwen3.6:latest    07d35212591f    23 GB     2 months ago
gemma4:latest     c6eb396dbd59    9.6 GB    3 months ago

Показать параметры и архитектуру указанного тега:

ollama show qwen3.6:latest
  Model
    architecture        qwen35moe
    parameters          36.0B
    context length      262144
    embedding length    2048
    quantization        Q4_K_M

  Capabilities
    completion
    vision
    tools
    thinking

  Parameters
    temperature         1
    top_k               20
    top_p               0.95
    min_p               0
    presence_penalty    1.5
    repeat_penalty      1

  License
    Apache License
    Version 2.0, January 2004
    ...

Выгрузить файл модели, использованный для его создания:

 ollama show --modelfile qwen3.6:latest
# Modelfile generated by "ollama show"
# To build a new Modelfile based on this, replace FROM with:
# FROM qwen3.6:latest

FROM C:\Users\Guangyuan\.ollama\models\blobs\sha256-f5ee307a2982106a6eb82b62b2c00b575c9072145a759ae4660378acda8dcf2d
TEMPLATE {{ .Prompt }}
RENDERER qwen3.5
PARSER qwen3.5
PARAMETER min_p 0
PARAMETER presence_penalty 1.5
PARAMETER repeat_penalty 1
PARAMETER temperature 1
PARAMETER top_k 20
PARAMETER top_p 0.95
LICENSE """

Эти три команды позволяют ответить на вопрос «что именно выполняется?» без необходимости просмотра документации или угадывания по маркетинговому названию.

Общение с моделями через HTTP

Ollama предоставляет HTTP-API, по сути аналогичный эндпоинтам OpenAI или Claude. Это идеально подходит для экспериментов с LangGraph или DeepAgents, позволяя работать без оплаты за каждый токен в процессе тестирования промптов и инструментов.

Проверка работоспособности эндпоинта тегов:

curl http://localhost:11434/api/tags

StatusCode        : 200
StatusDescription : OK
Content           : {"models":[{"name":"qwen3.6:latest","model":"qwen3.6:latest","modified_at":"2026-05-17T22:03:48.7536396+01:00","size":23938333577,"digest":"07d35212591fc27746f0a317c975a6d68754fb38e9053d82e25f06057af2...
RawContent        : HTTP/1.1 200 OK
                    Content-Length: 843
                    Content-Type: application/json; charset=utf-8
                    Date: Fri, 14 Aug 2026 21:04:05 GMT

                    {"models":[{"name":"qwen3.6:latest","model":"qwen3.6:latest","modified_at":"...
Forms             : {}
Headers           : {[Content-Length, 843], [Content-Type, application/json; charset=utf-8], [Date, Fri, 14 Aug 2026 21:04:05 GMT]}
Images            : {}
InputFields       : {}
Links             : {}
ParsedHtml        : mshtml.HTMLDocumentClass
RawContentLength  : 843

Вариант использования WSL в Windows

Если Ollama запущен в Windows, а код вашего агента работает внутри WSL, стандартный адрес localhost указывает не на нужную машину — он относится к Linux-виртуальной машине, а не к Windows-хосту, на котором слушает Ollama. В настройках Ollama включите опцию Выделить доступ к Ollama в сети, затем узнайте IP-адрес Windows-хоста из WSL:

wsl

ip route | grep default
default via 172.20.160.1 dev eth0 proto kernel

Подключитесь к IP-адресу шлюза по порту 11434:

curl http://172.20.160.1:11434/api/tags
{"models":[{"name":"qwen3.6:latest","model":"qwen3.6:latest","modified_at":"2026-05-17T22:03:48.7536396+01:00","size":23938333577,"digest":"07d35212591fc27746f0a317c975a6d68754fb38e9053d82e25f06057af28522","details":{"parent_model":"","format":"gguf","family":"qwen35moe","families":["qwen35moe"],"parameter_size":"36.0B","quantization_level":"Q4_K_M","context_length":262144,"embedding_length":2048},"capabilities":["vision","completion","tools","thinking"]},{"name":"gemma4:latest","model":"gemma4:latest","modified_at":"2026-05-08T20:45:49.3801369+01:00","size":9608350718,"digest":"c6eb396dbd5992bbe3f5cdb947e8bbc0ee413d7c17e2beaae69f5d569cf982eb","details":{"parent_model":"","format":"gguf","family":"gemma4","families":["gemma4"],"parameter_size":"8.0B","quantization_level":"Q4_K_M"},"capabilities":["completion","tools","thinking"]}]}

Теперь код на Python или Node в Linux может обращаться к моделям, размещенным на Windows, так же, как и к localhost в среде с одной операционной системой.

Полезность локальных LLM в повседневной работе по-прежнему зависит от задач, которые вы им поручаете — установите соответствующие ожидания, затем продолжайте работу с использованием вышеупомянутого CLI и API, пока задержки и качество не соответствуют вашему рабочему процессу.

← Все статьи Прислать бриф