Lokalne modele LLM z Ollamą: sieci CLI, API i WSL

Uruchom lokalny LLM za pomocą Ollamy: wybierz modele odpowiednie za pomocą llmfit, sprawdź tagi przez ollama show, a także połącz się z API Ollamy hostowanym na Windowsie z WSL za pośrednictwem IP bramy.

Wydawca: REACTAPP.TOPDodane na tej stronie 26 wrz 20264 min czytania808 słów

Źródła: Setting up local LLMs with Ollama

Lokalne modele LLM znów stały się interesujące, gdy poprawiła się jakość oprogramowania open-source, a karty graficzne w laptopach nadrobiły straty. Po przeniesieniu się na komputer HP OMEN Max z kartą NVIDIA RTX 5070 Ti (12 GB VRAM) testowanie modeli w domu przestało być czymś na kształt projektu naukowego i stało się codziennym narzędziem.

Istnieje wiele narzędzi do uruchamiania tych modeli, które sprawiają, że proces jest prosty: Ollama, vLLM, LM Studio, llama.cpp. Wybrałem Ollamę ze względu na szybkość konfiguracji. Poza zwykłą rozmową chcę, aby frameworki typu LangChain DeepAgents komunikowały się z lokalną API zamiast zużywać subskrypcje chmurowe przy każdym eksperymencie.

Który model pasuje do tego sprzętu?

Katalog powiększa się co tydzień. Często zadawane pytanie — „który model o otwartym kodzie powinienem faktycznie uruchomić na tej karcie graficznej?” — ma teraz pomocnika: llmfit, który pokazuje, które modele pasują do twojego sprzętu, zanim pobierzesz dziesiątki gigabajtów na chybił trafił. To samo w sobie oszczędza wiele godzin prób i błędów podczas pobierania modeli.

Interfejs rozmowy Ollamy

Interfejs wydaje się znajomy, jeśli korzystałeś z ChatGPT lub Gemini. Wybierz model hostowany w chmurze lub lokalny (na przykład qwen3.6), jeśli pozwala na to pamięć VRAM. Przycisk typu „globus” włącza lub wyłącza dostęp do sieci dla modelu, gdy chcesz przeglądania opartego na rzeczywistych danych lub odpowiedzi bez połączenia z siecią.

Polecenia CLI ujawniające prawdziwy model

Etykiety w interfejsie, takie jak qwen3.6, ukrywają szczegóły architektury — liczbę parametrów, rodziny modeli oraz specyficzne cechy plików modeli. Polecenia CLI szybko wypełniają tę lukę.

Lista tego, co jest zainstalowane lokalnie:

ollama list
NAME              ID              SIZE      MODIFIED
qwen3.6:latest    07d35212591f    23 GB     2 months ago
gemma4:latest     c6eb396dbd59    9.6 GB    3 months ago

Pokaż parametry i architekturę określonego tagu:

ollama show qwen3.6:latest
  Model
    architecture        qwen35moe
    parameters          36.0B
    context length      262144
    embedding length    2048
    quantization        Q4_K_M

  Capabilities
    completion
    vision
    tools
    thinking

  Parameters
    temperature         1
    top_k               20
    top_p               0.95
    min_p               0
    presence_penalty    1.5
    repeat_penalty      1

  License
    Apache License
    Version 2.0, January 2004
    ...

Eksportuj plik Modelfile użyty do jego utworzenia:

 ollama show --modelfile qwen3.6:latest
# Modelfile generated by "ollama show"
# To build a new Modelfile based on this, replace FROM with:
# FROM qwen3.6:latest

FROM C:\Users\Guangyuan\.ollama\models\blobs\sha256-f5ee307a2982106a6eb82b62b2c00b575c9072145a759ae4660378acda8dcf2d
TEMPLATE {{ .Prompt }}
RENDERER qwen3.5
PARSER qwen3.5
PARAMETER min_p 0
PARAMETER presence_penalty 1.5
PARAMETER repeat_penalty 1
PARAMETER temperature 1
PARAMETER top_k 20
PARAMETER top_p 0.95
LICENSE """

Ty trzy polecenia odpowiadają na pytanie „co dokładnie się uruchamia?”, bez konieczności otwierania dokumentacji czy domyślania się na podstawie nazwy marketingowej.

Rozmowa z modelami przez HTTP

Ollama udostępnia API HTTP, podobne pod względem funkcjonalnym do punktów końcowych OpenAI lub Claude. Jest to idealne do eksperymentów z LangGraph lub DeepAgents bez konieczności płacenia za każdy token, podczas gdy modyfikujesz prompty i narzędzia.

Zrób kontrolę poprawności punktu końcowego tagów:

curl http://localhost:11434/api/tags

StatusCode        : 200
StatusDescription : OK
Content           : {"models":[{"name":"qwen3.6:latest","model":"qwen3.6:latest","modified_at":"2026-05-17T22:03:48.7536396+01:00","size":23938333577,"digest":"07d35212591fc27746f0a317c975a6d68754fb38e9053d82e25f06057af2...
RawContent        : HTTP/1.1 200 OK
                    Content-Length: 843
                    Content-Type: application/json; charset=utf-8
                    Date: Fri, 14 Aug 2026 21:04:05 GMT

                    {"models":[{"name":"qwen3.6:latest","model":"qwen3.6:latest","modified_at":"...
Forms             : {}
Headers           : {[Content-Length, 843], [Content-Type, application/json; charset=utf-8], [Date, Fri, 14 Aug 2026 21:04:05 GMT]}
Images            : {}
InputFields       : {}
Links             : {}
ParsedHtml        : mshtml.HTMLDocumentClass
RawContentLength  : 843

Modyfikacja WSL w systemie Windows

Jeśli Ollama działa na Windows, a kod twojego agenta jest uruchamiany wewnątrz WSL, domyślny adres localhost wskazuje na niewłaściwy komputer – odnosi się do maszyny Linux, a nie do hosta Windows, na którym Ollama słucha połączeń. W ustawieniach Ollamy włącz opcję Expose Ollama to the network, a następnie uzyskaj IP adres hosta Windows z WSL:

wsl

ip route | grep default
default via 172.20.160.1 dev eth0 proto kernel

Zadaj żądanie do IP bramy na porcie 11434:

curl http://172.20.160.1:11434/api/tags
{"models":[{"name":"qwen3.6:latest","model":"qwen3.6:latest","modified_at":"2026-05-17T22:03:48.7536396+01:00","size":23938333577,"digest":"07d35212591fc27746f0a317c975a6d68754fb38e9053d82e25f06057af28522","details":{"parent_model":"","format":"gguf","family":"qwen35moe","families":["qwen35moe"],"parameter_size":"36.0B","quantization_level":"Q4_K_M","context_length":262144,"embedding_length":2048},"capabilities":["vision","completion","tools","thinking"]},{"name":"gemma4:latest","model":"gemma4:latest","modified_at":"2026-05-08T20:45:49.3801369+01:00","size":9608350718,"digest":"c6eb396dbd5992bbe3f5cdb947e8bbc0ee413d7c17e2beaae69f5d569cf982eb","details":{"parent_model":"","format":"gguf","family":"gemma4","families":["gemma4"],"parameter_size":"8.0B","quantization_level":"Q4_K_M"},"capabilities":["completion","tools","thinking"]}]}

Teraz kod w Pythonie lub Node.js na Linuxie może uzyskać dostęp do modeli hostowanych na Windows w taki sam sposób, jakby kontaktował się z localhost w środowisku z jednym systemem operacyjnym.

Korzyści płynące z lokalnych modeli LLM w codziennej pracy nadal zależą od zadań, które im zadajemy — ustalc odpowiednie oczekiwania, a następnie doskonal ich funkcjonowanie za pomocą powyższej interfejsu CLI i API, aż opóźnienia i jakość będą odpowiadać Twojemu procesowi pracy.

← Wszystkie artykuły Wyślij brief