Lokale LLMs mit Ollama: CLI, API und Netzwerkverbindungen über WSL

Einen lokalen LLM mit Ollama ausführen: Modelle auswählen, die mit llmfit kompatibel sind, Tags über ollama show überprüfen und über die Gateway-IP von WSL auf eine auf Windows gehostete Ollama-API zugreifen.

Verlag: REACTAPP.TOPAuf dieser Website hinzugefügt 26. Sept. 20264 Min. Lesezeit808 Wörter

Quellen: Setting up local LLMs with Ollama

Lokalen LLMs sind wieder interessant geworden, seit die Qualität der Open-Source-Lösungen gestiegen ist und die GPUs in Laptops mitgehalten haben. Nach dem Umstieg auf einen HP OMEN Max mit einer NVIDIA RTX 5070 Ti (12 GB VRAM) fühlte sich das Ausprobieren von Modellen zu Hause nicht mehr wie ein wissenschaftliches Projekt an, sondern eher wie ein tägliches Werkzeug.

Viele verschiedene Umgebungen machen den Einsatz unkompliziert: Ollama, vLLM, LM Studio, llama.cpp. Ich habe mich für Ollama entschieden, weil es schnell einzurichten ist. Neben gelegentlichen Chats möchte ich Agent-Frameworks wie LangChain DeepAgents nutzen, die mit einer lokalen API kommunizieren, anstatt bei jedem Experiment Cloud-Dienste zu beanspruchen.

Welches Modell passt zu diesem Gerät?

Der Katalog wächst jede Woche. Die häufig gestellte Frage – „Welches Open-Source-Modell soll ich eigentlich auf dieser GPU ausführen?“ – hat nun einen Helfer: llmfit, das vor dem Herunterladen von Dutzenden Gigabytes per Ratenversuch darstellt, welche Modelle zu Ihrer Hardware passen. Allein das spart Stunden voller Ausprobierens.

Ollamas Chat-UI

Die Benutzeroberfläche kommt vertraut vor, wenn Sie ChatGPT oder Gemini verwendet haben. Wählen Sie ein im Cloud-Netzwerk gehostetes Modell oder eines lokalen (zum Beispiel qwen3.6), sofern die VRAM es zulässt. Ein Schalter für die Weltkarte schaltet den Netzwerkzugriff auf das Modell ein oder aus, je nachdem, ob Sie eine verbundene Suche oder Antworten ohne Netzwerkverbindung wünschen.

CLI-Befehle, die das tatsächliche Modell zeigen

UI-Bezeichnungen wie qwen3.6 verbergen Architekturdetails – Anzahl der Parameter, Familien sowie Besonderheiten der Modelldatei. Die CLI füllt diese Lücke schnell.

Listen Sie auf, was lokal installiert ist:

ollama list
NAME              ID              SIZE      MODIFIED
qwen3.6:latest    07d35212591f    23 GB     2 months ago
gemma4:latest     c6eb396dbd59    9.6 GB    3 months ago

Ausgabe der Parameter und Architektur für eine benannte Tag:

ollama show qwen3.6:latest
  Model
    architecture        qwen35moe
    parameters          36.0B
    context length      262144
    embedding length    2048
    quantization        Q4_K_M

  Capabilities
    completion
    vision
    tools
    thinking

  Parameters
    temperature         1
    top_k               20
    top_p               0.95
    min_p               0
    presence_penalty    1.5
    repeat_penalty      1

  License
    Apache License
    Version 2.0, January 2004
    ...

Ausgabe der Modelldatei, die zur Erstellung verwendet wurde:

 ollama show --modelfile qwen3.6:latest
# Modelfile generated by "ollama show"
# To build a new Modelfile based on this, replace FROM with:
# FROM qwen3.6:latest

FROM C:\Users\Guangyuan\.ollama\models\blobs\sha256-f5ee307a2982106a6eb82b62b2c00b575c9072145a759ae4660378acda8dcf2d
TEMPLATE {{ .Prompt }}
RENDERER qwen3.5
PARSER qwen3.5
PARAMETER min_p 0
PARAMETER presence_penalty 1.5
PARAMETER repeat_penalty 1
PARAMETER temperature 1
PARAMETER top_k 20
PARAMETER top_p 0.95
LICENSE """

Diese drei Befehle beantworten die Frage „Was läuft genau?“ ohne dass Dokumente geöffnet oder aus dem Marketingnamen geschlossen werden muss.

Kommunikation mit Modellen über HTTP

Ollama stellt eine HTTP-API bereit, die in ihrem Prinzip den Endpunkten von OpenAI oder Claude ähnelt. Das eignet sich ideal für Experimente mit LangGraph oder DeepAgents, ohne pro Token bezahlen zu müssen, während man an Prompts und Tools arbeitet.

Sanity-Check des Tags-Endpunkts:

curl http://localhost:11434/api/tags

StatusCode        : 200
StatusDescription : OK
Content           : {"models":[{"name":"qwen3.6:latest","model":"qwen3.6:latest","modified_at":"2026-05-17T22:03:48.7536396+01:00","size":23938333577,"digest":"07d35212591fc27746f0a317c975a6d68754fb38e9053d82e25f06057af2...
RawContent        : HTTP/1.1 200 OK
                    Content-Length: 843
                    Content-Type: application/json; charset=utf-8
                    Date: Fri, 14 Aug 2026 21:04:05 GMT

                    {"models":[{"name":"qwen3.6:latest","model":"qwen3.6:latest","modified_at":"...
Forms             : {}
Headers           : {[Content-Length, 843], [Content-Type, application/json; charset=utf-8], [Date, Fri, 14 Aug 2026 21:04:05 GMT]}
Images            : {}
InputFields       : {}
Links             : {}
ParsedHtml        : mshtml.HTMLDocumentClass
RawContentLength  : 843

WSL als Erweiterung für Windows

Falls Ollama unter Windows läuft und Ihr Agentencode innerhalb von WSL ausgeführt wird, ist der Standardwert localhost die falsche Maschine – er verweist auf die Linux-VM und nicht auf den Windows-Host, an dem Ollama lauscht. Aktivieren Sie in den Ollama-Einstellungen Ollama im Netzwerk verfügbar machen und ermitteln Sie anschließend die IP-Adresse des Windows-Hosts aus WSL:

wsl

ip route | grep default
default via 172.20.160.1 dev eth0 proto kernel

Verbinden Sie sich mit der Gateway-IP über Port 11434:

curl http://172.20.160.1:11434/api/tags
{"models":[{"name":"qwen3.6:latest","model":"qwen3.6:latest","modified_at":"2026-05-17T22:03:48.7536396+01:00","size":23938333577,"digest":"07d35212591fc27746f0a317c975a6d68754fb38e9053d82e25f06057af28522","details":{"parent_model":"","format":"gguf","family":"qwen35moe","families":["qwen35moe"],"parameter_size":"36.0B","quantization_level":"Q4_K_M","context_length":262144,"embedding_length":2048},"capabilities":["vision","completion","tools","thinking"]},{"name":"gemma4:latest","model":"gemma4:latest","modified_at":"2026-05-08T20:45:49.3801369+01:00","size":9608350718,"digest":"c6eb396dbd5992bbe3f5cdb947e8bbc0ee413d7c17e2beaae69f5d569cf982eb","details":{"parent_model":"","format":"gguf","family":"gemma4","families":["gemma4"],"parameter_size":"8.0B","quantization_level":"Q4_K_M"},"capabilities":["completion","tools","thinking"]}]}

Nun können Python- oder Node-Code-Befehle unter Linux auf die auf Windows gehosteten Modelle zugreifen, genauso wie sie auf localhost in einer Ein-OS-Umgebung zugreifen würden.

Wie nützlich lokale LLMs im Alltag sind, hängt weiterhin von den Aufgaben ab, die man ihnen stellt – setzen Sie entsprechende Erwartungen und arbeiten Sie anschließend mit der oben genannten CLI sowie API weiter, bis Latenzzeit und Qualität zu Ihrem Workflow passen.

← Alle Artikel Brief senden