LLM locaux avec Ollama : réseau CLI, API et WSL

Exécutez un LLM local avec Ollama : sélectionnez des modèles adaptés à l’aide de llmfit, examinez les étiquettes via ollama show, et accédez à l’API d’Ollama hébergée sous Windows depuis WSL en utilisant l’IP du gateway.

Éditeur : REACTAPP.TOPAjouté sur ce site 26 sept. 20264 min de lecture808 mots

Sources: Setting up local LLMs with Ollama

Les LLM locaux sont redevenus intéressants dès que la qualité des versions open source s’est améliorée et que les GPU des ordinateurs portables ont suivi. Après être passé à un HP OMEN Max équipé d’une NVIDIA RTX 5070 Ti (12 GB de VRAM), essayer des modèles à la maison a cessé d’être perçu comme un projet scientifique pour devenir un outil quotidien.

Dé nombreux environnements d’exécution rendent cette utilisation simple : Ollama, vLLM, LM Studio, llama.cpp. J’ai choisi Ollama en raison de sa vitesse de configuration. Au-delà des conversations occasionnelles, je souhaite que des frameworks d’agents tels que LangChain DeepAgents communiquent avec une API locale plutôt que de consommer des abonnements cloud à chaque expérience.

Quel modèle convient à cette machine ?

Le catalogue s’agrandit chaque semaine. La question récurrente — « quel modèle open source dois-je vraiment exécuter sur cette GPU ? » — dispose désormais d’un outil d’aide : llmfit, qui identifie quels modèles conviennent à votre matériel avant que vous ne téléchargiez des dizaines de gigaoctets au hasard. Cela seul permet d’éviter des heures de tentatives et d’erreurs.

L’interface de chat d’Ollama

L’interface vous semble familière si vous avez utilisé ChatGPT ou Gemini. Choisissez un modèle hébergé dans le cloud ou un modèle local (par exemple qwen3.6) si la VRAM le permet. Un interrupteur en forme de globe active ou désactive l’accès réseau au modèle lorsque vous souhaitez des recherches basées sur Internet ou des réponses isolées du réseau.

Commandes CLI qui révèlent le véritable modèle

Les étiquettes de l’interface comme qwen3.6 cachent les détails de l’architecture — le nombre de paramètres, les familles et les particularités des fichiers de modèle. La ligne de commande comble rapidement cette lacune.

Listez ce qui est installé localement :

ollama list
NAME              ID              SIZE      MODIFIED
qwen3.6:latest    07d35212591f    23 GB     2 months ago
gemma4:latest     c6eb396dbd59    9.6 GB    3 months ago

Afficher les paramètres et l’architecture d’une étiquette nommée :

ollama show qwen3.6:latest
  Model
    architecture        qwen35moe
    parameters          36.0B
    context length      262144
    embedding length    2048
    quantization        Q4_K_M

  Capabilities
    completion
    vision
    tools
    thinking

  Parameters
    temperature         1
    top_k               20
    top_p               0.95
    min_p               0
    presence_penalty    1.5
    repeat_penalty      1

  License
    Apache License
    Version 2.0, January 2004
    ...

Décharger le Modelfile utilisé pour la construire :

 ollama show --modelfile qwen3.6:latest
# Modelfile generated by "ollama show"
# To build a new Modelfile based on this, replace FROM with:
# FROM qwen3.6:latest

FROM C:\Users\Guangyuan\.ollama\models\blobs\sha256-f5ee307a2982106a6eb82b62b2c00b575c9072145a759ae4660378acda8dcf2d
TEMPLATE {{ .Prompt }}
RENDERER qwen3.5
PARSER qwen3.5
PARAMETER min_p 0
PARAMETER presence_penalty 1.5
PARAMETER repeat_penalty 1
PARAMETER temperature 1
PARAMETER top_k 20
PARAMETER top_p 0.95
LICENSE """

Ces trois commandes permettent de savoir « qu’est-ce qui s’exécute exactement ? » sans avoir à consulter des documents ou deviner en se basant sur le nom marketing.

Communiquer avec les modèles via HTTP

Ollama expose une API HTTP similaire, par son principe, aux endpoints d’OpenAI ou de Claude. Cela est idéal pour des expériences avec LangGraph ou DeepAgents sans avoir à payer par token, tout en itérant sur les prompts et les outils.

Vérifier le bon fonctionnement de l’endpoint des étiquettes :

curl http://localhost:11434/api/tags

StatusCode        : 200
StatusDescription : OK
Content           : {"models":[{"name":"qwen3.6:latest","model":"qwen3.6:latest","modified_at":"2026-05-17T22:03:48.7536396+01:00","size":23938333577,"digest":"07d35212591fc27746f0a317c975a6d68754fb38e9053d82e25f06057af2...
RawContent        : HTTP/1.1 200 OK
                    Content-Length: 843
                    Content-Type: application/json; charset=utf-8
                    Date: Fri, 14 Aug 2026 21:04:05 GMT

                    {"models":[{"name":"qwen3.6:latest","model":"qwen3.6:latest","modified_at":"...
Forms             : {}
Headers           : {[Content-Length, 843], [Content-Type, application/json; charset=utf-8], [Date, Fri, 14 Aug 2026 21:04:05 GMT]}
Images            : {}
InputFields       : {}
Links             : {}
ParsedHtml        : mshtml.HTMLDocumentClass
RawContentLength  : 843

L’approche WSL sous Windows

Si Ollama s’exécute sous Windows et que votre code d’agent tourne à l’intérieur de WSL, localhost par défaut fait référence à la mauvaise machine — il pointe vers la VM Linux, et non vers l’hôte Windows où Ollama écoute. Activez Exposer Ollama au réseau dans les paramètres d’Ollama, puis découvrez l’IP de l’hôte Windows depuis WSL :

wsl

ip route | grep default
default via 172.20.160.1 dev eth0 proto kernel

Connectez-vous à l’IP du gateway sur le port 11434 :

curl http://172.20.160.1:11434/api/tags
{"models":[{"name":"qwen3.6:latest","model":"qwen3.6:latest","modified_at":"2026-05-17T22:03:48.7536396+01:00","size":23938333577,"digest":"07d35212591fc27746f0a317c975a6d68754fb38e9053d82e25f06057af28522","details":{"parent_model":"","format":"gguf","family":"qwen35moe","families":["qwen35moe"],"parameter_size":"36.0B","quantization_level":"Q4_K_M","context_length":262144,"embedding_length":2048},"capabilities":["vision","completion","tools","thinking"]},{"name":"gemma4:latest","model":"gemma4:latest","modified_at":"2026-05-08T20:45:49.3801369+01:00","size":9608350718,"digest":"c6eb396dbd5992bbe3f5cdb947e8bbc0ee413d7c17e2beaae69f5d569cf982eb","details":{"parent_model":"","format":"gguf","family":"gemma4","families":["gemma4"],"parameter_size":"8.0B","quantization_level":"Q4_K_M"},"capabilities":["completion","tools","thinking"]}]}

Désormais, le code Python ou Node sous Linux peut atteindre les modèles hébergés sous Windows de la même manière qu’il contacterait localhost dans un environnement à système unique.

L’utilité quotidienne des LLM locaux dépend toujours des tâches que l’on leur confie — fixez vos attentes en conséquence, puis itérez avec la CLI et l’API mentionnées ci-dessus jusqu’à ce que la latence et la qualité correspondent à votre flux de travail.

← Tous les articles Envoyer le brief