LLMs locales con Ollama: redes CLI, API y WSL
Ejecuta un LLM local con Ollama: elige modelos que se adapten con llmfit, inspecciona las etiquetas mediante ollama show, y accede a la API de Ollama alojada en Windows desde WSL a través de la IP de la pasarela.
Fuentes: Setting up local LLMs with Ollama
Los LLM locales volvieron a resultar interesantes cuando la calidad de los modelos de código abierto mejoró y las GPUs de portátiles alcanzaron un nivel similar. Después de pasar a un HP OMEN Max con una NVIDIA RTX 5070 Ti (12 GB de VRAM), probar modelos en casa dejó de parecer un proyecto científico y comenzó a sentirse como una herramienta cotidiana.
Existen numerosas opciones para ejecutarlos sin complicaciones: Ollama, vLLM, LM Studio, llama.cpp. Elegí Ollama por su rapidez de configuración. Más allá de las conversaciones informales, deseo que marcos como LangChain DeepAgents se comuniquen con una API local en lugar de gastar suscripciones en la nube en cada experimento.
¿Qué modelo funciona bien con esta máquina?
El catálogo crece cada semana. La pregunta recurrente —“¿qué modelo de código abierto debería ejecutar realmente en esta GPU?”— ahora cuenta con una ayuda: llmfit, que indica qué modelos son compatibles con su hardware antes de que descargue decenas de gigabytes a ciegas. Eso solo ya ahorra horas de intentos y errores al descargar.
Interfaz de chat de Ollama
La interfaz resulta familiar si ha utilizado ChatGPT o Gemini. Elija un modelo alojado en la nube o uno local (por ejemplo qwen3.6) si el VRAM lo permite. Un botón de globo terrestre activa o desactiva el acceso a la red del modelo cuando desea una navegación conectada o respuestas sin conexión a Internet.
Comandos de CLI que revelan el modelo real
Las etiquetas de la interfaz como qwen3.6 ocultan detalles arquitectónicos: cantidad de parámetros, familias y peculiaridades del archivo del modelo. La CLI llena rápidamente esa brecha.
Enumere lo que está instalado localmente:
ollama list
NAME ID SIZE MODIFIED
qwen3.6:latest 07d35212591f 23 GB 2 months ago
gemma4:latest c6eb396dbd59 9.6 GB 3 months ago
Mostrar parámetros y arquitectura de una etiqueta con nombre:
ollama show qwen3.6:latest
Model
architecture qwen35moe
parameters 36.0B
context length 262144
embedding length 2048
quantization Q4_K_M
Capabilities
completion
vision
tools
thinking
Parameters
temperature 1
top_k 20
top_p 0.95
min_p 0
presence_penalty 1.5
repeat_penalty 1
License
Apache License
Version 2.0, January 2004
...
Mostrar el archivo Modelfile utilizado para crearla:
ollama show --modelfile qwen3.6:latest
# Modelfile generated by "ollama show"
# To build a new Modelfile based on this, replace FROM with:
# FROM qwen3.6:latest
FROM C:\Users\Guangyuan\.ollama\models\blobs\sha256-f5ee307a2982106a6eb82b62b2c00b575c9072145a759ae4660378acda8dcf2d
TEMPLATE {{ .Prompt }}
RENDERER qwen3.5
PARSER qwen3.5
PARAMETER min_p 0
PARAMETER presence_penalty 1.5
PARAMETER repeat_penalty 1
PARAMETER temperature 1
PARAMETER top_k 20
PARAMETER top_p 0.95
LICENSE """
Esos tres comandos responden a “¿qué está ejecutándose exactamente?”, sin necesidad de abrir documentación ni adivinar a partir del nombre comercial.
Hablar con modelos mediante HTTP
Ollama ofrece una API HTTP similar en esencia a los endpoints de OpenAI o Claude. Esto resulta ideal para experimentos con LangGraph o DeepAgents sin tener que pagar por token mientras se prueban diferentes prompts y herramientas.
Verificar el endpoint de las etiquetas:
curl http://localhost:11434/api/tags
StatusCode : 200
StatusDescription : OK
Content : {"models":[{"name":"qwen3.6:latest","model":"qwen3.6:latest","modified_at":"2026-05-17T22:03:48.7536396+01:00","size":23938333577,"digest":"07d35212591fc27746f0a317c975a6d68754fb38e9053d82e25f06057af2...
RawContent : HTTP/1.1 200 OK
Content-Length: 843
Content-Type: application/json; charset=utf-8
Date: Fri, 14 Aug 2026 21:04:05 GMT
{"models":[{"name":"qwen3.6:latest","model":"qwen3.6:latest","modified_at":"...
Forms : {}
Headers : {[Content-Length, 843], [Content-Type, application/json; charset=utf-8], [Date, Fri, 14 Aug 2026 21:04:05 GMT]}
Images : {}
InputFields : {}
Links : {}
ParsedHtml : mshtml.HTMLDocumentClass
RawContentLength : 843
Variante WSL en Windows
Si Ollama se ejecuta en Windows y el código de tu agente se ejecuta dentro de WSL, localhost por defecto apunta a la máquina incorrecta: se refiere a la VM de Linux, no al host de Windows donde Ollama escucha las conexiones. Activa la opción Exponer Ollama a la red en la configuración de Ollama y, a continuación, obtén la IP del host de Windows desde WSL:
wsl
ip route | grep default
default via 172.20.160.1 dev eth0 proto kernel
Intente conectarse a la IP de la pasarela en el puerto 11434:
curl http://172.20.160.1:11434/api/tags
{"models":[{"name":"qwen3.6:latest","model":"qwen3.6:latest","modified_at":"2026-05-17T22:03:48.7536396+01:00","size":23938333577,"digest":"07d35212591fc27746f0a317c975a6d68754fb38e9053d82e25f06057af28522","details":{"parent_model":"","format":"gguf","family":"qwen35moe","families":["qwen35moe"],"parameter_size":"36.0B","quantization_level":"Q4_K_M","context_length":262144,"embedding_length":2048},"capabilities":["vision","completion","tools","thinking"]},{"name":"gemma4:latest","model":"gemma4:latest","modified_at":"2026-05-08T20:45:49.3801369+01:00","size":9608350718,"digest":"c6eb396dbd5992bbe3f5cdb947e8bbc0ee413d7c17e2beaae69f5d569cf982eb","details":{"parent_model":"","format":"gguf","family":"gemma4","families":["gemma4"],"parameter_size":"8.0B","quantization_level":"Q4_K_M"},"capabilities":["completion","tools","thinking"]}]}
Ahora, el código en Python o Node en Linux puede acceder a los modelos alojados en Windows de la misma manera que lo haría con localhost en un entorno con un solo sistema operativo.
La utilidad diaria de los LLM locales sigue dependiendo de las tareas que se les asignen; establezca expectativas adecuadas y, a continuación, progresivamente mejore el funcionamiento mediante la CLI y la API mencionadas hasta que la latencia y la calidad se ajusten a su flujo de trabajo.