Por qué Ollama deja de ser suficiente y qué usar en su lugar

Ollama es la primera parada obvia para ejecutar modelos en local. Dos comandos, ollama pull llama3.1 y ollama run llama3.1, y en unos tres minutos un modelo ya responde en tu portátil. No hay que montar un entorno de Python, ni pelearse con drivers, ni escribir archivos de configuración. Lo llaman el Docker de los LLM locales, y es una descripción justa: hace que un modelo se sienta como una app que descargas y arrancas.

Para proyectos personales, experimentos y pequeñas herramientas de desarrollo puede bastarte durante meses. El problema empieza cuando los proyectos crecen. Las peticiones se ralentizan cuando llegan varias a la vez, el modelo que quieres no carga y empiezas a echar de menos más opciones de ajuste. Ese es el momento de entender qué es Ollama en realidad, porque entonces las alternativas dejan de parecer un gran salto. Nada de esto dice que Ollama sea mala. Dice que, en algún punto, el trabajo de la herramienta y el tuyo dejan de coincidir.

Ollama es un envoltorio, no un motor

El trabajo con el modelo lo hace llama.cpp, un programa en C++. Ollama lo envuelve con las partes agradables: descarga modelos, ejecuta un servicio en segundo plano y expone en localhost:11434 una API que se comporta como la de OpenAI. El envoltorio es el producto, y ollama pull es realmente una maravilla. A quien pregunta cómo empezar con IA local, sigue siendo lo primero que hay que recomendar.

Pero la comodidad tiene un precio. Los benchmarks publicados suelen situar a llama.cpp puro entre un 5 y un 20 por ciento por delante de Ollama en el mismo hardware. No notarás esa diferencia en un fin de semana charlando con el modelo, pero sí cuando el proyecto crezca.

Tres límites con los que te toparás

Con carga real deja de escalar

Ollama puede atender más de una petición a la vez. Por defecto gestiona hasta cuatro en paralelo y vuelve a una si la memoria va justa, así que con un uso ligero no hay problema. El punto débil es una herramienta compartida. Imagina una app interna a la que varios compañeros acceden en el mismo momento. Los tiempos de respuesta no solo empeoran, se vuelven erráticos: unas respuestas se atascan mientras otras pasan volando, el rendimiento se estanca en lugar de subir y una sola petición bloqueada puede frenar todo el lote.

En resumen, Ollama está hecha para una persona hablando con un modelo, no para servir a una multitud. En una comparación con carga, el rendimiento de vLLM sigue subiendo con más usuarios mientras el de Ollama se aplana, y esa brecha es lo que empuja a la gente a cambiar.

La biblioteca de modelos tiene huecos

El registro está curado y tiene la mayoría de los modelos populares. También ha mejorado, ya que ahora puedes descargar cualquier GGUF directamente de Hugging Face con un solo comando:

ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF

No hace falta un Modelfile, y eso cubre muchos casos. Aun así, quedan huecos. Un modelo que solo se distribuye como safetensors tendrás que convertirlo tú a GGUF. Un GGUF dividido en fragmentos no funcionará hasta que unas las piezas. Los modelos nuevos o poco comunes suelen aparecer en todas partes antes que en el registro oficial, y es fácil perder una tarde preparando un modelo que en realidad querías usar.

AMD en Windows

La mayoría de las herramientas de IA local dan por hecho, sin decirlo, una tarjeta NVIDIA con CUDA. Una GPU de AMD en Windows es casi la peor combinación posible en este mundo. El equivalente de CUDA en AMD es ROCm, que llegó tarde a Windows y todavía funciona de forma irregular allí. Ollama fue incorporando algo de soporte para AMD, pero durante mucho tiempo puedes quedarte atascado en una inferencia lenta solo con CPU sin darte cuenta de cuánta velocidad estás desaprovechando. La salida fue Vulkan, y eso lleva directamente a las alternativas de más abajo.

Prueba a ajustar antes de cambiar

Primero, sube el límite de peticiones en paralelo:

# On Linux/macOS
export OLLAMA_NUM_PARALLEL=4
ollama serve

Aumenta el número todo lo que permita tu memoria y tendrás más margen para peticiones simultáneas. No convertirá a Ollama en un servidor de producción, pero para un equipo pequeño puede bastar, y el cambio lleva dos minutos. Si no basta, entonces cambia.

No hay un único sustituto

No existe una sola herramienta que sustituya a Ollama en todo, y aceptarlo lleva su tiempo. llama.cpp, LM Studio y vLLM ganan cada uno en su propio carril, así que la elección correcta depende del trabajo.

llama.cpp para velocidad y control

Como Ollama es llama.cpp con un bonito abrigo, la mejora más sencilla es ir a la fuente:

llama-server -m models/qwen2.5-7b-instruct.Q4_K_M.gguf --port 8080 --ctx-size 8192

Así obtienes un servidor local con un endpoint al estilo de OpenAI, una interfaz web integrada en el navegador y todos los ajustes a mano. Además, es mucho más ligero que la instalación de varios gigas de Ollama.

La pega es que no hay gestor de modelos. Descargas tú los archivos GGUF, los pones en una carpeta y apuntas el servidor hacia ellos. Es más manual, pero totalmente transparente: siempre sabes qué se está ejecutando y dónde está, lo que da mucha tranquilidad en cualquier cosa cercana a producción.

Para quienes tienen AMD también hay recompensa. El backend Vulkan de llama.cpp fue lo primero que aprovechó bien una GPU de AMD en Windows, y después de semanas arrastrándose con la CPU, la diferencia parece magia.

LM Studio para explorar y probar modelos

Si comparas modelos antes de decidirte por uno, LM Studio hace ese trabajo mejor que Ollama. Tiene un navegador de modelos conectado a Hugging Face. Buscas, te propone una cuantización que cabe en tu RAM y VRAM, y pulsas Download. Sin terminal y sin buscar el archivo correcto.

También ha madurado. La versión 0.4.0, de finales de enero de 2026, añadió un demonio headless de verdad llamado llmster, para que pueda ejecutarse en un servidor sin pantalla, además de peticiones en paralelo mediante continuous batching. La concurrencia ya no es un punto débil. En equipos con GPU de AMD o integrada, su soporte de Vulkan a menudo supera también al de Ollama. Para algunos no sirve como herramienta diaria, pero es lo que conviene abrir cuando estás decidiendo qué modelo usar.

vLLM para muchos usuarios o producción

Esta es la herramienta que de verdad resuelve el problema de concurrencia. vLLM se creó para servir modelos y se apoya en dos técnicas. PagedAttention gestiona la memoria de la GPU de forma eficiente, y el continuous batching mete las peticiones nuevas en el trabajo que ya está en marcha en lugar de ponerlas en cola.

Con carga, la diferencia es enorme. En los benchmarks publicados por Red Hat, el rendimiento de vLLM subía de forma casi lineal a medida que llegaban más usuarios, mientras que el de Ollama se estancaba pronto y su latencia se volvía irregular. En un servidor con mucho tráfico, esa brecha lo decide todo.

vllm serve Qwen/Qwen2.5-7B-Instruct --port 8000

Una vez en marcha, ofrece un endpoint compatible con OpenAI, así que la mayoría de las apps pueden usarlo directamente en lugar de Ollama.

El precio es el esfuerzo de configuración. Necesitas un entorno de Python en condiciones, una GPU NVIDIA (o AMD mediante ROCm en Linux, no en Windows) y quizá treinta minutos en vez de tres. Para uso personal no compensa la molestia. Para cualquier cosa con usuarios reales, es difícil argumentar en contra.

Una configuración sensata para el día a día

Un reparto que funciona bien en la práctica: llama.cpp con llama-server para el trabajo diario, porque es rápido, ligero y da control total, con todos los modelos en una sola carpeta. LM Studio para elegir modelo: lo abres, exploras, comparas, descargas y lo cierras. Si alguna vez se plantea un servidor de inferencia en producción, vLLM va primero, aunque una máquina con Windows y AMD simplemente no es el sitio adecuado para él.

Mantener Ollama instalada sigue teniendo sentido. Cuando alguien ve la IA local por primera vez, nada ofrece una entrada más suave. Simplemente deja de ser la herramienta de cada día más o menos a los seis meses.

Guía rápida para elegir

• ¿Acabas de empezar o se lo enseñas a un amigo? Quédate con Ollama. No hay nada más fácil.
• ¿Una sola máquina y lo quieres rápido y totalmente ajustable? Usa llama.cpp y llama-server.
• ¿Todavía buscando modelo? El navegador integrado de LM Studio lo pone fácil.
• ¿Un servidor con usuarios reales detrás? vLLM, y la configuración extra compensa.
• ¿Atascado con una GPU de AMD? Busca soporte de Vulkan, que tienen tanto llama.cpp como LM Studio.
• ¿Solo te pelea la concurrencia? Sube OLLAMA_NUM_PARALLEL antes de cambiar nada más.

Dónde encaja Ollama

Ollama es excelente en aquello para lo que se hizo, que es introducir a la gente en la IA local sin ninguna fricción, y eso tiene valor. La trampa es que los tutoriales la presentan como la meta cuando en realidad es la línea de salida. Cuando sabes que es un envoltorio, que su concurrencia no escala para multitudes y que su biblioteca aún tiene huecos, las alternativas dejan de parecer una rebeldía y empiezan a verse como el siguiente paso. No has encontrado un defecto en Ollama. Has superado el problema para el que se creó.

Cuando los modelos locales se sienten lentos o encorsetados, la solución más barata probablemente sea pasarse directamente a llama.cpp. Cambiar ollama run por llama-server lleva unos veinte minutos, y la diferencia de velocidad se nota enseguida.