Почему Ollama перестаёт хватать и что запускать вместо неё

Ollama — очевидная первая остановка для локального запуска моделей. Две команды, ollama pull llama3.1 и ollama run llama3.1, и примерно через три минуты модель уже отвечает на вашем ноутбуке. Не нужно собирать окружение Python, воевать с драйверами или писать конфиги. Её называют Docker для локальных LLM, и это справедливо: модель ощущается как приложение, которое скачал и запустил.

Для пет-проектов, экспериментов и небольших инструментов разработчика её может хватать месяцами. Проблемы начинаются, когда проекты растут. Запросы тормозят, если приходят одновременно, нужная модель не загружается, и хочется больше ручек для настройки. Именно тогда стоит понять, что такое Ollama на самом деле, потому что после этого альтернативы перестают казаться большим прыжком. Это не значит, что Ollama плоха. Это значит, что на каком-то этапе задача инструмента и ваша задача перестают совпадать.

Ollama — обёртка, а не движок

Работу с моделью выполняет llama.cpp, программа на C++. Ollama оборачивает её приятными вещами: скачивает модели, запускает фоновую службу и открывает на localhost:11434 API, который ведёт себя как OpenAI. Обёртка и есть продукт, и ollama pull правда прекрасна. Тому, кто спрашивает, с чего начать локальный ИИ, её по-прежнему стоит советовать первой.

Но у удобства есть цена. Опубликованные бенчмарки часто показывают, что чистый llama.cpp на том же железе обгоняет Ollama примерно на 5–20 процентов. За выходные переписки с моделью вы этой разницы не заметите, а вот когда проект вырастет — заметите.

Три ограничения, на которые вы наткнётесь

Под реальной нагрузкой она перестаёт масштабироваться

Ollama умеет обслуживать больше одного запроса сразу. По умолчанию она обрабатывает до четырёх параллельно и откатывается к одному, если памяти мало, так что при лёгком использовании всё в порядке. Слабое место — общий инструмент. Представьте внутреннее приложение, к которому несколько коллег обращаются в один момент. Время ответа не просто растёт, оно становится непредсказуемым: одни ответы застревают, другие проносятся мимо, пропускная способность выходит на плато вместо роста, а один зависший запрос может задержать всю пачку.

Если коротко, Ollama сделана для одного человека, разговаривающего с моделью, а не для обслуживания толпы. В сравнении под нагрузкой пропускная способность vLLM продолжает расти с числом пользователей, а у Ollama выравнивается, и именно этот разрыв заставляет людей переходить.

В библиотеке моделей есть дыры

Реестр курируется, и в нём есть большинство популярных моделей. Он ещё и стал лучше: теперь любой GGUF можно скачать прямо с Hugging Face одной командой:

ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF

Modelfile не нужен, и это покрывает много случаев. И всё же пробелы остаются. Модель, которая поставляется только в safetensors, придётся конвертировать в GGUF самому. GGUF, разбитый на шарды, не запустится, пока вы не склеите части. Новые или необычные модели обычно появляются везде, кроме официального реестра, и легко убить полдня на подготовку модели, когда вы собирались ею пользоваться.

AMD под Windows

Большинство локальных ИИ-инструментов молча предполагает видеокарту NVIDIA с CUDA. GPU от AMD под Windows — пожалуй, худшее сочетание для этого мира. Аналог CUDA у AMD — ROCm, который пришёл на Windows поздно и до сих пор работает там неровно. Со временем Ollama получила некоторую поддержку AMD, но долгое время вы можете сидеть на медленном инференсе только на CPU, даже не понимая, сколько скорости остаётся неиспользованной. Выходом стал Vulkan, и это ведёт прямо к альтернативам ниже.

Попробуйте настройку, прежде чем переходить

Для начала поднимите лимит параллельных запросов:

# On Linux/macOS
export OLLAMA_NUM_PARALLEL=4
ollama serve

Увеличьте число настолько, насколько позволяет память, и получите больше запаса для одновременных запросов. Это не превратит Ollama в продакшен-сервер, но небольшой команде может хватить, а изменение занимает две минуты. Если не хватит — тогда переходите.

Единой замены нет

Нет одного инструмента, который заменит Ollama везде, и чтобы с этим смириться, нужно время. llama.cpp, LM Studio и vLLM выигрывают каждый на своей дорожке, так что правильный выбор зависит от задачи.

llama.cpp ради скорости и контроля

Раз Ollama — это llama.cpp в красивой обёртке, самый простой апгрейд — пойти к первоисточнику:

llama-server -m models/qwen2.5-7b-instruct.Q4_K_M.gguf --port 8080 --ctx-size 8192

Так вы получаете локальный сервер с эндпоинтом в стиле OpenAI, веб-интерфейс прямо в браузере и доступ ко всем настройкам. К тому же он намного легче многогигабайтной установки Ollama.

Подвох в том, что менеджера моделей нет. Вы сами скачиваете файлы GGUF, кладёте их в папку и указываете серверу на них. Это больше ручной работы, зато полная прозрачность: вы всегда знаете, что запущено и где оно лежит, а это настоящее утешение для всего, что близко к продакшену.

Владельцам AMD тоже есть чем порадоваться. Бэкенд Vulkan в llama.cpp первым нормально задействовал GPU от AMD под Windows, и после недель ползания на CPU разница кажется волшебством.

LM Studio, чтобы выбирать и пробовать модели

Если вы сравниваете модели, прежде чем остановиться на одной, LM Studio справляется с этим лучше Ollama. В ней есть браузер моделей, связанный с Hugging Face. Вы ищете, она предлагает квантизацию, которая влезет в вашу RAM и VRAM, и вы жмёте Download. Ни терминала, ни поисков нужного файла.

Она ещё и повзрослела. Версия 0.4.0 конца января 2026 года добавила настоящий безголовый демон llmster, так что её можно запускать на сервере без экрана, а также параллельные запросы через непрерывный батчинг. Конкурентность больше не слабое место. На машинах с AMD или встроенной графикой её поддержка Vulkan тоже часто обходит Ollama. Кому-то она не годится как основной инструмент на каждый день, но именно её стоит открыть, когда решаете, какую модель использовать.

vLLM для многих пользователей или продакшена

Это инструмент, который действительно решает проблему конкурентности. vLLM создан для обслуживания запросов и опирается на две техники. PagedAttention эффективно управляет памятью GPU, а непрерывный батчинг подмешивает новые запросы в уже идущую работу, вместо того чтобы ставить их в очередь.

Под нагрузкой разница огромная. В опубликованных бенчмарках Red Hat пропускная способность vLLM росла почти линейно с приходом новых пользователей, а у Ollama рано выходила на плато, и задержки становились рваными. На загруженном сервере этот разрыв решает всё.

vllm serve Qwen/Qwen2.5-7B-Instruct --port 8000

После запуска он предоставляет OpenAI-совместимый эндпоинт, так что большинство приложений могут подставить его вместо Ollama напрямую.

Цена — усилия на настройку. Нужно нормальное окружение Python, GPU от NVIDIA (или AMD через ROCm на Linux, не на Windows) и, пожалуй, минут тридцать вместо трёх. Для личного использования оно того не стоит. Для чего-то с реальными пользователями возразить трудно.

Разумная повседневная схема

На практике хорошо работает такое разделение: llama.cpp с llama-server для ежедневной работы, потому что он быстрый, лёгкий и даёт полный контроль, а все модели лежат в одной папке. LM Studio — для выбора модели: открыл, полистал, сравнил, скачал, закрыл. Если когда-нибудь встанет вопрос о продакшен-сервере инференса, первым идёт vLLM, хотя машина на Windows с AMD для него просто не место.

Оставить Ollama установленной всё равно имеет смысл. Когда кто-то впервые видит локальный ИИ, ничто другое не даёт такого плавного входа. Просто где-то к шестому месяцу она перестаёт быть основным инструментом.

Быстрая шпаргалка

• Только начинаете или показываете другу? Оставайтесь на Ollama. Проще ничего нет.
• Одна машина, и нужно быстро и с полной настройкой? Берите llama.cpp и llama-server.
• Ещё подбираете модель? Встроенный браузер LM Studio это упрощает.
• Сервер, за которым реальные пользователи? vLLM, и дополнительная настройка окупится.
• Застряли на GPU от AMD? Ищите поддержку Vulkan, она есть и у llama.cpp, и у LM Studio.
• Мучаетесь только с конкурентностью? Поднимите OLLAMA_NUM_PARALLEL, прежде чем менять что-то ещё.

Где место Ollama

Ollama отлично справляется с тем, для чего создана, — без всякого трения вводит людей в локальный ИИ, и это ценно. Ловушка в том, что туториалы подают её как финишную черту, хотя на деле это стартовая линия. Когда вы знаете, что это обёртка, что её конкурентность не масштабируется на толпу и что в её библиотеке всё ещё есть пробелы, альтернативы перестают ощущаться бунтом и начинают выглядеть следующим шагом. Вы не нашли изъян в Ollama. Вы переросли задачу, ради которой её сделали.

Когда локальные модели кажутся вялыми или зажатыми, самое дешёвое решение, скорее всего, — перейти на llama.cpp напрямую. Заменить ollama run на llama-server — дело минут двадцати, а разница в скорости видна сразу.