Головна / Статті / AnythingLLM „Модель не знайдена“ у Ollama: п’ять способів вирішення проблем з водопроводом

anythingllm ollama docker troubleshooting local-llm

AnythingLLM „Модель не знайдена“ у Ollama: п’ять способів вирішення проблем з водопроводом

Порожні списки вибору та неузгодження тегів зазвичай є наслідком проблем із підключенням HTTP між AnythingLLM та Ollama, а не пошкодженими вагами. Пройдіть перевірку зверху вниз.

2351 слів

AnythingLLM повідомляє „модель не знайдена“ — п’ять способів вирішення проблеми

Ви спрямували AnythingLLM на Ollama, натиснули „Надіслати“, і отримали повідомлення „модель не знайдена“. Або список моделей залишається порожнім. Або напис „завантаження доступних моделей“ крутиться без кінця. Тим часом команда ollama list показує, що ваги моделі знаходяться на диску.

Ця неузгодженість зазвичай не є наслідком пошкодженого завантаження. AnythingLLM взаємодіє з Ollama через HTTP. Майже кожен складний випадок зводиться до однієї з п’яти проблем зі з’єднанням або найменуванням між двома локальними процесами.

Наведені нижче примітки створені на основі версій Ollama 0.32.x: симптом, причина, спосіб вирішення; вони розташовані у порядку того, наскільки часто кожен з них є справжньою причиною проблеми.

Основні висновки

За замовчуванням Ollama прослуховує лише порт 127.0.0.1:11434, тому AnythingLLM у форматі Docker часто не може з ним взаємодіяти.

Усередині контейнера localhost означає сам контейнер — замість цього використовуйте http://host.docker.internal:11434 (або шлюз хоста).

Повідомлення „модель не знайдена“ часто є наслідком невідповідності тегів (llama3 проти llama3.1:8b).

Чат може працювати, а завантаження — ні, якщо модель embedding так і не була завантажена.

Діагностика за тридцять секунд

Спочатку зіставте симптоми:

Симптом	Ймовірна причина
Порожній список вибору / нескінченне завантаження	Ollama не працює або неправильний базовий URL (Docker)
У середині чату „модель не знайдена“	Невідповідність тегів
Чат працює, але завантаження документів не вдається	Відсутній інструмент для вбудовування
Правильні назви, але таймаути	Недостатньо пам’яті

Замовлені перевірки:

curl http://127.0.0.1:11434 — жодної відповіді → Причина 1.
ollama list — точна збігу імен? інакше Причина 3.
AnythingLLM у Docker із порожнім списком вибору → Причина 2 (Базова URL).
Помилки під час завантаження лише → Причина 4 (embedder).
Проблеми залишаються під навантаженням → Причина 5 (RAM/VRAM).

Причина 1 — Ollama не працює (або не прослуховує)

Запустіть сервер та перевірте API:

# Start the server (foreground; leave it running)
ollama serve
# In another terminal, prove it's alive curl http://127.0.0.1:11434
# -> "Ollama is running"

Підтвердьте адресу прослуховування:

lsof -nP -iTCP:11434 -sTCP:LISTEN # ollama ... TCP 127.0.0.1:11434 (LISTEN)

Якщо ніщо не прослуховує порт 11434, AnythingLLM не може відобразити моделі. Запустіть додаток/сервіс, почекайте, поки API відповість, а потім оновіть список моделей AnythingLLM.

Причина 2 — Dockerized AnythingLLM не може встановити зв’язок із Ollama на хості

Стандартний спосіб підключення Ollama дозволяє зв’язок лише через луп-бек. Контейнери не зможуть бачити адресу 127.0.0.1 на хості. Якщо це необхідно, виставте Ollama через інтерфейс LAN:

# macOS: expose Ollama on the network, then restart the app
launchctl setenv OLLAMA_HOST "0.0.0.0:11434"
# Linux (systemd): add to the service override, then reload + restart
# Environment="OLLAMA_HOST=0.0.0.0:11434"

Вкажіть базову URL Ollama в AnythingLLM на шлюз хоста, наприклад під час запуску контейнера інтерфейсу користувача:

docker run -d -p 3001:3001 \ --add-host=host.docker.internal:host-gateway \ -v ~/anythingllm:/app/server/storage \ mintplexlabs/anythingllm

У Linux зазвичай використовується параметр --add-host=host.docker.internal:host-gateway (або IP-адреса шлюзу docker bridge). Після зміни URL знову відкрийте налаштування та завантажте моделі.

Причина 3 — Невідповідність тегу

API чутливий до точного тексту. Якщо інтерфейс користувача просить mistral, а у вас є лише mistral:7b-instruct, чат не буде працювати.

Перелічте те, що у вас насправді є:

ollama list
# NAME ID SIZE MODIFIED
# llama3.1:8b 46e0c10c039e 4.9 GB 2 months ago
# qwen3:8b 500a1f067a9f 5.2 GB 5 months ago

Або завантажте тег, який очікує AnythingLLM, або змініть інтерфейс користувача на точну назву з цього списку. Перевірте це за допомогою прямого запиту в чаті:

curl http://localhost:11434/api/chat -d '{"model":"mistral","messages":[{"role":"user","content":"hi"}]}'
# {"error":"model 'mistral' not found"}
curl http://localhost:11434/api/generate -d '{"model":"llama3","prompt":"hi"}'
# {"error":"model 'llama3' not found"}

Коли curl працює, а інтерфейс — ні, інтерфейс все одно надсилає іншу рядкову версію моделі — потрібно виправити вибірник моделей робочого простору.

Чат використовує генеративну модель; обробка документів — модель ембеддингу. Якщо модель ембеддингу так і не була завантажена, завантаження зазнають невдачі, хоча чат працює нормально.

Перевірте ембеддинги:

curl http://localhost:11434/api/embeddings -d '{"model":"mxbai-embed-large","prompt":"test"}'
# {"error":"model \"mxbai-embed-large\" not found, try pulling it first"}

Завантажте модель ембеддингу, яку очікує ваш робочий простір (приклад):

ollama pull nomic-embed-text

Запустіть завантаження знову. Перевірте налаштування моделі ембеддингу AnythingLLM, щоб її назва збігалася з результатом команди ollama list.

Великі теги на слабких пристроях призводять до помилок через невизначені таймаути. Спостерігайте за Activity Monitor / `nvidia-smi` / `free -h` під час завантаження. Шляхи вирішення: менший рівень квантування, менше одночасних робочих просторів, більше RAM/VRAM або закриття інших моделей (`ollama stop`).

Залишайте Ollama у робочому стані як сервіс.

Описайте базову URL для встановлення через Docker та нативно.

Вказуйте точні теги у робочих просторах AnythingLLM.

Завжди завантажуйте моделі як для чату, так і для вбудовування у скриптах запуску.

Обмежуйте розмір моделей обсягом пам’яті пристрою.

Підсумок

Проблема „Модель не знайдена“ між AnythingLLM та Ollama майже завжди пов’язана з налаштуваннями: процес запущений?, URL правильний у різних просторах імен?, теги точні?, модуль вбудовування наявний?, достатньо пам’яті? Ознайомтесь із цим списком зверху вниз перед тим, як знову завантажувати багатогігабайтні моделі.

Якщо ви змінили адресу підключення Ollama, перезапустіть як Ollama, так і AnythingLLM; застарілі клієнти частіше, ніж очікується, зберігають стару базову URL у налаштуваннях робочого простору.

Якщо ви зміните адресу прив’язки Ollama, перезапустіть як Ollama, так і AnythingLLM; застарілі клієнти частіше, ніж очікується, кешують стару базову URL у налаштуваннях робочого простору.

Якщо ви зміните адресу підключення Ollama, перезапустіть як Ollama, так і AnythingLLM; застарілі клієнти частіше, ніж очікується, зберігають стару базову URL у налаштуваннях робочого простору.

Усі статті Надіслати бриф