Галоўная / Артыкулы / AnythingLLM «Модель не знайдзена» у Ollama: Пяць спосабоў вылечыць проблемы з водопрацэсам

anythingllm ollama docker troubleshooting local-llm

AnythingLLM «Модель не знайдзена» у Ollama: Пяць спосабоў вылечыць проблемы з водопрацэсам

Пустыя спадныя спискі і несувязаныя тагі зазвычай ўсталяюцца за дапамою протаколу HTTP між AnythingLLM і Ollama, а не через парадуксальныя вагі. Адмахніцеся па чэрніцы зверху вниз.

2351 слоў

AnythingLLM паведамляе “модель не знайдзена” — пяць спосабоў выправлення

Вы направілі AnythingLLM на Ollama, нажалілі “надасць” і побачылі прымету “модель не знайдзена”. Або спадны список модэляў застаецца порожнім. Або напіс “загрузка доступных модэляў” круціцца без канца. Тым часам ollama list паказвае, што вагі модэля ўсё ж знаходзяцца на дыске.

Такая несувязанасць зазвычай не ўскладненая падача данных. AnythingLLM выконвае зв’язак з Ollama через HTTP. Паўнасцю кожнага складнага случая можна павярнуць да адной з пяці проблем з’ўязку або называння між двума локальнымі процэсамі.

Наведаныя нижэй прыміткі былі створаны на базе версый Ollama 0.32.x: сімптамы, прычыны, спосабы выправлення, аранжаваныя па тым, як часта кожна з іх ёст канкрэтная прычына проблемы.

Галоўныя выводы

Па значэнні прызначэння Ollama абоўязкова слухае толькі на 127.0.0.1:11434, таму AnythingLLM, які працюе ў формате Docker, часта не можа яго пазначыць.

Унутрэй кантейнера localhost абазаваецца на самы кантейнер — узьміце заместа гэтаго http://host.docker.internal:11434 (альбо гэтавайт-гейтвей).

Упамінанне “model not found” часта яўляецца неспадабаннем тага (llama3 проты llama3.1:8b).

Чат можа працаваць, а падача дакументаў не вядома, калі модэль embedding ніколі не была завантажана.

Дыягназа за трыдзець секундаў

Спачатку падберіце симптам:

Симптам	Можлівая прычына
Пусты спадны список / безканечная загрузка	Ollama не працуе або некоректны базовы URL (Docker)
У чате пасля якога-таког “model not found”	Неспадабанне тага
Чат працуе, а падача дакументаў не вядома	Відсутны элемент embedder
Некоректныя назвы, таймауты	Недастатак памяці

Заказаныя пераглядкі:

curl http://127.0.0.1:11434 — няма адказу → Прычына 1.
ollama list — адпаведнасць па іме? іншы случай — Прычына 3.
AnythingLLM у Docker з порожнім спадным спискам → Прычына 2 (Базовая адраса).
Толькі завантажэння не выходзяць → Прычына 4 (embedder).
Усё ўсё равно нестабільна пад навантажэнням → Прычына 5 (RAM/VRAM).

Прычына 1 — Ollama не працюе (альбо не слухае)

Запусціце сервер і пераканайцеся ў роботе API:

# Start the server (foreground; leave it running)
ollama serve
# In another terminal, prove it's alive curl http://127.0.0.1:11434
# -> "Ollama is running"

Паказваце адрасу слухання:

lsof -nP -iTCP:11434 -sTCP:LISTEN # ollama ... TCP 127.0.0.1:11434 (LISTEN)

Якщо нічога не слухае на 11434, AnythingLLM не можа паказаць модэлі. Запусціце прыкладнасць/сэрвіс, чакайце пакуль API даў адказ, а потым апавярце спадный список модэляў AnythingLLM.

Прычына 2 — Docker-версія AnythingLLM не можа дасягнуць хоставанага Ollama

Стандартны ўз’язначэнні Ollama дазволяе толькі роботу ў режыме loopback. Контэйнеры не зможаць пазначыць 127.0.0.1 на хосте. Якщо трэба, выкажыце Ollama через інтерфейс LAN:

# macOS: expose Ollama on the network, then restart the app
launchctl setenv OLLAMA_HOST "0.0.0.0:11434"
# Linux (systemd): add to the service override, then reload + restart
# Environment="OLLAMA_HOST=0.0.0.0:11434"

Укажыце базовую URL для Ollama у AnythingLLM на гэйтвейз хоста, напрыклад, калі запускаеце контэйнер UI:

docker run -d -p 3001:3001 \ --add-host=host.docker.internal:host-gateway \ -v ~/anythingllm:/app/server/storage \ mintplexlabs/anythingllm

У Linux зазвычай выкарыстоўваецца --add-host=host.docker.internal:host-gateway (альбо IP гэйтвейза docker bridge). Пасля змены URL зноў ачыніце настройкі і перазавантажыце модэлі.

Прычына 3 — Неспакоўнасць тага

API чулы да точных значэнняеў строкаў. Якщо UI запрашвае mistral, а у вас є толькі mistral:7b-instruct, чат не будзе працаваць.

Спісавайце, што у вас насправды є:

ollama list
# NAME ID SIZE MODIFIED
# llama3.1:8b 46e0c10c039e 4.9 GB 2 months ago
# qwen3:8b 500a1f067a9f 5.2 GB 5 months ago

Альбо запрашайце таг, які чакае AnythingLLM, альбо зменіце UI на точнае імя з гэтага спісу. Пераканайцеся за дапамою прымітнага чату:

curl http://localhost:11434/api/chat -d '{"model":"mistral","messages":[{"role":"user","content":"hi"}]}'
# {"error":"model 'mistral' not found"}
curl http://localhost:11434/api/generate -d '{"model":"llama3","prompt":"hi"}'
# {"error":"model 'llama3' not found"}

Калі кэрл працюе, а інтэрфейс не функцыонуе, інтэрфейс усё рава апрабоюе іншую строчку модэлю — трэба пасправіць выбірач модэлю працоўнай зоны.

Прычына 4 — Відсутняя модэль эмбеддера

Чат выкарыстоўвае генератывальную модэлю; пры імпорце дакументаў выкарыстоўваецца модэль эмбеддінгу. Якщо эмбеддер ніколі не быў завантажаны, аплоды не вядуцца, хоць чат застаецца нормальным.

Прабавіце эмбеддынгі:

curl http://localhost:11434/api/embeddings -d '{"model":"mxbai-embed-large","prompt":"test"}'
# {"error":"model \"mxbai-embed-large\" not found, try pulling it first"}

Завантажыце эмбеддер, які патрабуе ваша працоўная зона (прыклад):

ollama pull nomic-embed-text

Зноў запусціце аплод. Пераканайцеся, што настройкі эмбеддера AnythingLLM паспаўнае з рэзультатам ollama list.

Прычына 5 — Недастатак памяці

Большы тэгі на маленькіх апаратах выклікаюць працяглыя таймауты. Следзіце за роботай Activity Monitor / nvidia-smi / free -h пад час завантажэння. Способы рашэння: меншы квантыфікацыйны формат, меньшая колькасць адночасных працоўных зона, большая колькасць RAM/VRAM або закрыцце іншых модэляў (ollama stop).

Спіс перакананняў пры запобежэнні

Зберагаце Ollama ў режыме службы.
Документаваце базовую URL для інсталляцыі через Docker і натыўна.
Установіце точныя тагі ў працоўных прасторах AnythingLLM.
Заўжды завантажвайце моделі як для чату, так і для вбудовання ў скрыпты bootstrap.
Обмежыце размах моделі мемарыямі апарата.

Падсумак

Проблема “Модель не знайдзена” межы AnythingLLM і Ollama паўтараецца гэтая прычына: процес запускаўся?, URL правільны ў разных прасторах імен?, тагі точныя?, елемент для вбудовання ўстановлена?, мемарыяў достатньо? Раскінуце гэты список зверху вярх, перш чым прабаваць занову завантажыць моделі розмерам у кілька гігабайтаў.

Якщо вы зменіце адресу прыўязкі Ollama, пачніце занова як Ollama, так і AnythingLLM; старыя кліенты часта кэшуюць старую базовую URL у настройках працоўнага прастору, чым люди прыпускаюць.

Якщо вы зменіце адресу прыўязкі Ollama, пачніце занова як Ollama, так і AnythingLLM; застарэлыя кліенты частае, чым люди спадзяваюцца, кэшуюць стары Base URL у настройках рабочага прастору.

Якщо вы зменіце адресу прыўязкі Ollama, пачніце занова як Ollama, так і AnythingLLM; застарэлі кліенты частае, чым люди спадзяваюцца, кэшуюць стары Base URL у настройках рабочага прастору.

Якщо вы зменіце адресу прыўязкі Ollama, пачніце занова як Ollama, так і AnythingLLM; застарэлыя кліенты часта кешуюць стары базовы URL у настройках рабочага прастору, чым люди спадзяваюцца.

Усе артыкулы Даслаць брыф