anythingllm ollama docker troubleshooting local-llm

AnythingLLM «Мадэль не знайдзена» у Ollama: Пяць спосабоў вылечыць проблемы з водопрацэсам

Калі AnythingLLM паведамляе, што мадэль не знайдзена ў Ollama? Зазвычай прычына — проблемы з HTTP-з’ўязкам, сеткавая наладка Docker або несувярэннасці тэгаў, а не зламаныя вагі мадэлі. Пяць спосабаў выправлення, перакантрольваных па парадку.

Выдавец: REACTAPP.TOPДададзена на сайт 26 вер 202611 хв чытання2426 слоў

Крыніцы: AnythingLLM Ollama Model Not Found: 5 Fixes That Work

AnythingLLM паведамляе “мадэль не знайдзена” — пяць спосабоў выправлення

Вы направілі AnythingLLM на Ollama, нажалілі “надасць” і побачылі прымету “мадэль не знайдзена”. Або спадны спіс модэляў застаецца порожнім. Або напіс “загрузка доступных модэляў” круціцца без канца. Тым часам ollama list паказвае, што вагі модэля ўсё ж знаходзяцца на дыске.

Такая несувязанасць зазвычай не ўскладненая падача даных. AnythingLLM выконвае зв’язак з Ollama праз HTTP. Паўнасцю кожнага складнага случая можна павярнуць да адной з пяці проблем з’ўязку або называння між двума локальнымі процэсамі.

Наведаныя ніжэй прыміткі былі створаны на базе версый Ollama 0.32.x: сімптамы, прычыны, спосабы выправлення, аранжаваныя па тым, як часта кожна з іх ёст канкрэтная прычына проблемы.

Галоўныя выводы

Па значэнні прызначэння Ollama абоўязкова слухае толькі на 127.0.0.1:11434, таму AnythingLLM, які працюе ў фармаце Docker, часта не можа яго пазначыць.

Унутрэй кантэйнера localhost абазаваецца на самы кантэйнер — узьміце заместа гэтаго http://host.docker.internal:11434 (альбо гэтавайт-гейтвей).

Упамінанне “model not found” часта яўляецца неспадабаннем тага (llama3 проты llama3.1:8b).

Чат можа працаваць, а падача дакументаў не вядома, калі модэль embedding ніколі не была завантажана.

Дыягназа за трыдзець секундаў

Спачатку падберыце сімптам:

Сімптам	Можлівая прычына
Пусты спадны спіс / безканечная загрузка	Ollama не працуе або некарэктны базовы URL (Docker)
У чаце пасля якога-таког “model not found”	Неспадабанне тага
Чат працуе, а падача дакументаў не вядома	Відсутны элемент embedder
Некарэктныя назвы, таймауты	Недастатак памяці

Заказаныя пераглядкі:

curl http://127.0.0.1:11434 — няма адказу → Прычына 1.
ollama list — адпаведнасць па іме? іншы случай — Прычына 3.
AnythingLLM у Docker з порожнім спадным спіскам → Прычына 2 (Базовая адраса).
Толькі завантажэння не выходзяць → Прычына 4 (embedder).
Усё ўсё равно нестабільна пад навантажэнням → Прычына 5 (RAM/VRAM).

Прычына 1 — Ollama не працюе (альбо не слухае)

Запусціце сервер і пераканайцеся ў працы API:

# Start the server (foreground; leave it running)
ollama serve
# In another terminal, prove it's alive curl http://127.0.0.1:11434
# -> "Ollama is running"

Паказваце адрасу слухання:

lsof -nP -iTCP:11434 -sTCP:LISTEN # ollama ... TCP 127.0.0.1:11434 (LISTEN)

Калі нічога не слухае на 11434, AnythingLLM не можа паказаць модэлі. Запусціце прыкладнасць/сэрвіс, чакайце пакуль API даў адказ, а потым апавярце спадный спіс модэляў AnythingLLM.

Прычына 2 — Docker-версія AnythingLLM не можа дасягнуць хоставанага Ollama

Стандартны ўз’язначэнні Ollama дазволяе толькі працу ў рэжыме loopback. Контэйнеры не зможаць пазначыць 127.0.0.1 на хосце. Калі трэба, выкажыце Ollama праз інтэрфейс LAN:

# macOS: expose Ollama on the network, then restart the app
launchctl setenv OLLAMA_HOST "0.0.0.0:11434"
# Linux (systemd): add to the service override, then reload + restart
# Environment="OLLAMA_HOST=0.0.0.0:11434"

Укажыце базовую URL для Ollama у AnythingLLM на гэйтвейз хоста, напрыклад, калі запускаеце контэйнер UI:

docker run -d -p 3001:3001 \ --add-host=host.docker.internal:host-gateway \ -v ~/anythingllm:/app/server/storage \ mintplexlabs/anythingllm

У Linux зазвычай выкарыстоўваецца --add-host=host.docker.internal:host-gateway (альбо IP гэйтвейза docker bridge). Пасля змены URL зноў ачыніце настройкі і перазавантажыце модэлі.

Прычына 3 — Неспакоўнасць тага

API чулы да точных значэнняеў строкаў. Калі UI запрашвае mistral, а у вас ёсць толькі mistral:7b-instruct, чат не будзе працаваць.

Спісавайце, што у вас насправды ёсць:

ollama list
# NAME ID SIZE MODIFIED
# llama3.1:8b 46e0c10c039e 4.9 GB 2 months ago
# qwen3:8b 500a1f067a9f 5.2 GB 5 months ago

Альбо запрашайце таг, які чакае AnythingLLM, альбо зменіце UI на точнае імя з гэтага спісу. Пераканайцеся за дапамою прымітнага чату:

curl http://localhost:11434/api/chat -d '{"model":"mistral","messages":[{"role":"user","content":"hi"}]}'
# {"error":"model 'mistral' not found"}
curl http://localhost:11434/api/generate -d '{"model":"llama3","prompt":"hi"}'
# {"error":"model 'llama3' not found"}

Калі кэрл працюе, а інтэрфейс не функцыонуе, інтэрфейс усё рава апрабоюе іншую строчку модэлю — трэба пасправіць выбірач модэлю працоўнай зоны.

Прычына 4 — Відсутняя модэль эмбеддэра

Чат выкарыстоўвае генератывальную модэлю; пры імпорце дакументаў выкарыстоўваецца модэль эмбедынгу. Калі эмбеддэр ніколі не быў завантажаны, аплоды не вядуцца, хоць чат застаецца нормальным.

Прабавіце эмбеддынгі:

curl http://localhost:11434/api/embeddings -d '{"model":"mxbai-embed-large","prompt":"test"}'
# {"error":"model \"mxbai-embed-large\" not found, try pulling it first"}

Завантажыце эмбеддэр, які патрабуе ваша працоўная зона (прыклад):

ollama pull nomic-embed-text

Зноў запусціце аплод. Пераканайцеся, што настройкі эмбеддэра AnythingLLM паспаўнае з рэзультатам ollama list.

Прычына 5 — Недастатак памяці

Большы тэгі на маленькіх апаратах выклікаюць працяглыя таймауты. Следзіце за працай Activity Monitor / nvidia-smi / free -h пад час завантажэння. Способы рашэння: меншы квантыфікацыйны фармат, меньшая колькасць адночасных працоўных зона, большая колькасць RAM/VRAM або закрыцце іншых модэляў (ollama stop).

Спіс перакананняў пры запобежэнні

Зберагаце Ollama ў рэжыме службы.
Документаваце базовую URL для інсталляцыі праз Docker і натыўна.
Установіце точныя тагі ў працоўных прасторах AnythingLLM.
Заўжды завантажвайце мадэлі як для чату, так і для вбудовання ў скрыпты bootstrap.
Обмежыце размах мадэлі мемарыямі апарата.

Падсумак

Проблема “Мадэль не знайдзена” межы AnythingLLM і Ollama паўтараецца гэтая прычына: працэс запускаўся?, URL правільны ў разных прасторах імен?, тагі точныя?, елемент для вбудовання ўстановлена?, мемарыяў дастаткова? Раскінуце гэты спіс зверху вярх, перш чым прабаваць занову завантажыць мадэлі розмерам у кілька гігабайтаў.

Калі вы зменіце адрэсу прыўязкі Ollama, пачніце занова як Ollama, так і AnythingLLM; старыя кліенты часта кэшуюць старую базовую URL у настройках працоўнага прастору, чым люды прыпускаюць.

Калі вы зменіце адрэсу прыўязкі Ollama, пачніце занова як Ollama, так і AnythingLLM; застарэлыя кліенты частае, чым люды спадзяваюцца, кэшуюць стары Base URL у настройках рабочага прастору.

Калі вы зменіце адрэсу прыўязкі Ollama, пачніце занова як Ollama, так і AnythingLLM; застарэлі кліенты частае, чым люды спадзяваюцца, кэшуюць стары Base URL у настройках рабочага прастору.

Калі вы зменіце адрэсу прыўязкі Ollama, пачніце занова як Ollama, так і AnythingLLM; застарэлыя кліенты часта кешуюць стары базовы URL у настройках рабочага прастору, чым люды спадзяваюцца.

← Усе артыкулы Даслаць брыф