Strona główna / Artykuły / AnythingLLM „Model nie został znaleziony” w Ollama: Pięć sposobów na naprawę problemów z rurociągami

anythingllm ollama docker troubleshooting local-llm

AnythingLLM „Model nie został znaleziony” w Ollama: Pięć sposobów na naprawę problemów z rurociągami

Puste listy rozwijane oraz niezgodności tagów to zazwyczaj problemy z połączeniem HTTP pomiędzy AnythingLLM a Ollama, a nie uszkodzone wagi. Pracuj nad listą kontrolną od góry do dołu.

2351 słów

AnythingLLM pokazuje „model not found” — pięć rozwiązań problemów z rurociągami

Wskazałeś AnythingLLM na Ollamę, nacisnąłeś wysłanie i otrzymałeś komunikat „model not found”. Albo lista modeli pozostaje pusta. Albo napis „loading available models” kręci się w nieskończoność. Tymczasem ollama list pokazuje, że pliki modeli są bez problemu przechowywane na dysku.

Ta niezgodność zazwyczaj nie wynika z uszkodzonego pobrania. AnythingLLM komunikuje się z Ollamą przez HTTP. Prawie każdy trudny przypadek sprowadza się do jednego z pięciu problemów z połączeniem lub nazywaniem pomiędzy dwoma lokalnymi procesami.

Poniższe notatki zostały przygotowane na podstawie wersji Ollamy 0.32.x: objawy, przyczyny, rozwiązania, ułożone według częstotliwości występowania poszczególnych przyczyn.

Główne wnioski

Domyślnie Ollama słucha tylko na adresie 127.0.0.1:11434, dlatego Dockerized AnythingLLM często nie może go dostrzec.

Wewnątrz kontenera localhost oznacza sam kontener — zamiast tego użyj http://host.docker.internal:11434 (lub bramy hosta).

Błąd „model not found” jest często spowodowany niespójnością tagów (llama3 vs llama3.1:8b).

Chat może działać, podczas gdy przesyłanie plików zawodzi, jeśli model embedding nigdy nie został pobraany.

Diagnoza w trzydzieści sekund

Najpierw dopasuj objaw:

Objaw	Prawdopodobna przyczyna
Pusty menu rozwijany / nieskończone ładowanie	Ollama nie działa lub błędna adresa bazowa (Docker)
Błąd „model not found” w trakcie rozmowy	Niespójność tagów
Chat działa, ale przesyłanie dokumentów zawodzi	Brak narzędzia do embedowania
Prawidłowe nazwy, ale timeouty	Napięcie pamięci

Zamówione sprawdzenia:

curl http://127.0.0.1:11434 — brak odpowiedzi → Przyczyna 1.
ollama list — dokładne dopasowanie nazwy? w przeciwnym razie Przyczyna 3.
AnythingLLM w Dockerze z pustym menu rozwijanym → Przyczyna 2 (adres bazowy).
Powodują się tylko błędy przy przesyłaniu plików → Przyczyna 4 (embedder).
Nadal niestabilne pod obciążeniem → Przyczyna 5 (RAM/VRAM).

Przyczyna 1 — Ollama nie jest uruchomione (lub nie słucha)

Zainicjuj serwer i sprawdź API:

# Start the server (foreground; leave it running)
ollama serve
# In another terminal, prove it's alive curl http://127.0.0.1:11434
# -> "Ollama is running"

Potwierdź adres, na którym serwer słucha:

lsof -nP -iTCP:11434 -sTCP:LISTEN # ollama ... TCP 127.0.0.1:11434 (LISTEN)

Jeśli na porcie 11434 nic nie słucha, AnythingLLM nie może wyświetlić modeli. Uruchom aplikację/usługę, poczekaj, aż API odpowie, a następnie odśwież menu rozwijane z modelami AnythingLLM.

Przyczyna 2 — Dockerizowane AnythingLLM nie może połączyć się z Ollamą na hostingu

Domyślne połączenie Ollamy dotyczy wyłącznie loopback. Kontenery nie będą widzieć adresu 127.0.0.1 na hostzie. W razie potrzeby ujawnij Ollamę przez interfejs LAN:

# macOS: expose Ollama on the network, then restart the app
launchctl setenv OLLAMA_HOST "0.0.0.0:11434"
# Linux (systemd): add to the service override, then reload + restart
# Environment="OLLAMA_HOST=0.0.0.0:11434"

Ustaw bazową adres URL Ollamy w AnythingLLM na bramkę hosta, na przykład podczas uruchamiania kontenera interfejsu użytkownika:

docker run -d -p 3001:3001 \ --add-host=host.docker.internal:host-gateway \ -v ~/anythingllm:/app/server/storage \ mintplexlabs/anythingllm

W Linuxie zwykłym rozwiązaniem jest użycie parametru --add-host=host.docker.internal:host-gateway (lub IP bramki mostu docker). Po zmianie adresu URL ponownie otwórz ustawienia i załaduj modele.

Powód 3 — Niezgodność tagów

API jest wrażliwy na dokładny tekst. Jeśli interfejs użytkownika żąda modelu mistral, a ty masz tylko mistral:7b-instruct, rozmowa zostanie przerwana w trakcie trwania.

Spisz, co faktycznie posiadasz:

ollama list
# NAME ID SIZE MODIFIED
# llama3.1:8b 46e0c10c039e 4.9 GB 2 months ago
# qwen3:8b 500a1f067a9f 5.2 GB 5 months ago

Lub pobierz tag oczekiwany przez AnythingLLM, lub zmień interfejs użytkownika tak, aby używał dokładnego nazwy z tej listy. Sprawdź to poprzez bezpośrednią rozmowę:

curl http://localhost:11434/api/chat -d '{"model":"mistral","messages":[{"role":"user","content":"hi"}]}'
# {"error":"model 'mistral' not found"}
curl http://localhost:11434/api/generate -d '{"model":"llama3","prompt":"hi"}'
# {"error":"model 'llama3' not found"}

Gdy funkcja curl działa, a interfejs użytkownika zawodzi, ten nadal wysyła inną ścieżkę modelu — należy naprawić wybieracz modeli w przestrzeni roboczej.

Powód 4 — Brak modelu embeddera

Czat wykorzystuje model generatywny; przetwarzanie dokumentów wymaga modelu embedding. Jeśli model embeddera nie został pobraany, przesyłanie plików zawodzi, mimo że czat funkcjonuje prawidłowo.

Zbadaj modele embedding:

curl http://localhost:11434/api/embeddings -d '{"model":"mxbai-embed-large","prompt":"test"}'
# {"error":"model \"mxbai-embed-large\" not found, try pulling it first"}

Pobierz model embeddera oczekiwanego przez twoją przestrzeń roboczą (przykład):

ollama pull nomic-embed-text

Zrestartuj proces przesyłania. Sprawdź ustawienia embeddera AnythingLLM, aby nazwa była zgodna z wynikiem ollama list.

Powód 5 — Niewystarczająca ilość pamięci

Duże tagi na małych maszynach powodują błędy z powodu niejasnych czasów oczekiwania. Obserwuj Activity Monitor / nvidia-smi / free -h podczas ładowania. Rozwiązania: mniejsza ilość danych kwantyzowanych, mniej jednoczesnych przestrzeni roboczych, większa ilość pamięci RAM/VRAM lub zamknięcie innych modeli (ollama stop).

Lista kontrolna zapobiegania problemom

Zapewnij ciągłe działanie Ollamy jako usługi.
Zdokumentuj adres podstawowy dla instalacji w Dockerze oraz w wersji natywnej.
Ustal dokładne tagi w przestrzeniach roboczych AnythingLLM.
Zawsze pobieraj modele do czatu i embeddera w skryptach bootstrapowych.
Ogranicz rozmiar modeli do dostępnej pamięci maszyny.

Podsumowanie

Błąd „Model not found” pomiędzy AnythingLLM a Ollamą wynika niemal zawsze z błędów konfiguracji: proces uruchomiony?, adres URL poprawny w różnych przestrzeniach nazw?, tag dokładny?, embedder obecny?, wystarczająco dużo pamięci? Przeanalizuj tę listę od góry do dołu przed ponownym pobieraniem kilugigabajtowych plików modeli.

Jeśli zmienisz adres bind Ollamy, zrestartuj zarówno Ollamę, jak i AnythingLLM; przestarzałe klienty częściej niż się spodziewa się cacheują stary adres podstawowy w ustawieniach przestrzeni roboczej.

Jeśli zmienisz adres przypisania Ollamy, zrestartuj zarówno Ollamę, jak i AnythingLLM; przestarzałe klienty częściej niż się spodziewa się cacheują stary adres bazowy w ustawieniach przestrzeni roboczej.

Jeśli zmienisz adres bind Ollamy, uruchom ponownie zarówno Ollamę, jak i AnythingLLM; przestarzałe klienty częściej niż się spodziewa się cacheują stary adres bazowy w ustawieniach przestrzeni roboczej.

Literatura pokrewna

Pełnie lokalny RAG dla PDF z LangChain, Ollamą i Chromą — Przetwarzaj PDF lokalnie, włączaj je za pomocą Ollamy, przechowuj w Chromie i odpowiadaj offline — bez kluczy API chmurowych po pobraniu modeli.
Localne LLM-y z Ollamą: CLI, API i sieciowanie WSL — Wybieraj odpowiednie modele za pomocą llmfit, sprawdzaj tagi przez ollama show oraz uzyskuj dostęp do API Ollamy hostowanej na Windows z WSL przy użyciu IP bramki.

Wszystkie artykuły Wyślij brief