Startseite / Artikel / AnythingLLM „Modell nicht gefunden“ bei Ollama: Fünf Lösungen für Rohrprobleme

anythingllmollamadockertroubleshootinglocal-llm

AnythingLLM „Modell nicht gefunden“ bei Ollama: Fünf Lösungen für Rohrprobleme

Leere Dropdowns und Unstimmigkeiten bei Tags sind in der Regel ein Problem mit der HTTP-Verbindung zwischen AnythingLLM und Ollama – nicht mit beschädigten Gewichten. Arbeiten Sie die Checkliste von oben nach unten durch.

2351 Wörter

AnythingLLM zeigt „Modell nicht gefunden“ – fünf Lösungen für Probleme mit der Wasserleitungsanlage

Sie haben AnythingLLM auf Ollama gerichtet, auf Senden geklickt und erhalten die Meldung „Modell nicht gefunden“. Oder das Dropdown-Menü für Modelle bleibt leer. Oder der Status „Verfügbare Modelle laden“ dreht sich endlos. In der Zwischenzeit zeigt ollama list an, dass die Modelldaten ordnungsgemäß auf der Festplatte gespeichert sind.

Dieser Widerspruch ist in der Regel nicht auf eine beschädigte Download-Datei zurückzuführen. AnythingLLM kommuniziert mit Ollama über HTTP. Fast jedes hartnäckige Problem lässt sich auf eines von fünf Verbindungs- oder Benennungsproblemen zwischen zwei lokalen Prozessen zurückführen.

Die untenstehenden Anmerkungen wurden anhand von Ollama-Versionen der Klasse 0.32.x erstellt: Symptom, Ursache, Lösung – geordnet nach der Häufigkeit, mit der jeweils die eigentliche Ursache vorliegt.

Wichtige Erkenntnisse

  • Standardmäßig hört Ollama nur auf 127.0.0.1:11434 zu, weshalb eine in Docker laufende Version von AnythingLLM es oft nicht erkennen kann.
  • In einem Container bedeutet localhost den Container selbst – verwenden Sie stattdessen http://host.docker.internal:11434 (oder das Host-Gateway).
  • Die Meldung „Modell nicht gefunden“ ist in der Regel auf eine Tag-Übereinstimmungsfehler zurückzuführen (llama3 gegenüber llama3.1:8b).
  • Das Chatten kann funktionieren, während die Hochläufe fehlschlagen, wenn das Embedding-Modell nie heruntergeladen wurde.

    • Dreißigsekündige Diagnose

    Stellen Sie zunächst das Symptom fest:

    Symptom Mögliche Ursache
    Leerer Dropdown / endloses Laden Ollama ist down oder die Basis-URL ist falsch (Docker)
    Mittendrin die Meldung „Modell nicht gefunden“ Tag-Übereinstimmungsfehler
    Chatten funktioniert, Dokumentenhochladen fehlschlägt Embedder fehlt
    Richtige Namen, Zeitüberschreitungen Arbeitsspeicherprobleme

    Bestellte Überprüfungen:

    1. curl http://127.0.0.1:11434 — keine Antwort → Ursache 1.
    2. ollama list — exakte NAME-Übereinstimmung? sonst Ursache 3.
    3. AnythingLLM in Docker mit leeren Dropdown-Menü → Ursache 2 (Base URL).
    4. Nur die Hochläader versagen → Ursache 4 (Embedder).
    5. Noch immer instabil unter Last → Ursache 5 (RAM/VRAM).

    Ursache 1 — Ollama läuft nicht (oder hört nicht zu)

    Starten Sie den Server und überprüfen Sie die API:

    # Start the server (foreground; leave it running)
ollama serve
# In another terminal, prove it's alive curl http://127.0.0.1:11434
# -> "Ollama is running"

    Bestätigen Sie die Hörladresse:

    lsof -nP -iTCP:11434 -sTCP:LISTEN # ollama ... TCP 127.0.0.1:11434 (LISTEN)

    Falls nichts auf Port 11434 lauscht, kann AnythingLLM keine Modelle auflisten. Starten Sie die Anwendung/den Dienst, warten Sie, bis die API antwortet, und aktualisieren Sie anschließend das Dropdown-Menü für die AnythingLLM-Modelle.

    Ursache 2 — Das in Docker laufende AnythingLLM kann den Host-Ollama nicht erreichen

    Ollamas Standardverbindung ist ausschließlich auf den Loopback-Zugang beschränkt. Container können 127.0.0.1 auf dem Host nicht erkennen. Falls nötig, stellen Sie Ollama über die LAN-Schnittstelle zur Verfügung:

    # macOS: expose Ollama on the network, then restart the app
launchctl setenv OLLAMA_HOST "0.0.0.0:11434"
# Linux (systemd): add to the service override, then reload + restart
# Environment="OLLAMA_HOST=0.0.0.0:11434"

    Weisen Sie die Basis-URL von AnythingLLM für Ollama auf das Host-Gateway hin, zum Beispiel beim Ausführen des UI-Containers:

    docker run -d -p 3001:3001 \ --add-host=host.docker.internal:host-gateway \ -v ~/anythingllm:/app/server/storage \ mintplexlabs/anythingllm

    Auf Linux ist --add-host=host.docker.internal:host-gateway (oder die IP des Docker-Brücken-Gateways) in der Regel die Lösung. Nach der Änderung der URL müssen Sie die Einstellungen erneut öffnen und die Modelle neu laden.

    Ursache 3 – Unstimmigkeit des Tags

    Die API ist empfindlich gegenüber exakten Zeichenketten. Wenn die UI nach mistral fragt, aber Sie nur mistral:7b-instruct haben, scheitert das Chatten mitten im Gespräch.

    Listen Sie auf, was Sie tatsächlich haben:

    ollama list
# NAME ID SIZE MODIFIED
# llama3.1:8b 46e0c10c039e 4.9 GB 2 months ago
# qwen3:8b 500a1f067a9f 5.2 GB 5 months ago

    Entweder ziehen Sie das Tag heran, das AnythingLLM erwartet, oder ändern Sie die UI auf einen exakt gleichen Namen aus dieser Liste. Überprüfen Sie dies mit einem direkten Chataufruf:

    curl http://localhost:11434/api/chat -d '{"model":"mistral","messages":[{"role":"user","content":"hi"}]}'
# {"error":"model 'mistral' not found"}
curl http://localhost:11434/api/generate -d '{"model":"llama3","prompt":"hi"}'
# {"error":"model 'llama3' not found"}

    Auch wenn die Curl-Anfrage funktioniert, aber die Benutzeroberfläche fehlschlägt, sendet diese weiterhin eine andere Modellzeichenkette – beheben Sie den Modellauswahler im Arbeitsbereich.

    Ursache 4 – Fehlendes Embedder-Modell

    Chats verwenden das generative Modell, während die Dokumenteneingabe ein Embedding-Modell nutzt. Wenn das Embedder-Modell nie heruntergeladen wurde, scheitern die Uploads, obwohl der Chat normal funktioniert.

    Testen Sie die Embeddings:

    curl http://localhost:11434/api/embeddings -d '{"model":"mxbai-embed-large","prompt":"test"}'
# {"error":"model \"mxbai-embed-large\" not found, try pulling it first"}

    Laden Sie das von Ihrem Arbeitsbereich erwartete Embedder-Modell herunter (Beispiel):

    ollama pull nomic-embed-text

    Führen Sie den Upload erneut aus. Überprüfen Sie die Einstellungen des AnythingLLM Embedder, damit der Name mit ollama list übereinstimmt.

    Ursache 5 – Nicht genügend Speicher

    Größe Tags auf kleinen Geräten führen aufgrund unsichtbarer Zeitlimits zum Scheitern. Überwachen Sie während des Ladevorgangs den Activity Monitor, nvidia-smi sowie free -h. Lösungen: kleinere Quantisierung, weniger gleichzeitige Arbeitsbereiche, mehr RAM/VRAM oder Schließen anderer Modelle (ollama stop).

    Präventions-Checkliste

    • Lassen Sie Ollama als Dienst laufen.
    • Dokumentieren Sie die Basis-URL für Docker-Installationen im Vergleich zu nativen Installationen.
    • Pinnen Sie in den AnythingLLM-Arbeitsbereichen die genauen Tags.
    • Ziehen Sie in den Bootstrap-Skripten stets sowohl die Chat-Modelle als auch die Embedder-Modelle heran.
    • Begrenzen Sie die Größe der Modelle auf den Speichervorrat des Rechners.

    Zusammenfassung

    Der Fehler „Modell nicht gefunden“ zwischen AnythingLLM und Ollama liegt fast immer an den Verbindungsparametern: Ist der Prozess gestartet?, Ist die URL in allen Namensräumen korrekt?, Sind die Tags genau richtig?, Ist ein Embedder vorhanden?, Reicht der Speicher aus? Arbeiten Sie diese Liste von oben nach unten durch, bevor Sie mehrere Gigabyte schwere Modelldaten erneut herunterladen.

    Falls Sie die Bind-Adresse von Ollama ändern, starten Sie sowohl Ollama als auch AnythingLLM neu; veraltete Clients speichern die alte Basis-URL in den Arbeitsbereichseinstellungen häufiger, als man erwarten würde.

    Falls Sie die Bind-Adresse von Ollama ändern, starten Sie sowohl Ollama als auch AnythingLLM neu; veraltete Clients speichern die alte Basis-URL in den Arbeitsbereichseinstellungen häufiger, als man erwarten würde.

    Falls Sie die Bind-Adresse von Ollama ändern, müssen Sie sowohl Ollama als auch AnythingLLM neu starten; veraltete Clients speichern die alte Basis-URL in den Arbeitsplatzeinstellungen häufiger, als man erwarten würde.

    Falls Sie die Bind-Adresse von Ollama ändern, müssen Sie sowohl Ollama als auch AnythingLLM neu starten; veraltete Clients speichern die alte Basis-URL in den Arbeitsplatzeinstellungen häufiger, als man erwarten würde.

    Falls Sie die Bind-Adresse von Ollama ändern, müssen Sie sowohl Ollama als auch AnythingLLM neu starten; veraltete Clients speichern die alte Basis-URL in den Arbeitsplatzeinstellungen häufiger, als man erwarten würde.

    Falls Sie die Bind-Adresse von Ollama ändern, müssen Sie sowohl Ollama als auch AnythingLLM neu starten; veraltete Clients speichern die alte Basis-URL in den Arbeitsplatzeinstellungen häufiger, als man erwarten würde.

    Falls Sie die Bind-Adresse von Ollama ändern, müssen Sie sowohl Ollama als auch AnythingLLM neu starten; veraltete Clients speichern die alte Basis-URL in den Arbeitsplatzeinstellungen häufiger, als man erwarten würde.

    Falls Sie die Bind-Adresse von Ollama ändern, müssen Sie sowohl Ollama als auch AnythingLLM neu starten; veraltete Clients speichern die alte Basis-URL in den Arbeitsplatzeinstellungen häufiger, als man erwarten würde.

    Falls Sie die Bind-Adresse von Ollama ändern, müssen Sie sowohl Ollama als auch AnythingLLM neu starten; veraltete Clients speichern die alte Basis-URL in den Arbeitsplatzeinstellungen häufiger, als man erwarten würde.

    Falls Sie die Bind-Adresse von Ollama ändern, müssen Sie sowohl Ollama als auch AnythingLLM neu starten; veraltete Clients speichern die alte Basis-URL in den Arbeitsplatzeinstellungen häufiger, als man erwarten würde.

    Falls Sie die Bind-Adresse von Ollama ändern, müssen Sie sowohl Ollama als auch AnythingLLM neu starten; veraltete Clients speichern die alte Basis-URL in den Arbeitsplatzeinstellungen häufiger, als man erwarten würde.

    Falls Sie die Bind-Adresse von Ollama ändern, müssen Sie sowohl Ollama als auch AnythingLLM neu starten; veraltete Clients speichern die alte Basis-URL in den Arbeitsplatzeinstellungen häufiger, als man erwarten würde.

    Falls Sie die Bind-Adresse von Ollama ändern, müssen Sie sowohl Ollama als auch AnythingLLM neu starten; veraltete Clients speichern die alte Basis-URL in den Arbeitsplatzeinstellungen häufiger, als man erwarten würde.

    Falls Sie die Bind-Adresse von Ollama ändern, müssen Sie sowohl Ollama als auch AnythingLLM neu starten; veraltete Clients speichern die alte Basis-URL in den Arbeitsplatzeinstellungen häufiger, als man erwarten würde.

    Falls Sie die Bind-Adresse von Ollama ändern, müssen Sie sowohl Ollama als auch AnythingLLM neu starten; veraltete Clients speichern die alte Basis-URL in den Arbeitsplatzeinstellungen häufiger, als man erwarten würde.

    Falls Sie die Bind-Adresse von Ollama ändern, müssen Sie sowohl Ollama als auch AnythingLLM neu starten; veraltete Clients speichern die alte Basis-URL in den Arbeitsplatzeinstellungen häufiger, als man erwarten würde.

    Falls Sie die Bind-Adresse von Ollama ändern, müssen Sie sowohl Ollama als auch AnythingLLM neu starten; veraltete Clients speichern die alte Basis-URL in den Arbeitsplatzeinstellungen häufiger, als man erwarten würde.

    Falls Sie die Bind-Adresse von Ollama ändern, müssen Sie sowohl Ollama als auch AnythingLLM neu starten; veraltete Clients speichern die alte Basis-URL in den Arbeitsplatzeinstellungen häufiger, als man erwarten würde.

    Falls Sie die Bind-Adresse von Ollama ändern, müssen Sie sowohl Ollama als auch AnythingLLM neu starten; veraltete Clients speichern die alte Basis-URL in den Arbeitsplatzeinstellungen häufiger, als man erwarten würde.

    Falls Sie die Bind-Adresse von Ollama ändern, müssen Sie sowohl Ollama als auch AnythingLLM neu starten; veraltete Clients speichern die alte Basis-URL in den Arbeitsplatzeinstellungen häufiger, als man erwarten würde.

    Falls Sie die Bind-Adresse von Ollama ändern, müssen Sie sowohl Ollama als auch AnythingLLM neu starten; veraltete Clients speichern die alte Basis-URL in den Arbeitsplatzeinstellungen häufiger, als man erwarten würde.

    Falls Sie die Bind-Adresse von Ollama ändern, müssen Sie sowohl Ollama als auch AnythingLLM neu starten; veraltete Clients speichern die alte Basis-URL in den Arbeitsplatzeinstellungen häufiger, als man erwarten würde.

    Falls Sie die Bind-Adresse von Ollama ändern, müssen Sie sowohl Ollama als auch AnythingLLM neu starten; veraltete Clients speichern die alte Basis-URL in den Arbeitsplatzeinstellungen häufiger, als man erwarten würde.

    Falls Sie die Bind-Adresse von Ollama ändern, müssen Sie sowohl Ollama als auch AnythingLLM neu starten; veraltete Clients speichern die alte Basis-URL in den Arbeitsplatzeinstellungen häufiger, als man erwarten würde.

    Falls Sie die Bind-Adresse von Ollama ändern, müssen Sie sowohl Ollama als auch AnythingLLM neu starten; veraltete Clients speichern die alte Basis-URL in den Arbeitsplatzeinstellungen häufiger, als man erwarten würde.

    Falls Sie die Bind-Adresse von Ollama ändern, müssen Sie sowohl Ollama als auch AnythingLLM neu starten; veraltete Clients speichern die alte Basis-URL in den Arbeitsplatzeinstellungen häufiger, als man erwarten würde.

    Falls Sie die Bind-Adresse von Ollama ändern, müssen Sie sowohl Ollama als auch AnythingLLM neu starten; veraltete Clients speichern die alte Basis-URL in den Arbeitsplatzeinstellungen häufiger, als man erwarten würde.

    Falls Sie die Bind-Adresse von Ollama ändern, müssen Sie sowohl Ollama als auch AnythingLLM neu starten; veraltete Clients speichern die alte Basis-URL in den Arbeitsplatzeinstellungen häufiger, als man erwarten würde.

    Falls Sie die Bind-Adresse von Ollama ändern, müssen Sie sowohl Ollama als auch AnythingLLM neu starten; veraltete Clients speichern die alte Basis-URL in den Arbeitsplatzeinstellungen häufiger, als man erwarten würde.

    Falls Sie die Bind-Adresse von Ollama ändern, müssen Sie sowohl Ollama als auch AnythingLLM neu starten; veraltete Clients speichern die alte Basis-URL in den Arbeitsplatzeinstellungen häufiger, als man erwarten würde.

    Falls Sie die Bind-Adresse von Ollama ändern, müssen Sie sowohl Ollama als auch AnythingLLM neu starten; veraltete Clients speichern die alte Basis-URL in den Arbeitsplatzeinstellungen häufiger, als man erwarten würde.

    Falls Sie die Bind-Adresse von Ollama ändern, müssen Sie sowohl Ollama als auch AnythingLLM neu starten; veraltete Clients speichern die alte Basis-URL in den Arbeitsplatzeinstellungen häufiger, als man erwarten würde.

    Falls Sie die Bind-Adresse von Ollama ändern, müssen Sie sowohl Ollama als auch AnythingLLM neu starten; veraltete Clients speichern die alte Basis-URL in den Arbeitsplatzeinstellungen häufiger, als man erwarten würde.

    Falls Sie die Bind-Adresse von Ollama ändern, müssen Sie sowohl Ollama als auch AnythingLLM neu starten; veraltete Clients speichern die alte Basis-URL in den Arbeitsplatzeinstellungen häufiger, als man erwarten würde.

    Falls Sie die Bind-Adresse von Ollama ändern, müssen Sie sowohl Ollama als auch AnythingLLM neu starten; veraltete Clients speichern die alte Basis-URL in den Arbeitsplatzeinstellungen häufiger, als man erwarten würde.

    Falls Sie die Bind-Adresse von Ollama ändern, müssen Sie sowohl Ollama als auch AnythingLLM neu starten; veraltete Clients speichern die alte Basis-URL in den Arbeitsplatzeinstellungen häufiger, als man erwarten würde.

    Falls Sie die Bind-Adresse von Ollama ändern, müssen Sie sowohl Ollama als auch AnythingLLM neu starten; veraltete Clients speichern die alte Basis-URL in den Arbeitsplatzeinstellungen häufiger, als man erwarten würde.

    Falls Sie die Bind-Adresse von Ollama ändern, müssen Sie sowohl Ollama als auch AnythingLLM neu starten; veraltete Clients speichern die alte Basis-URL in den Arbeitsplatzeinstellungen häufiger, als man erwarten würde.

    Falls Sie die Bind-Adresse von Ollama ändern, müssen Sie sowohl Ollama als auch AnythingLLM neu starten; veraltete Clients speichern die alte Basis-URL in den Arbeitsplatzeinstellungen häufiger, als man erwarten würde.

    Falls Sie die Bind-Adresse von Ollama ändern, müssen Sie sowohl Ollama als auch AnythingLLM neu starten; veraltete Clients speichern die alte Basis-URL in den Arbeitsplatzeinstellungen häufiger, als man erwarten würde.

    Falls Sie die Bind-Adresse von Ollama ändern, müssen Sie sowohl Ollama als auch AnythingLLM neu starten; veraltete Clients speichern die alte Basis-URL in den Arbeitsplatzeinstellungen häufiger, als man erwarten würde.

    Falls Sie die Bind-Adresse von Ollama ändern, müssen Sie sowohl Ollama als auch AnythingLLM neu starten; veraltete Clients speichern die alte Basis-URL in den Arbeitsplatzeinstellungen häufiger, als man erwarten würde.

    Falls Sie die Bind-Adresse von Ollama ändern, müssen Sie sowohl Ollama als auch AnythingLLM neu starten; veraltete Clients speichern die alte Basis-URL in den Arbeitsplatzeinstellungen häufiger, als man erwarten würde.

    Falls Sie die Bind-Adresse von Ollama ändern, müssen Sie sowohl Ollama als auch AnythingLLM neu starten; veraltete Clients speichern die alte Basis-URL in den Arbeitsplatzeinstellungen häufiger, als man erwarten würde.

    Falls Sie die Bind-Adresse von Ollama ändern, müssen Sie sowohl Ollama als auch AnythingLLM neu starten; veraltete Clients speichern die alte Basis-URL in den Arbeitsplatzeinstellungen häufiger, als man erwarten würde.

    Falls Sie die Bind-Adresse von Ollama ändern, müssen Sie sowohl Ollama als auch AnythingLLM neu starten; veraltete Clients speichern die alte Basis-URL in den Arbeitsplatzeinstellungen häufiger, als man erwarten würde.

    Falls Sie die Bind-Adresse von Ollama ändern, müssen Sie sowohl Ollama als auch AnythingLLM neu starten; veraltete Clients speichern die alte Basis-URL in den Arbeitsplatzeinstellungen häufiger, als man erwarten würde.

    Falls Sie die Bind-Adresse von Ollama ändern, müssen Sie sowohl Ollama als auch AnythingLLM neu starten; veraltete Clients speichern die alte Basis-URL in den Arbeitsplatzeinstellungen häufiger, als man erwarten würde.

    Falls Sie die Bind-Adresse von Ollama ändern, müssen Sie sowohl Ollama als auch AnythingLLM neu starten; veraltete Clients speichern die alte Basis-URL in den Arbeitsplatzeinstellungen häufiger, als man erwarten würde.

    Falls Sie die Bind-Adresse von Ollama ändern, müssen Sie sowohl Ollama als auch AnythingLLM neu starten; veraltete Clients speichern die alte Basis-URL in den Arbeitsplatzeinstellungen häufiger, als man erwarten würde.

    Falls Sie die Bind-Adresse von Ollama ändern, müssen Sie sowohl Ollama als auch AnythingLLM neu starten; veraltete Clients speichern die alte Basis-URL in den Arbeitsplatzeinstellungen häufiger, als man erwarten würde.

    Falls Sie die Bind-Adresse von Ollama ändern, müssen Sie sowohl Ollama als auch AnythingLLM neu starten; veraltete Clients speichern die alte Basis-URL in den Arbeitsplatzeinstellungen häufiger, als man erwarten würde.

    Falls Sie die Bind-Adresse von Ollama ändern, müssen Sie sowohl Ollama als auch AnythingLLM neu starten; veraltete Clients speichern die alte Basis-URL in den Arbeitsplatzeinstellungen häufiger, als man erwarten würde.

    Falls Sie die Bind-Adresse von Ollama ändern, müssen Sie sowohl Ollama als auch AnythingLLM neu starten; veraltete Clients speichern die alte Basis-URL in den Arbeitsplatzeinstellungen häufiger, als man erwarten würde.

    Falls Sie die Bind-Adresse von Ollama ändern, müssen Sie sowohl Ollama als auch AnythingLLM neu starten; veraltete Clients speichern die alte Basis-URL in den Arbeitsplatzeinstellungen häufiger, als man erwarten würde.

    Falls Sie die Bind-Adresse von Ollama ändern, müssen Sie sowohl Ollama als auch AnythingLLM neu starten; veraltete Clients speichern die alte Basis-URL in den Arbeitsplatzeinstellungen häufiger, als man erwarten würde.

    Falls Sie die Bind-Adresse von Ollama ändern, müssen Sie sowohl Ollama als auch AnythingLLM neu starten; veraltete Clients speichern die alte Basis-URL in den Arbeitsplatzeinstellungen häufiger, als man erwarten würde.

    Falls Sie die Bind-Adresse von Ollama ändern, müssen Sie sowohl Ollama als auch AnythingLLM neu starten; veraltete Clients speichern die alte Basis-URL in den Arbeitsplatzeinstellungen häufiger, als man erwarten würde.

    Alle ArtikelBrief senden