KI auf dem eigenen PC: Ollama, Modellgrößen, Tokens und Kontext erklärt

Ein Modell ohne API-Schlüssel

Stellen Sie sich ein KI-Modell vor, das auf Ihrem eigenen Rechner läuft – ohne API-Schlüssel, ohne Cloud-Server und ohne Monatsgebühr. Das geht, und Ollama ist einer der einfachsten Wege dorthin. Wenn Begriffe wie Llama, Qwen, Gemma, 7B, 32K-Kontext oder Quantisierung Sie bisher ratlos gelassen haben, liefern die folgenden Abschnitte das Gesamtbild ohne Theorie.

Was Ollama macht

Ollama ist ein Tool, das große Sprachmodelle (LLMs) lokal ausführt. Bei einem typischen KI-Dienst wandert Ihre Anfrage auf die Server eines Unternehmens:

Your Computer
      ↓
   Internet
      ↓
Cloud AI Server
      ↓
     Model

Mit Ollama bleibt der gesamte Ablauf auf Ihrer Hardware:

Your Computer
      ↓
    Ollama
      ↓
   AI Model

Ihr eigener Computer erledigt die Arbeit, und genau das ist der Reiz. Sie laden ein Modell herunter, starten es und sprechen mit ihm über das Terminal oder aus Ihren eigenen Anwendungen.

Laufzeit und Modell sind zwei verschiedene Dinge

Das Erste, was man verinnerlichen sollte: Ollama ist die Laufzeitumgebung, das Modell ist das Gehirn. Nehmen wir diesen Befehl:

ollama run qwen3:4b

Hier ist ollama die Laufzeit, qwen3 die Modellfamilie, und 4b steht für rund 4 Milliarden Parameter. Mit demselben Tool können Sie ein anderes Modell laden:

ollama run gemma4:e4b

Die Laufzeit bleibt gleich, nur das Gehirn ist ein anderes. Als Eselsbrücke: Ollama ist der Musikplayer, das Modell ist die Musik.

„4B“ richtig lesen

Modellnamen enthalten Größenangaben wie diese:

3B
4B
7B
14B
32B
70B

Das B steht für Milliarden (billions) Parameter, ein 7B-Modell hat also etwa 7 Milliarden davon. Die Mathematik dahinter müssen Sie nicht kennen. Merken Sie sich nur: Mehr Parameter bedeuten meist ein größeres, leistungsfähigeres Modell, wobei größer nicht automatisch besser heißt – ein kleines modernes Modell kann überraschend gut sein. Der Haken: Größere Modelle brauchen normalerweise mehr Speicher.

Warum RAM und VRAM wichtig sind

Angenommen, Ihr Rechner hat Folgendes:

RAM  → 16 GB
VRAM → 8 GB

RAM ist der normale Arbeitsspeicher, VRAM der Speicher, den Ihre GPU nutzen kann. Je nach Hardware und Konfiguration greifen Modelle auf beides zu, und genügend GPU-Speicher macht die Inferenz oft spürbar schneller. Deshalb funktioniert es selten gut, einfach das größte Modell zu nehmen, das man findet. Als Einsteiger fahren Sie besser mit etwas aus dem kleineren Größenbereich.

Installation und erstes Modell

Die Installation hängt von der Plattform ab. Auf dem Mac nutzen Sie die Download-Seite für Mac oder das Terminal:

curl -fsSL https://ollama.com/install.sh | sh

Unter Linux helfen die Linux-Anleitungen weiter, dort kommt derselbe Einzeiler zum Einsatz:

curl -fsSL https://ollama.com/install.sh | sh

Unter Windows öffnen Sie PowerShell (Details auf der Windows-Seite):

irm https://ollama.com/install.ps1 | iex

Ist Ollama installiert, genügt eine einzige Zeile, um ein Modell zu starten:

ollama run qwen3:4b

Liegt das Modell noch nicht auf der Festplatte, lädt Ollama es herunter und öffnet dann einen Chat. Fragen Sie zum Beispiel:

Explain Docker to me like I'm a beginner.

Da antwortet Ihnen ein lokales Modell – ohne Schlüssel, ohne Frontend und ohne Backend. Beteiligt ist nur Ihr Rechner.

Die paar Befehle, die Sie brauchen

Dutzende Befehle auswendig zu lernen ist unnötig. Diese decken die Grundlagen ab. Lassen Sie sich zuerst anzeigen, was installiert ist:

# See installed models
ollama list

Dann Modelle herunterladen, ausführen, entfernen und untersuchen:

# Download a model
ollama pull qwen3:4b# Run a model
ollama run qwen3:4b# Remove a model
ollama rm qwen3:4b# Inspect a model
ollama show qwen3:4b

Nach ein wenig Herumprobieren werden sie zur Gewohnheit.

Tokens

Ein Modell liest Text nicht in ganzen Wörtern. Es zerlegt ihn in kleinere Einheiten, sogenannte Tokens. Selbst ein kurzer Satz wie dieser wird aufgeteilt, bevor das Modell ihn verarbeitet:

Ollama runs AI locally.

Tokens sind wichtig, weil jedes Modell ein Kontextfenster hat.

Kontextfenster

Denken Sie an ein einstündiges Gespräch mit einer KI. Das Modell muss sich merken, was bereits gesagt wurde, um folgen zu können, und die Menge, die es gleichzeitig berücksichtigen kann, ist sein Kontextfenster. Sie werden Größen wie diese sehen:

8K
32K
64K
128K

K bedeutet ungefähr Tausende Tokens, also:

32K ≈ 32,000 tokens

Ein größeres Fenster hilft vor allem bei langen Gesprächen, großen Dokumenten, Codebasen, Agenten und Tool-Aufrufen. Besonders wichtig wird es, wenn Sie von Chatbots zu Agenten übergehen.

Mehr als ein Chatfenster

Ollama stellt eine API bereit, sodass Ihre eigene Software mit dem Modell sprechen kann. Ein typischer Aufbau könnte so aussehen:

Next.js Application
        ↓
     Backend
        ↓
      Ollama
        ↓
    Qwen Model

Ab hier chatten Sie nicht nur mit KI, sondern bauen etwas damit. Denkbar sind Coding-Assistenten, Dokumenten-Assistenten, private Firmen-Chatbots, RAG-Anwendungen, Automatisierungssysteme und Agenten – und Sie müssen nicht alles von Grund auf neu bauen.

Vom Chatbot zum Agenten

Ein Chatbot beantwortet vor allem Fragen. Ein Agent kann Tools nutzen, um eine Aufgabe zu erledigen. Angenommen, Sie sagen einem Agenten: „Schau dir den Server an und sag mir, warum die App down ist.“ Er könnte durchaus Schritte wie diese durchlaufen:

Understand the request
       ↓
Check server
       ↓
Read logs
       ↓
Analyze the problem
       ↓
Take an action
       ↓
Report the result

Hier werden lokale Modelle spannend. Ollama kann als Modellanbieter dienen, während ein Agenten-Framework wie OpenClaw Tools, Speicher und die Umgebung beisteuert. Die Schichten stapeln sich so:

AI Agent
           ↓
        OpenClaw
           ↓
         Ollama
           ↓
       AI Model

Das lokale Modell ist dann nicht mehr nur ein Antwortgeber, sondern die Denkmaschine in einem größeren System.

Lokal oder Cloud?

Lokal ist nicht immer die Antwort, bietet aber echte Vorteile. Ihre Daten können auf Ihrem eigenen Rechner bleiben. Sie zahlen nicht zwingend für jede Anfrage. Sie entscheiden, welches Modell und welche Infrastruktur zum Einsatz kommen. Und Sie können Modelle frei wechseln, ohne einen Haufen API-Schlüssel zu verwalten.

Cloud-Modelle können trotzdem stärker sein, vor allem bei anspruchsvollem Reasoning. Die beste Lösung ist daher oft keines von beiden allein – ein hybrider Ansatz kann beide schlagen. Einfache Aufgaben gehen an ein lokales Modell:

Simple tasks
     ↓
Local Ollama model

Komplexe Aufgaben an ein Cloud-Modell:

Complex tasks
     ↓
Cloud AI model

Fünf Ideen zum Mitnehmen

Keine Sorge, Sie müssen nicht alles auf einmal verinnerlichen. Für den Anfang reichen fünf Ideen. Ollama führt die Modelle aus:

Ollama
  ↓
Runs AI models

Das Modell ist die eigentliche KI:

Model
  ↓
The actual AI

Parameter beschreiben die Kapazität des Modells:

Parameters
  ↓
Model capacity

Tokens sind die Art, wie Text verarbeitet wird:

Tokens
  ↓
How AI processes text

Kontext ist die Menge an Information, die das Modell berücksichtigen kann:

Context
  ↓
How much information AI can consider

Wenn das sitzt, ist der Rest des Ökosystems viel leichter zu verstehen, und Sie können es gleich ausprobieren:

ollama run qwen3:4b

Ein einziger Befehl trennt „noch nie ein Modell lokal laufen lassen“ von einer KI auf dem eigenen Computer. Der nächste Schritt ist noch spannender: das lokale Modell zu einem Agenten zu machen, der tatsächlich etwas erledigt.