Lokale KI für vertrauliche Dokumente: Was auf eigener Hardware ausgeführt werden sollte

Verträge, Lohnabrechnungen, Krankenakten, Lieferantenaudits, Bankauszüge: Viele der Dokumente, die Unternehmen am liebsten automatisieren möchten, sind genau die, die sie am wenigsten in eine Cloud-API senden wollen. Lokale KI bedeutet, dass die Modelle, die Textextraktion sowie die gespeicherten Ergebnisse auf dem von dem Unternehmen kontrollierten Hardware laufen, sodass die Dokumente das Unternehmen niemals verlassen. Es handelt sich dabei um eine praktische Option – doch es gibt damit Einschränkungen, die vor dem Kauf eines Servers besser verstanden werden sollten.

Was „lokal“ abdecken muss

Das Laufen des Sprachmodells auf dem eigenen Rechner ist nur ein Teil. Ein Dokumentenpipeline umfasst mehrere Schritte, und jeder dieser Schritte kann Daten verraten, wenn er auf eine externe Dienstleistung zugreift:

• Textextraktion und OCR. Gescannte PDFs und Fotos benötigen OCR. Viele praktische OCR-Lösungen sind Cloud-Dienste; es existieren auch lokale Engines, die bei sauberen Scans gut funktionieren.
• Embeddings und Suchfunktionen. Wenn Dokumente für die Suche oder das Beantworten von Fragen indiziert werden, müssen auch das Embedding-Modell sowie der Vektorindex lokal vorhanden sein.
• Das Sprachmodell. Klassifizierung, Extraktion, Zusammenfassung und Regelprüfungen.
• Protokolle, Warteschlangen und Backups. Debug-Protokolle enthalten oft den vollständigen Text eines Dokuments. Sie benötigen dieselben Aufbewahrungs- und Zugriffsregeln wie die Dokumente selbst.
• Telemetrie. Einige Tools melden standardmäßig die Nutzung an ihren Anbieter. Dies sollte deaktiviert werden, und ausgehende Verbindungen von den Inferenzservern müssen blockiert werden.

Welche Hardware Sie tatsächlich benötigen

Kurze Antwort: Der Speicher bestimmt, welche Modelle geladen werden, und der Rest der Hardware bestimmt, wie schnell sie ausgeführt werden. Wir haben dies an mehreren Maschinen mit dem gleichen Testumfeld gemessen, und die Ergebnisse finden sich in vier separaten Artikeln:

• RTX 5060 Ti 16 GB: Eine einzelne Consumer-Karte kann bereits Modelle der 27B-Klasse ausführen; die schnellste von uns gemessene Konfiguration erreichte 115,9 Tokens pro Sekunde.
• RTX 5090: Dasselbe Qwen3.8-27B-Modell lief je nach Inferenzengine zwischen 67,2 und 253,4 Tokens pro Sekunde – was zeigt, wie wichtig die Softwarestack ist.

Mac Studio M5 Ultra vs DGX Spark: Zwei schreibtischgroße Geräte mit großem vereintem Speicher für Modelle, die nicht auf eine Gaming-GPU passen.

Wie viel Speicher für lokalen AI: Was jede Speicherklasse von 16 GB bis 512 GB ausführen kann.

Bei Dokumentenarbeit ist die reine Geschwindigkeit selten das Engpassproblem. Ein paar hundert Rechnungen pro Tag stellen eine geringe Last für eine ordentliche GPU dar. Wichtiger ist, dass das Modell für Ihre Dokumente gut genug ist – was man nur durch Tests darauf herausfindet.

Wo lokale Modelle schwächer sind

Die größten Cloud-Modelle führen weiterhin bei komplexen Schlussfolgerungen, langen und unübersichtlichen Dokumenten sowie ungewöhnlichen Sprachen. Lokale Modelle verringern diesen Unterschied bei eng gefassten, gut definierten Aufgaben erheblich – insbesondere dann, wenn der Prozessstrecken um ihre Grenzen herum konzipiert ist:

• lassen Sie den Code das tun, wofür er gut geeignet ist: Datumsberechnungen, Summenbildung, Umsatzsteuerprüfungen, Abgleich mit einer Lieferantenliste;
• stellen Sie dem Modell jeweils nur eine Frage nach der anderen, anstatt „Überprüfen Sie diesen Vertrag“ zu sagen;
• verwenden Sie strukturierte Ausgaben (feste Felder), damit Antworten automatisch überprüft werden können;
• schicken Sie unsichere Fälle an einen Menschen, anstatt einen Antwortzwang aufzuerlegen.

Ob ein bestimmtes lokales Modell ausreicht, ist eine empirische Frage. Erstellen Sie eine Testmenge aus echten Dokumenten und vergleichen Sie die Kandidaten daran; unsere Anmerkungen zu Bewertungen und menschlicher Überprüfung beschreiben, wie dies geschieht.

Ein Hybrid ist oft die ehrliche Antwort

Nicht jedes Dokument ist gleichermaßen sensibel. Ein gängiges Konzept bewahrt vertrauliche Dokumente auf lokalen Modellen auf und nutzt ein Cloud-Modell für öffentliche oder anonymisierte Materialien, wobei die Routing-Regeln im Code festgelegt und durchgesetzt werden. Eine weitere Option ist eine private Cloud-Implementierung unter einem Vertrag, der Ihren Datenschutzanforderungen entspricht. Welche Variante richtig ist, hängt von Ihren Daten, Ihren Verträgen und Ihrem Risikobereitschaft ab – und sollte in Absprache mit der für den Datenschutz Verantwortlichen in Ihrem Unternehmen entschieden werden.

Kosten, die berücksichtigt werden müssen

Die lokale KI verschiebt die Kosten von Gebühren pro Anfrage auf Hardware und Betriebskosten. Neben der Maschine selbst müssen Energie- und Kühlsysteme, jemand, der Modelle und Treiber aktualisiert, Überwachungssysteme, Backups sowie ein Ersatzplan im Falle von Ausfällen berücksichtigt werden. Für ein Team mit konstantem Dokumentenfluss ist dies oft günstiger und einfacher, als es klingt. Bei schwankenden oder sehr großen Arbeitslasten kann der Cloud-Ansatz dennoch preislich vorteilhafter sein.

Wir entwickeln lokale Pipelines für die Dokumentenprüfung und Datenintegration innerhalb der Infrastruktur der Kunden. Siehe KI-Agenten für die Dokumentenprüfung sowie Kunden-Datenintegration, oder die regulatorischen Aspekte in AI Act und GDPR für KI-Automatisierung.