„Wir speichern Vektoren, nicht Ihre Dokumente“ stimmt fast nie

Fragen Sie einen KI-Anbieter, was mit Ihren hochgeladenen Dokumenten passiert, und Sie hören oft eine Variante hiervon: „Wir speichern Ihre Dokumente nicht. Wir verwandeln sie in Vektoren, also Zahlenlisten, damit sie durchsuchbar sind.“ Das beruhigt. Es klingt, als sei Ihr Inhalt durch eine Einbahntür gegangen und als reine Mathematik herausgekommen. Wer das sagt, lügt meist nicht. In fast jedem Retrieval-System ist die Aussage trotzdem falsch, und wer versteht, warum, stellt andere Fragen. Nachprüfen können Sie das selbst in etwa zwei Minuten.

Was mit einer hochgeladenen Datei passiert

Eine Retrieval-Pipeline macht mit einer Datei vier Dinge:

1. Sie extrahiert den Text.
2. Sie zerlegt den Text in Chunks, meist je einige hundert Wörter, weil ein ganzes Dokument zu groß ist, um es einem Modell zu übergeben.
3. Sie erzeugt für jeden Chunk ein Embedding, also eine Zahlenliste, die grob erfasst, worum es in dem Abschnitt geht.
4. Sie speichert die Chunks, damit sie durchsucht werden können.

Embeddings sind das, was die Suche funktionieren lässt. Auch Ihre Frage wird eingebettet, und das System sucht nach Chunks, deren Zahlen denen der Frage am nächsten liegen.

Jetzt der Schritt, den man gern weglässt. Ist der passende Chunk gefunden, braucht das System die echten Wörter zurück. Es muss die Passage in den Prompt einsetzen, damit das Modell daraus antworten kann, und es muss sie Ihnen als Zitat zeigen. Ein Embedding kann beides nicht, denn es lässt sich nicht in die Passage zurückverwandeln, aus der es stammt. Es erfasst Bedeutung in grober Form, ohne den Wortlaut wiederherstellen zu können, also muss der Text gespeichert bleiben. Vielleicht nicht die Originaldatei, aber ganz sicher der Text.

Wie das in einer Datenbank aussieht

Die Tabelle, in der Chunks liegen, ist langweilig, und genau darum geht es, denn fast jedes Retrieval-Produkt hat eine in dieser Form:

create table document_chunks (
  id           uuid primary key,
  document_id  uuid not null,
  chunk_index  integer not null,
  content      text not null,      -- the passage, as text
  embedding    vector(1024),       -- the numbers, alongside it
  metadata     jsonb
);

Achten Sie auf zwei Spalten. content enthält Ihre Wörter, embedding die Zahlen. Beide liegen direkt nebeneinander.

Die Chunks werden außerdem mit einem Index in Reihenfolge gehalten, sodass sich ein ganzes Dokument daraus rekonstruieren lässt, und Funktionen wie „zeig mir die ganze Datei“ beruhen genau darauf. Treffend beschrieben speichert ein Retrieval-Produkt also Ihren Text in Stücken plus Zahlen, mit denen sich die Stücke finden lassen, und nicht Ihre Originaldatei.

Warum die beruhigende Version wiederholt wird

Selten aus Unehrlichkeit. Meist steckt einer von drei Gründen dahinter.

Gemeint ist die Datei. Viele Produkte löschen das hochgeladene PDF tatsächlich, sobald die Extraktion fertig ist. Das ist eine sinnvolle Praxis, und „wir speichern Ihre Dokumente nicht“ ist dafür eine akzeptable Kurzform, wenn alle wissen, was gemeint ist. Das Problem: Der Zuhörer hat etwas viel Stärkeres verstanden.

Embeddings klingen unumkehrbar, also nimmt man an, der Text sei weg. Ein Embedding umzukehren ist tatsächlich schwer. Aber dass die Zahlen schwer umkehrbar sind, sagt nichts darüber, ob die Wörter aufbewahrt wurden, und in einem Retrieval-System wurden sie es, sonst würde das Produkt nicht funktionieren.

Niemand hat nachgefragt. „Wir speichern Vektoren“ beendet das Gespräch angenehm. Die nützliche Frage ist nicht, ob Vektoren gespeichert werden. Sondern was sonst noch in dieser Zeile steht.

Ein Zwei-Minuten-Check

So lässt sich jeder Anbieter testen, und technisches Wissen brauchen Sie dafür nicht.

Fragen Sie, woher der zitierte Text stammt, wenn das Produkt eine Quelle anzeigt. Wenn der Anbieter die Passage anzeigen kann, hat er die Passage, denn woanders kann sie nicht herkommen.

Fragen Sie, ob Mitarbeitende mit Produktionszugriff den Text eines von Ihnen hochgeladenen Dokuments lesen können. Bei fast jedem Retrieval-Produkt lautet die ehrliche Antwort Ja, eingeschränkt durch Berechtigungen und Audit-Logs. Sagt ein Anbieter Nein, fragen Sie nach dem Mechanismus. Ein glaubwürdiger beruht auf Schlüsseln, die der Anbieter nie in der Hand hat. Embeddings zählen nicht.

Fragen Sie, was genau gelöscht wird, wenn Sie ein Dokument löschen. Sie wollen hören, dass die Chunks verschwinden, samt ihren Embeddings.

Das sind keine Fallen. Sie liefern ein genaues Bild statt eines bequemen.

Was Sie stattdessen fragen sollten

Sobald Sie akzeptieren, dass der Text gespeichert ist, ist „liegen unsere Inhalte wirklich da drin?“ nicht mehr der Punkt. Diese Fragen sind wichtiger:

• Wer kommt daran? Zugriff sollte pro Projekt oder pro Dokument vergeben werden, nicht pro Unternehmen.
• Was hat das System verlassen? Welche Passagen gingen in einem Modellaufruf hinaus, und was wurde vorher maskiert?
• Was wird gelöscht, und wann? Umfasst das Löschen auch abgeleitete Daten oder nur den ursprünglichen Upload?
• Wird die Aussage zur Verschlüsselung richtig verstanden? Verschlüsselung im Ruhezustand schützt vor einer gestohlenen Festplatte oder einer geleakten Speicherschicht. Sie sagt nichts darüber, ob der Anbieter selbst Ihren Text öffnen kann, und ein Anbieter, der Sie das Gegenteil annehmen lässt, hat Sie durch Weglassen getäuscht.

All das lässt sich beantworten und überprüfen, und genau das schützt ein Dokument wirklich. „Das sind doch nur Zahlen“ schützt gar nichts, denn das war nie der Mechanismus, der schützt.

Wie eine ehrliche Antwort klingt

Ein Anbieter, der nichts zu verbergen hat, würde etwa Folgendes sagen: Der Text wird gespeichert, in einer Content-Spalte neben dem Embedding. Die Originaldatei wird nach der Extraktion gelöscht, weil kein späterer Schritt sie braucht. Hängt jemand eine Datei an einen einzelnen Chat, wird nur ihr Text aufbewahrt, nie die Datei, und dieser Text wird zusammen mit der Unterhaltung verworfen. Personenbezogene Daten wie E-Mail-Adressen und Telefonnummern werden standardmäßig maskiert, bevor etwas an ein Modell geht. Und ja, der Anbieter kann den gespeicherten Text lesen, was eine gute Sicherheitsseite offen sagt.

Der letzte Punkt zählt. Die Alternative ist ein Satz, den ein Prüfer mit einer einzigen Abfrage widerlegen kann, und einem Anbieter, der bei einer einfachen Frage beim Beschönigen ertappt wird, glaubt man auch bei einer schwierigen nicht.

Kurz gesagt

Kaum ein Retrieval-Produkt verwandelt Dokumente in Zahlen und wirft die Wörter dann weg, denn um Ihnen zu antworten, braucht es die Wörter zurück. Finden Sie also heraus, woher der Wortlaut eines Zitats stammt, und bewerten Sie den Anbieter dann danach, wer Zugriff bekommt, was maskiert wird und wie das Löschen funktioniert. Ein Slogan über Vektoren sagt wenig.