rag ontology knowledge-graph neo4j semantic-layer dita

Behebung von Problemen bei RAG mithilfe einer Ontologie und eines Wissensgraphen in Halbleiterdokumenten

Die Dokumente für die Halbleiter-EDA verfügen über eine RDF/OWL-Ontologie, ein Neo4j-Wissensgraphen sowie ontologiegestützte Suchfunktionen, wodurch die nachfolgenden RAG-Fragen um 30 Prozent reduziert werden.

Verlag: REACTAPP.TOPAuf dieser Website hinzugefügt 28. Okt. 20268 Min. Lesezeit1845 Wörter

Quellen: How I Built a Semantic Layer to Ground Our RAG System…And Why Ontology Was the Missing Piece

Wo herkömmliches RAG versagt

Ein erstes Prototyp für die retrieval-augmented generation anhand von Produktdokumentationen sieht in der Regel vielversprechend aus. Es wird ein Vektorlager eingesetzt, die Dokumente in Blöcke aufgeteilt, einige Abfragen ausgeführt – und die Antworten klingen plausibel. Dann fragt ein Verifizierungsingenieur, welche Methodik für eine energieeffiziente Verifizierung eines bestimmten Blocks verwendet werden soll, und das System antwortet mit völligem Selbstvertrauen auf die Frage nach der funktionalen Verifizierungsmethodik. Der Inhalt ist in seinen eigenen Kategorien korrekt, aber für die gestellte Frage falsch.

Der Grund liegt im Wortschatz. Bei der Überprüfung von Halbleitern ist „Methodik“ kein alltägliches Wort. Es bezieht sich auf spezifische Überprüfungsansätze, von denen jeder mit bestimmten Tools, Phasen und Ausführungsartefakten verbunden ist. Das Pipeline hat den Text abgerufen, aber nicht das Wissen. Das macht es zu einem Bedeutungsproblem und nicht zu einem Abrufproblem – ein besseres Embedding-Modell würde dies nicht beheben. Eine semantische Schicht hingegen schon. Im Folgenden wird erläutert, wie eine solche Schicht für ein EDA-Dokumentationsset entworfen und erstellt wird: die Ontologie, das Wissensgraph, die Verbindung zu RAG sowie die ermittelten Ergebnisse.

Dokumentation als Wissenswüste

Es handelt sich um Software zur Unternehmensverifizierung, die Tausende von DITA-XML-Themen aus verschiedenen Produktlinien umfasst und Themen wie Tool-Konfiguration, Ausführungsworkflows sowie Methodenleitfäden abdeckt. Die Materialien existieren zwar, sind jedoch als reiner Text statt als strukturiertes Wissen vorliegend. Die Verifizierungsphasen, Methoden und Tools befinden sich in separaten Dokumenten und sind nur durch das Wissen des Lesers miteinander verbunden. Ein erfahrener Ingenieur mit zehn Jahren Erfahrung kommt damit zurecht, während ein LLM, das nach dem richtigen Teil sucht, sich durch ein Minenfeld bewegt.

Das Ziel war eine Lösung, die mehrere Anforderungen gleichzeitig erfüllt: RAG, Unternehmenssuche, Inhaltsfindung sowie langfristige Inhaltsverwaltung.

Zuerst das Problem definieren

Erst nach wochenlangen Gesprächen entstand der Ontologie-Code – mit Beteiligung von Produktmanagern, Überprüfungsexperten, Dokumentationsleitern, Suchingenieuren sowie dem Data-Science-Team hinter dem GenAI-Assistenten. Drei Fragen leiteten diese Gespräche.

Zunächst: Welche Geschäftsziele sind wichtig? Die Antworten waren eine bessere Suchgenauigkeit, eine einheitliche Grundlage für LLM-Assistenten sowie vereinigte Daten über alle Produktlinien. Zweitens: Wie sieht ein Misserfolg derzeit aus? Bei Schlagwortsuchen werden irrelevante Ergebnisse angezeigt, Nutzer stellen weitere Anfragen, weil die erste Antwort den Kontext verfehlt, und manuelles Verknüpfen von Inhalten hält nicht mit. Drittens: Wie würde Erfolg aussehen? Die Suche sollte erkennen, dass eine Anfrage zur dynamischen Überprüfung von stromgesteuerten Designs Inhalt erfordert, der zu einer bestimmten Methodik, in einer bestimmten Überprüfungsphase, mit bestimmten Werkzeugen verbunden ist – und nicht einfach irgendein Dokument, das diese Schlagwörter enthält.

Diese Grundlagenverarbeitung verhindert eine Überfüllung der Ontologie durch das Verhalten, alles zu modellieren, was intellektuell interessant erscheint, anstatt das, was das Unternehmen wirklich benötigt.

Konzepte erkunden und die Ontologie entwerfen

Der Entwurf einer Ontologie beginnt mit der Wissensbeschaffung und nicht mit Protégé oder einer Turtle-Datei. Vier Quellen lieferten dazu Informationen:

Interviews mit Überprüfungstechnikern, die beschrieben, wie sie über Beziehungen zwischen Tools, Ausführungsreihenfolgen und Entscheidungspunkte denken – was sich von der tatsächlichen Funktionsweise der Tools unterscheidet
Bestehende Dokumentationen und Tool-Interfaces, deren wiederkehrende Begriffe Konzepte aufzeigten, die seit Jahren stabil geblieben waren
Logs, Konfigurationsdateien und Pipeline-Definitionen, die die tatsächlichen Verbindungen zwischen Tools, Schritten und Ausgaben zeigten und oft im Widerspruch zur Dokumentation standen

Suchprotokolle und Supportanfragen, die die Kluft zwischen den Fragen der Ingenieure und den Antworten in den Dokumenten aufzeigten

Das Ergebnis war eine Kerngruppe stabiler Domänekonzepte, im Grunde eine Taxonomie, die absichtlich zunächst in Excel festgehalten wurde. Die Arbeit an Ontologien ist kollektiv, und die Personen, die das Modell überprüfen müssen – Domain-Experten und Produktmanager – lesen kein Turtle. Eine Tabellenkalkulation ermöglicht es ihnen, das Modell zu validieren und zu verfeinern sowie bereits vor dem Beginn der formellen Kodierung ein gemeinsames Verständnis zu entwickeln.

Sobald sich das Modell nach mehreren Überprüfungsrunden etabliert hatte, wurde es mit Standards des semantischen Internets formalisiert:

RDF drückt jede Entität und Beziehung als Tripel aus
OWL stellt Klassenhierarchien, Eigenschaftsbeschränkungen und logische Regeln bereit
SKOS standardisiert die Terminologie über verschiedene Produktlinien hinweg mithilfe kontrollierter Wörterbücher
Schematron überprüft die korrekte Nutzung der Ontologie während der Erstellung in Oxygen XML

Die Ontologie selbst befindet sich in TTL-Dateien, während die Schematron-Regeln direkt in die Erstellungsumgebung integriert sind. Dadurch können Autoren keine Konzepte einbringen, die die Ontologie stören, wodurch die Kontrolle bereits Teil des Arbeitsablaufs ist und nicht erst später berücksichtigt wird. Jede Zuordnung wird durch Prolog-Metadaten in DITA XML sowie kontrollierte Vokabulare durchgesetzt, wobei es keine freiformigen Tags und kein „ungefähr ausreichend“ gibt.

Die Architektur des Wissensgraphen

Die Ontologie benötigt einen Ort zur Speicherung, einen Graphen, der abgefragt und durchlaufen werden kann. Die Architektur ist in Schichten unterteilt:

Schema-Schicht: Ontologiedefinitionen in TTL-Dateien
Terminologie-Schicht: auf SKOS basierendes Vokabular
Instanz-Schicht: RDF-Triple, die aus Inhaltsmetadaten erzeugt werden
Infrastruktur-Schicht: Neo4j für Speicherung und Abfragen

Rund um diese Schichten befinden sich semantische Aufnahmepipelines, die erstellten Inhalt in für Graphen geeignete Tripel umwandeln und sie in Neo4j laden, Abfrages- und Such-APIs, die den Graphen für Nutzer wie die RAG-Pipeline zugänglich machen, sowie die Azure-Cloud-Infrastruktur zur Skalierung und Integration mit bestehenden Plattformdiensten.

Der Pipeline-Prozess vom Erstellen bis zum Graphen macht dies zu mehr als nur einer Ontologie-Übung. Autoren schreiben in Oxygen XML in DITA. Schematron stellt sicher, dass während des Tippen Metadaten den Ontologie-Vorgaben entsprechen. Der Inhalt wird über Adobe Experience Manager veröffentlicht. Die semantischen Metadaten bleiben dabei unverändert und werden in Neo4j aufgenommen, wo Such-, Analyse- und KI-Systeme darauf zugreifen können. Es handelt sich dabei um eine architektonische Kontrolle über den gesamten Datenfluss – vom Erstellungswerkzeug über den Graphen bis zur API-Schicht.

Einbinden der semantischen Schicht in RAG

Hier zahlt sich die Anstrengung aus. Standardmäßige RAG-Methoden zerlegen Dokumente in Fragmente, fügen diese ein, speichern sie in einer Vektordatenbank, suchen nach ähnlichen Fragmenten und liefern die Ergebnisse an ein LLM. Das funktioniert zwar, ist aber blind für den eigentlichen Sinn, und drei Versagensmuster treten immer wieder auf:

Kontextverwirrung, bei der die Suche das richtige Konzept im falschen Kontext findet, wie bereits die zuvor beschriebene Inkonsistenz in der Überprüfungsphase.
Wortschatzunterschiede, bei denen Ingenieure Abkürzungen verwenden, während die Dokumentation formelle Begriffe nutzt, wodurch relevanter Inhalt übersehen wird.
Halluzinationen durch Unklarheiten, bei denen unklare Begriffe in einem Fragment es dem LLM ermöglichen, Lücken mit plausiblen, aber falschen Fachkenntnissen zu füllen.

Durch den Wissensgraphen als Grundlage ändert sich die Suchfunktion auf vier Arten.

Ontologieregeln begrenzen, was abgerufen wird. Wenn eine Abfrage eine Überprüfungsmethode angibt, wird der Begriff zunächst in der Ontologie abgeglichen, anschließend wird die Suche auf Inhalte eingeschränkt, die mit dieser Methode sowie ihren gültigen Beziehungen versehen sind. Die Vektorsuche findet weiterhin statt, jedoch nur anhand eines semantisch gefilterten Teilmengens.

Ein kanonisches Vokabular wird durchgesetzt. Benutzerabfragen werden vor der Abfrage auf kontrollierte Begriffe abgebildet, sodass „power-aware sim“ zum formalen Begriff für leistungsorientierte Simulation wird – unabhängig davon, wie der Ingenieur die Frage formuliert hat – und der richtige Inhalt zurückgegeben wird.

Die Abschnitte folgen den Grenzen der Ontologie statt einer festen Größe. Ein Textabschnitt über die Rolle eines Tools in einer bestimmten Überprüfungsphase bleibt vollständig und wird nicht mitten im Konzept unterbrochen.

Ungültige Kombinationen werden gefiltert. Die Ontologie listet auf, welche Kombinationen aus Werkzeugen, Methoden und Phasen gültig sind, sodass Abschnitte, die eine ungültige Kombination andeuten, vor dem Zugriff des LLM herabgestuft oder entfernt werden.

Die Vorteile zeigten sich unmittelbar. Die Antworten basieren auf überprüftem, mit der Ontologie versehenem Inhalt statt auf den Schätzungen des Modells bezüglich der Halbleiterüberprüfung. Durch Eingrenzung dessen, was das Modell sehen kann, wurden Halluzinationen, die durch unklare oder kontextlose Abfragen entstehen, beseitigt. Jeder abgerufene Abschnitt enthält Ontologie-Metadaten, sodass das System seine Entscheidung erklären kann: welche Entität, welche Beziehung, welche Einschränkung. Zudem können agierende Workflows den Graphen durchqueren, um mehrstufige Überprüfungsaufgaben anhand echter Entitätsbeziehungen und nicht nur textlicher Ähnlichkeiten zu planen.

Die Technologie-Stack

Erstellung: Oxygen XML mit DITA
Validierung und Governance: Schematron sowie Schematron Quick Fix
Ontologiedarstellung: RDF, OWL und SKOS in Turtle-Dateien
Wissensgraphen: Neo4j
Veröffentlichung: Adobe Experience Manager
Cloud: Microsoft Azure
RAG-Integration: maßgeschneiderte Abfrageschnittstellen, die Neo4j und Vektorabfragen kombinieren
LLM-Schicht: ein proprietärer Unternehmens-GenAI-Assistent

Ergebnisse

Nach der Implementierung zeigten vier Kennzahlen das Ergebnis:

Die Nachfragen nahmen um 30 % ab. Die Dokumentation dient nun als hochpräziser Referenzwert für die KI-Assistenten, sodass die Nutzer deutlich häufiger bereits beim ersten Versuch die richtige Antwort erhalten. Dies war die wichtigste Kennzahl, da sie die Qualität der Informationsabrufung direkt widerspiegelt.
Die Wiederverwendung von Inhalten stieg um 25 %. Dank semantischer Tags und Kenntnis der Beziehungen kann derselbe Inhalt ohne manuelle Kopien in mehreren Produktlinien verwendet werden.
Die Zeit für manuelles Verlinken wurde um 60 % reduziert. AEMs Funktion „Verwandte Inhalte“ wird nun über das Graphen-Modell genutzt, sodass Links, die früher manuell erstellt wurden, nun aus Ontologie-Beziehungen generiert werden. Auch der Selbstbedienungsaspekt für Nutzer verbesserte sich um 25 %.
Die Zeiträume für manuelle Inhaltsprüfungen verkürzten sich um 40 %. Aus der Ontologie abgeleitete Schematron-Regeln erkennen Probleme in Oxygen bereits während der Arbeit der Autoren, wodurch die Qualität frühzeitig sichergestellt wird.

Lektionen für ähnliche Projekte

Modellieren Sie das Domänenkonzept, bevor Sie eine Technologie wählen. Teams greifen oft sofort zu Neo4j oder einer Vektordatenbank, bevor sie klar definieren können, welche Entitäten und Beziehungen vorhanden sind. Das ist wie das Bauen eines Hauses, bevor der Grundriss gezeichnet wird. Verbringen Sie die Anfangsphase mit Experten aus dem jeweiligen Bereich in einer Tabellenkalkulation. Es mag nicht besonders attraktiv erscheinen, doch genau dort entsteht der eigentliche Wert.

Betrachten Sie Governance als Struktur. Eine Ontologie ohne Governance verfällt schnell, da jeder neue Autor, jedes Produkt oder jedes Sonderfall die Konsistenz untergräbt. Integrieren Sie Validierungen in den Erstellungsprozess, damit diese automatisch stattfinden, anstatt durch regelmäßige Prüfungen, die stets zu spät erfolgen.

RAG ohne Semantik ist eine Suche mit zusätzlichen Schritten. Vektorähnlichkeit ist notwendig, reicht jedoch nicht aus für die Suche in Unternehmensumgebungen. Wenn ein Bereich strukturierte Beziehungen, Hierarchien und Einschränkungen aufweist – wie es bei den meisten Unternehmensbereichen der Fall ist – ermöglicht eine semantische Schicht es, statt ähnlichen Texten relevantes Wissen zu finden.

Messen Sie das, was für das Unternehmen wichtig ist. „Wir haben ein Wissensgraph erstellt“ ist kein Geschäftsergebnis. „Die Nachfragen sind um 30 Prozent zurückgegangen, weil die Suche genauer wurde“ schon. Jede architektonische Entscheidung sollte mit einem Metrik verbunden sein, das auch Personen außerhalb des Teams schätzen.

Was kommt als Nächstes

Die semantische Schicht ist die Grundlage und nicht die Obergrenze. Die Ontologie entwickelt sich ständig weiter – neue Konzepte werden getestet, validiert und integriert, ohne die bestehende Semantik zu stören – und Fortschritte in LLM-Tools, der Konvergenz von Graphen und KI sowie agiler Architektur können darauf aufbauen. Die wichtigere Erkenntnis ist, dass im Eifer um GenAI die am meisten unterschätzte Investition weder ein besseres Modell noch ein größeres Kontextfenster ist, sondern eine bessere semantische Grundlage. Modelle kommen und gehen, während die Bedeutung bestehen bleibt.