Fünfzehn Konzepte von LLMs aufgezeigt anhand einer einzigen Anfrage eines Support-Bots
Verfolgen Sie eine Kundenfrage über einen KI-Assistenten, um herauszufinden, was Modelle, Tokens, Embeddings, Kontext, RAG, Agenten und Bewertung tatsächlich leisten sowie wo jede Methode endet.
Ein Kunde öffnet das Chat-Widget eines Shops und fragt, ob Kopfhörer, die vor zehn Tagen gekauft wurden, noch zurückgegeben werden können. Ein paar Sekunden später liest der Assistent die Frage, prüft die Rückgabepolitik des Shops und erläutert die Möglichkeiten. Der Austausch scheint trivial zu sein, durchläuft aber eine Kette verschiedener Komponenten: Der Text wird in Zahlen umgewandelt, ein trainiertes Modell führt Berechnungen damit durch, die Anwendung kann interne Dokumente durchsuchen und außerdem ein Tool aufrufen, um den Rückgabeprozess zu starten.
Das Vokabular, das Ingenieure für diese Schritte verwenden (Tokens, Embeddings, Inferenz, RAG und weitere Begriffe), lässt sich leicht wiederholen – doch auch leicht missbrauchen. Diese Anleitung führt durch fünfzehn zentrale Begriffe in der Reihenfolge, in der sie für eine bestimmte Anfrage relevant sind, und gliedert sie in das, was vor dem Eintreffen des Kunden geschieht, das, was während der Erstellung der Antwort stattfindet, sowie die Faktoren, die es ermöglichen, dass das System handelt und ihm vertraut werden kann. Zu jedem Konzept erhalten Sie eine Erklärung, warum es aus ingenieurtechnischer Sicht wichtig ist, sowie die häufigsten Missverständnisse, die es hervorruft. Betrachten Sie diese Liste als Grundlage – nicht als vollständiges Überblickswerk; für eine umfassendere Übersicht darüber, was Sie als Nächstes lernen sollten, sehen Sie unsere hierarchische Karte der AI-Engineering-Konzepte.
Vor dem Eintreffen der Frage: Das Modell und seine Lernmethode
Alles in diesem Abschnitt geschah lange bevor der Kunde das Chat-Fenster öffnete. Es bestimmt, was der Assistent überhaupt tun kann.
1. Modell: eine erlernte Eingangs-zu-Ausgangs-Funktion
Ein Modell ist ein mathematisches System, das mithilfe aus Daten extrahierter Muster einen Eingang in ein Ausgangsergebnis umwandelt. Ein Modell klassifiziert Fotos von Tieren; ein anderes prognostiziert Lieferzeiten. Ein Sprachmodell arbeitet mit Text und erzeugt ihn, indem es Schritt für Schritt plausible nächste Token vorhersagt.
Eine grobe Analogie ist ein Schüler, der bereits Tausende von Übungsaufgaben bearbeitet hat. Wenn er auf eine neue Aufgabe stößt, wendet er das an, was er durch die Übungen gelernt hat, anstatt nach einer identischen Frage zu suchen. Die Analogie ist unvollkommen, da Modelle weder wie Menschen lernen noch verstehen, aber sie fasst die grundlegende Idee der Generalisierung aus Beispielen zusammen.
In dem Laden-Szenario interpretiert das Sprachmodell die Frage und entwirft die Antwort. Das fertige Produkt umfasst jedoch auch eine Benutzeroberfläche, Datenquellen und möglicherweise Tools.
- Ingenieurtechnische Relevanz: Modelle sind spezialisiert. Ein Modell, das fließende Texte schreibt, ist nicht automatisch gut in der Bedarfsprognose oder bei der Betrugsbewertung.
- Häufiger Fehler: Die Gleichsetzung von „dem Modell“ mit „der Anwendung“. Das Modell ist nur ein Bestandteil von mehreren.
2. Parameter: Die Zahlen, die das Verhalten kodieren
Ein neuronales Netzwerk enthält eine sehr große Anzahl an einstellbaren Werten, die als Parameter bezeichnet werden. Gewichte sind die am häufigsten diskutierten Art; Bias-Werte sind eine weitere. Gemeinsam bestimmen sie, wie Informationen während ihres Flusses durch das Netzwerk transformiert werden.
Stellen Sie sich ein Mischpult vor, das mit Knöpfen bedeckt ist: Das Drehen dieser Knöpfe verändert den Klang, und die Anpassung der Parameter ändert die Ausgänge. Das Training ist der Prozess, bei dem diese Knöpfe gedreht werden.
Was ein Sprachmodell gelernt hat, ist in riesigen numerischen Arrays verteilt. In der Regel gibt es keinen einzigen Ort, an dem „Paris ist die Hauptstadt Frankreichs“ gespeichert ist. Einige Trainingstexte können wortwörtlich auswendig gelernt werden, doch das Modell ist keine suchbare Archivierung der Dokumente, die es gesehen hat.
- Ingenieurtechnische Relevanz: Die Anzahl der Parameter bestimmt die Anforderungen an Speicher, Arbeitsspeicher und Rechenleistung sowie die Fähigkeiten des Modells. Ein größeres Modell garantiert noch lange nicht eine bessere Leistung für Ihre spezifische Aufgabe.
- Häufiger Fehler: Die Annahme, Parameter seien eine Datenbank mit gespeicherten Antworten. Tatsächlich handelt es sich dabei um gelernte Einstellungen.
3. Training: Übung mit Feedback
Das Training passt die Parameter eines Modells mithilfe von Daten und einem Ziel an. Für Sprachmodelle ist ein Standardziel die Vorhersage des nächsten Tokens.
Nehmen wir den Trainings-Satz „Die Hauptstadt Frankreichs ist Paris.“ Dem Modell wird der Anfang des Satzes gezeigt, es erstellt eine Vorhersage für das Folgende, und das Trainingsystem misst die Differenz zwischen dieser Vorhersage und dem tatsächlichen nächsten Token. Anschließend werden die Parameter so angepasst, dass der Fehler verringert wird. Wenn dies mit einer enormen Anzahl von Beispielen wiederholt wird, ähnelt es eher dem Üben mit Korrekturen als dem Kopieren eines Buches in die Speicherung.
Das Modell des Ladens wurde bereits vor dem Eintreffen eines Kunden trainiert. Dadurch erhielt es allgemeine Sprachfähigkeiten, doch nichts garantiert, dass es die aktuellen Rückgaberegeln dieses speziellen Ladens kennt.
- Ingenieurtechnische Relevanz: Die Wahl der Daten und der Zielformen bestimmt sowohl das, was das Modell leisten kann, als auch die Arten von Fehlern, die es macht.
- Häufiger Fehler: Man geht davon aus, dass ein Modell, das Sprachmuster erkannt hat, auch Fakten überprüft hat. Das ist jedoch nicht der Fall.
4. Transformer: die Architektur, die die meisten Sprachmodelle teilen
Ein Transformer ist ein Design für neuronale Netze, das Aufmerksamkeitsmechanismen mit anderen Verarbeitungsschichten kombiniert, um Eingabedarstellungen in nützliche Ausgaben umzuwandeln. Man kann sich eine Montagelinie vorstellen: Jede Station verfeinert die ihr zugeführte Arbeit, anstatt wieder bei dem Rohtext anzufangen.
In einem auf Transformern basierenden Sprachmodell durchlaufen die Tokenrepräsentationen eine Reihe wiederholter Schichten. Die Aufmerksamkeitsmechanismus verbindet Informationen aus verschiedenen Positionen miteinander, andere Komponenten wandeln die Repräsentation jeder Position um, und die Positionsinformation ermöglicht es dem Modell, zwischen „Hund beißt Mann“ und „Mann beißt Hund“ zu unterscheiden. Die endgültige Repräsentation wird in eine Bewertung für jedes mögliche nächste Token umgewandelt, diese Bewertungen in Wahrscheinlichkeiten, und anschließend wird ein Token ausgewählt.
- Ingenieurtechnische Relevanz: Das Verständnis der Architektur verbindet die anderen Konzepte miteinander. Tokens werden in das Modell eingegeben, Embeddings repräsentieren sie, der Aufmerksamkeitsmechanismus verknüpft sie miteinander, und das Kontextfenster bestimmt, wie viel Informationen das Modell wahrnehmen kann.
- Häufiger Fehler: Die Verwechslung von Architektur und trainiertem Modell. Ein Transformer ist ein Entwurf; ein trainiertes Modell ist eine konkrete Instanz mit gelernten Parametern.
Während die Antwort erzeugt wird: von Text zu Tokenen zur Ausgabe
Nun drückt der Kunde auf Senden. In diesem Abschnitt wird erläutert, was während dieser Anfrage geschieht.
5. Inferenz: Ausführung des trainierten Modells
Inferenz bedeutet, ein trainiertes Modell mit neuen Eingaben auszuführen, um eine Ausgabe zu erhalten. Wenn das Training Übung ist, dann ist die Inferenz das Bestehen der Prüfung.
Wenn die Frage bezüglich der Kopfhörer eingeht, berechnet das Modell anhand des übergebenen Eingabedaten mit den bereits vorhandenen Parametern. Im Normalbetrieb wird es bei jeder Nachricht nicht neu trainiert; seine Parameter bleiben während der Antwortstellung unverändert. Bei der Textgenerierung handelt es sich bei der Inferenz um einen Zyklus: Es werden Wahrscheinlichkeiten für den nächsten Token berechnet, einer ausgewählt, dieser hinzugefügt und der Vorgang wiederholt, bis die Antwort fertig ist. Wie dieser „einen auswählen“-Schritt funktioniert, ist ein eigenes Thema, das in unserem Leitfaden zu Temperaturen, Top-K und Top-P behandelt wird.
- Technische Relevanz: Die Inferenz bestimmt die Latenzzeit sowie die Berechnungskosten pro Anfrage, wodurch sie sowohl die Benutzererfahrung als auch Ihre Rechnung beeinflusst.
6. Token: die Texteinheit, die das Modell tatsächlich wahrnimmt
Ein Token ist ein Textabschnitt, wie er von einem Tokenisierer definiert wird. Je nach Tokenisierer kann es sich um ein ganzes Wort, einen Teil eines Wortes, ein Satzzeichen oder einen anderen Textabschnitt handeln. Nur zur Veranschaulichung: „headphones“ könnte von einem Tokenisierer als Ganzes beibehalten und von einem anderen in „head“ und „phones“ aufgeteilt werden. Man sollte niemals annehmen, dass ein Wort einem Token entspricht.
Jedes Token wird einer ganzzahligen ID zugeordnet, und das Modell wandelt diese IDs in numerische Repräsentationen um, bevor es sie verarbeitet.
- Technische Relevanz: Die Anzahl der Tokens bestimmt, ob ein Eingabedatum passt, wie lang die Ausgaben sein können und häufig auch, wie viel eine API-Aufruf kostet. Derselbe Sinn kann in verschiedenen Sprachen oder Formaten unterschiedliche Anzahlen an Tokens erfordern; JSON und Code werden beispielsweise oft anders tokenisiert als reine Prosa.
- Häufiger Fehler: Verwechslung von Tokens und Token-IDs. Tokens sind Textteile; IDs sind ihre numerischen Bezeichnungen.
7. Embedding: Bedeutung als Position im Raum
Ein Embedding ist eine numerische Darstellung eines Elements: eines Tokens, eines Satzes, eines Dokuments oder eines Bildes. In der Regel handelt es sich dabei um einen Vektor, eine geordnete Liste von Zahlen.
Stellen Sie sich vor, Sie ordnen eine Bibliothek auf einer Karte an, sodass Bücher zu ähnlichen Themen in der Nähe voneinander liegen. Eine Embedding-Funktion gibt jedem Element Koordinaten auf einer solchen Karte, wodurch Ähnlichkeiten messbar werden. Ein gut gewähltes Such-Embedding-Modell könnte „Wie wird dieses Item zurückgesendet?“ in der Nähe von „Was ist Ihre Rückgabepolitik?“ platzieren, obwohl die beiden Fragen fast keine gemeinsamen Wörter enthalten.
Es ist hilfreich, diese beiden Anwendungsbereiche voneinander zu trennen. Innerhalb eines Sprachmodells sind Token-Embeddings Teil der Darstellung der Eingabe. In einem Suchsystem werden Dokument-Embeddings verwendet, um relevante Inhalte zu finden. Die Konzepte sind miteinander verbunden, doch die Darstellung sowie das Modell, das sie erzeugt, unterscheiden sich oft.
- Technische Relevanz: Embeddings sind es, die eine such- und abrufbasierte Verarbeitung auf Basis von Bedeutungen ermöglichen.
8. Prompt: Die Anweisungen und Materialien, die Sie bereitstellen
Ein Prompt ist alles, was dem Modell zur Steuerung seiner Antwort übergeben wird: Anweisungen, die Frage des Benutzers, Beispiele und unterstützender Text.
Vergleichen Sie zwei Anfragen. „Erklären Sie Rückgaben“ ist vage. „Verwenden Sie die untenstehende Richtlinie, um zu entscheiden, ob Kopfhörer, die vor zehn Tagen gekauft wurden, zurückgegeben werden können; falls ein erforderlicher Detail fehlt, fragen Sie danach und erfinden Sie keine Regeln“ definiert die Aufgabe, die Belege sowie das Ersatzverhalten. Das ist der Unterschied zwischen dem Auftrag an einen Freund, „etwas aus dem Laden zu holen“, und dem Überreichen einer Liste mit einem Budget.
In dem Assistenten wird die endgültige Anfrage in der Regel von der Anwendung zusammengestellt: Entwickleranleitungen, die Nachricht des Kunden sowie Richtlinientexte, die aus einer Wissensdatenbank abgerufen werden.
- Technische Relevanz: Präzise Anfragen verringern Unklarheiten und machen das erwartete Verhalten testbar.
- Häufiger Fehler: Die Verlassung auf Anweisungen in den Anfragen als Sicherheitsmaßnahme. Anweisungen beeinflussen das Verhalten, sie gewährleisten jedoch keine Berechtigungen. Alles, was auf keinen Fall geschehen darf, benötigt eine Kontrolle außerhalb des Modells.
9. Kontextfenster: begrenzter Arbeitsraum
Das Kontextfenster gibt an, wie viel Material das Modell auf einmal berücksichtigen kann – gemessen in Tokens. Stellen Sie sich einen Schreibtisch vor: Während der Arbeit können Sie Notizen darauf ausbreiten, doch die Fläche ist begrenzt.
Was diesen Speicherplatz einnimmt, umfasst Systemanweisungen, Konversationsgeschichte, heruntergeladene Dokumente sowie Ergebnisse von Tools; je nach System zählt auch die erzeugte Ausgabe zum Limit. Wenn eine Konversation zu lang wird, muss die Anwendung eingreifen – beispielsweise indem sie ältere Nachrichten löscht, sie zusammenfasst oder bei Bedarf ausgewählte Teile erneut abruft.
Kontext und Parameter sind unterschiedliche Dinge. Parameter wurden während des Trainings festgelegt; der Kontext hingegen sind Informationen, die nur für die aktuelle Aufgabe bereitgestellt werden.
- Ingenieurtechnische Relevanz: Man muss den Speicherplatz bewusst planen. Mehr Text einzufügen bedeutet nicht automatisch, nützlichere Texte bereitzustellen, und irrelevante Inhalte können das Modell ablenken.
- Häufiger Fehler: Ein großes Fenster als unbegrenzten Speicher zu betrachten oder anzunehmen, dass jeder darin enthaltene Detail korrekt genutzt wird.
10. Attention: Verknüpfung von Teilen der Eingabe
Attention ist die Methode, mit der ein Modell Informationen aus verschiedenen Teilen seiner Eingabe miteinander vermischt. Nehmen wir eine Nachricht, in der steht, dass die Kopfhörer gestern geliefert wurden, aber zehn Tage zuvor bestellt wurden. Bei einer Rückgabefrage kann es entscheidend sein, ob die Zeitmessung bei der Lieferung oder beim Kauf beginnt – und Attention ermöglicht es, dass die Darstellung der Frage die Beziehung zwischen Lieferung, Bestellung und den beiden Zeitpunkten widerspiegelt.
Die alltägliche Analogie ist das Wiederlesen der relevanten Sätze eines Textabschnitts, bevor man eine Frage dazu beantwortet. Technisch gesehen berechnet Attention numerische Relevanzwerte zwischen verschiedenen Positionen und verwendet diese, um gewichtete Mischungen aus Informationen zu erstellen. Verschiedene Komponenten und Schichten können unterschiedliche Arten von Beziehungen erkennen.
- Ingenieurtechnische Relevanz: Die Konzept der Aufmerksamkeit erklärt, warum Formulierungen, Reihenfolge und umliegender Text die Antwort verändern – was bei der Erstellung von Anfragen und der Aufteilung von Dokumenten wichtig ist.
- Häufiger Fehler: Die Aufmerksamkeitsgewichte als vollständige Erklärung für das Denkvermögen des Modells zu betrachten. Es handelt sich dabei um ein mathematisches Signal, nicht um eine transparente Darstellung dafür, warum eine bestimmte Antwort erzeugt wurde.
Verankern und Anpassen des Modells
Ain allein das Training des Modells kann die aktuelle Richtlinie dieses Ladens nicht kennen. Zwei Techniken beheben diesen Mangel auf sehr unterschiedliche Weise.
11. RAG: Suchen und anschließend antworten
Retrieval-Augmented Generation bedeutet, zu einem bestimmten Zeitpunkt relevante Informationen zu finden und sie in den Kontext des Modells einzubringen, damit die Antwort darauf zurückgreifen kann. Es ähnelt einer Prüfung mit offenen Büchern: Das Buch steht zur Verfügung, doch der Student muss dennoch die Frage verstehen, die richtige Seite finden und sie richtig anwenden.
Bei dem Verkäufer sieht der Ablauf in der Regel so aus:
- Die Frage des Kunden kommt an.
- Die Anwendung sucht in den Richtliniedokumenten nach relevanten Passagen.
- Die am besten passenden Passagen werden zusammen mit der Frage in die Anfrage eingefügt.
- Das Modell verfasst eine Antwort, die auf diesen Passagen beruht.
Die Informationsabrufung kann auf Suchen nach Schlüsselwörtern, Embeddings oder einer Kombination beider setzen. Entscheidend ist dabei, dass die Parameter des Modells unberührt bleiben. Der vorhandene Artikel RAG erklärt: Wie KI-Systeme nach Bedarf aktuelles Wissen abrufen geht der Informationsabrufseite genauer nach.
- Technische Relevanz: RAG ermöglicht es Anwendungen, private, spezialisierte oder häufig wechselnde Dokumente ohne Neutraining zu nutzen.
- Häufiger Fehler: anzunehmen, RAG sorge für korrekte Antworten. Es verringert zwar ununterstützte Antworten, doch das System kann dennoch den falschen Abschnitt abrufen oder einen richtigen falsch interpretieren.
12. Feinabstimmung: zusätzliche Übungen zu einer schmaleren Aufgabe
Das Feintunen setzt das Training eines bereits trainierten Modells fort, in der Regel mit einem kleineren, gezielteren Datensatz, der auf ein bestimmtes Ziel ausgerichtet ist. Es ist wie bei einem fließend sprechenden Englischsprecher, der gezielt prägnante Antworten für den Kundenservice übt.
Ein Unternehmen kann anhand von Paaren aus Kundenfragen und idealen Antworten feintunen, um einen konsistenten Ton, ein bestimmtes Ausgabeformat oder ein spezialisiertes Verhalten zu vermitteln. Im Gegensatz dazu, eine Richtlinie im Prompt festzulegen, ändert das Feintunen die gelernten Parameter oder fügt trainierte Komponenten hinzu, die das Verhalten verändern. Es kann auch Fachwissen einbringen, ist aber ein unzureichendes Mittel für häufig wechselnde Fakten, da jeder Änderung ein weiteres Trainingslauf erforderlich wäre.
- Technische Relevanz: Das Feintunen lohnt sich, wenn ein wiederholtes Verhalten nicht zuverlässig durch das Geben von Anweisungen erreicht werden kann.
Wann das System handelt und wie man feststellt, ob es funktioniert
Die letzte Gruppe behandelt, was schiefgehen kann, welche Veränderungen eintritten, wenn der Assistent bestimmte Aufgaben erledigen kann, und wie man das Ganze messen kann.
13. Halluzination: fließend, selbstsicher und unbegründet
Eine Halluzination ist eine Ausgabe, die falsch ist, erfunden wurde oder nicht durch relevante Belege gestützt wird. Angenommen, der Laden erlaubt Rückgaben innerhalb von sieben Tagen, und der Assistent antwortet selbstsicher, dass alle Kopfhörer innerhalb von dreißig Tagen zurückgegeben werden können. Der Satz klingt plausibel und ist gut formuliert; er ist dennoch falsch.
Die Ursache liegt darin, dass Sprachmodelle wahrscheinliche Fortsetzungen erzeugen, anstatt Behauptungen mit der Realität abzugleichen. Eine hohe Wahrscheinlichkeit für den nächsten Token sagt nichts darüber aus, ob die gesamte Aussage wahr ist. Halluzinationen zeigen sich in erfundenen Richtlinien, Zitaten, Personen, Zahlen und sogar gefälschten Tool-Ergebnissen.
- Ingenieurtechnische Relevanz: Eine gut formulierte falsche Antwort kann echten Schaden verursachen, daher benötigen Systeme zuverlässige Belege, Validierung der Ausgabe sowie einen genehmigten Weg, Unsicherheiten einzugestehen.
- Häufiger Fehler: Die Zuversichtlichkeit der Formulierung fälschlich als Zuverlässigkeit zu interpretieren.
14. Agent: Auswahl und Ausführung von Schritten zur Erreichung eines Ziels
Ein KI-Agent ist ein System, das ein Modell verwendet, um Schritte zur Erreichung eines Ziels zu entscheiden und auszuführen, in der Regel durch die Inanspruchnahme von Tools. Ein einfacher Chatbot kann den Rückgabeprozess erklären; ein Agent kann die Bestellung abrufen, die Eignung überprüfen und den Rückgabeantrag ausarbeiten.
Ein typischer Ablauf für den Rückgabefall:
- Das Ziel des Kunden wird gelesen.
- Es wird entschieden, welche Informationen fehlen, wie beispielsweise die Bestelldaten.
- Ein von der Anwendung bereitgestelltes Tool zur Bestellabfrage wird aufgerufen.
- Das Ergebnis wird im Vergleich zur Richtlinie bewertet.
- Entweder wird der Rückgabeprozess vorbereitet, eine klärende Frage gestellt oder die Angelegenheit an einen Menschen weitergeleitet.
Das Modell greft niemals selbst auf eine Datenbank zu. Die Anwendung stellt das Werkzeug zur Verfügung, überprüft die Berechtigungen und führt die Operation aus; das Modell schlägt lediglich den Aufruf vor. Die Autonomie variiert stark – von einem einzelnen Werkzeugaufruf bis hin zu langen, mehrstufigen Abläufen – und nicht jede feste Automatisierung verdient die Bezeichnung „Agent“. Weitere Informationen zum eigentlichen Schleifenmechanismus finden Sie unter Understanding AI Agents: Ziele, Werkzeuge, Speicher und der Agent-Schleifenmechanismus.
- Ingenieurtechnische Relevanz: Handlungen benötigen Grenzen, Fehlerbehandlung sowie Genehmigungsprüfpunkte. Ein Rückgabevorschlag ist nicht dasselbe wie die tatsächliche Genehmigung eines Rückzahlungsverfahrens.
- Häufiger Fehler: Die Fähigkeit zu handeln mit der Erlaubnis, unüberwacht zu handeln, gleichzusetzen.
15. Bewertung: Belege dafür, dass die Anwendung funktioniert
Bewertung bedeutet die systematische Messung davon, wie gut ein Modell oder eine vollständige KI-Anwendung ihre vorgesehene Aufgabe erfüllt. Denken Sie an ein Fahrrad: Es muss unter verschiedenen Bedingungen Tests bezüglich Bremsen, Lenkung und Rädern bestehen, bevor man es im Verkehr fährt – unabhängig davon, wie gut es aussieht.
Für den Rückgabehilfsdienst sollte ein nützliches Testset mindestens Folgendes enthalten:
- Eine Rückgabe, die eindeutig zulässig ist.
- Eine Rückgabe, die nach dem gültigen Zeitraum beantragt wird.
- Eine Anfrage, bei der das Kaufdatum weggelassen wird.
- Zwei Versicherungsunterlagen, die sich widersprechen.
- Eine Suche nach einer Bestellung, die fehlschlägt.
- Ein Versuch, einen Rückzahlungsbetrag zu erhalten, für den der Kunde keinen Anspruch hat.
Bewerten Sie die Richtigkeit der Antworten – ob diese durch Belege untermauert sind, ob Unsicherheiten angemessen ausgedrückt werden, ob Werkzeuge sicher verwendet werden – sowie die Latenzzeit und Kosten. Berücksichtigen Sie auch Fälle, die das Team bei der Entwicklung des Systems nicht verwendet hat; Tests ausschließlich an vertrauten Beispielen überschätzen die Qualität.
- Ingenieurtechnische Relevanz: Eine Demo zeigt, dass ein Beispiel funktioniert hat. Die Bewertung gibt Aufschluss darüber, wie oft das System funktioniert und wo es versagt.
- Häufiger Fehler: Die Prosa des Modells zu beurteilen, anstatt die gesamte Anwendung von Anfang bis Ende zu testen.
Kernpunkte
- Das Modell ist nur ein Teil einer KI-Anwendung; Datenquellen, Anfragen, Werkzeuge, Berechtigungen und Tests bestimmen das meiste Verhalten in der Praxis.