Startseite / Artikel

Hören Sie auf, KI-Agenten Wünsche zu übergeben: Ein auf Spezifikationen basierender Prozess für kleine Teams

Hören Sie auf, KI-Agenten Wünsche zu übermitteln: Ein auf Spezifikationen basierender Prozess für kleine Teams mit gegenseitiger Überprüfung durch zwei Modellfamilien, Laufzeittests, menschlicher Zusammenführung sowie Speichermanagement.

Verlag: REACTAPP.TOP7 Min. Lesezeit1708 Wörter

Quellen: *A small dev team, a stack of AI agents, and the spec-first process that keeps them honest.*

Stellen Sie sich einen KI-Agenten vor, der in zwanzig Minuten eine Funktion erstellt. Der Pull Request sieht hervorragend aus: ordentliche Diffs, grüne Tests, ein höflicher Zusammenfassungstext. Gleichzeitig ist er auf eine Weise falsch, die ein Team drei Tage Zeit kostet, um ihn zu entwirren.

Das Modell in dieser Geschichte war nicht schlecht – es hat getan, was ihm aufgetragen wurde. Das Problem lag bei der Anweisung, die eigentlich nur ein Wunsch war. „Erstellen Sie eine Seite, die X anzeigt“ ist ein Wunsch, und ein schneller, wörtlicher Ausführender wird diesen Wunsch erfüllen, indem er alles Unausgesprochene errät. Die Vermutungen werden plausibel sein, denn Plausibilität ist genau das, was diese Systeme hervorbringen.

Ein kleines Team weigert sich heute, irgendetwas zu entwickeln, bevor alles schriftlich beschrieben wurde und diese Beschreibung einer gründlichen Überprüfung standgehalten hat, bevor eine Zeile Code entsteht. Diesen Ansatz nennt man spezifikationsgesteuerte Entwicklung. Er sorgt dafür, dass Agenten zuverlässig sind, wenn es mehr Software zu entwickeln gibt als Menschen, die dies tun können. Die Menschen entscheiden, prüfen und integrieren. Die Agenten übernehmen das Tippen. Diese Struktur funktioniert nur, wenn die Agenten mehr als nur einen Wunsch erhalten.

Was eine Spezifikation enthält

Es wird nichts entwickelt, bevor es ein kurzes Markdown-Dokument gibt, das in dieser Reihenfolge drei Dinge klärt:

  1. Das aktuelle Problem und der Grund, warum es Aufmerksamkeit verdient.
  2. Was danach zutreffen wird, so beschrieben, dass ein Benutzer es überprüfen kann?
  3. Was genau so bleiben muss, während die Arbeit stattfindet?

Der letzte Punkt hat erstaunliche Bedeutung. Ein großer Teil jeder soliden Spezifikation besteht einfach darin, den Bereich zu markieren, den die Änderung nicht berühren darf. Der Rest sind Szenarien – also alle Randfälle, die der Autor sich vorstellen kann, jeweils in Form von „Wenn-dann“-Bedingungen formuliert.

Spezifikationen werden als Deltas verfasst, niemals als universelle Dokumente. Hier ist das aktuelle Verhalten, hier genau das, was sich ändern wird. Eine Spezifikation, die versucht, alles zu beschreiben, beschreibt letztendlich nichts.

Zwei KI-Systeme greifen zuerst die Spezifikation an

Sobald der Entwurf fertig ist, erhalten zwei KI-Prüfer ihn. Sie stammen von verschiedenen Anbietern und unterschiedlichen Modellreihen, und ihre einzige Aufgabe besteht darin, Möglichkeiten zu finden, wie der Plan schiefgehen könnte. Das Team nannte diese Sitzung „Pow-Wow“. Die Kombination verschiedener Reihen ist beabsichtigt: Prüfer derselben Reihe neigen dazu, dieselben Dinge zu übersehen, so wie Geschwister sich gegenseitig bei ihren Erzählungen unterstützen. Genau das Streitgespräch ist das Ziel.

Die Ergebnisse werden wieder in die Spezifikation aufgenommen. Ein Einwand wird zu einer Anforderung. Erst wenn die Spezifikation keine weiteren Probleme mehr aufweist, wird ein Entwickler entsandt.

Hinter dieser Reihenfolge steckt eine Geschichte. Einmal wurde ein Entwickler bereits geschickt, während die Überprüfung noch lief. Die Überprüfung ergab Ergebnisse, die die Hälfte des Codes für ungültig erklärten, und das Team musste diesen Code zweimal bezahlen. Seitdem gilt diese Regel strikt: Ein Entwickler wartet, bis beide Prüfer berichtet haben und jede anerkannte Feststellung in die Spezifikation aufgenommen wurde – selbst dann, wenn ein vorzeitiger Fortschritt harmlos erscheint.

Das Treffen hat sich auf unerwartete Weise ausgezahlt. Ein Entwurf nannte bereits vorhandene Hilfsfunktionen für Berechtigungen und ging allein aufgrund des Namens davon aus, was diese überprüften. Ein Prüfer öffnete den Code und stellte fest, dass die Funktionen viel enger gefasst waren: Sie galten nur für den ursprünglichen Anfragenden und ausschließlich in einem bestimmten Zustand. Funktionsnamen können irreführend sein. Deshalb gilt eine feste Gewohnheit: Die Implementierung lesen, bevor im Entwurf darauf Bezug genommen wird. Diese Gewohnheit hat mehr Wochenenden gerettet als jede Lint-Regel.

Der Prozessschritt für Schritt

Bei einer tatsächlich bedeutenden Änderung verläuft die Abfolge wie folgt:

spec → adversarial review → apply findings → build → diff review → runtime testing → human testing → human merge

Mehrere Schritte verdienen eine Erwähnung.

Dem Entwickler wird die Spezifikation übergeben und nichts weiter. Er sieht niemals ein Chatprotokoll oder eine informelle Anfrage für ein Zusatzmodul. Alles, was der Entwickler wissen muss, muss in das Dokument geschrieben werden, denn alles, was fehlt, kann beliebig vermutet werden.

Die Laufzeitprüfung überprüft, was die Software tut, nicht, wie die Dateien aussehen. Allein das Bestehen der Tests sagt wenig aus. Bei einem frühen Vorfall sollte eine Validierungsmitteilung auf dem Bildschirm angezeigt werden, was jedoch nie geschah, da der Code, der sie darstellte, nicht erreichbar war. Sowohl die Unterschiedsanalyse als auch die Tests waren in Ordnung. Niemand hatte versucht, als Benutzer etwas Falsches zu tun, und eine Unterschiedsanalyse kann keine nicht existierende Mitteilung anzeigen. Heute werden Fehler absichtlich eingeführt: Man sendet Unbrauchbares ein, stellt sicher, dass der Fehler tatsächlich sichtbar ist, und markiert erst danach die Arbeit als getestet.

Der menschliche Schritt besteht darin, dass jemand ungeduldig durch die App klickt – und genau das ist der Punkt. Eine bestimmte Art von Fehlern entgeht jeder automatischen Überprüfung: Die Funktion funktioniert, doch eine Person kann sie nicht finden. Fehlende Erstellungsseiten, Sackgassen in der Navigation. Das genervte Klicken dient als Akzeptanztest und gewinnt mehr Vertrauen als jedes Resümee.

Das Zusammenführen bleibt in den Händen eines Menschen. Die Agenten führen weder Zusammenfassungen durch noch deployen etwas. Geschwindigkeit ist in Ordnung, aber der Pull Request muss die Wahrheit darüber angeben, welche Tests durchgeführt wurden und welche übersprungen wurden – der Orchestrierer markiert die übersprungenen Schritte direkt als solche. Wenn das Team größtenteils aus Maschinen besteht, die andere Maschinen überprüfen, sind ehrliche Aufzeichnungen von entscheidender Bedeutung.

Das Ausmaß des Verfahrens hängt von der Größe der Änderung ab. Eine kleine Textkorrektur wird direkt als PR eingereicht. Änderungen im Bereich Sicherheit, Berechtigungen und Datenmodell durchlaufen ein umfassendes Verfahren. Ein zu strenges Verfahren bei trivialen Aufgaben lähmt diese, während das Vertrauen in ein einfaches Verfahren bei wichtigen Aufgaben das Projekt zerstört.

Sobald eine Änderung veröffentlicht wird, wird ihre Spezifikation zusammen mit dem Code archiviert. Das Repository erstellt allmählich eine schriftliche Dokumentation der Entscheidungen, sodass die Frage, warum etwas auf bestimmte Weise funktioniert, oft bereits vor dem Code selbst eine Antwort hat.

Überprüfung durch zwei Personen, die den Code nicht geschrieben haben

Bei der Besprechung geht es um den Plan. Der fertige Code wird einer separaten Gruppe vorgelegt, und genau diese Version sollte zuerst von einem anderen Team übernommen werden.

Der Builder ist ein Arbeitstier – er wird ausgewählt, weil er unermüdlich weiterarbeitet und pro Token nur wenig kostet. Das Geld für hochwertige Analysefunktionen wird für eine gründlichere Überprüfung aufgespart, in Form von zwei fortschrittlichen Modellen aus zwei verschiedenen Laboren, die beide nichts mit dem Builder zu tun haben. Ihre Aufgaben unterscheiden sich absichtlich voneinander. Der eine übernimmt die Rolle des Senior Engineers, liest die Unterschiede Zeile für Zeile im Vergleich zu den Spezifikationen und arbeitet anschließend direkt am laufenden Build, um die Funktion zu stören. Der andere dient als obligatorische Kontrollinstanz – ohne seine Freigabe werden keine wesentlichen Änderungen eingefügt, egal wie unbedeutend sie auch erscheinen mögen.

Zwei Labore anstelle von zwei Kopien des stärksten Modells? Verwandte Modelle teilen Instinkte. Ein Reviewer neigt dazu, Code zu entschuldigen, der seinem eigenen ähnelt, und stolpert über Code von Außenstehenden. Wenn beide aus unterschiedlichen Richtungen auf eine Zeile zeigen, handelt es sich fast sicher um einen Defekt. Wenn sie sich widersprechen, gab es eine Lücke in den Spezifikationen, die mit zwei Modellen besser entdeckt werden kann als durch einen Benutzer.

Die „Plätze“ sind nicht dauerhaft. Ein Reviewer wurde abgesetzt, nachdem sein Output ausschließlich darin bestand, eine einzige Erkenntnis mehr als hundertmal zu wiederholen. Große Reasoning-Modelle können bei einer prompt-großen Eingabe in Schleifen geraten. Der „Platz“ wurde ausgetauscht, das System blieb jedoch unverändert.

Der Agent, der alles zusammenhält

Keines davon ist exotisch. Spezifikationen, Reviews und Tests sind alte Ideen in neuem Gewand. Schwieriger vorherzusagen ist, wie wichtig die Orchestrierung ist und wie viele Agenten nötig sind, um den gesamten Prozess zusammenzuhalten.

Das Team verwendet Hermes Agent, ein Open-Source-Agent-Framework von Nous Research, als Orchesterierer. Es schreibt nicht hauptsächlich Code, sondern führt den Prozess aus – was wohl die wertvollere Aufgabe ist. Drei Eigenschaften machen das möglich.

Gedächtnis. Die meisten Assistenten beginnen jedes Gespräch ohne Erinnerung an frühere Unterhaltungen und in freundlichem Ton. Hermes behält den Kontext zwischen den Sitzungen bei, sodass Entscheidungen beibehalten werden. Es kennt die Risikostufen, weiß, dass Entwickler ihre eigene Arbeit niemals bewerten, und ist sich bewusst, dass vor jeder Auftragsvergabe eine Besprechung stattfindet, weil frühere Fehler aufgezeichnet wurden. Wenn jemand in Eile eine Hürde überspringen möchte, weigert sich der Agent: Der Prozess wird von dem durchgesetzt, der sich daran perfekt erinnert.

Lernen. Ein Misserfolg wird zu einer Nachbesprechung, und diese Nachbesprechung entwickelt sich zu einer Fähigkeit – bei Hermes bedeutet das ein Verfahrensdokument, das bei Bedarf in späteren Sitzungen verwendet wird. Nach sechs Monaten besitzt der Agent eine Sammlung mühsam erarbeiteter Notizen aus echten Vorfällen und liest zuerst die relevanten. Das Wissen, das früher nur im Kopf eines überlasteten Ingenieurs existierte, befindet sich nun im Versionskontrollsystem.

Delegation. Das Erstellen und Überprüfen wird an Unteragenten delegiert. Da Hermes mit jedem Anbieter arbeiten kann, können Rollen frei mit Modellen abgeglichen werden: ein kostengünstiger Arbeitstier erstellt die Inhalte, während teure intelligente Modelle sie überprüfen. Wenn ein Modell einen schwierigen Monat hat, wird es einfach ersetzt – ansonsten ändert sich nichts.

Was es bringt und was es kostet

Es gibt hier keinen Produktivitätsprozentsatz. Solche Zahlen lassen sich nicht überprüfen, und fast jeder, der sie veröffentlicht, verkauft etwas. Folgende Behauptungen lassen sich hingegen verteidigen:

  • Die wöchentliche Lieferung findet statt, obwohl kein Mensch Vollzeit damit beschäftigt ist.
  • Der Ausbreitungsradius bleibt innerhalb der Spezifikationen, bevor die Eindämmung kostspielig wird.
  • Jeder, der wissen möchte, warum sich die Software auf bestimmte Weise verhält, findet die entsprechenden Angaben schriftlich vor.
  • Die Aufgabe des Menschen verändert sich – von der Arbeit am Keyboard zu Entscheidungen und Klickvorgängen.

Es handelt sich um eine bessere, aber auch schwierigere Rolle. Genaue Spezifikationen zu erstellen bedeutet, bereits vor dem Sehen zu wissen, was man will. Da die Implementierung billig ist, wurde Genauigkeit zur knappen Fähigkeit.

Die Nachteile sind real. Die Erstellung von Spezifikationen erfordert Disziplin, und der Drang, bei scheinbar kleinen Änderungen Abkürzungen zu nehmen, führt dazu, dass solche Prozesse schiefgehen. KI-basierte Reviewer können einen mit kleinen Beschwerden überfluten, weshalb deren Sortierung eine zu entwickelnde Fähigkeit ist. In Wochen, in denen die Anforderungen bereits offensichtlich sind, wirkt der Prozess träge. Zudem benötigt er Aufmerksamkeit: Wenn man ihn unberührt lässt, verfällt er wie jeder menschliche Prozess.

Ob KI Code schreiben kann, ist nicht mehr die Frage, denn sie kann es. Entscheidend ist nun, ob man genau beschreiben kann, was die Software tun soll, und bei knappem Zeitrahmen an seinem eigenen Prozess festhält. Ohne das hilft kein Modell – es bringt lediglich die eigene Verwirrung schneller zum Vorschein.

Verwandte Artikel

  • Grundlagen von TanStack Query: Abfragen, Caching, Mutationen und Invalidation — Erfahren Sie, wie useQuery, queryKey, staleTime, gcTime, useMutation und Invalidation zusammenwirken, um den Serverzustand in React ohne manuell geschriebene fetch-Effekte zu verwalten.