Strona główna / Artykuły

Przestań realizować życzenia agentów AI: proces oparty na specyfikacjach dla małych zespołów

Przestańcie przekazywać agentom AI życzenia: proces oparty na specyfikacji dla małych zespołów z adwersarialną oceną przez dwie rodziny modeli, testami w czasie rzeczywistym, łączeniem przez ludzi oraz zarządzaniem pamięcią.

Wydawca: REACTAPP.TOP7 min czytania1708 słów

Źródła: *A small dev team, a stack of AI agents, and the spec-first process that keeps them honest.*

Załóżmy agenta AI, który tworzy funkcję w dwudziestu minutach. Prośba o integrację wygląda doskonale: uporządkowane różnice, zielone testy, uprzejmy streszczenie. Jednak jest błędna w taki sposób, że zespołowi zajmuje trzy dni, aby to rozwiązać.

Model w tym przykładzie nie był zły – robił to, co mu kazano. Problemem były instrukcje, które w rzeczywistości były życzeniami. „Stwórz stronę pokazującą X” to życzenie, a szybki, dosłowny wykonawca spełni je, zgadując wszystko, co nie zostało powiedziane. Te domysły będą prawdopodobne, ponieważ właśnie to generują te systemy.

Jedna mała grupa odmawia teraz tworzenia czegokolwiek, dopóki wszystko nie zostanie opisane na piśmie, a ten opis nie przetrwa surowego przetwarzania, zanim powstanie choć jedna linia kodu. Takie podejście nazywa się rozwojem opartym na specyfikacji. To właśnie sprawia, że agenci są godni zaufania w grupach, w których jest więcej oprogramowania do stworzenia niż ludzi do jego realizacji. Ludzie podejmują decyzje, przeglądają i łączą elementy, natomiast agenci zajmują się pisaniem. Taki układ funkcjonuje tylko wtedy, gdy agenci otrzymują coś więcej niż zwykłe polecenie.

Co zawiera specyfikacja

Nic nie jest tworzone, dopóki nie istnieje krótki dokument w formacie Markdown, który określa trzy kwestie, w następującej kolejności:

  1. Bieżący problem oraz powód, dla którego zasługuje on na uwagę.
  2. Co będzie prawdą później, opisane w taki sposób, aby użytkownik mógł to sprawdzić?
  3. Co musi pozostać dokładnie takie, jakie jest, podczas wykonywania pracy?

Ostatni punkt ma zaskakujące znaczenie. Duża część każdego solidnego specyfikacji polega po prostu na zaznaczeniu obszaru, którego zmiana nie może dotknąć. Resztą są scenariusze, czyli każdy przypadek krawędziowy, jaki może sobie wyobrazić autor, każdy z nich sformułowany w formie „jeśli to, to tamto”.

Specyfikacje są pisane jako zmiany, a nie jako dokumenty uniwersalne. Oto obecne zachowanie, oto dokładnie to, co się zmieni. Specyfikacja, która próbuje opisać wszystko, ostatecznie nic nie opisuje.

Dwie sztuczne inteligencje najpierw atakują specyfikację

Gdy projekt jest gotowy, otrzymują go dwaj recenzenci z AI. Pochodzą od różnych dostawców i mają różne pochodzenie modeli, a ich jedynym zadaniem jest znalezienie sposobów, w jakie plan może pójść nie tak. Zespół nazwał tę sesję „pow-wow”. Mieszanie pochodzeń jest celowe: recenzenci z jednej grupy mają tendencję do przeoczania tych samych rzeczy, tak jak rodzeństwo poprawia nawzajem swoje historie. To właśnie różnice zdań są tym, czego szukamy.

Wyniki badań są wprowadzane z powrotem do specyfikacji. Sprzeciw staje się wymogiem. Dopiero gdy specyfikacja przestanie ulegać zmianom, wysyłany jest agent budujący.

Ten porządek ma swoją historię. Kiedyś agent budujący został wysłany, podczas gdy przegląd wciąż trwał. Przegląd wykazał wyniki, które unieważniły połowę kodu, w rezultacie czego zespół zapłacił za ten kod dwukrotnie. Od tamtej pory zasada jest niezmienna – agent budujący czeka, aż obaj recenzenci przedstawią swoje raporty, a każdy stwierdzony problem zostanie zapisany w specyfikacji, nawet jeśli wydaje się, że przyspieszenie procesu nie spowoduje żadnych problemów.

Spotkanie przyniosło efekty w nieoczekiwany sposób. Kiedyś jakiś specyfikator nazwał istniejący pomocnik do sprawdzania uprawnień i na podstawie samej nazwy założył, co dokładnie sprawdza. Jeden z recenzentów otworzył kod i odkrył coś znacznie bardziej ograniczonego: funkcja ta obowiązywała tylko oryginalnego wnioskodawcę i tylko w jednym konkretnym stanie. Nazwy funkcji mogą wprowadzać w błąd. Dlatego istnieje niezłomny nawyk: czytać implementację, zanim specyfikator o niej wspomni. Ten nawyk uratował więcej weekendów niż jakakolwiek zasada sprawdzania kodu.

Proces od początku do końca

W przypadku zmian o rzeczywistym znaczeniu sekwencja wygląda następująco:

spec → adversarial review → apply findings → build → diff review → runtime testing → human testing → human merge

Kilka kroków wymaga komentarza.

Budowniczemu dostarcza się specyfikację i nic więcej. Nigdy nie widzi on żadnego zapisu rozmowy ani prośby o dodatek. Wszystko, co budowniczy musi wiedzieć, musi być zapisane w dokumencie, ponieważ wszystko, czego brakuje, może być przedmiotem domysłów.

Testy w czasie działania sprawdzają, co robi oprogramowanie, a nie jak wyglądają pliki. Samo przejście testów niewiele mówi. Podczas jednego z wczesnych incydentów komunikat walidacyjny miał się pojawić na ekranie, ale tego nie nastąpiło, ponieważ nie można było dotrzeć do kodu, który go wyświetlał. Zarówno różnice, jak i testy były w porządku. Nikt nie próbował zachowywać się niewłaściwie jako użytkownik, a różnica nie może wyświetlić komunikatu, którego nie ma. Teraz błędy są celowo wprowadzane: wysyła się bezużyteczne dane, potwierdza się, że błąd rzeczywiście jest widoczny, i dopiero wtedy oznacza się prace jako przetestowane.

Krokiem człowieka jest klikanie w aplikację przez niecierpliwego użytkownika, i to jest sedno sprawy. Istnieje kategoria błędów, które umykają każdej automatycznej weryfikacji: funkcja działa, ale osoba nie może jej znaleźć. Brak ekranów tworzenia, ślepe ścieżki nawigacyjne. Irytujące klikanie pełni rolę testu akceptacyjnego i budzi większe zaufanie niż jakikolwiek podsumowanie.

Fuzja pozostaje w rękach człowieka. Agenci ani nie fuzują, ani nie wdrażają. Szybkość jest w porządku, ale prośba o pull request musi mówić prawdę o tym, które testy zostały przeprowadzone, a które pominięte, a orkiestrator od razu oznacza pominięte etapy jako takie. Gdy większość zespołu to maszyny sprawdzające inne maszyny, uczciwe zapisy są wszystkim.

Ilość procesu odpowiada wielkości zmiany. Mała korekta tekstu staje się bezpośrednią prośbą o zmianę. Zmiany dotyczące bezpieczeństwa, uprawnień i modelu danych przechodzą przez pełną procedurę. Nałożenie skomplikowanego procesu na błahe zadanie go zabija, natomiast powierzenie prostego procesu poważnej pracy niszczy projekt.

Gdy zmiana zostanie wdrożona, jej specyfikacja jest przechowywana razem z kodem. Repozytorium stopniowo tworzy pisemny zapis podjętych decyzji, dzięki czemu na pytanie, dlaczego coś działa w określony sposób, często istnieje odpowiedź datowana przed samym kodem.

Przegląd przez dwa zespoły, które nie napisały kodu

Cel spotkania to omówienie planu. Gotowy kod trafia do odrębnego zespołu oceniającego, który powinien najpierw przyjąć te zmiany.

Budowniczy to niezawodny narzędzie, wybrane ze względu na ciągłą pracę i niskie koszty za każdy token. Pieniądze przeznaczone na zaawansowane funkcje analityczne są oszczędzane na późniejszą ocenę, w postaci dwóch modeli z dwóch oddzielnych laboratoriów, które nie są powiązane z budowniczym. Ich zadania są celowo różne. Jeden pełni rolę starszego inżyniera – czyta różnice pomiędzy kodem a specyfikacją linijka po linijce, a następnie bezpośrednio pracuje z aktualną wersją oprogramowania, próbując znaleźć błędy. Drugi stanowi obowiązkową kontrolę – żadna istotna zmiana nie może zostać włączona bez jego zatwierdzenia, bez względu na to, jak mała wydaje się być.

Dwa laboratoria zamiast dwóch kopii najsilniejszego modelu? Modele powiązane dzielą podobne mechanizmy działania. Recenzent ma tendencję do wybaczania kodu napisanego w jego własnym stylu i ma trudności z kodem stworzonym przez kogoś z zewnątrz. Jeśli oba wskazują na tę samą linię z różnych kierunków, to niemal na pewno jest to błąd. Jeśli się sprzeczają, oznacza to, że w specyfikacji była luka, którą łatwiej odkryć za pomocą dwóch modeli niż dzięki użytkownikowi.

Miejsca te nie są trwałe. Jeden z recenzentów został odsunięty od pracy, ponieważ jego wyniki polegały wyłącznie na powtarzaniu jednego ustalenia ponad sto razy. Duże modele analityczne mogą utknąć w pętli, gdy otrzymają prompt o różnej długości. Miejsce tego recenzenta zostało zamienione, ale jego status pozostał niezmieniony.

Agent, który utrzymuje wszystko w ryzach

Nic z tego nie jest egzotyczne. Specyfikacje, recenzje i testy to stare pomysły w nowej oprawie. Trudniej przewidzieć, jak ważna jest koordynacja działań oraz ile agentów jest potrzebnych, aby utrzymać cały proces w ruchu.

Zespół używa Hermes Agent, otwartego frameworku agentów od Nous Research, jako orkiestratora. Nie zajmuje się głównie pisaniem kodu – jego zadaniem jest uruchamianie procesów, co jest być może ważniejszą rolą. Trzy cechy umożliwiają to funkcjonowanie.

Pamięć. Większość asystentów rozpoczyna każdą rozmowę bez żadnych wspomnień z poprzednich sesji i w przyjaznym tonie. Hermes przechowuje kontekst między sesjami, dzięki czemu decyzje są realizowane. Zna poziomy ryzyka, wie, że twórcy nigdy nie oceniają własnej pracy, oraz wie, że przed każdym wysłaniem informacji odbywa się krótka narada, ponieważ błędy z przeszłości zostały zapisane. Jeśli ktoś pośpieszny chce ominąć określone zasady, agent odmawia – proces jest egzekwowany przez osobę, która pamięta wszystko perfekcyjnie.

Nauka. Niepowodzenie przekształca się w analizę po incydencie, a ta analiza staje się umiejętnością – w Hermesie oznacza to dokument procedurowy, który jest ładowany podczas późniejszych sesji, gdy jest to konieczne. Po sześciu miesiącach agent posiada zbiór trudno zdobytych notatek pochodzących z rzeczywistych incydentów i najpierw czyta te najważniejsze. Wiedza, która wcześniej znajdowała się w głowie jednego zmęczonego inżyniera, teraz jest przechowywana w systemie kontroli wersji.

Delegowanie. Procesy budowania i przeglądania są przekazywane podagentom. Ponieważ Hermes współpracuje z dowolnym dostawcą, role mogą być swobodnie przyporządkowywane do modeli: tanie, wydajne modele służą do budowania, natomiast drogie, zaawansowane modele do przeglądania. Jeśli dany model ma trudny miesiąc, zastępuje się go, a nic innego się nie zmienia.

Co to daje i ile to kosztuje

Nie ma tu procentu produktywności. Takie liczby nie da się sprawdzić, a prawie wszyscy, którzy je publikują, coś sprzedają. Oto twierdzenia, które da się obronić:

  • Dostawy odbywają się co tydzień, mimo że nikt nie pracuje na pełen etat nad kodem.
  • Promień oddziaływania jest kontrolowany w wyznaczonym czasie, zanim jego kontrola stanie się kosztowna.
  • Każdy, kto pyta, dlaczego oprogramowanie zachowuje się w określony sposób, może znaleźć odpowiedź w dokumentacji.
  • Zadanie osoby odpowiedzialnej zmienia się – z pracy przy klawiaturze na podejmowanie decyzji i klikanie.

To lepsza, ale też trudniejsza rola. Stworzenie precyzyjnych specyfikacji oznacza wiedzę o tym, czego chcesz, jeszcze zanim to zobaczysz. Ponieważ implementacja jest tania, dokładność stała się cenną umiejętnością.

Wady są rzeczywiste. Pisanie specyfikacji wymaga dyscypliny, a chęć oszczędzania czasu przy rzekomo małych zmianach powoduje, że taki proces się rozpada. Recenzenci opartymi na AI mogą zasypać cię drobnymi skargami, więc umiejętność ich sortowania to umiejętność, którą trzeba rozwijać. W tygodniach, gdy wymagania są już oczywiste, cały proces wydaje się powolny. Wymaga też uwagi – jeśli zostawić go bez nadzoru, ulega degradacji tak jak każdy proces realizowany przez ludzi.

Kwestią nie jest już to, czy AI potrafi pisać kod, ponieważ potrafi. Teraz ważne jest to, czy potrafisz dokładnie określić, co powinien robić oprogramowanie, oraz czy potrafisz trzymać się własnego procesu, gdy brakuje czasu. Bez tego żaden model nie pomoże – po prostu szybciej przyniesie twoje zamieszanie.

Literatura pokrewna

  • Podstawy TanStack Query: zapytania, cacheowanie, mutacje i unieważnianie — Dowiedz się, jak useQuery, queryKey, staleTime, gcTime, useMutation oraz unieważnianie współpracują ze sobą, aby zarządzać stanem serwera w React bez konieczności pisania ręcznych efektów fetch.