Strona główna / Artykuły

Problem wolnego weryfikatora: dlaczego pętle agentów zatrzymują się, gdy praca nie jest w formie kodu

Pętle agentów kodujących działają, ponieważ kompilatory i testy sprawdzają je bezpłatnie. Poza kodem nie ma darmowego sprawdzacza: cztery dotacje, dane o błędach oraz test orakularny.

Wydawca: REACTAPP.TOP6 min czytania1331 słów

Źródła: Loop Engineering for Enterprise Agents: The Free Verifier Problem

Wielu dostawców prezentuje obecnie inżynierię pętli jako coś, co następuje po inżynierii promptów, a demonstracje są rzeczywiste. Zamiast ręcznie wysyłać polecenia do agenta programistycznego, tworzy się wokół niego pętlę. Pętla uruchamia się według ustalonego harmonogramu, pracuje na izolowanej gałęzi, jest oceniana przez drugiego agenta i zapisuje swój stan w pliku, dzięki czemu każdy uruchomienie kontynuuje się od poprzedniego. Boris Cherny, który kieruje projektem Claude Code w Anthropic, powiedział, że jego zadaniem jest pisanie pętli. Addy Osmani z Google nazwał ten wzorzec, a zarówno Claude Code, jak i OpenAI Codex oferują obecnie te same sześć elementów bazowych jako wbudowane funkcje.

To działa, i działa z powodu, o którym ludzie go sprzedają rzadko mówią na głos. Ten powód nie odnosi się do innych rodzajów pracy.

Pętle w kodowaniu działają dzięki temu, że sama baza kodu zawiera własnego weryfikatora. Kompilator, sprawdzacz typów oraz zestaw testów natychmiast oceniają każdą próbę praktycznie bez żadnych kosztów. Podział na twórcę i sprawdzacza, powszechnie uważany za mechanizm zaufania w projektowaniu pętli, generuje niewielkie wydatki w oprogramowaniu, ponieważ połowa z tych elementów istniała już w repozytorium przed pojawieniem się jakiegokolwiek agenta.

Gdy przeniesiesz tę samą pętlę do procesu obsługi roszczeń, procedury zatwierdzania zamówień lub działań naprawczych dla klientów, nie pojawi się żaden weryfikator. Musisz go sam stworzyć, a prawie nikt nie uwzględnia tego w budżecie. Jest to najlepszy wskaźnik tego, czy program agenta utknie na etapie pilotażowym.

Dlaczego kod jest prosty, a wszystko inne nie

Wśród sześciu podstawowych elementów pętli nie wszystkie radzą sobie równie dobrze. Wykonania zaplanowane, łączniki, umiejętności oraz pamięć przenoszą się do innych dziedzin z minimalnymi trudnościami. Dwa z nich tak nie robią.

Izolacja jest najważniejsza. Dzięki worktree’om git dla poszczególnych sesji Spotify może uruchamiać dziesiątki sesji agentów równolegle na jednym kodzie bez ryzyka uszkodzenia danych przez te agenty. Jego wewnętrzne środowisko rozwoju oparte na agentach, Xirp, odnotowało ponad 36 000 sesji przeprowadzonych przez tysiące inżynierów, a to właśnie worktree zapewnia bezpieczeństwo takiej równoczesności. Księga główna nie posiada git worktree. Agenci korporacyjni zapisują dane do wspólnych systemów rejestrowych, a praca dwóch agentów nad tą samą jednostką w tym samym czasie stanowi incydent dotyczący integralności danych, a nie konflikt fuzji.

Weryfikacja to drugi etap, a zarazem najdroższy. W kodzie pytanie „czy to zadziałało?” jest odpowiadane przez maszynę w ciągu sekund. W procesach biznesowych jest to ocena, której często nie można ustalić, dopóki ktoś jej nie sprawdzi, czasami dopiero pod koniec miesiąca, a czasami dopiero wtedy, gdy zapyta o to organ nadzorczy. Claude Code ocenia wyniki za pomocą oddzielnego modelu, ponieważ samodzielna ocena byłaby zbyt łagodna. To właściwy projekt, a poza kodem jest to element, który musimy stworzyć od zera.

Co mówią dane produkcyjne o awariach

Tutaj dowody przestają być anegdotyczne.

Telemetria Foundry, obejmująca 6 259 uruchomionych agentów i około 4,5 miliona prób, pokazuje, że skuteczność zadań w rzeczywistych warunkach wynosi 56,6%, co o około 37 punktów jest poniżej standardowych wyników. Powtarzanie sytuacji pogarsza sprawę, a właśnie to robi pętla. W testach tau-bench agenty, które osiągają około 60% skuteczności przy jednej próbie, spadają do około 25%, gdy muszą odnieść sukces osiem razy z rzędu.

Dane z analizy potwierdzają to: 46% projektów typu proof of concept trafia do fazy produkcji, 14% jest wdrażanych w całej organizacji, a około 5% przynosi mierzalny wpływ na zyski i straty. Gartner przewiduje, że do końca 2027 roku ponad 40% projektów opartych na sztucznej inteligencji zostanie anulowanych.

Sama erozja nie jest tym interesującym elementem. Interesujące jest to, gdzie występują błędy. Gromadzą się one w „szwach” systemu: przy przenoszeniu danych między poszczególnymi etapami, przy nieuporządkowanych danych wejściowych oraz w niezauważonych lukach w monitorowaniu, a nie w samej zdolności modelu. To właśnie w tych trzech obszarach kompilator zidentyfikowałby problem w pętli programistycznej, natomiast w pętlach używanych w przedsiębiorstwach nie ma automatycznego narzędzia do oceny.

Kolejna liczba pochodzi z ankiety LangChain przeprowadzonej wśród ponad 1300 specjalistów: 89% zespołów używających agentów posiada mechanizmy umożliwiające obserwację działania systemu, jednak tylko 52% przeprowadza oceny offline, a 37% – online. Prawie wszyscy obserwują, ale niewielu ocenia. Pętla, która jest obserwowana, ale nie oceniana, nie poprawia się sama. Tworzy więcej tego, co już wcześniej wytwarzała, szybciej, przy czym panel sterowania potwierdza, że nadal działa.

Co baza kodu daje pętli za darmo

Każdy, kto przenosi pętlę z IDE do procesu biznesowego, powinien wziąć pod uwagę cztery aspekty, które git i kompilator dostarczają bezpłatnie, oraz to, ile kosztuje każdy z nich, gdy praca nie polega na pisaniu kodu.

1. Orakul. Testy i kompilator zwracają informację o powodzeniu lub niepowodzeniu przy każdym uruchomieniu, w ciągu kilku sekund i bez żadnych opłat. Poza kodem nie istnieje żaden domyślny orakul. Musisz go stworzyć, budując oznaczone zestawy do oceny, co oznacza konieczność podjęcia decyzji przez osobę odpowiedzialną o tym, co oznacza „poprawne” w kilkuset rzeczywistych przypadkach, zanim pętla będzie mogła działać bez nadzoru. Ten element kosztów jest często pomijany, a to właśnie on decyduje o tym, czy pętla będzie funkcjonować poprawnie.

2. Odwrócenie działań. Dzięki git revert cofnięcie błędnej operacji nie kosztuje nic, a to właśnie ta cecha sprawia, że autonomiczny agent programistyczny jest do przyjęcia. Wysłany e-mail pozostaje wysłany, podobnie jak opublikowany wpis w dzienniku lub złożona reklamacja. Gdy błędy wiążą się z kosztami, pętla potrzebuje punktu kontrolnego przed wykonaniem działania, a nie naprawy po nim, a decyzja o tym, gdzie umieścić ten punkt kontrolny, jest kwestią architektury.

3. Izolacja. Drzewo robocze umożliwia wielu agentom pracę w jednym repozytorium bez konfliktów. Systemy rejestru nie posiadają takiej możliwości, dlatego izolacja musi być zapewniona poprzez ograniczone uprawnienia, blokowanie na poziomie poszczególnych jednostek lub warstwę przejściową, w której agent zapisuje dane, zanim dotrą one do rzeczywistego systemu.

4. Pochodzenie. Każda zmiana w kodzie to różnica wersji z podanym autorem i historią, którą można przejrzeć miesiące później przez osobę, która nie brała udziału w pracach. Pętle korporacyjne często działają poprzez wspólny konto usługowe, co sprowadza całą ścieżkę działań do stwierdzenia „zrobiła to integracja”. Przy obowiązywaniu od 2 sierpnia 2026 roku rozporządzenia UE w sprawie sztucznej inteligencji jest to coś więcej niż tylko uciążliwość operacyjna.

Nazwijmy to problemem wolnego weryfikatora: ekonomika projektowania pętli zależy od czterech form wsparcia, które pokrywa wyłącznie baza kodu.

Test orakula

Przed jakąkolwiek pracą nad architekturą należy wykonać jeden krok.

Należy określić, co potwierdzi ukończenie pracy oraz kto za to zapłaci. Jeśli na obie te pytania nie można odpowiedzieć w jednym zdaniu, to, co budujemy, to nie pętla – to proces, który trwa wiecznie pod etykietą autonomii.

Człowiek może być odpowiedzią. Przeglądanie co tydzień próbki 30 przypadków przez doświadczonego eksperta ds. roszczeń stanowi wiarygodne źródło informacji, a wiąże się to z określoną ceną. Twierdzenie, że agent sam się sprawdza, nie spełnia wymagań. Laboratoria już na to natrafiły, co tłumaczy, dlaczego Claude Code używa oddzielnego modelu do oceny.

Sekwencja, która wytrzymuje próbę czasu

Dla zespołów tworzących frameworki agentowe w dużych przedsiębiorstwach taka kolejność zazwyczaj przetrwa kontakt z rzeczywistością.

Wybierz proces pracy najbliższy fazy wdrożenia. Zanim dodasz jakąkolwiek strukturę pętli, zapisz odpowiedź źródła informacji na jednej linii. Jeśli zajmie to więcej niż jedno zdanie, proces pracy nie jest gotowy, a żadna orkiestracja tego nie zmieni.

Następnie ustaw zakres swojej oceny w odniesieniu do podziału 89/37. Jeśli masz panele sterowania, ale brakuje ocen online, to masz w rzeczywistości zlecenie typu cron oraz rachunek za monitorowanie, a nie pętlę. Dodaj jednego oceniającego do ścieżki wypuszczenia danego procesu i daj mu uprawnienia do blokowania. Oceniający bez tych uprawnień jest jedynie narzędziem do generowania raportów.

Wreszcie traktuj te cztery formy dotacji jako pozycję budżetową, a nie przypis do projektu. Każda z nich, którą baza kodu dostarcza za darmo, staje się prawdziwą pracą inżynierską, gdy praca ta nie polega już na pisaniu kodu, a ignorowanie tego wyjaśnia większość różnicy pomiędzy 46% projektów, które trafiają do produkcji, a 5% wykazującymi wpływ na zysk i straty.

Pętla nie jest źródłem trudności. Trudnością jest to, co decyduje o zakończeniu pracy, mimo że kod nigdy nie zmuszał cię do jej wykonania.

Literatura pokrewna