Twoje narzędzie do zarządzania agentami jest prawdopodobnie nadmiernie skomplikowane: co należy usunąć.
Twój zestaw do pracy z modelem jest prawdopodobnie nadmiernie skomplikowany. W miarę udoskonalania się modeli takie elementy stają się bezużytecznym obciążeniem. Jak narasta nadmiar informacji w recenzjach i koszty związane z kontekstem oraz co należy usunąć.
Gdy agenci stają się inteligentniejsi, przydatna praca przenosi się w kierunku usuwania z nich niepotrzebnych elementów. To stoi w sprzeczności z większością działań podejmowanych przez zespoły w ciągu ostatniego roku, polegających na dodawaniu kolejnych umiejętności i funkcjonalności.
Prawie cały postęp osiągnięty dotychczas w dziedzinie agentów wynika z użycia ram wspierających: kroków planistycznych, pętli weryfikacyjnych, umiejętności, pamięci oraz mechanizmów połączeniowych. Gdy modele były słabsze, miało to sens, ponieważ te ramy kompensowały to, czego model nie mógł zrobić sam. Problem polega na tym, że nikt ich nie usuwa, gdy model nadrobi zaległości. Pojawia się ograniczenie, buduje się rozwiązanie tymczasowe, a to rozwiązanie pozostaje na zawsze. Jest to dług techniczny specyficzny dla agentów, który często pogarsza wyniki.
Gdy ramy wspierające walczą z modelem
Rozważmy konfigurację dostosowaną do 4,5 i 4,6 generacji danej rodziny modeli. Planowała, sprawdzała własną pracę i przeprowadzała dodatkowe rundy analizy przed udzieleniem odpowiedzi, co wtedy było rozsądnym rozwiązaniem. Gdy przeniesiemy tę samą konfigurację do nowszej generacji, zaczyna działać przeciwko nam. Model i tak rozumuje w ten sposób bez żadnych instrukcji, a mimo to narzędzie nadal każe mu wątpić we własne decyzje, sprawdzać wszystko i zaczynać od nowa. Planuje, a potem ponownie analizuje swój plan. Wykonuje zadanie, a następnie kwestionuje to wykonanie. Weryfikuje informacje, a potem spiera się z wynikami weryfikacji. Wkrótce agent utknąć w paraliżu analitycznym i traci zasoby na kwestionowanie decyzji, które w rzeczywistości były w porządku. To jeden krok do przodu i jeden krok w tył – coraz więcej rozumowania nie przynosi lepszej odpowiedzi, a czasami nawet gorszej.
Do tej pory to było tylko wrażenie, więc oto coś mierzalnego. Jeden inżynier przechowuje szablon przeglądu przed wdrożeniem, który jest edytowany od miesięcy. Zaczynał się od 22 linii, a teraz ma 37 – liczba rodzajów przeglądów wzrosła z dwóch do trzech. Nic nigdy nie zostało usunięte. Każda dodatkowa linia to nowa zasada, a każda z nich powstała, ponieważ w jakimś pull request faktycznie wystąpił problem. Z wewnątrz właśnie tak wygląda chaos. Dobre intencje powodują, że system staje się coraz bardziej przeciążony. Każda zmiana rozwiązywała rzeczywisty problem w dniu jej wprowadzenia, ale brakuje drugiego kroku: nikt później nie sprawdza, czy ta zasada nadal się opłaca. Nikt nie ostrzy siekiery.
Anthropic napotkało ten sam problem. W swoim artykule inżynieryjnym z kwietnia 2026 roku na temat skalowania zarządzanych agentów stwierdzono, że narzędzia typu harness kodują założenia dotyczące tego, czego model nie może zrobić samodzielnie, a te założenia stają się przestarzałe w miarę doskonalenia się modeli. Jako przykład podano Sonnet 4.5, który zakończał pracę wcześniej, gdy wykrywał zbliżanie się limitu kontekstu – zachowanie to określono jako lęk przed kontekstem. Aby temu zaradzić, dodano funkcję resetowania kontekstu. W przypadku Opus 4.5 to zachowanie zniknęło, a funkcje resetowania stały się bezużyteczne.
Z tego wynika praktyczna zasada: gdy pojawia się nowy model, należy najpierw poprosić go o przeanalizowanie istniejących narzędzi typu harness przed przyjęciem nowych zadań.
Prośba o dodatkową analizę po cichu zmniejsza ilość dostępnych informacji, a dzieje się to częściej, niż ludzie przypuszczają.
Przegląd kodu dobrze to ilustruje. Wskazujesz agentowi jakiś kod i prosisz go o znalezienie problemów, a on właśnie je zwraca. Niektóre z nich są istotne, inne to drobne uwagi dotyczące stylu, hipotetyczne przypadki krawędziowe lub stwierdzenia technicznie prawdziwe, ale nieistotne. Agent tu nie zawodzi, ponieważ poprosiłeś o problemy, a on je dostarczył. Niektóre zalecenia są po prostu błędne, co stanowi jego własny problem, ale najdroższe w utrzymaniu to te, które są poprawne, ale nieważne.
Problemy pojawiają się, gdy się gromadzą. Gdy jest dziesięć prawdopodobnych problemów, pytanie przestaje brzmieć, czy każdy z nich jest trafny, a staje się, które z nich są istotne. Dlatego system przeglądów może jednocześnie dostarczyć ci więcej informacji i mniej istotnych sygnałów.
Rzeczywisty przypadek ilustruje tę kwestię. W zgłoszeniu proszono o punkt końcowy zwracający kod 409, ale zamiast tego otrzymano kod 500. Najprostszym poprawnym rozwiązaniem było dodanie dwóch linijek w jednym pliku. Prośba o integrację, która wróciła, dotyczyła 13 plików i prawie 500 linijek w trzech usługach. Duża część z tego stanowiły testy, więc nie wszystko było bezużyteczne, ale objętość zmian była duża. Sześciu specjalistycznych recenzentów przejrzało te zmiany, każdy wykonał swoją pracę i znalazł rzeczywiste problemy, a główny recenzent wdrożył je wszystkie, przez co prośba o integrację znacznie się powiększyła. Człowiek zauważył tę nadmiarowość, napisał dwulinijową poprawkę, a ta wersja została połączona. Nadmierna wersja została zamknięta.
Żaden z recenzentów nie poniósł porażki. Trzynaście plików to nigdy nie jedna decyzja – to trzynaście uzasadnionych decyzji, których nikt nie połączył. Każdy recenzent sprawdzał, czy kod jest poprawny, ale nikt nie pytał, czy w ogóle powinien istnieć.
Odrzucenie recenzenta nie było rozwiązaniem. Zamiast tego zespół dał nowemu recenzentowi przeciwną instrukcję: traktować różnice jako coś, co prawdopodobnie nie powinno istnieć, i kazać autorowi bronić każdego pliku, aby go zachować. Domyślnym ustawieniem było CUT. Pokazuje ono pojedynczy wskaźnik – liczba złożonych plików w porównaniu z minimalną wymaganą liczbą – a ten jeden wynik wskazuje, czy zmiana ma odpowiedni rozmiar.
Analiza masowa nie kosztuje nic. Kluczowym elementem jest sygnał, a lepszy model nie udostępnia go za darmo.
Anthropic również napotkał ten problem. Ich wpis z marca 2026 roku na temat projektowania narzędzi do aplikacji działających przez długi czas wyjaśnia, dlaczego agent kodujący i jego oceniający zostały rozdzielone. Gdy agentom prosi się o ocenę własnych prac, mają tendencję do pewnego siebie chwalenia ich, nawet jeśli człowiek uznałby ich jakość za po prostu przeciętną. Odrębnego oceniającego można poprosić o sceptycyzm, podczas gdy agent samodzielnie dokonujący oceny nie może tego zrobić. Jednak stopień wartości tego oceniającego zależał od zadania – przy łatwych pracach stawał się on tylko obciążeniem, natomiast przy trudniejszych nadal przynosił rzeczywistą korzyść.
Różnica pomiędzy agentem zajętym a przydatnym powiększa się, gdy agent działa przez cały dzień.
Agent ciągle aktywny nie powinien cały czas myśleć
Weź agenta stworzonego do rotacji personelu na dyżurze. Śledzi kanały inżynieryjne i wydobywa wszystko, co osoba na dyżurze powinna usłyszeć. Te kanały są bardzo aktywne, a żaden człowiek na zmianie nie czyta ich wszystkich, więc agent działający przez całą dobę może zauważyć to, co umknie uwadze człowieka.
Pierwsza wersja była przesadnie rozbudowana: narzędzia do okien konserwacyjnych, możliwość introspekcji usług, zapytania dotyczące polityki eskalacji oraz podręcznik określający, kiedy używać poszczególnych elementów. Twórca nazwał to „on-call maxxing” i przerwał prace w połowie. Rzeczywiste wymagania dotyczyły dwóch rzeczy: szybkiego potwierdzenia incydentów, aby nikt nie otrzymywał powiadomień, oraz stałego nadzoru nad kanałami, aby prawdziwy problem został szybko zauważony. Do potwierdzenia wystarczał jeden polecenie bez argumentów. Reszta nie wnosiła żadnej wartości i została usunięta.
Niedługo potem ten sam błąd pojawił się na niższym poziomie, w samej architekturze. Timer uruchamiał pętlę co dziesięć minut podczas każdej zmiany, a jedna sesja nadal zbierała dane kontekstowe. Każdy przepływ danych oznaczał więc ponowne odczytanie coraz dłuższego transkryptu, który był rozliczany jako odczyty z pamięci cache Opus; pod koniec zmiany jego długość przekroczyła 150 tysięcy tokenów. W całym okresie pomiarowym liczba tokenów odczytanych z pamięci cache wyniosła według doniesień 2,1 miliarda, co przy ustalonych przez zespół cenach odpowiadało około 1050 dolarów. Plan o stałej cenie oznaczał brak bezpośredniego rachunku, ale tygodniowy limit był wyczerpywany nawet po dodaniu promocji zwiększającej go o 50 procent. Śledzenie zużycia wskazało bezpośrednio na winowajcę.
Więcej szczegółów w instrukcjach nie było rozwiązaniem – potrzebny był zupełnie inny projekt. Przy każdym przetworzeniu pętla tworzy teraz krótkotrwałego agenta Sonnet, którego zadanie jest proste: czytać wszystko nowe, zapisywać datę ostatniego widzenia każdego kanału w małym pliku i zwracać jedną linię tekstu. Ponieważ sesja samej pętli pozostaje prosta, drogi model uruchamia się tylko wtedy, gdy ten prostszy nie jest już w stanie poradzić sobie z zadaniem. W kodzie to oznaczało usunięcie 79 linii kodu oraz całego komponentu. Kolejna zmiana przebiegła bez pominięcia żadnych ważnych elementów, a nadzór trwa nadal.
Prognozowano, że koszt rutynowej iteracji spadnie z około 0,25 dolara do około 0,03 dolara. Porównanie 433 iteracji starego projektu z całym cyklem pracy nowego projektu dało właściwy stosunek w innej skali: około 1,85 dolara za iterację wcześniej i około 0,19 dolara później, czyli mniej więcej dziesięć razy taniej. Charakter problemu został prawidłowo oceniony, natomiast jego rozmiar został niedoszacowany.
Podobnie jak w przypadku kosztów, nie to było przyczyną problemu. Pierwotny projekt już wykorzystywał tani model, Haiku, do rzeczywistego odczytu kanału, a jego udział w odczytach z pamięci cache wynosił mniej niż 1 procent. Koszt powstawał przy ponownym odczytywaniu przez sesję nadrzędną swojego rosnącego zapisu przy każdym przetworzeniu. Tani model wykonywał pracę, natomiast droższy musiał ją odczytywać od nowa.
Można wyciągnąć z tego dwie lekcje. Po pierwsze, upewnij się, że droższy model nie powtarza pracy, którą już wykonał tani model. Po drugie, przy zadaniach wykonywanych często, o niskim stopniu ryzyka, lepszy model prawie nic nie daje, a jego wartość objawia się dopiero przy rozwiązywaniu złożonych incydentów produkcyjnych. Najmądrzejszy model nie musi być tym najczęściej używanym.
Kontekst nie jest darmowy
Chęć nadmiernego projektowania rośnie wraz ze wzrostem rozmiaru okien kontekstowych. Gdy kontekstu było mało, wybór był przymusowy. Teraz łatwo traktować kontekst jak magazyn: wrzuca się do niego rozmowy, dokumenty, opisy narzędzi, historię oraz każdą umiejętność, która może pomóc, a następnie pozwala modelowi to uporządkować. Model nie postrzega kontekstu jako magazynu – wszystko to stanowi część problemu, który należy rozwiązać. Każda instrukcja to kolejna rzecz do zinterpretowania, a każde narzędzie – kolejna rzecz, do której może sięgnąć. Mądrzejszy agent, podobnie jak mądrzejsza osoba, potrzebuje większej koncentracji, a nie większej ilości danych wejściowych.
To rodzi pytanie skierowane do każdego agenta: co można dodać, nie pogarszając sytuacji? Zamiast tworzyć kolejną umiejętność, lepiej usunąć jedną. Działaj z mniejszą ilością kontekstu, niż uważasz za bezpieczne. Usuń pętlę weryfikacji. Sprawdzaj wyniki w wolniejszym tempie. Pozwól wtedy wynikom mówić same za siebie. Jeśli nic się nie pogorszy, agent stał się tańszy bez żadnych kosztów i prawdopodobnie lepszy, ponieważ model musi przetwarzać mniej danych. Jeśli sytuacja się pogorszy, dowiedziałeś się, że dana umiejętność nie pasuje do tego modelu.
Od maksymalizacji wszystkiego do inżynierii agentów
U podstaw tego wszystkiego leży jeden nawyk. Zespoły stały się doskonałe w maksymalizowaniu wszystkiego: większej liczby tokenów, kontekstu, umiejętności, narzędzi, pamięci, elementów łączących, procesów rozumowania, weryfikacji oraz podagentów. Dodawanie coraz więcej elementów wydaje się postępem, ponieważ system staje się coraz bardziej złożony, ale złożoność i użyteczność to nie synonimy. W pewnym momencie otaczamy agenta biurokracją, a biurokracja zazwyczaj jest marnotrawstwem.
Pomyśl o każdym elementie zestawu jako o hipotezie, na przykład:
- To umiejętność sprawia, że agent pisze lepszy kod.
- Ten element łączący zapobiega prawdziwym błędom.
- Kolejna weryfikacja pozwoli wykryć błędy, których nie zauważył główny agent.
- Więcej podagentów pozwoli szybciej wykonać pracę.
To, co brzmi przydatnie, to jedynie domysł dotyczący twojego systemu, a nie fakt. Nie da się uniknąć nudnej części, czyli eksperymentowania – należy uruchomić proces z daną umiejętnością i bez niej, a także z elementem hook i bez niego, po czym dokonać pomiarów.
W artykule o projektowaniu systemów wspierających od Anthropic bezpośrednio formułuje się tę zasadę: każdy komponent takiego systemu zawiera domysł na temat tego, z czym model nie może sobie poradzić sam, a te domysły powinny być poddawane testom obciążeniowym. Ich zespół stworzył skomplikowany system, który funkcjonował, a następnie stopniowo usuwał z niego poszczególne elementy, aby sprawdzić, które są kluczowe. Zrezygnowano z podziału na sprinty, ponieważ dzięki ulepszeniom w Opus 4.6 istniały solidne powody, by sądzić, że model może samodzielnie wykonać tę pracę.
To uczy więcej niż hasło, że zwyciężają proste agenty. Traktuj zestaw narzędzi jako coś, co należy mierzyć i dostosowywać. Niektóre elementy stają się niepotrzebne, inne pozostają, ponieważ model nadal nie potrafi wykonać tego zadania. Usunięcie komponentu i udowodnienie, że nikt tego nie zauważył, jest trudniejsze niż jego dodanie, i to właśnie stanowi granicę pomiędzy maksymalizowaniem wszystkiego a inżynierią agentów. Pierwszy podejście polega na maksymalizowaniu tego, co robi system, natomiast drugie – na maksymalizowaniu użytecznego sygnału za każdy wydany token.
Wyostrz siekierę
W miarę doskonalenia się modeli rośnie lista rzeczy do usunięcia. Zadania, które wcześniej wymagały dodatkowych narzędzi, stopniowo stają się możliwe do wykonania bez nich, pętle recenzji przestają usprawiedliwiać swój koszt, a część tego, co wydawało się fundamentalne, okazuje się służyć jedynie naprawie modelu, który już nie funkcjonuje. Praca nad zestawem narzędzi nigdy nie jest zakończona. Zadawaj tylko pytanie, czy dany element nadal poprawia wyniki dla danego modelu i zadania, zmierz to, usuń go i przywróć tylko wtedy, gdy dowody wskazują, że to ma znaczenie.
Jest powiedzenie przypisywane często Lincolnowi, według którego gdyby miał sześć godzin na ścięcie drzewa, spędziłby pierwsze cztery godziny na ostrzeniu siekiery. Ostrze siekierę.
Literatura pokrewna
- Dlaczego asystenci głosowi brzmią jak roboty: kaskady, wykrywanie kolejności i framework TEN — Jak kaskadowe łańcuchy przetwarzania mowy na tekst, sztucznej inteligencji i ponownego przetwarzania tekstu na mowę powodują przerwy i nieprzyjemne interwencje, cztery typy asystentów głosowych oraz jak framework TEN radzi sobie z wykrywaniem kolejności i grafami równoległymi.
- Dlaczego asystenci AI potrzebują warstwy zarządzania, a nie tylko lepszych poleceń — Polecenia wpływają tylko na jedną rozmowę, a nie na cały proces pracy. Jak warstwa zarządzania składająca się z zasad, określonego kontekstu, ograniczeń uprawnień i potwierdzenia ukończenia pracy sprawia, że asystenci AI są niezawodne.