Pięć poziomów projektów inżynierii sztucznej inteligencji, od chatbotów po agenty samodoskonalące się.

Kierownicy rekrutacji do stanowisk związanych z inżynierią AI widzą wciąż to samo portfolio: chatbota o ładnym interfejsie. Różnica pomiędzy tym a tym, co faktycznie tworzą zespoły pracujące nad produktami takimi jak Claude Code i Codex, wydaje się ogromna, ale przejście od jednego do drugiego odbywa się według dość jasnej sekwencji pięciu poziomów. Wiedza o tym, na którym poziomie znajduje się dany projekt, pokazuje, co należy zbudować dalej, a wielu ludzi utyka w rozwoju, ponieważ ciągle tworzą kolejne projekty na pierwszym poziomie.

Poziom 1: model za prostym interfejsem

Na dole projekt wywołuje API modelu językowego (zwykle OpenAI lub Anthropic) i umieszcza przed nim coś prostego, jak aplikację Streamlit. Może to być chatbot odpowiadający na pytania klientów lub mała funkcja podsumowująca artykuły. Występuje tu również projektowanie promptów, chociaż te prompty zazwyczaj nie są śledzone ani testowane. Może być też ustrukturyzowany wynik, kilka testów weryfikujących poprawne przetwarzanie danych oraz logika awaryjna na wypadek błędów modelu.

Początkujący może to opanować, oglądając bezpłatne tutoriale, aby dowiedzieć się, jakie narzędzia istnieją i jak się one łączą, a następnie poświęcić weekend na rozwiązanie osobistego problemu, na przykład stworzenie asystenta do planowania posiłków.

Ograniczeniem jest to, że działa tylko wtedy, gdy akurat się uda. Wyzwania nie są wersjonowane, więc nie da się stwierdzić, czy jakaś zmiana przyniosła korzyść. Nie ma żadnych wskaźników jakości wyników. Bot zna jedynie to, na czym został wyszkolony, oraz informacje znalezione w internecie, co pomija kontekst posiadany przez twoją firmę.

Poziom 2: wyszukiwanie i ocena

Gdy te ograniczenia zaczynają stanowić problem, znajdujesz się na poziomie 2. Załóżmy, że ktoś prosi o system, który może korzystać z wewnętrznej dokumentacji zespołu. Rozwiązaniem jest generowanie wzbogacone o wyszukiwanie, które umożliwia modelowi korzystanie z wewnętrznej bazy wiedzy.

Podłączenie RAG to łatwa część. Trudniejsze jest ustalenie, czy odpowiedzi są poprawne, a jeśli nie, znalezienie przyczyny. Wymaga to znajomości sposobów dzielenia dokumentów na fragmenty, ich umieszczania w bazie danych wektorowej oraz wyboru odpowiedniej metody wyszukiwania, która pokaże właściwe fragmenty dla nowego pytania. Oznacza to również konieczność opracowania metryk oceny specyficznych dla każdego komponentu oraz całego systemu. Trzeba wybrać odpowiednie wskaźniki, wiedzieć, co stanowi dobre rozwiązanie, i sprawdzić, czy odpowiedzi odpowiadają potrzebom klienta.

Aby przejść na poziom 1, weź bota konwersacyjnego, który już stworzyłeś, i połącz go z czymś, czego model nigdy wcześniej nie widział. W przypadku trenera żywieniowego może to być twój własny dziennik jedzenia lub ulubione przepisy rodzinne. Gdy to uda ci się zrealizować, będziesz mógł zadawać pytania dotyczące własnych danych, otrzymywać dostosowane odpowiedzi i mieć pewność, że system jest dokładny.

Następnie pojawia się kolejny problem: sprawienie, by sztuczna inteligencja coś zrobiła z tą informacją.

Poziom 3: agenci

Na poziomie 3 system podejmuje działania zamiast tylko odpowiadać. Agent to model, który może korzystać z narzędzi i podejmować decyzje. Podajesz mu cel, a on działa w pętli: decyduje, działa, sprawdza wynik, wybiera następny krok i powtarza to aż do zakończenia. Jego narzędzia mogą przeszukiwać internet, wywoływać API, uruchamiać kod lub aktualizować bazę danych. Agent badawczy może czerpać informacje z dziesiątek źródeł, aby pomóc w napisaniu raportu, natomiast agent obsługi klienta może sprawdzać zamówienia i samodzielnie przetwarzać żądania.

To jest bez wątpienia najbardziej fascynująca, a jednocześnie jedna z najbardziej ryzykownych części inżynierii sztucznej inteligencji obecnie. Każda nowa funkcja, którą wprowadzamy, to kolejne źródło możliwych błędów. Na poziomie 2 ocena polegała na przyznaniu punktów jednej odpowiedzi. Teraz musimy oceniać serię decyzji, a jeden błąd na dowolnym etapie może zaszkodzić całej kolejności działań. Konsekwencje są realne, gdy agent ma dostęp do naszej karty kredytowej, kodu lub e-maila, więc stawki są z natury wyższe.

Praktyczny sposób, by to zrozumieć: bot na poziomie 2, który daje złą odpowiedź, marnuje minutę czasu kogoś. Agent na poziomie 3, który błędnie zinterpretuje instrukcję, może wysłać niewłaściwy e-mail, obciążyć złą kartę lub dostarczyć uszkodzony kod, a nikt tego nie zauważy, dopóki szkoda się nie pojawi.

Agent, który radzi sobie z tym odpowiedzialnie, może wykonywać zadania wieloetapowe od początku do końca, oszczędzając godziny pracy. Aby przejść z poziomu 2, należy dać istniejącemu systemowi prawdziwy zestaw narzędzi, ale na początku utrzymać go w trybie tylko do odczytu. Agent mógłby przeszukiwać dzienniki posiłków, korzystać z kalkulatora żywieniowego i wyszukiwać informacje w internecie, bez możliwości zmiany czegokolwiek. Następnie należy sprawić, by te narzędzia współpracowały ze sobą, zapewniając jednocześnie możliwość monitorowania ich działania. Dopiero po udowodnieniu niezawodności i bezpieczeństwa agenta należy przyznać mu większe uprawnienia.

Nadal istnieje luka pomiędzy agentem, który pomaga użytkownikowi lub służy jako narzędzie wewnętrzne, a systemem wieloagentowym, na którym mogą polegać miliony ludzi.

Zamknięcie tej luki oznacza myślenie poza kwestią tego, czy agent działa na laptopie użytkownika. Musi nadal funkcjonować, gdy jednocześnie przychodzi tysiące zapytań, a użytkownicy robią rzeczy, których nikt nie planował.

Poziom 4: systemy na skalę przedsiębiorstw

To jest obszar związany z rolami, które rzekomo przynoszą dochód powyżej 300 000 dolarów rocznie. Zamiast jednego agenta zajmującego się wszystkim, specjalizowani agenci przekazują sobie zadania. Jeden analizuje zapytanie i kieruje je dalej, inni zajmują się poszczególnymi częściami, a jeszcze inny sprawdza pracę przed jej wysłaniem. W takim systemie wsparcia może być jeden agent odpowiedzialny za triaging i kierowanie zgłoszeniami, odrębni agenci ds. fakturowania i techniczni, którzy zajmują się swoimi zadaniami, oraz ostatni agent sprawdzający całą odpowiedź przed jej pokazaniem klientowi – wszystko to działa jednocześnie dla milionów osób.

Koordynacja zespołu agentów to zupełnie inna sprawa niż zarządzanie pojedynczym agentem. Każdy dodany agent to kolejny element, który może zawieść; błąd jednego agenta bezpośrednio wpływa na następnego, a ponieważ wszystko to odbywa się przed klientami, złe odpowiedzi są widoczne dla publiczności i wiążą się z dużymi kosztami.

Przegląd bazy kodu Claude Code pokazał, że sama sztuczna inteligencja stanowi zaledwie niewielką jej część. Prawie wszystko inne to elementy nośne, które zapewniają niezawodność produktu.

Modele to to, o czym wszyscy mówią, jednak wiele godzin pracy na tym poziomie poświęca się na drobne kwestie techniczne: próby ponowne, uprawnienia, logowanie, obsługę stanu oraz mechanizmy zapobiegające rozprzestrzenianiu się błędów. Większość pracy na tym poziomie dotyczy więc agentów: śledzenia działań, aby można było zobaczyć, co każdy agent zrobił w momencie wystąpienia problemu; zabezpieczeń, które uniemożliwiają oszukanie agenta w celu wycieku danych; oraz kontroli kosztów i opóźnień, oprócz promptów, technologii RAG oraz procesów oceny z wcześniejszych poziomów.

Aby poćwiczyć skok z poziomu 3, podziel zespół doradcy żywieniowego na małe grupy. Jeden pracownik planuje posiłki, inny tworzy listę zakupów (a może nawet zamawia produkty), a osoba sprawdzająca analizuje plan przed jego ujawnieniem. Następnie spróbuj celowo go zakłócić: włącz fałszywy składnik do planu i zobacz, czy osoba sprawdzająca to wykryje, czy pozwoli na to przejść. Część dotycząca milionów użytkowników jest czymś, co realizujesz tylko w praktyce zawodowej, ale nadal możesz stworzyć coś, co może się skalować, korzystając z usług chmurowych i od samego początku myśląc o kosztach i niezawodności. To właśnie zespoły pracowników, które radzą sobie w skali dużych projektów, stanowią podstawę działalności firm, a ich pensje odzwierciedlają to fakty.

Poziom 5: pracownicy, którzy budują system

Nawet na poziomie 4 inżynierowie stanowią wąskie gardło. Na poziomie 5 usuwa się ich z drogi. To najbardziej zaawansowana praca w tej dziedzinie: zamiast ręcznie budować system, powierza się agentom zadanie jego ulepszenia.

To wykracza poza używanie agentów programistycznych do pisania kodu, co ma miejsce na każdym poziomie, oraz poza rozwój oparty na specyfikacji, w którym agent realizuje to, co zostanie opisane. Najlepsze zespoły tworzące Claude Code i Codex nie kierują już agentami przy każdej zmianie. Budują systemy, które same się ulepszają, wykorzystując cykl, w którym agent analizuje wydajność, proponuje zmianę, ją wprowadza, sprawdza, czy przyniosła korzyść, a następnie zachowuje ją lub odrzuca, i powtarza ten proces przez godziny lub dni bez udziału człowieka.

Dwa punkty danych wskazują, gdzie to się znajduje. W jednym projekcie Andreja Karpathy’ego pojedynczy agent samodzielnie przeprowadził około 700 eksperymentów w ciągu dwóch dni i znalazł dwadzieścia sposobów na przyspieszenie treningu modeli. Anthropic stwierdził, że większość kodu łączonego z ich bazą kodową jest teraz pisana przez Claude’a.

Cały ten cykl zależy od tego, by agent za każdym razem poprawnie oceniał własną pracę, bez żadnej kontroli, a to jest trudne. Jeśli ocena będzie choćby nieznacznie błędna, agent nie poprawi produktu. Znajdzie wadę w systemie oceniania i ją wykorzysta, uzyskując wysoką ocenę, podczas gdy rzeczywisty produkt pogarsza się w sposób, którego nikt nie pomyślał o zmierzeniu.

Zatem umiejętności wymagane w tym obszarze są poważne. Trzeba zaprojektować system oceny, w którym agent nie może oszukiwać, oraz powiązać jego wyniki z tym, co sprawia, że produkt jest dobry, aby nie mógł po prostu uzyskać łatwego wyniku. Należy monitorować wszystko, ponieważ nie można obserwować procesu na żywo i można jedynie analizować ślady pozostawione po nim. Musi się też dokładnie wiedzieć, gdzie człowiek nadal musi interweniować. Nawet najlepsze zespoły nie pozostają całkowicie biernymi – ludzie wybierają problemy, projektują systemy oceny i zatwierdzają to, co trafia do produkcji.

To nie jest poziom, który można osiągnąć po kilku tygodniach samokształcenia. Każda umiejętność wymaga lat pracy z systemami produkcyjnymi, obserwowania ich awarii i dalszego doskonalenia.

Rozumowanie jest proste. Można przeczytać o oszukiwaniu systemów motywacyjnych w ciągu popołudnia, ale aby zauważyć moment, gdy własna metryka jest wykorzystywana, trzeba zobaczyć to w praktyce na czymś ważnym, a następnie ponownie opracować system pomiarowy, aby był wiarygodny.

Większość ludzi nie potrzebuje poziomu 5. Wiele zadań związanych z sztuczną inteligencją w praktyce wymaga poziomu 2 lub 3, a czasami wystarczy dobrze sformułowane polecenie wraz z prostą oceną, aby stworzyć coś przydatnego. Inżynierowie są zatrudniani po to, by być użyteczni, a nie efektowni.