Strona główna / Artykuły

Systemy wielu agentów to systemy backend z elementami niedeterministycznymi.

Systemy produkcyjne wielu agentów promują określone praktyki w warstwie backend: umowy na każdej granicy, polecenia jako konfiguracja, restrykcyjny budżet kontekstu, jeden rol dla każdego agenta oraz możliwość ponawiania prób.

Wydawca: REACTAPP.TOP9 min czytania2167 słów

Źródła: Multi-Agent Systems Are Backend Systems with Non-Deterministic Components

Pochodząc z nauki o danych i uczenia maszynowego, podejście do sztucznej inteligencji opartej na agentach wydaje się znajome na początku. Jeśli spędzimy wystarczająco dużo czasu w produkcyjnym systemie wieloagentowym, przestaje on w ogóle przypominać naukę o danych. Zaczyna przypominać inżynierię backendową, z tą różnicą, że niektóre z komponentów są niedeterministyczne. Patrząc w ten sposób, wiele decyzji projektowych staje się łatwiejszych do zrozumienia.

Celem nie jest eliminacja elastyczności, jaką oferują modele językowe, ponieważ to właśnie ta elastyczność jest powodem ich używania. Celem jest wyznaczenie wokół niej przewidywalnych granic.

Daj każdej granicy umowę

Modele językowe komunikują się tekstowo, więc kusi to, by również części systemu agentowego rozmawiały ze sobą w formie tekstu. Jeden komponent pisze coś, następny to czyta i próbuje zrozumieć intencję.

To funkcjonuje, dopóki interpretacja sama w sobie nie staje się źródłem wątpliwości.

Prośby o wyjaśnienia są dobrym przykładem. Komponent może zauważyć, że brakuje mu informacji, i płynnie to opisać w prozie, ale pozostawić resztę procesu w niepewności. Czy to awaria, czy prośba o wyjaśnienie? Czy proces powinien zostać przerwany? Co dokładnie jest brakujące?

Rozwiązaniem jest dążenie do bardziej wyraźnych, ustrukturyzowanych umów. Zamiast zdania typu „Nie mam wystarczających informacji, by kontynuować – czy mógłbyś zapytać użytkownika, który zestaw danych ma zostać użyty?”, komponenty wymieniają między sobą wiadomość w następującym stylu:

{
  "status": "needs_clarification",
  "question": "Which dataset should be used?",
  "required_input": "dataset"
}

Format JSON ma charakter drugorzędny. Liczy się umowa. Kolejny komponent otrzymuje określony stan o ustalonej strukturze i nigdy nie musi wywnioskowywać intencji z wygenerowanego tekstu.

Interakcja z człowiekiem może przebiegać według tego samego wzorca. Gdy komponent specyficzny dla danej dziedziny potrzebuje dodatkowych danych wejściowych, wysyła uporządkowany wniosek o wyjaśnienie, a oddzielna warstwa interakcji decyduje, jak to przedstawić użytkownikowi. W skrócie:

Domain workflow
  ↓
Structured clarification request
  ↓
User interaction layer
  ↓
User

Zakończenie zadania powinno być traktowane w ten sam sposób. Jeśli ukończenie zadania ma znaczenie dla orkiestracji, powinno stanowić zdefiniowane zdarzenie protokołu, a nie coś, co drugi model musi wywnioskować z fraz takich jak „analiza została zakończona”.

To podejście wykracza daleko poza samo wyjaśnienie i zakończenie. Komunikaty między komponentami, wywołania narzędzi i ich odpowiedzi, błędy oraz zdarzenia orkiestracji – wszystko to korzysta z wyraźnych granic.

Praktyczna zasada: jeśli inny komponent musi interpretować wynik generowanego przez LLM tekstu, ten wynik prawdopodobnie wymaga schematu.

Język naturalny powinien być używany tam, gdzie faktycznie jest potrzebny. Wewnątrz systemu niejednoznaczność zwykle sprawia więcej problemów, niż pomaga.

Traktuj prompty jako konfigurację

Gdy system rośnie, ręczne edytowanie każdego promptu systemowego jako odrębnego bloku tekstu staje się coraz trudniejsze do utrzymania. Zasady współdzielone są kopiowane w kilku miejscach, opisy możliwości zmieniają się z czasem, a prompt odbiega od tego, co faktycznie jest dostępne w czasie wykonywania aplikacji.

Pomaga bardziej deklaratywny sposób konfiguracji. Zasady współdzielone, instrukcje specyficzne dla danej roli, opisy możliwości oraz przykłady znajdują się w oddzielnych elementach i są łączone w ostateczny prompt podczas procesu budowania.

Krok budowania daje również możliwość weryfikacji konfiguracji, zanim model ją zobaczy. Jeśli prompt twierdzi, że dana funkcja jest dostępna, podczas gdy tak naprawdę nie jest ona podłączona, proces budowania powinien to wykryć. To samo dotyczy brakujących niezbędnych sekcji, powtórzonych definicji lub ustawień, które już nie odpowiadają danej roli.

Nikt nie edytuje bezpośrednio końcowego promptu. Jest on tworzony na podstawie mniejszych elementów konfiguracyjnych, weryfikowany, a następnie wydawany jako artefakt budowy, który można wersjonować i odbudowywać według potrzeb.

W tym momencie zarządzanie promptem przypomina znacznie bardziej zwykłą konfigurację oprogramowania niż proces pisania. Wykorzystuje się ponownie wspólne elementy, weryfikuje to, co da się sprawdzić przed uruchomieniem, oraz zapewnia spójność wygenerowanego wyniku z otaczającym systemem.

Kontekst to rodzaj budżetu

Duże okna kontekstowe ułatwiają dodawanie coraz więcej treści: instrukcji, przykładów, historii, opisów możliwości, artefaktów, wcześniejszych wyników. W końcu model ma już wszystko, czego mógłby potrzebować, a czasami zaczyna działać gorzej.

Oczywistym wyjaśnieniem jest długość tekstu, jakby model po prostu o czymś zapomniał. Jednak w przypadku obecnych modeli częściej przydatniejszym punktem widzenia jest rozcieńczenie instrukcji.

Skuteczny kontekst agenta jest znacznie większy niż jego prompt systemowy:

instructions
+ available capabilities
+ examples
+ conversation history
+ artifacts
+ previous outputs
+ workflow state

Model może doskonale odnaleźć określoną instrukcję gdzieś w tym wszystkim. Nie oznacza to jednak, że będzie równie dobrze przestrzegać każdej instrukcji, gdy kilka sygnałów konkuruje o jego uwagę.

Dlatego bardziej użyteczne staje się pytanie o to, jak mało kontekstu faktycznie potrzebuje dany komponent, w odróżnieniu od tego, ile model technicznie może przyjąć.

Chodzi tu o coś więcej niż tylko oszczędność tokenów. Mniejszy, bardziej istotny kontekst zawęża przestrzeń decyzyjną i ułatwia przewidywanie zachowania. Każdy dodatkowy element kontekstu konkuruje o uwagę modelu – nie istnieje bezkosztowo.

Jeden agent, jedna rola

Liczba narzędzi okazuje się słabym wskaźnikiem decydującym o tym, kiedy należy podzielić agenta. Jeden agent może posiadać wiele ściśle powiązanych umiejętności i nadal mieć jasny cel, podczas gdy inny, mający tylko kilka narzędzi, może już wykonywać kilka niespowiązanych zadań.

Odpowiedzialność stanowi o wiele lepszą granicę podziału. Różne obowiązki zazwyczaj wymagają różnych instrukcji, kontekstu, reguł walidacji oraz polityk radzenia sobie z błędami. To separacja zadań zastosowana do komponentów probabilistycznych.

Dzielmy na podstawie odpowiedzialności i ignorujmy liczbę narzędzi.

Graf przechowuje stan

Optymalizacja promptów przyciąga dużo uwagi w pracy agentów. Stan natomiast otrzymuje mniej uwagi.

Latwo skupić się na rozmiarze promptu i przeoczyć stan grafu. Starannie dostosowany prompt może nadal funkcjonować w kontekście stanu, który przechowuje wyniki i artefakty z kilku poprzednich kroków, chyba że taki stan jest celowo zarządzany.

W orkiestracji opartej na grafach wiadomości, wyniki pośrednie, artefakty oraz wcześniejsze wyjścia gromadzą się w miarę przepływu wykonywania zadań przez graf. Graf pamięta, co jest wygodne, ale oznacza to, że stan wymaga starannego zaprojektowania.

Wielki artefakt stworzony na wczesnym etapie może być używany w późniejszych krokach, które w ogóle nie wymagają jego zawartości. Podobnie jest z dużymi wynikami operacji narzędziowych i wynikami pośrednimi.

W przypadku cięższych artefaktów zazwyczaj lepiej jest przechowywać dane poza grafem. Zamiast tego:

Large artifact
  ↓
Graph state
  ↓
Step
  ↓
Step
  ↓
Step

Zazwyczaj wystarczy coś bliższego temu poniżej:

Large artifact
      ↓
External storage
      ↓
Reference + metadata
      ↓
Graph state

Większość komponentów nie wymaga, aby wszystko zostało przygotowane wcześniej w procesie pracy. Potrzebują jedynie tyle, ile wystarczy do podjęcia następnej decyzji.

Rozmiar komunikatu to tylko jeden aspekt problemu związанego z kontekstem, a stan systemu zasługuje na równie dużą uwagę. Trzeba go aktywnie projektować i nie pozwalać, by stał się miejscem zbierania wszystkiego, co powstaje podczas wykonywania zadań.

Niezawodność to przede wszystkim inżynieria

Nawet przy dobrych umowach, precyzyjnie określonych rolach i starannie zarządzanym kontekście, agenci nadal robią zaskakujące rzeczy. Działanie zawodzi, model wybiera niewłaściwe działanie lub je powtarza, proces pracy kończy się zbyt wcześnie lub trwa znacznie dłużej niż oczekiwano.

Istnieją również przypadki, gdy każdy krok wydaje się sensowny, ale cały proces pracy nie prowadzi do żadnego rezultatu. Model ciągle dokonuje lokalnie poprawnych wyborów, co efektywnie prowadzi do powstania pętli.

Pierwszym odruchem, szczególnie u osób, które zaczęły korzystać z dużych modeli LLM na początku 2023 roku, jest naprawa takich problemów w instrukcjach wysyłanych do modelu. Czasami to działa. Jednak większość mechanizmów zapewniających niezawodność, które ostatecznie okazują się konieczne, przypomina zwykłą inżynierię backendową:

  • próby ponowne i limity czasowe
  • ściśłe ograniczenia liczby iteracji oraz wywołań narzędzi w trakcie jednego procesu
  • wykrywanie pętli poprzez obserwację powtarzania się tej samej akcji lub stanu
  • jasno określone stany awarii wraz z ścieżkami naprawczymi

Gdy coś nie powinno się zdarzyć więcej niż określoną liczbę razy, narzucenie takiego ograniczenia jest skuteczniejsze niż dodawanie kolejnego zdania proszącego model o określone zachowanie. Instrukcje są częścią inżynierii niezawodności, ale nie powinny stanowić całej warstwy zapewniającej niezawodność.

Obserwowalność opiera się na tej samej logice. Gdy zwykła prośba do backendu zawodzi, logi i ślad wywołań zazwyczaj pokazują, co się stało. W przypadku pracy z agentami samo wiedzenie, gdzie doszło do błędu, często nie wystarcza.

Należy odtworzyć proces, który doprowadził do tego stanu: wybraną ścieżkę, podjęte działania, użyte argumenty oraz uzyskane wyniki. Podczas debugowania pętli interesującą często nie jest ostateczny błąd, lecz seria decyzji, które sprawiały, że wykonywanie kodu wracało do tej samej ścieżki.

W systemach opartych na agentach debuguje się zarówno kod, jak i decyzje, dlatego dobra obserwowalność musi umożliwiać odtworzenie ścieżki podejmowanych decyzji.

Wybór modelu to decyzja projektowa systemu

Traktowanie agentów jako komponentów oprogramowania zmienia również sposób wyboru modeli. Nie ma żadnego wymogu, by każdy komponent musiał działać na jednym wspólnym modelu, a wysyłanie ich wszystkich do największego dostępnego modelu jest jeszcze mniej sensowne.

System wieloagentowy naturalnie łączy zadania o zupełnie różnym stopniu trudności. Niektóre wymagają rzeczywistego rozumowania, planowania lub syntezy. Inne polegają głównie na kierowaniu przepływem danych, ich wydobywaniu, klasyfikowaniu, przekształcaniu lub wyborze z małej liczby dostępnych działań.

Model typu frontier może funkcjonować wszędzie, ale może też sprawić, że system będzie niepotrzebnie wolny i drogi w obsłudze. Dla każdej roli istotna jest równowaga pomiędzy jakością, niezawodnością, opóźnieniem i ceną.

Wybór modelu nie dotyczy tylko liczby parametrów czy pozycji na liście liderów. Modele, które wyglądają podobnie w testach benchmarkowych, mogą zachowywać się zupełnie inaczej w ramach tego samego procesu pracy.

Architektura jest jednym z czynników, ponieważ gęste modele, modele oparte na mieszance ekspertów oraz modele hybrydowe różnią się charakterem. Ważna jest również faza po szkoleniu: różne metody precyzyjnego dostosowywania pod nadzorem, optymalizacji preferencji oraz uczenia się przez wzmocnienie wpływają na zdolność do realizacji poleceń, rozumowanie, używanie narzędzi, tworzenie ustrukturyzowanych wyników oraz zachowanie w nietypowych sytuacjach.

W praktyce kompromisy są konkretne. Jeden model może być szybki, tani i niezawodny w prostych zadaniami, takich jak planowanie tras czy klasyfikacja, ale od czasu do czasu pokrywa luki poprzez rozumowanie brzmiące wiarygodnie w zadaniach otwartych. Inny model może być wolniejszy i droższy, ale znacznie bardziej stabilny przy rozumowaniu wieloetapowym.

Nie musisz szkolić tych modeli, aby to miało znaczenie. Znajomość ich różnic w zachowaniu pomaga ci zdecydować, gdzie każdy z nich powinien znaleźć się w większym systemie.

Najważniejszym kryterium jest rzeczywisty obciążenie pracy. Jeśli chodzi o routowanie, należy przetestować właśnie je. Tam, gdzie wynik musi odpowiadać określonemu schematowi, należy policzyć, jak często tak się dzieje. Komponenty wymagające rozumowania otrzymują zestaw typowych przypadków do rozpatrzenia. Latencję i koszt należy uwzględnić w tej samej ocenie.

Oceniaj model pod kątem roli, jaką pełni w twoim systemie, a nie pod kątem jego ogólnej pozycji w rankingu.

Inżynieria uwzględniająca nieokreśloność

Wszystko to łączy jedna zasada. Wczesne prototypy agentów maksymalizują swobodę: przekazuje się modelowi instrukcje, narzędzia i kontekst, a następnie pozwala mu samodzielnie decydować.

Gdy przechodzi się do środowiska produkcyjnego, większość pracy odbywa się w przeciwnym kierunku. Odpowiedzialności się zmniejszają, interfejsy stają się bardziej ustrukturyzowane, kontekst staje się bardziej istotny, stan jest celowo zarządzany, ścieżki awarii są jasno określone, a wybór modelu zależy od jego roli.

Nawet prompty przestają być izolowanym tekstem i zaczynają funkcjonować jak konfiguracja, którą trzeba skompilować, zweryfikować, sformatować w wersjach i odtworzyć.

Nic z tego nie eliminuje zdolności modeli językowych do podejmowania decyzji. Gdyby każda decyzja mogła być podjęta w sposób deterministyczny, nie byłoby sensu budować systemów agentowych. Ważne jest wybór momentu, w którym nieoddeterminizm jest przydatny, a w którym nie.

Dlatego te systemy coraz bardziej przypominają inżynierię backendową z nowym rodzajem komponentów. Modele językowe zapewniają elastyczność w określonych granicach, natomiast inżynieria oprogramowania ustala te granice.

Najlepszy system agentowy to nie ten, w którym agenci mogą robić najwięcej, lecz ten, w którym mają dokładnie tyle swobody, ile potrzebują.

Literatura pokrewna

  • Od jednego ogromnego promptu do modułowego asystenta zakupowego AutoGen — Dlaczego pojedynczy prompt dla chatbotu nie sprawdza się w e-commerce oraz jak projekt AutoGen i MCP oddziela rozumienie języka od deterministycznej logiki biznesowej.
  • Zaawansowane mechanizmy kontroli dla agentów AI: Dekodowanie ukrytych IP i domen przed uruchomieniem — Jak brama shell agenta rekurencyjnego dekoduje zagnieżdżone kodowania base64, hex i URL, normalizuje nietypowe formaty IP oraz filtrowa nazwy plików, dzięki czemu cele poza zakresem są blokowane.
  • Orchestrator i subagenty w LangChain: agenty udostępniane jako narzędzia — Stwórz system wieloagentowy, w którym główny agent deleguje zadania specjalistycznym subagentom zapakowanym jako narzędzia, z krótkim przykładem używającym Ollamy oraz uwagami na temat skalowania tego rozwiązania.
  • Gdy zespół agentów AutoGen utyka: jak to mierzyć i eskalować problem do nadzorcy — Eksperyment z AutoGen z wykorzystaniem deterministycznego arbitra harmonogramu pokazuje, dlaczego recenzje kolegów zawodzą, jak wykryć zespół w kryzysie oraz dlaczego eskalacja wymaga innego modelu.
  • SkillClaw: Gdy jeden agent zawodzi, każdy agent się uczy — Jak SkillClaw zbiera ślady interakcji od wielu użytkowników, rozwija wspólne umiejętności agentów za pomocą narzędzia agentic evolver oraz weryfikuje zmiany przed wdrożeniem w ciągu nocy.
  • Granice architektury AI: Modele probabilistyczne w systemach deterministycznych — LLM zmienia projekt systemu: kontekst staje się komponentem, wynik jest niewiarygodny, status 200 nadal może oznaczać błąd, a koszt stanowi ograniczenie czasowe. Zapisuj zasady i uprawnienia w kodzie.