Podstawy agentów AI: cel, projektowanie instrukcji i wybór modelu

Początkująca firma z sektora opieki zdrowotnej poświęciła sześć miesięcy na stworzenie agenta AI do triażu pacjentów. Działał on na najnowszym modelu GPT-4, w zespole byli doświadczeni inżynierowie ML, interfejs wyglądał doskonale, a inwestorzy byli pod wrażeniem demonstracji. Następnie agent trafił do rzeczywistych klinik, ale już po kilku dniach pielęgniarki przestały go używać. Agent zadawał pytania nieskorelowane z skargą pacjenta, przeoczał poważne objawy i udzielał niejednolitych porad. Czasami był zbyt ostrożny i kierował pacjentów z drobnymi problemami na oddział ratunkowy, a innym razem lekceważył stany wymagające uwagi.

Model nie był winny, podobnie jak kod. Podstawa była niestabilna. Zespół nie określił dokładnie, do czego ma służyć agent, pośpiesznie opracował instrukcje i wybrał niewłaściwą konfigurację modelu. Po kolejnych trzech miesiącach przeróbek agent potrafi teraz obsłużyć ponad 10 000 interakcji z pacjentami dziennie, przy 94% satysfakcji pielęgniarek oraz znacznie lepszych rezultatach dla pacjentów.

Trzy podstawowe kroki decydują o sukcesie agenta: określenie jego celu, zaprojektowanie instrukcji oraz wybór modelu. Jeśli te kroki zostaną prawidłowo wykonane, reszta staje się łatwiejsza. Jeśli pójdzie źle, żadne wysiłki inżynierskie tego nie nadrobią.

Krok 1: określenie celu

Zanim napisany zostanie jakikolwiek kod, konieczne są precyzyjne odpowiedzi na cztery pytania. Jakie problem jest rozwiązywane? Kto będzie używał agenta? Jak wygląda sukces? Jakie obowiązują ograniczenia? Niejasne odpowiedzi prowadzą do nieudanych projektów, natomiast konkretne zapewniają systemy, które przetrwają w środowisku produkcyjnym.

Kiedy agent jest odpowiednim narzędziem

Agent nie jest rozwiązaniem na każdy problem. Systemy oparte na regułach lepiej radzą sobie z prostymi procesami pracy, klasyczne modele ML nadają się do czystego przewidywania, a ludzie-ekspertowie są lepszym wyborem, gdy decyzja o dużym znaczeniu wymaga osoby odpowiedzialnej.

Agenci okazują się przydatni, gdy zadanie wymaga podejmowania autonomicznych decyzji w ramach złożonego, wieloetapowego procesu pracy z wykorzystaniem kilku źródeł informacji i narzędzi.

Weźmy wykrywanie oszustw w banku. Prosta zasada potrafi wykryć oczywiste wzorce, takie jak powtarzające się transakcje lub karta używana jednocześnie w dwóch odległych miejscach. Złożone przypadki oszustwa wymagają dochodzenia: pracownik musi przeanalizować historię transakcji, porównać ją z normalnym zachowaniem klienta, sprawdzić bazy danych dotyczące reputacji sprzedawców, obliczyć oceny ryzyka na podstawie różnych modeli, powiązać sprawę z znanych sieciach oszustów oraz przygotować zestaw dowodów dla ludzkiego recenzenta. Wymaga to autonomii, ponieważ proces odbywa się całą dobę przy tysiącach transakcji, a także wykorzystania narzędzi z różnych baz danych i API, rozumowania łączącego słabe sygnały oraz koordynacji wieloetapowego dochodzenia. Doskonale pasuje to do roli autonomicznego agenta.

Kontrola salda konta to przypadek odwrotny. Wystarczy jeden wywołanie API, a nie autonomiczny agent. Zasada brzmi: wybrać najprostsze rozwiązanie, które zadziała.

Kto są użytkownicy

Użytkownicy kształtują architekturę. Technik terenowy potrzebuje dostępu mobilnego działającego offline, analityk danych chce paneli sterowania z możliwością zagłębiania się w dane, a system automatyczny wymaga czystych API o przewidywalnych formatach odpowiedzi. Oto kilka konkretnych przykładów:

• Menedżerowie zapasów w handlu detalicznym chcą krótkich sugestii, które mogą zaakceptować lub odrzucić. Wiadomość taka jak „Zamów ponownie 150 sztuk produktu X do piątku” może być podjęta do działania; surowy wynik optymalizacji na poziomie 0,847 nie może. Agent musi mówić w taki sam sposób jak użytkownik i wpasować się w istniejącą rutynę.
• Pracownicy pomagający drobnym rolnikom na obszarach wiejskich muszą planować swoją działalność z uwzględnieniem słabej łączności. Powiadomienia tekstowe mogą zastąpić panel sterowania w sieci; pracownik musi radzić sobie z niestabilną łącznością, a jego porady powinny być dostarczane w językach lokalnych. Prosta informacja o konieczności sprawdzenia pola 3 pod kątem szkodników dziś po południu jest o wiele bardziej przydatna niż sygnał o nieprawidłowości w danym sektorze z poziomem pewności 0,73.
• Klinicyści i pacjenci potrzebują różnych interfejsów. Lekarz analizujący zalecenia chce mieć dostęp do uzasadnień klinicznych, ocen pewności oraz odniesień do literatury naukowej, natomiast pacjent oczekuje prostych wyjaśnień i jasnych kroków dalszych. To jeden pracownik obsługujący dwa różne interfejsy.

Sukces, który można zmierzyć

Cele takie jak „poprawa efektywności” praktycznie gwarantują niepowodzenie. To mierzalne cele napędzają podejmowanie decyzji.

Dla pracownika ds. kontroli jakości w przemyśle sukcesem może być wykrycie 95% wad zauważonych przez ludzkich inspektorów, utrzymanie liczby fałszywie pozytywnych wyników poniżej 10%, przetworzenie każdego produktu w ciągu 2 sekund, zmniejszenie ogólnej liczby umkniętych wad o 30% oraz zapewnienie 99,9% czasu dostępności w godzinach produkcji. Te wskaźniki bezpośrednio wpływają na architekturę systemu. Limit 2 sekund wyklucza niektóre modele, 95% wskaźnik wykrywania wymaga dużej ilości danych treningowych, a wymóg wysokiego czasu dostępności wymusza zastosowanie mechanizmów redundancji oraz starannego radzenia sobie z błędami.

Agenta ds. konserwacji lotniczej ocenia się według innych kryteriów: przewidywania awarii komponentów z dokładnością 80% na 30 dni przed nimi, zmniejszenia konserwacji nieplanowanej o 40%, osiągania 100% zgodności z przepisami w wydawanych rekomendacjach, nigdy niezalecania odkładania prac krytycznych dla bezpieczeństwa oraz tworzenia pełnej ścieżki audytowej dla każdej decyzji. Cel zgodności wymaga rygorystycznych testów i nadzoru ludzkiego, a zasada bezpieczeństwa nakłada konserwatywne progi decyzyjne. Są to wymagania architektoniczne, a nie dostosowania po uruchomieniu.

Ograniczenia

Każdy system produkcyjny napotyka trzy rodzaje ograniczeń. Techniczne obejmują cele opóźnienia, restrykcje infrastruktury oraz potrzeby integracji. Biznesowe dotyczą budżetu, harmonogramu oraz tego, co organizacja faktycznie może sfinansować. Przepisowe obejmują ochronę danych, zgodność z normami branżowymi oraz wymagania audytowe.

• Branża bankowa jest pod silną kontrolą regulacji. Pracownicy zajmujący się zwalczaniem oszustw prowadzą pełne zapisy audytowe, tłumaczą każdą decyzję, nigdy nie dotykają danych klientów bez upoważnienia i przestrzegają zasad różniących się w zależności od jurysdykcji. Nic z tego nie podlega negocjacjom.
• Pracownicy w sektorze opieki zdrowotnej muszą przestrzegać standardów HIPAA. Dane pacjentów są szyfrowane zarówno w trakcie przechowywania, jak i przesyłania, dostęp do nich jest rejestrowany i podlega audytowi, okres przechowywania danych jest określony przepisami, a niektóre informacje nie mogą być przechowywane nawet przez krótki czas. Te ograniczenia bezpośrednio wpływają na projekt i możliwości wdrożenia systemów.
• Pracownicy w handlu detalicznym muszą radzić sobie z różnymi presjami. Piki ruchu w okresach świątecznych wymagają skalowania poziomego, integracja z starszymi systemami punktów sprzedaży ogranicza wybór technologii, a wrażliwość na koszty skłania do wyboru tańszych rozwiązań. Wszystko to kształtuje całą architekturę systemu.

Zapisz te ograniczenia – one określają, co jest możliwe.

Pięć praktycznych przykładów

Każdy z nich łączy w sobie cel, użytkowników, wskaźniki sukcesu oraz ograniczenia.

• Banking – agent do monitorowania transakcji. Wykrywa i bada podejrzane transakcje w czasie rzeczywistym, setki tysięcy dziennie, przeznaczony dla analityków ds. oszustw i pracowników ds. zgodności. Sukces oznacza wykrycie 90% oszustw przy mniej niż 5% fałszywie pozytywnych wyników, rozpatrzenie każdej sprawy w ciągu 30 sekund oraz utrzymanie kompletnego śladu audytowego. Ograniczenia obejmują przestrzeganie regulacji, wyjaśnianie każdej decyzji, nigdy blokowanie legalnej transakcji bez weryfikacji przez analityka oraz 99,95% czasu dostępności przez całą dobę.
• Rynek detaliczny – narzędzie do dynamicznego ustalania cen. Dostosowuje ceny tysięcy pozycji produktowych na podstawie popytu, konkurencji, poziomu zapasów i celów marżowych, przeznaczone dla menedżerów kategorii oraz analityków cen. Skuteczność objawia się wzrostem przychodów o 8% przy zachowaniu celowych marż, aktualizacją cen dwa razy dziennie, radzeniem sobie z sezonowymi wahaniami oraz przestrzeganiem dolnych i górnych granic cenowych. Ograniczenia obejmują istniejącą integrację z systemami ERP, zakaz ustalania cen poniżej kosztu, konieczność utrzymania konkurencyjności oraz przestrzeganie zasad ustalania cen.
• Ochrona zdrowia – narzędzie do triażu pacjentów. Ocenia objawy, określa stopień pilności, zaleca formę opieki i umawia wizyty, przeznaczone dla pielęgniarek, pacjentów oraz administratorów klinik. Skuteczność polega na 95% zgodności z ocenami pielęgniarek, skróceniu czasu oczekiwania o 30%, lepszej satysfakcji pacjentów oraz natychmiastowym kierowaniu przypadków pilnych. Ograniczenia obejmują przepisy HIPAA, zakaz opóźniania świadczenia pomocy w nagłych sytuacjach, empatyczną komunikację, integrację z systemami EHR oraz obsługę wielu języków.
• Przemysł – agent do predyktywnej konserwacji. Monitoruje stan sprzętu, przewiduje awarie, planuje prace prewencyjne oraz przydziela zespoły pracowników; przeznaczony jest dla kierowników konserwacji, menedżerów zakładów i techników. Sukcesem jest przewidywanie awarii z 30-dniowym wyprzedzeniem przy dokładności 85%, 50% mniej nieplanowanych przerw w produkcji, niższe koszty konserwacji oraz sprzęt trwający o 20% dłużej. Ograniczenia obejmują przetwarzanie danych z czujników w czasie rzeczywistym, istniejące systemy CMMS, sprzęt starszego typu, wymogi bezpieczeństwa oraz pracę offline.
• Rolnictwo – narzędzie do monitorowania zdrowia upraw. Monitoruje uprawy za pomocą zdjęć satelitarnych i czujników naziemnych, wykrywa wybuchy chorób, zaleca działania korygujące oraz dostosowuje systemy nawadniania i nawożenia, przeznaczone dla menedżerów gospodarstw, agronomów i kierowników spółdzielni. Sukcesem jest wykrycie chorób o tydzień wcześniej niż przy inspekcji ręcznej, 25% mniejsze zużycie wody, o 15% wyższa plonność oraz zalecenia w języku lokalnym. Ograniczeniami są nieregularna łączność, telefony o niskich parametrach, istniejące oprogramowanie rolnicze, powiadomienia SMS oraz wiele rodzajów upraw.

Każdy przypadek użycia ma swoje własne wymagania, które kształtują całą architekturę, dlatego ten etap wymaga obsługi w czasie rzeczywistym.

Krok 2: projektowanie zapytań

Wskazówki systemowe stanowią instrukcję obsługi agenta. Określają one jego osobowość, możliwości, ograniczenia oraz wzorce zachowań. Dobrze opracowane wskazówki zapewniają spójne, bezpieczne i niezawodne zachowanie agenta, natomiast słabo sformułowane prowadzą do nieprzewidywalnych rezultatów, które psują się w praktyce.

Cele

Należy zacząć od określenia tego, co agent powinien osiągnąć, robiąc to w sposób konkretny i kompletny.

Agent analizujący oszustwa bankowe może otrzymać polecenie analizy transakcji pod kątem wskaźników oszustwa, oceny ryzyka za pomocą dostarczonych modeli, porównania z znanych wzorcami oszustw, sporządzania szczegółowych raportów z dochodzeń oraz natychmiastowego przenoszenia przypadków o wysokim ryzyku na wyższe szczeble. Agent ten powinien również zachowywać profesjonalizm we wszystkich komunikacjach, nigdy nie ujawniać klientom szczegółów dochodzeń i zawsze podawać uzasadnienie swoich ocen ryzyka. Wszystko to razem określa zakres i granice działania agenta, dzięki czemu wie on, co powinien robić, a od czego powinien się trzymać z daleka.

Pracownik obsługi klienta w handlu detalicznym otrzymuje inny zestaw zadań. Rozwiązuje pytania dotyczące zamówień, produktów i zasad firmy, sprawdza historię zamówień oraz stan zapasów, przetwarza zwroty zgodnie z obowiązującymi zasadami, przekazuje prośby o zwrot powyżej 500 dolarów do obsługi ludzkiej, utrzymuje przyjazny ton rozmowy i zbiera opinie po każdej interakcji. Nie może obiecywać niczego poza zasadami firmy i powinien proponować alternatywy, gdy nie może spełnić żądania. Granice są jasno określone: nie może zatwierdzać dużych zwrotów pieniędzy, musi je przekazać do wyższych instancji i musi postępować zgodnie z zasadami. Te ograniczenia zapobiegają nieodpowiedniemu zachowaniu.

Persona

Persona wpływa na to, w jakim stopniu agent wydaje się spójny oraz jak bardzo użytkownicy mu ufają. Agent zajmujący się triażem w ochronie zdrowia powinien brzmieć spokojnie i profesjonalnie, co daje ludziom poczucie bezpieczeństwa. Agent prowadzący zajęcia powinien być motywujący i cierpliwy, aby utrzymać uczących się w motywacji, natomiast agent obsługi technicznej powinien być dobrze poinformowany i metodyczny, aby jego rozwiązania wydawały się niezawodne.

W przypadku konserwacji lotniczej persona to doświadczony inżynier konserwacji samolotów z dwudziestoletnim doświadczeniem w obsłudze różnych typów maszyn. Bezpieczeństwo ma najwyższy priorytet, ściśle przestrzegane są wytyczne producenta, komunikacja jest jasna i technicznie precyzyjna, decyzje nie są podejmowane pochopnie, gdy chodzi o bezpieczeństwo, a wszystko jest dokumentowane dla organów nadzorczych. Ta persona kształtuje sposób, w jaki agent podchodzi do problemów, raportuje ustalenia i podejmuje decyzje, zapewniając spójność tysięcy interakcji.

Doradca rolniczy dla małych rolników apeluje o dodatkowy głos. Zna lokalne uprawy, klimat i praktyki rolnicze, mówi prostym i praktycznym językiem, rozumie ograniczenia zasobowe, przed którymi stoją rolnicy, oferuje porady dostosowane do dostępnych narzędzi i budżetu, szanuje wiedzę tradycyjną, jednocześnie wprowadzając nowoczesne metody, i pozostaje cierpliwy oraz motywujący.

Postać musi odpowiadać odbiorcom. Jargon techniczny nadaje się dla ekspertów, prosty język jest odpowiedni dla szerokiej publiczności, a wrażliwość kulturowa ma znaczenie przy działaniach na skalę globalną.

Instrukcje

Instrukcje mówią agentowi, jak wykonywać zadania. Niejasne instrukcje prowadzą do nierównomiernego zachowania, natomiast konkretne zapewniają niezawodność. Numerowane procedury sprawdzają się dobrze, a te dwa przykłady pokazują taki styl.

Agent odpowiedzialny za kontrolę jakości, oglądający zdjęcia produktów, postępuje zgodnie z ośmioma krokami:

1. Ładuj obraz i wyodrębnij cechy za pomocą modelu wizyjnego.
2. Porównaj je z specyfikacją jakości dla danego typu produktu.
3. Znajdź wszelkie wady i oznacz je prostokątami otaczającymi oraz klasą.
4. Oceń stopień powagi każdej wady według podanej rubryki.
5. Odrzuć produkt i zapisz szczegóły, jeśli stopień powagi przekroczy ustalony próg.
6. W przypadku wątpliwej oceny poproś o sprawdzenie przez człowieka wraz z dowodami.
7. Zaktualizuj metryki jakości w bazie danych.
8. Natychmiast poinformuj kierowników, gdy pojawi się kilka wad jednego typu z rzędu.

Takie kroki eliminują niejednoznaczność i agent wie, co robić w każdej sytuacji.

Agent oceniający pacjentów postępuje zgodnie z dziesięcioma krokami:

1. Zbierz informacje o objawach, czasie ich trwania oraz stopniu nasilenia za pomocą ustrukturyzowanego kwestionariusza.
2. Zadawaj dodatkowe pytania w zależności od grupy objawów.
3. Jeśli pojawi się jakikolwiek sygnał ostrzegawczy, klasyfikuj przypadek jako pilny i skieruj go do odpowiedniej ścieżki postępowania.
4. Oblicz wynik triażu za pomocą zatwierdzonego algorytmu.
5. Zaleć formę opieki na podstawie uzyskanego wyniku i objawów.
6. Zarezerwuj wizytę, gdy jest to konieczne.
7. Podać pacjentowi jasne kroki dalsze oraz harmonogram działań.
8. Nigdy nie stawiaj diagnozy ani nie zalecaj konkretnego leczenia.
9. W przypadkach niejasnych postępuj z ostrożnością.

Najważniejsza jest zasada „nigdy nie stawiać diagnozy”, ponieważ wyznacza ona wyraźną granicę chroniącą przed problemami prawnymi.

Zasady bezpieczeństwa

Zasady bezpieczeństwa zapobiegają szkodliwemu lub problematycznemu zachowaniu, a systemy produkcyjne nie mogą bez nich funkcjonować. Istnieją trzy rodzaje takich zasad:

• Zasady kontroli treści zapobiegają nieodpowiedniemu wyjściu. Pracownik obsługi klienta nigdy nie przeklina, nawet jeśli klient to robi, a doradca finansowy nigdy nie gwarantuje zysków ani nie składa obietnic dotyczących rynku.
• Zasady bezpieczeństwa zapobiegają niebezpiecznym działaniom. Pracownik branży lotniczej nigdy nie zaleca odkładania konserwacji krytycznej dla bezpieczeństwa, pracownik służby zdrowia nigdy nie sugeruje opóźniania pomocy ratunkowej, a pracownik przemysłu nigdy nie wyłącza zabezpieczeń bezpieczeństwa.
• Zasady ochrony prywatności zapobiegają wyciekom danych. Pracownik banku nigdy nie udostępnia informacji jednego klienta innemu kontu, pracownik służby zdrowia nigdy nie ujawnia danych pacjentów bez zezwolenia, a pracownik handlu detalicznego nigdy nie ujawnia wrażliwych algorytmów cenowych.

Pracownik zajmujący się wykrywaniem oszustw w banku powinien przestrzegać tych zasad. Nigdy nie ujawniaj metod ani modeli wykrywania żadnemu użytkownikowi. Nigdy nie dziel się szczegółami dochodzenia z posiadaczem konta będącym przedmiotem śledztwa. Nigdy nie otwieraj konta bez uzasadnionego powodu związanego z oszustwem. Nigdy nie decyduj o zamknięciu konta bez zatwierdzenia analityka. Nigdy nie przenosz informacji o klientach z jednego dochodzenia do drugiego. Zawsze prowadź rejestr dostępów do konta. Gdy masz wątpliwości co do zgodności z przepisami, skontaktuj się z ludzkim przełożonym. Zasady te chronią bank, jego klientów oraz integralność dochodzeń.

Pracownik ds. triażu w służbie zdrowia miałby pomagać innym. Brak konkretnych diagnoz ani zaleceń leczniczych. Natychmiastowe skierowanie do specjalisty w przypadku bólu klatki piersiowej, trudności z oddychaniem, ciężkiego krwawienia lub innych objawów nagłych. Brak zaleceń odkładania leczenia poważnych objawów w celu oszczędności pieniędzy. Brak dostępu do dokumentacji pacjenta bez aktywnej interakcji. Spójny, empatyczny i profesjonalny ton. Natychmiastowe skierowanie do zasobów kryzysowych, jeśli pacjent wyrazi myśli samobójcze. Brak udostępniania informacji o pacjencie osobom nieupoważnionym. Skłonność do traktowania przypadków jako bardziej pilnych, gdy poziom nagłości nie jest jasny. To wszystko chroni bezpieczeństwo pacjentów i zapewnia odpowiednie leczenie.

Testowanie i doskonalenie

Pierwszy prompt nie będzie doskonały. Wypróbuj go w rzeczywistych sytuacjach, szukaj przypadków granicznych i doskonal go w kolejnych rundach. Skutecznym podejściem jest rozpoczęcie od prostego promptu, przeprowadzenie 20 do 30 reprezentatywnych scenariuszy, zapisanie niepowodzeń, poszukiwanie wzorców, modyfikacja promptu i powtórzenie procesu.

Agent ds. cen w handlu detalicznym może zalecać ceny poniżej kosztu w okresach wysokiego popytu. Rozwiązaniem jest wyraźna zasada zakazująca ustalania cen poniżej kosztu oraz obowiązek zachowania minimalnego marży w wysokości 10%. Agent ds. triażu może traktować powtarzające się problemy jako błahostki, mimo że mogą one wskazywać na coś poważnego; rozwiązaniem jest instrukcja, by zawsze zalecać badanie medyczne w przypadku objawów trwających ponad dwa tygodnie, niezależnie od ich pozornej powagi.

Testowanie ujawnia luki w instrukcjach, brakujące zasady bezpieczeństwa oraz niejednoznaczne wskazówki. To doskonalenie nie jest opcjonalne – to właśnie w ten sposób buduje się niezawodne systemy produkcyjne.

Pełne przykłady promptów

Łącząc wszystko razem, każde polecenie ma tę samą strukturę obejmującą rolę, cele, instrukcje oraz zasady bezpieczeństwa, dostosowaną do danego obszaru działania.

Analizator oszustw bankowych pełni rolę specjalisty od oszustw z piętnastoma latami doświadczenia w śledztwach dotyczących przestępstw finansowych; przygotowuje on szczegółowe oceny ryzyka dla innych analityków. Jego celem jest wykrywanie anomalii w wzorcach transakcji, obliczanie wskaźników ryzyka za pomocą zatwierdzonych modeli, sprawdzanie transakcji w bazach danych dotyczących oszustw, sporządzanie dokładnych raportów z dowodami oraz przekazywanie przypadków o wysokim ryzyku bezpośrednio do analityków ludzkich. Podczas analizy transakcji postępuje w następujący sposób:

1. Pobiera pełną historię transakcji konta.
2. Szuka anomalii w szybkości przeprowadzania transakcji, czyli nietypowej częstotliwości lub kwotach.
3. Weryfikuje, czy sprzedawca i lokalizacja odpowiadają profilowi klienta.
4. Oszacowuje prawdopodobieństwo oszustwa za pomocą modelu ensemble.

W przypadku, gdy wynik przekracza 0,8, natychmiast zgłoś sprawę z szczegółowymi dowodami.

Jeśli wynik mieści się w przedziale 0,5–0,8, oznacz go do przeanalizowania przez specjalistę wraz z dodatkowymi danymi.

Gdy wynik jest poniżej 0,5, zatwierdź transakcję i udokumentuj podjętą decyzję.

Za każdym razem zapisuj uzasadnienie oraz źródła danych.

Jego zasady bezpieczeństwa to: nie ujawnianie metod wykrywania, brak omawiania bieżących dochodzeń z właścicielami kont, brak dostępu do kont bez uzasadnionego powodu, prowadzenie rejestracji każdej decyzji oraz przekazywanie wątpliwości regulacyjnych przełożonemu, a także brak zatwierdzania zamknięcia kont bez potwierdzenia od specjalisty.

Pracownik obsługi klienta w handlu detalicznym pełni rolę pomocnego i przyjaznego przedstawiciela renomowanej marki, który pomaga w sprawach związanych z zamówieniami, produktami i polityką firmy, jednocześnie zapewniając doskonałe doświadczenie klienta. Jego celem jest szybkie i skuteczne rozwiązywanie problemów, przyjmowanie zwrotów i wymian w ramach obowiązujących zasad, dostarczanie dokładnych informacji o produktach i rekomendacji, utrzymywanie spójnego tonu komunikacji marki oraz odpowiednie przenoszenie złożonych spraw do wyższych szczebli. W przypadku pytań dotyczących zamówień:

1. Wyszukuje zamówienie pod numerem lub adresem e-mail.
2. Podaje aktualny stan zamówienia oraz przewidywaną datę dostawy.
3. Wyjaśnia przyczynę opóźnienia i proponuje alternatywy, jeśli zamówienie jest spóźnione.
4. Zajmuje się aktualizacjami dotyczącymi śledzenia przesyłki oraz rozwiązywaniem wszelkich obaw klienta.
5. Przenosi sprawę do zespołu obsługi logistyki, jeśli zamówienie zaginęło.

W przypadku zwrotów produktów:

1. Potwierdza, że zakup mieści się w oknie 30 dni.
2. Sprawdza, czy stan produktu spełnia określone kryteria.
3. Wydaje zgodę na zwrot towaru oraz etykietę.
4. Rozpoczyna proces zwrotu pieniędzy po przybyciu produktu.
5. Zwroty przekraczające 500 dolarów są kierowane do menedżera w celu zatwierdzenia.

Jego zasady to: brak zwrotów wbrew polityce bez zgody menedżera, brak obietnic dotyczących terminów dostawy, których nie może kontrolować, brak ujawniania informacji o dostawcy czy kosztach, profesjonalny i empatyczny ton nawet wobec rozczarowanych klientów, uprzejme zakończenie rozmowy oraz eskalacja sytuacji, jeśli klient staje się agresywny, oraz brak możliwości zwrotu bez odpowiedniej weryfikacji.

Pracownik triażu w opiece zdrowotnej to empatyczna, doświadczona pielęgniarka triażu, która pomaga pacjentom znaleźć odpowiednie miejsce opieki poprzez ocenę objawów i pilności sytuacji, jednocześnie zapewniając im bezpieczeństwo. Jej cele to dokładna ocena objawów i stopnia pilności, kierowanie pacjentów do oddziału ratunkowego, obsługi pilnej, podstawowej lub samodzielnej opieki, natychmiastowa interwencja w przypadku nagłych sytuacji, zmniejszenie liczby niepotrzebnych wizyt w szpitalu oraz utrzymanie zaufania pacjentów. Podczas oceny:

1. Zapisuje główny skargę oraz szczegóły objawów za pomocą ustrukturyzowanych pytań.
2. Pyta o czas trwania, nasilenie i rozwój objawów.
3. Sprawdza obecność sygnałów ostrzegawczych wymagających natychmiastowej pomocy.
4. Bada obecność nieprawidłowości w parametrach życiowych, jeśli są dostępne.
5. Oblicza stopień pilności według zatwierdzonego algorytmu.
6. Podaje rekomendację z jasnym uzasadnieniem.
7. Zarezerwuje wizytę, jeśli to konieczne.
8. Wyjaśnia kolejne kroki.
9. Dodaje zalecenia dotyczące kiedy szukać pomocy na wyższym poziomie.

Czerwone flagi wskazujące na konieczność natychmiastowej pomocy to ból lub ucisk w klatce piersiowej, trudności z oddychaniem, ciężka krwotok lub uraz, nagły silny ból głowy lub zmiany widzenia, zamęt lub zmieniony stan psychiczny, objawy udaru takie jak opadnięta twarz, słaby ramię lub problemy z mówieniem, ciężka reakcja alergiczna oraz myśli samobójcze lub zabójcze. Zasady bezpieczeństwa obejmują: brak konkretnych diagnoz lub zaleceń leczniczych, traktowanie czerwonych flag zawsze jako sytuacji nagłych bez względu na inne czynniki, brak zaleceń dotyczących opóźniania pomocy ze względu na koszty lub wygodę, komunikację empatyczną i skupioną na pacjencie, natychmiastowe udostępnienie zasobów kryzysowych w przypadku pojawienia się myśli samobójczych, brak dostępu do dokumentacji bez aktywnej zgody pacjenta oraz tendencję do przyznawania wyższego stopnia pilności, gdy pilność jest niepewna, oraz przekazywanie złożonych przypadków do nadzoru pielęgniarki.

Każde polecenie odpowiada swojej dziedzinie, typowi użytkownika oraz profilowi ryzyka. Agent bankowy skupia się na dochodzeniach i przestrzeganiu regulacji, agent detaliczny balansuje między zadowoleniem klienta a polityką firmy, natomiast agent w sektorze opieki zdrowotnej stawia bezpieczeństwo na pierwszym miejscu.

Krok 3: wybór modelu

Wybór modelu bezpośrednio wpływa na wydajność, koszty, opóźnienia oraz możliwości, a błędny wybór podważa wszystko inne.

Opcje modeli bazowych

Rynek zmienia się szybko, ale podstawowe kompromisy pozostają niezmienne: możliwości wobec kosztów, opóźnienia wobec jakości, rozwiązania hostowane wobec samodzielnie zarządzanych oraz modele uniwersalne wobec specjalistycznych.

• GPT-4 i GPT-4 Turbo od OpenAI doskonale rozumieją logikę, ściśle przestrzegają instrukcji, tworzą wysokiej jakości treści kreatywne oraz niezawodnie wykorzystują różne funkcje, oferując szerokie możliwości korzystania z narzędzi. Wadami są wyższy koszt, umiarkowana opóźniona reakcja oraz zależność od API OpenAI. Nadają się do złożonych zadań analitycznych, pracy kreatywnej, agentów wielozadaniowych oraz w sytuacjach, gdzie jakość jest ważniejsza niż cena.
• Claude 3.5 i Claude 4.5 od Anthropic wyróżniają się analizą długich dokumentów, silnym rozumowaniem, generowaniem doskonałego kodu, precyzyjnym wykonywaniem subtelnych instrukcji oraz oferowaniem okna kontekstowego o pojemności 200 tysięcy tokenów przy silnym dopasowaniu do zasad bezpieczeństwa. Są droższe, dostępne wyłącznie przez API, a w wersji darmowej obowiązują limity korzystania. Nadają się do analizy dokumentów, agentów badawczych, asystentów programistycznych, aplikacji wymagających dużego kontekstu oraz w sytuacjach, gdzie ważne są bezpieczeństwo i dopasowanie do zasad.

Llama 3 70B i 405B od Meta są otwartym oprogramowaniem dostępnym do samodzielnego hostowania bez opłat za API, charakteryzują się dobrą wydajnością, silnym wsparciem społeczności oraz dostępne są w wielu wariantach dopasowanych pod konkretne potrzeby. Wymagają infrastruktury do hostowania, opłat za przetwarzanie danych oraz specjalistycznej wiedzy do ich wdrożenia, a ich wydajność jest niższa niż modeli najnowocześniejszych. Nadają się do zastosowań lokalnych, gdy istotna jest ochrona prywatności danych, przy dużej ilości zapytań, gdy koszty API byłyby zbyt wysokie, oraz przy intensywnej personalizacji.

Gemini Pro i Ultra od Google obsługują różne typy danych, potrafią dobrze rozumować, integrują się z usługami Google i mają konkurencyjne ceny. Są mniej sprawdzone w systemach agentowych produkcyjnych i mają mniejszy ekosystem. Nadają się do zastosowań wizyjnych, integracji z Google Cloud oraz agentów multimodalnych.

Istnieją modele specjalistyczne dla sektora opieki zdrowotnej (Med-PaLM), kodowania (CodeLlama, StarCoder), finansów oraz innych dziedzin. Są skuteczniejsze w wąskich przypadkach zastosowania i nie posiadają ogólnej zdolności adaptacyjnej.

Parametry dostrojenia do użycia produkcyjnego

Temperatura kontroluje losowość. Niskie wartości od 0,0 do 0,3 zapewniają spójny, deterministyczny wynik, natomiast wysokie wartości od 0,7 do 1,0 dają kreatywny, zróżnicowany wynik. Agent zajmujący się oszustwami bankowymi powinien działać przy temperaturze 0,0, ponieważ spójność jest ważniejsza od kreatywności, a ta sama transakcja powinna zawsze otrzymywać taką samą ocenę ryzyka. Agent obsługi klienta funkcjonuje przy temperaturze od 0,3 do 0,5, co pozwala na pewną naturalną zmienność w sformułowaniach przy jednoczesnym zachowaniu stałej interpretacji zasad. Agenci piszący teksty marketingowe lub opisy produktów radzą sobie najlepiej przy temperaturze od 0,7 do 0,9, gdyż różnorodność dodaje wartości.

Top-p, czyli próbkowanie jądra, to drugi mechanizm kontroli losowości. Niskie wartości od 0,1 do 0,5 ograniczają wybory do najbardziej prawdopodobnych tokenów, natomiast wyższe wartości od 0,7 do 0,95 umożliwiają większą różnorodność.

Max tokens określa maksymalną długość wyniku i powinien odpowiadać konkretnemu zastosowaniu. Raport z dochodzenia w sprawie oszustwa wymaga od 1000 do 2000 tokenów, odpowiedź w obsłudze klienta od 200 do 500, a prosta odpowiedź po wezwaniu API od 50 do 100.

Nastawiaj parametry na podstawie danych z produkcji, a nie scenariuszy demonstracyjnych. Używaj rzeczywistych danych wejściowych od użytkowników, mierz jakość i wprowadzaj ulepszenia.

Okno kontekstowe

Okno kontekstowe określa, ile informacji agent może jednocześnie uwzględnić. Dłuższe okna umożliwiają bardziej złożone rozumowanie, ale zwiększają koszty i opóźnienia. Rozmiary okien znacznie się różnią: 128K tokenów dla GPT-4 Turbo, 200K dla Claude 3.5, 8K dla Llama 3 70B (do 32K w niektórych wariantach) oraz nawet 1M dla Gemini Pro.

Agent zajmujący się triażem w służbie zdrowia radzi sobie dobrze z 8K, ponieważ każda interakcja składa się z kilkuset tokenów rozmowy plus kilku stron wytycznych klinicznych. Agent analizujący umowy prawne korzysta z 200K, co pozwala umieścić całe umowy wraz z odpowiednią jurysprudencją i przepisami w jednym oknie, znacznie poprawiając jakość w porównaniu z dzieleniem dokumentów na fragmenty. Agent obsługi klienta, który ma do dyspozycji katalogi produktów, historię zamówień oraz dokumenty polityki firmy, funkcjonuje dobrze przy pojemności 32K do 64K – to dobry balans między możliwościami a kosztem.

Architektura pamięci również wpływa na tę decyzję. Bazy danych wektorowych mogą odzyskiwać istotne informacje, co zmniejsza potrzebę dużego rozmiaru okna przetwarzania.

Koszt, opóźnienie i dokładność

Każdy system produkcyjny kompromituje te trzy czynniki względem siebie.

Pod względem kosztów, GPT-4 kosztuje około 30 dolarów za milion tokenów wejściowych i 60 dolarów za milion tokenów wyjściowych, przy czym Claude 3.5 Sonnet mieści się w tym samym przedziale, natomiast Llama 3 70B wiąże się z wyższymi kosztami infrastruktury, ale nie ma opłaty za każdy token. Pracownik obsługi klienta w handlu detalicznym, który zajmuje się 100 000 interakcjami dziennie, po około 500 tokenów każda, może ponosić codzienne koszty API w wysokości 1 500 dolarów, czyli 45 000 dolarów miesięcznie – co może uzasadnić samodzielne hostowanie Llamy lub użycie mniejszych modeli. Pracownik konserwacji lotniczej, który zajmuje się 1 000 złożonymi interakcjami miesięcznie, może mieć koszty na poziomie około 500 dolarów, w takim przypadku jakość GPT-4 stanowi rozsądny wybór.

Jeśli chodzi o opóźnienie, czas przetwarzania pierwszego tokena wynosi od 200 milisekund do 2 sekund w zależności od rozmiaru modelu i miejsca hostowania, a całkowity czas odpowiedzi obejmuje również proces inferencji, wywołania narzędzi oraz przetwarzanie danych. Rozmowy z klientami w czasie rzeczywistym wydają się powolne, gdy trwają ponad 3 sekundy, dlatego należy używać szybszych modeli lub rozwiązań typu streaming. Badania oszustw w trybie zbiorczym mogą trwać od 10 do 30 sekund na transakcję, jeśli poprawi się dokładność wyników. Pracownik kontroli jakości na linii montażowej musi odpowiadać w mniej niż 2 sekundy, dlatego potrzebuje zoptymalizowanego rozwiązania lub mniejszych modeli.

Jeśli chodzi o dokładność, większe modele zazwyczaj lepiej rozumieją sytuację i ściślej przestrzegają instrukcji, a różnica pomiędzy GPT-4 a mniejszymi modelami jest wyraźnie widoczna. W sytuacjach, gdzie decyzje mają duże konsekwencje, takich jak triaż w ochronie zdrowia, oszustwa finansowe czy systemy krytyczne pod względem bezpieczeństwa, warto wybrać najlepszy model, ponieważ błąd może kosztować więcej niż sam model. Zadania o mniejszym znaczeniu, takie jak rekomendacje produktów, prosta kategoryzacja usług i treści, często dobrze radzą sobie z mniejszymi modelami. Należy przetestować je na danych rzeczywistych, aby sprawdzić faktyczną różnicę jakości w danym przypadku, ponieważ wrażenia często odbiegają od rzeczywistości.

Łączenie kilku modeli

Systemy produkcyjne często wykorzystują różne modele do różnych zadań, a żądania są kierowane do tego modelu, który najlepiej pasuje. Tanie i szybkie modele zajmują się prostymi zadaniami, natomiast drogie i potężne – złożonymi. Należy ocenić koszt i jakość w kontekście własnego obciążenia pracą.

• W bankowości praca z oszustwami mogłaby być podzielona na trzy obszary: GPT-4 do głębokiej analizy wzorców i sporządzania raportów (wysoka jakość, niewiele połączeń), GPT-3.5 Turbo do licznych powiadamień dla klientów (dostateczna jakość i niższe koszty) oraz dostosowany Llama 3 8B do szybkiej i taniej klasyfikacji transakcji.
• System triażu w ochronie zdrowia mógłby wykorzystywać Claude 3.5 do analizy objawów wymagającej długiego kontekstu medycznego, GPT-4 do naturalnej i empatycznej komunikacji z pacjentami oraz specjalistyczny model medyczny do wspierania decyzji klinicznych.
• Handel detaliczny mógłby polegać na GPT-4 do rozmów serwisowych wymagających rozumowania, modelach embeddingowych w zakresie wyszukiwania produktów i rekomendacji oraz dostosowanym klasyfikatorze do prostego kierowania klientami.

Wybór modeli według branży

• Rozpoznawanie oszustw bankowych: Claude 3.5 jako główne narzędzie, ponieważ jego obszar kontekstowy wynoszący 200 tysięcy tokenów umożliwia przechowywanie pełnej historii transakcji wraz z wytycznymi regulacyjnymi, natomiast GPT-4 Turbo pełni rolę narzędzia pomocniczego do komunikacji z klientami. Dochodzenia wymagają dogłębnej analizy wzorców w długich historiach transakcji oraz dokumentach regulacyjnych, co uzasadnia wyższy koszt.
• Optymalizacja zapasów w handlu detalicznym: GPT-4 Turbo służy jako główne narzędzie do prognozowania popytu, natomiast samodzielnie hostowany Llama 3 70B pełni rolę narzędzia pomocniczego do ustalania cen w czasie rzeczywistym. Strategia wymaga precyzyjnego rozumowania, natomiast ustalanie cen w czasie rzeczywistym odbywa się na dużą skalę, gdzie samodzielne hostowanie się opłaca.

Tryaż pacjentów w ochronie zdrowia: GPT-4 jako główne narzędzie ze względu na udowodnioną niezawodność w podejmowaniu decyzji krytycznych pod względem bezpieczeństwa, Claude 3.5 jako rozwiązanie awaryjne dla złożonych przypadków z długą historią medyczną, a dopasowany model specjalistyczny jako narzędzie pomocnicze do rutynowej klasyfikacji. Złożone przypadki wymagają najwyższej jakości, natomiast te rutynowe mogą być przetwarzane przez tańszych specjalistów.

Kontrola jakości w przemyśle: GPT-4 Vision jako główne narzędzie do analizy obrazów, w połączeniu z dopasowanym modeliem Llama 3 8B uruchamianym lokalnie w celu szybkiej klasyfikacji wad. Inspekcja na linii montażowej wymaga niskiej latencji – mały model obsługuje przypadki rutynowe, natomiast GPT-4 Vision zajmuje się trudniejszymi przypadkami wizualnymi.

Nadzór upraw rolnych: samodzielnie uruchamiany model Llama 3 70B na urządzeniach brzegowych jako główne rozwiązanie, z GPT-4 jako narzędziem pomocniczym do skomplikowanej diagnostyki chorób na podstawie obrazów. Niestabilna łączność i odległe lokalizacje sprzyjają lokalnemu hostowaniu – rutynowy nadzór odbywa się lokalnie, natomiast trudne przypadki są przekazywane do chmury.

Konserwacja lotnicza: GPT-4 jako główne narzędzie, ponieważ decyzje krytyczne pod względem bezpieczeństwa wymagają najwyższej jakości, natomiast Claude 3.5 służy jako zapas do czytania podręczników konserwacyjnych i przepisów. Bezpieczeństwo nie podlega negocjacjom, przepisy oznaczają długie dokumenty, konieczna jest redundancja oraz nadzór ludzki.

Wybór musi odzwierciedlać twoje własne wymagania dotyczące dokładności, ograniczeń czasowych, ekonomiki ilościowej, wymogów prywatności, środowiska wdrożenia oraz tolerancji na ryzyko.

Budowanie podstaw

Podstawy określają wszystko, co nastąpi później. Określ jasno cel z mierzalnymi kryteriami sukcesu, zaprojektuj instrukcje generujące spójne i bezpieczne zachowanie oraz wybierz modele, które zapewniają odpowiedni balans między jakością, kosztem i czasem reakcji dla danego przypadku użycia.

Te trzy kroki odpowiadają za około 60% sukcesu agenta. Pominięcie ich lub przyspieszenie realizacji prowadzi do systemów, które zawodzą w warunkach produkcyjnych, natomiast prawidłowe wykonanie tych kroków upraszcza pozostałe elementy architektury.