Piętnaście koncepcji LLM analizowanych na podstawie jednej prośby od bota wsparcia
Prześledź jedno pytanie klienta za pośrednictwem asystenta AI, aby dowiedzieć się, czym naprawdę są modele, tokeny, embeddingi, kontekst, RAG, agenci oraz metody oceny, i gdzie kończy się działanie każdego z nich.
Klient otwiera widget czatu sklepu i pyta, czy słuchawki kupione dziesięć dni temu nadal można zwrócić. Kilka sekund później asystent odczytuje pytanie, sprawdza zasady zwrotów sklepu i wyjaśnia dostępne opcje. Ta wymiana wydaje się błahe, ale przechodzi przez szereg różnych komponentów: tekst jest przekształcany w liczby, na ich podstawie obliczenia wykonuje przeszkolony model, aplikacja może wyszukiwać wewnętrzne dokumenty oraz może wywołać narzędzie do rozpoczęcia procesu zwrotu.
Słownictwo używane przez inżynierów do tych kroków (tokeny, embeddingi, inferencja, RAG i inne) jest łatwe do powtarzania, ale także łatwe do niewłaściwego użycia. Ten przewodnik omawia piętnaście kluczowych terminów w kolejności, w jakiej są istotne dla danego zapytania, podzielonych na to, co dzieje się przed przybyciem klienta, co dzieje się podczas generowania odpowiedzi oraz co jest potrzebne, aby system mógł działać i by można mu ufać. Dla każdego pojęcia podano, czym ono jest, dlaczego ma znaczenie z punktu widzenia inżynierii oraz jakie błędne wyobrażenia najczęściej powoduje. Traktuj tę listę jako podstawę, a nie całe to pole; aby uzyskać szerszy zarys tego, czego należy się nauczyć dalej, zapoznaj się z naszą hierarchiczną mapą pojęć inżynierii AI.
Zanim pojawi się pytanie: model i sposób jego nauki
Wszystko, co wydarzyło się w tej sekcji, miało miejsce długo przed tym, jak klient otworzył czat. To określa, co asystent w ogóle może robić.
1. Model: funkcja przekształcająca dane wejściowe w wyjściowe
Model to system matematyczny, który przekształca dane wejściowe w wyjściowe za pomocą wzorców wydobytych z danych. Jeden model służy do klasyfikacji zdjęć zwierząt, inny do prognozowania czasu dostawy. Model językowy pracuje z tekstem i wytwarza go poprzez przewidywanie prawdopodobnych kolejnych elementów, krok po kroku.
Prostą analogią może być uczeń, który rozwiązał tysiące zadań ćwiczeniowych. Stając przed nowym zadaniem, uczeń stosuje to, czego nauczył się podczas ćwiczeń, zamiast szukać identycznego pytania. Ta analogia nie jest doskonała, ponieważ modele ani się nie uczą, ani nie rozumieją w taki sam sposób jak ludzie, ale oddaje istotę uogólniania na podstawie przykładów.
W scenariuszu sklepu model językowy interpretuje pytanie i opracowuje odpowiedź. Gotowe rozwiązanie obejmuje jednak również interfejs użytkownika, źródła danych oraz ewentualnie narzędzia.
- Znaczenie inżynieryjne: modele są specjalistyczne. Ten, który potrafi pisać płynny tekst, niekoniecznie jest dobry w prognozowaniu popytu czy ocenie oszustw.
- Częsty błąd: utożsamianie „modelu” z „aplikacją”. Model jest jedną z kilku komponentów.
2. Parametry: liczby, które kodują zachowanie
Sieć neuronowa zawiera bardzo dużą liczbę dostosowywalnych wartości zwanych parametrami. Najczęściej omawianym rodzajem są wagi; inne to biegi. Razem określają one, w jaki sposób informacje są przekształcane podczas przechodzenia przez sieć.
Załóżmy stół mikserski pokryty pokrętłami: obracanie nimi zmienia dźwięk, a zmiana parametrów wpływa na wyjścia.
To, czego nauczył się model językowy, jest rozproszone w ogromnych tablicach liczbowych. Zazwyczaj nie istnieje jedno konkretne miejsce, w którym znajduje się informacja „Paryż jest stolicą Francji”. Część tekstu treningowego można zapamiętać dosłownie, ale model nie stanowi archiwum dokumentów, które widział, dostępnego do wyszukiwania.
- Znaczenie inżynieryjne: liczba parametrów wpływa na wymagania dotyczące przechowywania danych, pamięci i obliczeń, a także na możliwości modelu. Większy model nie gwarantuje lepszych wyników w Twoim konkretnym zadaniu.
- Częsty błąd: wyobrażanie sobie parametrów jako bazy danych z przechowywanymi odpowiedziami. W rzeczywistości są to ustawienia nabyte w trakcie treningu.
3. Trening: ćwiczenia z informacjami zwrotnymi
Szkolenie dostosowuje parametry modelu przy użyciu danych i określonego celu. W przypadku modeli językowych standardowym celem jest przewidywanie następnego tokena.
Weźmy zdanie używane do szkolenia: „Stolicą Francji jest Paryż”. Model otrzymuje jego początek, generuje przewidywanie dotyczące tego, co nastąpi dalej, a system szkoleniowy mierzy różnicę pomiędzy tym przewidywaniem a rzeczywistym następnym tokenem. Następnie parametry są modyfikowane w celu zmniejszenia błędu. Powtarzanie tego procesu przy ogromnej liczbie przykładów przypomina bardziej ćwiczenia z korektami niż kopiowanie książki do magazynu.
Model sklepu został przeszkolony jeszcze przed przybyciem pierwszego klienta. Dzięki temu posiada ogólne umiejętności językowe, ale nic nie gwarantuje, że zna aktualne zasady zwrotów w tym konkretnym sklepie.
- Znaczenie inżynieryjne: wybór danych i kształtów obiektów determinuje zarówno to, co może robić model, jak i rodzaje błędów, które popełnia.
- Częsty błąd: założenie, że model, który przyswoił wzorce językowe, potwierdził również fakty. Tak nie jest.
4. Transformer: architektura wspólna dla większości modeli językowych
Transformer to projekt sieci neuronowej, który łączy mechanizm uwagi z innymi warstwami przetwarzania, aby przekształcić wejściowe reprezentacje w przydatne wyniki. Wyobraźmy sobie linię montażową: każda stacja udoskonala prace przekazane jej, zamiast rozpoczynać pracę od surowego tekstu.
W modelu językowym opartym na transformatorach reprezentacje tokenów przechodzą przez szereg powtarzanych warstw. Mechanizm uwagi łączy informacje z różnych pozycji, inne komponenty przekształcają reprezentację każdej pozycji, a informacje pozycyjne umożliwiają modelowi odróżnienie „pies gryzie człowieka” od „człowiek gryzie psa”. Ostateczna reprezentacja jest przekształcana w wynik dla każdego możliwego następnego tokena, wyniki te są zamieniane na prawdopodobieństwa, a następnie wybierany jest jeden token.
- Znaczenie inżynieryjne: znajomość architektury łączy ze sobą pozostałe koncepcje. Tokeny są do niej dostarczane, embeddingi je reprezentują, mechanizm uwagi łączy je ze sobą, a okno kontekstowe określa, ile informacji może ona przetworzyć.
- Częsty błąd: mylenie architektury z wytrenowanym modelem. Transformator to plan budowy; wytrenowany model to konkretna instancja z nauczonymi parametrami.
Gdy generowana jest odpowiedź: od tekstu po tokeny aż do wyniku
Teraz klient naciska przycisk wysłania. W tej sekcji omówiono, co dzieje się podczas tego żądania.
5. Inferencja: uruchamianie wytrenowanego modelu
Inferencja oznacza wykonywanie wytrenowanego modelu na nowym danych wejściowych w celu uzyskania wyniku. Jeśli trening to ćwiczenia, to inferencja to zdawanie egzaminu.
Gdy pojawia się pytanie dotyczące słuchawek, model oblicza wynik na podstawie dostarczonego wejścia, wykorzystując już posiadane parametry. W normalnym trybie pracy nie trenuje się na nowo przy każdej wiadomości; jego parametry pozostają niezmienne podczas odpowiadania. W przypadku generowania tekstu proces inferencji polega na pętli: obliczanie prawdopodobieństw dla następnego tokena, wybór jednego z nich, dołączenie go i powtórzenie procesu aż do ukończenia odpowiedzi. Sposób działania kroku „wybór jednego” to odrębny temat, omówiony w naszym przewodniku po temperaturze, top-k i top-p.
- Znaczenie inżynieryjne: to właśnie w procesie inferencji leżą opóźnienia oraz koszty obliczeniowe za każdą prośbę, więc wpływa on na doświadczenie użytkownika oraz wysokość rachunku.
6. Token: jednostka tekstu, którą faktycznie widzi model
Token to fragment tekstu zdefiniowany przez tokenizer. W zależności od tokenizera może to być całe słowo, fragment słowa, znak interpunkcyjny lub inna część tekstu. Dla ilustracji, słowo „headphones” może zostać zachowane w całości przez jeden tokenizer, a rozdzielone na „head” i „phones” przez inny. Nigdy nie zakładaj, że jedno słowo odpowiada jednemu tokenowi.
Każdy token jest przypisywany do liczbowego ID, a model zamienia te ID na reprezentacje numeryczne przed ich przetworzeniem.
- Znaczenie inżynieryjne: liczba tokenów decyduje o tym, czy dane wejściowe pasują, jak długie mogą być wyniki oraz ile zwykle kosztuje wywołanie API. To samo znaczenie może wymagać różnej liczby tokenów w różnych językach lub formatach; na przykład JSON i kod są często tokenizowane inaczej niż zwykła proza.
- Częsty błąd: mylenie tokenów z ich identyfikatorami. Tokeny to fragmenty tekstu; identyfikatory to ich liczbowe oznaczenia.
7. Embedding: znaczenie jako pozycja w przestrzeni
Embedding to liczbowe przedstawienie jakiegoś elementu: tokena, zdania, dokumentu lub obrazu. Zazwyczaj jest to wektor, uporządkowana lista liczb.
Załóżmy, że układamy bibliotekę na mapie tak, aby książki o podobnych tematach znajdowały się blisko siebie. Embedding przypisuje każdemu elementowi współrzędne na takiej mapie, co umożliwia pomiar podobieństwa. Dobrze dobrane modele embeddingów służących do wyszukiwania mogą umieścić pytanie „Jak ten element zostanie odesłany z powrotem?” blisko pytania „Jaka jest wasza polityka zwrotów?”, mimo że oba nie zawierają prawie żadnych wspólnych słów.
Pomaga rozróżnianie dwóch zastosowań. W modelu językowym embeddingi tokenów stanowią część sposobu reprezentacji danych wejściowych. W systemie wyszukiwania embeddingi dokumentów są wykorzystywane do znajdowania istotnych materiałów. Pomysły te są powiązane, ale reprezentacja oraz sam model generujący ją często się różnią.
- Ilościowa istotność: to właśnie embeddingi umożliwiają funkcjonowanie wyszukiwania i odzyskiwania informacji opartych na znaczeniu.
8. Instrukcja: wydawane modele instrukcje i materiały
Instrukcja to wszystko, co jest przekazywane modelowi w celu ukierunkowania jego odpowiedzi: instrukcje, pytanie użytkownika, przykłady oraz teksty pomocnicze.
Porównajmy dwa zapytania. „Wyjaśnij zasady zwrotów” jest niejasne. „Na podstawie poniższej polityki orzeknij, czy słuchawki kupione dziesięć dni temu można zwrócić; jeśli brakuje jakiejś niezbędnej informacji, poproś o nią i nie wymyślaj reguł” precyzyjnie określa zadanie, źródła informacji oraz zachowanie awaryjne. To różnica między poproszeniem przyjaciela o „przyniesienie czegoś ze sklepu” a podaniem mu listy z budżetem.
W asyście ostateczny prompt jest zazwyczaj tworzony przez aplikację: instrukcje programisty, wiadomość klienta oraz tekst zasad pobrany z bazy wiedzy.
- Znaczenie inżynieryjne: precyzyjne prompty zmniejszają niejednoznaczność i umożliwiają testowanie oczekiwanego zachowania.
- Częsty błąd: poleganie na instrukcjach w promptach jako na środku bezpieczeństwa. Instrukcje wpływają na zachowanie; nie egzekwują uprawnień. Wszystko, co nigdy nie powinno się zdarzyć, wymaga kontroli poza modelem.
9. Okno kontekstowe: ograniczona przestrzeń robocza
Okno kontekstowe to ilość materiału, którą model może rozważyć jednocześnie, mierzona w tokenach. Wyobraź sobie biurko: podczas pracy możesz na nim rozkładać notatki, ale jego powierzchnia jest ograniczona.
To, co zajmuje tę przestrzeń, obejmuje instrukcje systemu, historię rozmowy, pobraane dokumenty oraz wyniki narzędzi; w zależności od systemu, wygenerowany wynik również liczy się w ramach limitu. Gdy rozmowa staje się zbyt długa, aplikacja musi interweniować – na przykład usuwając starsze fragmenty, streszczając je lub ponownie pobierając wybrane części w razie potrzeby.
Kontekst i parametry to różne rzeczy. Parametry zostały ustalone podczas szkolenia; kontekst to informacje dostarczane wyłącznie dla bieżącego zadania.
- Znaczenie inżynieryjne: trzeba celowo planować dostępną przestrzeń. Dodawanie większej ilości tekstu nie oznacza dostarczania bardziej użytecznego tekstu, a materiały nieistotne mogą rozproszyć model.
- Częsty błąd: traktowanie dużej przestrzeni jako pamięci nieograniczonej lub założenie, że każdy szczegół w niej zostanie prawidłowo wykorzystany.
10. Uwaga: powiązywanie elementów danych wejściowych
Uwaga to mechanizm, za pomocą którego model łączy informacje pochodzące z różnych miejsc w danych wejściowych. Weźmy na przykład komunikat mówiący, że słuchawki zostały dostarczone wczoraj, ale zamówiono je dziesięć dni wcześniej. W przypadku pytania dotyczącego zwrotu to, czy licznik zaczyna odliczanie od momentu dostawy, czy od zakupu, może mieć decydujące znaczenie, a uwaga umożliwia reprezentacji pytania odzwierciedlenie związku pomiędzy dostawą, zamówieniem a tymi dwoma momentami czasu.
Powszechną analogią jest ponowne przeczytanie odpowiednich zdań w tekście przed udzieleniem odpowiedzi na pytanie o niego. Technicznie rzecz biorąc, uwaga oblicza numeryczne oceny istotności pomiędzy poszczególnymi pozycjami i wykorzystuje je do tworzenia ważonych mieszanin informacji. Różne komponenty i warstwy mogą wykrywać różne rodzaje związków.
- Znaczenie inżynieryjne: koncepcja uwagi wyjaśnia, dlaczego sformułowanie, kolejność i otaczający tekst wpływają na odpowiedź, co jest istotne przy projektowaniu zapytań i dzieleniu dokumentów na fragmenty.
- Częsty błąd: traktowanie wag uwagi jako pełnego wyjaśnienia sposobu myślenia modelu. Są to jedynie sygnały matematyczne, a nie przejrzysty opis tego, dlaczego powstała dana odpowiedź.
Zakotwiczenie i dostosowanie modelu
Samo szkolenie modelu nie może pozwolić mu poznać aktualnej polityki tego sklepu. Dwie techniki radzą sobie z tą lukią w zupełnie różny sposób.
11. RAG: sprawdź, a potem odpowiadaj
Retrieval-Augmented Generation oznacza znajdowanie istotnych informacji w momencie zapytania i umieszczanie ich w kontekście modelu, aby odpowiedź mogła się nimi kierować. Przypomina to egzamin z otwartą książką: książka jest dostępna, ale uczeń nadal musi zrozumieć pytanie, znaleźć odpowiednią stronę i prawidłowo ją wykorzystać.
Dla pracownika sklepu proces zazwyczaj wygląda w ten sposób:
- Nadchodzi pytanie klienta.
- Aplikacja przeszukuje dokumenty polisy w poszukiwaniu odpowiednich fragmentów.
- Najlepiej pasujące fragmenty są dodawane do zapytania w ramach instrukcji.
- Model pisze odpowiedź opartą na tych fragmentach.
Wyszukiwanie może opierać się na wyszukiwaniu według słów kluczowych, embeddingach lub ich połączeniu. Co istotne, nie wpływa to na parametry modelu. Istniejący artykuł RAG wyjaśnione: jak systemy AI pozyskują aktualną wiedzę na żądanie zagłębia się bardziej w aspekt wyszukiwania.
- Znaczenie inżynieryjne: RAG to sposób, w jaki aplikacje wykorzystują prywatne, specjalistyczne lub często zmieniające się dokumenty bez konieczności ponownego szkolenia modelu.
- Częsty błąd: przypuszczanie, że RAG sprawia, iż odpowiedzi są poprawne. Chociaż zmniejsza on ilość nieudokumentowanych odpowiedzi, system może nadal pobrać niewłaściwy fragment lub błędnie zinterpretować właściwy.
12. Dopełniające szkolenie: dodatkowe ćwiczenia na węższym zadaniu
Doprecyzowanie polega na kontynuowaniu szkolenia już wyuczonych modeli, zazwyczaj na mniejszym, skoncentrowanym zbiorze danych przeznaczonym do osiągnięcia określonego celu. Jest to jakby biegły mówca po angielsku ćwiczył konkretnie zwięzłe odpowiedzi w obsłudze klienta.
Firma może stosować doprecyzowanie na parach pytań klientów i idealnych odpowiedziach, aby nauczyć model spójnego tonu, formatu wyjściowego lub specjalistycznego zachowania. W odróżnieniu od umieszczania zasad w instrukcjach, doprecyzowanie modyfikuje nauczone parametry lub dodaje wyuczone komponenty, które zmieniają zachowanie modelu. Może również wprowadzać wiedzę z danej dziedziny, ale jest to słaby mechanizm do przechowywania faktów, które często się zmieniają, ponieważ każda zmiana wymagałaby kolejnego procesu szkolenia.
- Znaczenie inżynieryjne: doprecyzowanie jest skuteczne, gdy powtarzalne zachowanie nie może zostać osiągnięte w sposób niezawodny poprzez jedynie instrukcje.
Kiedy system działa i jak sprawdzić, czy funkcjonuje poprawnie
Ostatnia grupa tematów dotyczy sytuacji, gdy coś idzie nie tak, jakie zmiany zachodzą, gdy asystent potrafi wykonywać określone zadania, oraz jak ocenić ogólną skuteczność systemu.
13. Halucynacje: płynne, pewne siebie, ale bez podstaw
Halucynacją jest wyjście, które jest fałszywe, wymyślone lub nie ma potwierdzenia w odpowiednich dowodach. Załóżmy, że sklep dopuszcza zwroty w ciągu siedmiu dni, a asystent z pewnością siebie odpowiada, że wszystkie słuchawki można zwrócić w ciągu trzydziestu dni. To stwierdzenie brzmi wiarygodnie i jest dobrze sformułowane, ale jest również błędne.
Główną przyczyną jest to, że modele językowe generują prawdopodobne kontynuacje zamiast weryfikować twierdzenia pod kątem rzeczywistości. Wysoka prawdopodobieństwo następnego tokena nic nie mówi o tym, czy całe stwierdzenie jest prawdziwe. Halucynacje objawiają się jako wymyślone polityki, cytaty, osoby, liczby, a nawet sfałszowane wyniki narzędzi.
- Znaczenie inżynieryjne: dopracowana, błędna odpowiedź może spowodować rzeczywistą szkodę, dlatego systemy potrzebują wiarygodnych dowodów, weryfikacji wyników oraz zatwierdzonego sposobu na przyznanie się do niepewności.
- Częsty błąd: interpretowanie pewnego tonu jako niezawodności.
14. Agent: wybieranie i realizacja kroków w kierunku celu
Agent AI to system, który wykorzystuje model do podejmowania decyzji i realizacji kroków zmierzających do osiągnięcia celu, zwykle poprzez korzystanie z narzędzi. Zwykły chatbot może wyjaśnić procedurę zwrotu; agent może sprawdzić zamówienie, ocenić warunki uprawniające do zwrotu i przygotować wniosek o niego.
Typowy cykl w przypadku zwrotów:
- Czytanie celu klienta.
- Określenie, jakich informacji brakuje, na przykład danych o zamówieniu.
- Wezwanie narzędzia do wyszukiwania zamówień dostarczonego przez aplikację.
- Ocena wyniku według obowiązujących zasad.
- Prygotowanie zwrotu, postawienie pytania wyjaśniającego lub przekazanie sprawy osobie ludzkiej.
Model nigdy sam nie uzyskuje dostępu do bazy danych. Aplikacja udostępnia narzędzie, sprawdza uprawnienia i wykonuje operację; model jedynie proponuje wywołanie. Stopień autonomii jest bardzo zróżnicowany – od pojedynczego wywołania narzędzia po długie, wieloetapowe sekwencje – i nie każda stała automatyzacja zasługuje na miano „agenta”. Aby dowiedzieć się więcej na temat samego cyklu, zobacz zrozumienie agentów AI: cele, narzędzia, pamięć i cykl agenta.
- Znaczenie inżynieryjne: działania wymagają określonych granic, obsługi błędów oraz punktów kontrolnych zatwierdzenia. Opracowanie zwrotu pieniędzy nie jest tym samym co jego zatwierdzenie.
- Częsty błąd: utożsamianie zdolności do działania z uprawnieniem do działania bez nadzoru.
15. Ocena: dowody na to, że aplikacja działa
Ocena to systematyczne mierzenie tego, na jak dobrze model lub kompletna aplikacja AI wykonywa swoje zamierzone zadanie. Pomyśl o rowerze: zanim będziesz nim jeździć w ruchu drogowym, musi przejść testy hamulców, kierownicy i kół w różnych warunkach, niezależnie od tego, jak dobrze wygląda.
Dla asystenta ds. zwrotów przydatny zestaw testowy powinien obejmować co najmniej:
- Zwrot, który wyraźnie spełnia warunki.
- Zwrot złożony po upływie dozwolonego okna czasowego.
- Pytanie, w którym brakuje daty zakupu.
- Dwa dokumenty polisy, które są ze sobą sprzeczne.
- Połączenie w celu sprawdzenia zamówienia, które nie udaje się nawiązać.
- Próbę uzyskania zwrotu pieniędzy, do którego klient nie ma prawa.
Mierzyć należy poprawność odpowiedzi, czy są one uzasadnione dowodami, czy niepewność jest odpowiednio wyrażona, czy narzędzia są używane bezpiecznie, a także opóźnienia i koszty. Należy uwzględnić przypadki, których zespół nie wykorzystał podczas budowy systemu; testowanie wyłącznie na znanych przykładach przecenia jego jakość.
- Znaczenie inżynieryjne: demonstracja pokazuje, że jeden przykład zadziałał. Ocena informuje o tym, jak często system działa i gdzie zawodzi.
- Częsty błąd: ocenianie stylu tekstu modelu zamiast testowania całej aplikacji od początku do końca.
Główne wnioski
- Model jest tylko jedną częścią aplikacji AI; źródła danych, polecenia, narzędzia, uprawnienia oraz testy decydują o większości zachowań w rzeczywistych warunkach.