Inżynieria promptów: sterowanie modelami LLM bez dopracowywania

Dopracowanie polega na dostosowaniu wcześniej wytrenowanego modelu poprzez dalsze szkolenie na przykładach oznaczonych etykietami. Ta metoda pozostaje skuteczna, ale nie zawsze jest konieczna. Współczesne duże modele językowe często dobrze reagują już na same staranne instrukcje — bez żadnego szkolenia, bez korpusu z etykietami, bez GPU. Taka praktyka nazywa się inżynierią promptów i stała się jedną z najpraktyczniejszych umiejętności w dzisiejszych stackach NLP.

Dwa sposoby kierowania modelem

Dopracowanie i używanie promptów dążą do tego samego celu — przydatnego zachowania modelu — ale za pomocą przeciwnych metod.

Dopracowanie polega na modyfikacji wag modelu. Prompting nie zmienia wag, lecz dostarcza jaśniejszych instrukcji i kontekstu, dzięki czemu model może dokładniej zastosować to, co już wie. Modele takie jak systemy klasy GPT przyswoiły tak obszerny tekst, że wiele ich możliwości jest już ukrytych; prompting często służy do odkrycia właściwej ich części. Praktycznym skutkiem jest szybkość: zespoły mogą testować zmiany w zachowaniu w ciągu kilku minut, zamiast czekać na proces dopracowania.

from openai import OpenAI

client = OpenAI()response = client.chat.completions.create(
    model="gpt-4o-mini",
    messages=[
        {"role": "system", "content": "You are a helpful sentiment classifier. Respond with only 'positive' or 'negative'."},
        {"role": "user", "content": "I loved this movie"}
    ]
)print(response.choices[0].message.content)

Zero-shot vs Few-shot Prompting

Jedną z wczesnych decyzji projektowych jest to, ile przykładów, jeśli w ogóle, pokazać przed rzeczywistym zadaniem.

Prompt typu zero-shot określa zadanie i polega wyłącznie na wstępnym szkoleniu modelu. Działa zaskakująco dobrze przy typowych zadaniami, takich jak oznaczanie nastroju lub prosta streszczanie. Prompt typu few-shot najpierw pokazuje kilka par wejście-wyjście, co kieruje formatem, tonem oraz sposobem radzenia sobie z wyjątkami — szczególnie przy nietypowych lub specyficznych dla danej dziedziny zadaniami. Każdy przykład kosztuje tokeny, co zwiększa wydatki i zmniejsza ilość miejsca dostępnego na rzeczywiste dane wejściowe. Utrzymywanie krótkich i reprezentatywnych zbiorów przykładów zazwyczaj jest lepsze niż umieszczanie wielu niemal identycznych par w prompcie.

prompt = """
Classify the sentiment of each review as positive or negative.

Review: "Absolutely fantastic, exceeded expectations!"
Sentiment: positiveReview: "Complete waste of money, broke in a week."
Sentiment: negativeReview: "I loved this movie"
Sentiment:
"""response = client.chat.completions.create(
    model="gpt-4o-mini",
    messages=[{"role": "user", "content": prompt}]
)print(response.choices[0].message.content)

Anatomia dobrego promptu

Poza wyborem między promptem zero-shot a few-shot, niezawodna struktura jest pomocna, gdy prompty służą do rzeczywistych zastosowań, a nie tylko do jednorazowych pytań.

Przypisanie jasnej roli określa ton i perspektywę. Konkretne instrukcje eliminują niejednoznaczność co do oczekiwanego wyniku. Oddzielenie kontekstu lub danych wejściowych od instrukcji pomaga modelowi je rozróżnić. Jasne zasady formatowania — na przykład JSON z nazwanymi kluczami — ułatwiają analizę odpowiedzi w porównaniu z liczeniem na spójną, swobodną prozę. Kilka dobrze dobranej przykładów może dodatkowo usprawnić działanie modelu w trudnych zadaniach.

Techniki formułowania zapytań, które warto znać

W przypadku trudniejszych zadań wyróżniają się kilka wzorców:

• Procedura rozumowania krok po kroku — prosimy model o stopniowe analizowanie problemu przed podaniem ostatecznej odpowiedzi; często pomaga to w zadaniach matematycznych i złożonych problemach logicznych.
• Przypisanie roli — nadanie postaci („Jesteś doświadczonym audytorem bezpieczeństwa”) w celu kształtowania głębi i stylu odpowiedzi.
• Ograniczenia formatu wyjściowego — żądanie formatu JSON lub XML, gdy odpowiedź musi zostać przetworzona przez inny system.

Samokonsystencja — pobierz kilka odpowiedzi na ten sam prompt i zachowaj najczęściej występujący wynik, gdy odpowiedzi się różnią.

Gdy promptowanie nie wystarcza

Promptowanie ma wyraźne ograniczenia. Nie może wymyślić faktów, których model nigdy nie widział, jest ograniczony oknem kontekstowym, a przy zadaniami o dużym obciążeniu model dostosowany specjalnie jest często tańszy i bardziej spójny niż miliony powtórzeń delikatnego promptu. Wiele systemów produkcyjnych łączy oba podejścia: dostosowuje podstawowe zadania wielokrotnie, a następnie dodaje prompty dla elastyczności i radzenia sobie z wyjątkowymi przypadkami. Traktuj promptowanie jako narzędzie sterowania, a dostosowywanie modelu jako ulepszenie jego możliwości, gdy samo sterowanie przestaje zapewniać skalowalność.

Dokąd to prowadzi

Inżynieria promptów skraca drogę od pomysłu do gotowego prototypu — prace, które kiedyś wymagały oznaczonych danych i szkolenia, mogą być często przeprowadzone w ciągu kilku minut dzięki dobrze sformułowanemu promptowi. Samo używanie promptów ma jednak swoje ograniczenia, szczególnie gdy odpowiedzi muszą wykorzystywać informacje, na których model nigdy nie był szkoleni.

Następna luka — wyszukiwanie według znaczenia zamiast słów kluczowych, a następnie wprowadzanie uzyskanego tekstu do procesu generowania — to obszar zastosowań embeddingów oraz generacji wzbogaconej o wyszukiwanie (RAG).