Промптынг, RAG ці файнцюнінг: спачатку дыягнаставаць узровень, потым выбіраць

У практычнай працы з LLM найдорожэйшым частым адмылкам ёсць вяршыння да тонкай налаштовкі, калі насправды проблема крыўціцца ў запытэ або прынтарскай прыемкі. Прыблізна у дзевяці з дзесяці случаў команда, якая пераканана, што яй трэба тонкая налаштовка, гатова змарнаваць тры тыдні і бюджэт на GPU на неправільную проблему. Што часта можна было бы узбегнуць.

Гэтае плутанне лёгка зрозумець. Тонкая налаштовка, генераванне з падкрэпленнем прынтарскай прыемкі (RAG) і інжынерыя запытаў — усе гэтыя методы зміняюць тое, што генеруе мадэль, таму здаецца, што яны можна заменіць адным другім. Але гэта не так. Кожны з іх дзейнічае на аднынскай гэлі сістэмы, таму, калі стае ясна, дзе саме лежыць проблема, выбор зазвычай стае ясным.

Тры пытанні, а не тры канкурэнты

Дапамагае перэстаць спрыятаць гэтыя методы як канкуруючыя тэхнікі і адносіцца да іх як да трох разных пытанняў, якія ставяцца модэлі:

• Прыткія запіты зменяюць спосаб прыкладкі запіта да модэлі. Паведамленне модэлі керуецца пад час выканання, і не трэба ніякога навчання чы розмешчэння.
• RAG зменяе тое, што модэлі ведома ў даны момент. Калі прыходзіць запіт, ён уключае зовнішню, свежую чы эксклюзыўную інфармацыю ў вікно кантэксту.
• Тонкая наладка зменяе стандартную працэздатнасьць модэлі. Патэрны, стыль чы навыкы выканання задач вбудовуюцца ў вагі модэлі.

Сутнасьць у тым, што прыткія запіты і RAG дзейнуюць на кантэкст, тыя самыя даныя, якія прыходзяць, тады як тонкая наладка дзейнуюць на параметрах, самай модэлі. Проблемы з ведамасцю практычна завжды ёсць проблемамі кантэксту. Проблемы з паведамленнем іноды ёсць проблемамі параметраў. Калі неясна, чы ў жалобе мова пра „модэлі не ведома X“ чы пра „модэлі не будзе дзейваць як Y“, то час выбраць тэхніку яшчэ не настаў.

Калі запітаў цалкам дастатні

Сучасныя перэдовыя мадэлі маюць выдатныя можлівасці з самага пачатку. Спачатку трэба прыйміць, што мадэль ужо можа выконаць задачу, а задачы — толькі раскрыць ўсе ўсія ўмеласці. Большасць скарг на кшталт "мадэль паслаба справляецца з гэтым" на самай працэ выявляюцца як нечыясны запіты.

Запіты ёсць паслужным спосабам, калі:

• Базовая мадэль ужо мае неабходныя знанні і навыкі і патрэбна толькі керованне.
• Трэбаванні часта зміняюцца, адколі запіт можна зменіць за каліксекунды.
• Работа павінна быць завершана сёньдзе, а не ў наступнай паўхвілі.
• Праца заключаецца ў логічных выводах, класыфікацыі, выкарыстоўванні інформацыі, якая ужо ў запыце, або ў стварэнні новай інформацыі на адной з гэтых асновах.

Косцы майжэ нулявыя, ітэрацыі вядуцца мгновенна, і ўсё, што трэба падтрымваць, — гэта тэкст. Гэта правы пункт выйску ў кожны раз.

Калі RAG ёсць правам рашэннем

RAG існуе для зберагчэння і выкарыстоўвання знанняў. Калі правільная адпаведзь завісіць ад інфармацыі, якая ёсць прыватной, захішчанай правамі, новейшай за часы навчання або занадта велікай, каб яе можна было павісці ў запіт, неабходна яе адзысканне.

Гэта правы выбар, калі:

• Адпаведзі змагчымаець відображэнне актуальных дадзэнняў, такіх як ціны на сёньдзень, дакументацыя за гэты тыдзень або актуальны запас.
• Знанні ёсць прыватнымі, напрыклад, унутранія вікі, даныя кліянтаў або каталог продуктав.
• Корпус дадзэнняў ёсць вялікім і постаўляецца ў стані змян. Павішванне 4 000-сторонней базы знанняў у кожны запіт ёсць непрактычным, а перэпрацоўкі з кожнымі змянамі дакументаў — абсурдным.
• Важліва можлівасць відстэйкавання, тыям самым — можлівасць паказаць, які джэрэлы стварылі адпаведзь, што значна дапамагае у падтрыманні довер'я і адлучэнні бягаў.

Свежасць — галоўная перавага гэтага апрантка. Зменіце дакумент у сховішчы вектарных дадзеных, і наступны запіт відразу будзе адбіваць гэтыя змяны, без падготовкі мадэлі занова і без яе перапрацоўкі.

Калі падготовка мадэлі падходзіць

Гэты інструмент людзі часта вжываюць занадта рано. Падготовка мадэлі добра падходзіць для формы, стылю і спецыялізаціі на конкрэтных задачах. Але яна паслаба ў навчанні новых фактов. Введэнне фактов праз падготовку мадэлі ёсць вядомым спосабам неудачы: мадэль запам’ячвае форму адпаведных адказоў, але не навчаецца ўпэўненна ўхватваць ўсё ў ўсіх дэталях, і тады з’яўляюцься халюцынацыі.

Гэта правы выбар, калі:

• Патрэбны адносны фармат адпаведзенняў або стыль, і ў кожным запытанні ўскладнена ўказваць гэта дакладна.
• Задача ёсць спецыялізаваная і вімагае велікага об’ёму працы, і меншая мадэль, падготавленая пад конкрэтную задачу, можа дасягнуць такой жа якосці, як і велікая мадэль, за значна меньшыя вітраты на кожны запыт.

Прыгвоты должны стаць корачэйшымі, з прыкладамі на канлічыні і інструкцыямі, якія ўжо ўключаны ў параметры мадэлі, тады кожны запіт будзе танней і шырэй.

Методы прыгвотавання і RAG былі розвіты да максімума, але застаецца конкрэтны, вімерны прыемак.

Гэтыяя апошніяя умовыя ўсёга важнейшыя. Тонкая налаштовка рэдкая калі ёсць першым інструментам. Яна выкорыстоўваецца тады, калі прыгвотавання і RAG працаваюць майжэ належна, але застаецца жорсткі, чыста візначаны прыемак, як правілу, у паведанні, часе адпаведзення або вартасці за запыт у масштабе.

Паралельны аналіз трох прыемакоў

Простаяя паравана паказвае, якіяя між імі разлікі:

• Прыгвотавання: без вартасці стварэння, вышэйшая вартасць за запыт для дужа дзяўгіх прыгвотаў, можна мгновенна змяніць, самае не мае механізма карыстоўвання свежасці дадзеных.
• RAG: сярэдняя вартасць стварэння і адтрымання, дыякрэтна вышэйшая вартасць за запыт з-за даданага кантэксту, найкрашчае падходзіць для падтрымкі свежасці дадзеных.

Тонкая наладка: высокі пачатковыя вітраты, можліва ніжэйшая вартасць за кожны вызов, найпамедлівейшыя змены, а таксама найслабейшыя рэзультаты, калі змінююцыся факты.

Алгорытм прыняцтва рашэння

Адпрацоўваюце запытанні па парадку і зупініцеся на першым, які рашае проблему.

1. Чы можа лепшы запыт яе вырашыць? Чыстыя інструкцыі, калькі прыкладоў і структураваны фармат выходных даных — гэта тое, што трэба спачатку. Адпрымаецца ад 80% проблем. Калі мадэль мае неабходныя можлівасці і ёй толькі трэба кераванне, праца завершана.
2. Чы задача выкарыстоўвае інфармацыю, якой не хапяе модэлі? Калі правільнасць залежыць ад прыватных, новых або вялікага карпуса знанняў, трэба адключыць RAG. Факты трэба атрымваць, а не трэнаваць.
3. Чы гэта спецыфічны, вімерованы разлік у паведамленні, фармаце чы косце, які не можна падрыхтаванням запытанняў і RAG закрыць? Лячынае тут фін-налаштаванне, і яму патрэбна рэальная ацэнка, якая пакажае гэты разлік, а таксама пазначаныя даныя, каб яго закрыць.

Багатыя команды прывыкаюць выбіраць толькі адна з гэтых методаў. Найэфектывнейшыя сістэмы выкарыстоўваюць ўсе ўсабыто: фін-налаштаваны мадэль, якай дотрымваецца стандартаў компаніі, які падпіраецца канвэйерам RAG для отрымання новых знанняў, і керуецца добра складзеным запытаннем, якое спаівае ўсё разам. Кожны слой выканае сваю працу.

Конкрэтны прыклад: асістэнт падтрымкі

Возьмім асістэнта падтрымкі кляўэнтав і заўважым, што прыходзяць тры разныя скаргі.

• Ян не можа адпаведаць на запытанні пра продукт. Для гэтага патрэбен RAG, адколі яму трэбная дакументацыя, якую ён ніколі не бачыў. Фін-налаштаванне могло б навучыць тону адпаведзей, але не фактам.
• Яго адказы правыя, алле занадта дзялгія і не адпавядаюць стылю брэнда. Спачатку даёцца падказка, інструкцыя па стылі і адна короткая прыклад. Калі гэта парадоксальна ў масштабным выкарыстоўванні, трэба прыстосаваць мадэль пад голас.
• Яна точная і адпавядае стылю брэнда, алле пяць мільйонаў запытанняў у месяц робяць яе занадта дорогай. Трэба прыстосаваць меншую мадэль на транскрыпціях выходаў вялікіх модэляў, каб дэшавейшая мадэль могла справіцца з такым обсягам.

Адна продукцыя, тры проблемы, тры інструменты. Ключавая навык — адгуківацца, у камплексе, на тое, у яком слою знаходзіцца проблема, а не проста ведаць тэхнікі.

Кошты, якіх ніхто не вырахоўвае

Гэтыя падходы разніцяцца не толькі па пачатковых зусіллях. Іхнія кошты маюць абсалютна разныя формы, і правы выбор часта залежыць ад таго, дзе будуць вітрачаны грошы.

Стварэнне запрасаў не каштуе многа на пачатку, а аблікуюцца за кожны вызыв. Аднак эфектыўны запрас зазвычай ёсць довгі, з дэтальнымі інструкцыямі, прыкладамі і вярнутым кантэкстам, і кожны токен аблікуецца за кожны запрас. Пры мільйонах вызываў запрас сістэмы дыяграматычна 2,000 токенавы стае значным статэм. Кэшаванне запрасаў значна смягчае гэта, адколі стабільны прыметнік кэшуецца і аблікуецца за частку звычайнай цены, але структура застаецца: няма віткоў на стварэнне, а плата выконвалася вышэйшай сумой за кожны вызыв.

RAG выклікае сярэднія віткі на стварэнне, якія включаюць хранэнне вектараў, працэс генеравання эмбедынгаў і логіку пошуку, а таксама постаўляюць стаўкі за падтрымканне індэкса у актуальны стан. У момент аналізу запіта ён працоўваецца з эмбедынгам, а атрыбуты кантэксту, якія былі знайдзены, оплачваюцца як токены запіта. Таму вызовы RAG зазвычай ёсць дорожэйшыя, чым просты запіт, адтолькі ўважаецца, што кантэкст дадаецца, а не адмахваецца. Гэта ўзятае за звычай, калі ўважаецца, што альтэрнатыва — калі мадэль будзе абманута ў сваіх выводах ў зв’язку з власнымі данымі компаніі — ёсць непрыемнаю.

Тонкая наладка змінюе сітуацыю. Яна выкалічвае значныя пачатковыя вітраты на падготовку дадзей, выкарыстоўванне GPU, ацэнку і інжынерныя працы, але ў замяну вартасць за кожны вызов часта зменшаюцца. Інструкцыі і прыклады знаходзяцца ў вагах мадэлі, таму запіты стаюць корачэй, і невялікая наладжаная мадэль можа заменіць вялікую, якая трэба дакладна налаштаваць. Пры вялікай колькасці вызоў заўтроцення экономіі за кожны вызов стае такім значным, што перавышае пачатковыя вітраты. Пры малай колькасці вызоў такая экономія ніколі не пакрывае вітатак.

Асновны прынцып: тонкая наладка — гэта інвэстыцыя, якая амортызуецца пры павышэнні колькасці вызоў. Калі няма достатньго трафіку, каб экономія за кожны вызов пакрыла вітатакі на стварэнне і адтрыманне мадэлі, расчыткі не стаюць плюсавымі, а большасць праектаў не маюць такога трафіку. Запіты і тэхніка RAG застаюцца дышэўнейшымі загалом, пакуль не будзе досягнута рэальная масштабаванасць.

Свежасць тыха паверхае споры

Адзін факт завершае дыялогіі быстрэй за будзьшыя: частацтва, з якімі зміняецца правільная адпаведзь, і шырока, з якой сістэма павінна гэта адбіцца.

• Адпаведзь ніколі не зміняецца, як у загальных задачах логікі і мовы. Новасць няма значэння, таму не трэба яго адкладаць.
• Адпаведзь постаўна зміняецца і павінна праказвацца негайна, як у цэнах, запасах, сённяшніх новінах або дакуменце, вырэдзанам пяць мінут тымчасов. У такіх случаях RAG ўзьме абсалютную перамогу. Дастатньва толькі апдэйтаваць вучальны матэрыял, і наступны запіт будзе адбівацца ў складзе з яго. Тут фін-налаштаванне ёсць пасткаю, адколі мадэль становіцца застарэлай як толькі даныя зміняюцца, а перэналяштаванне не можа быць на такой жа шырокай шырокасці.
• Тое, што трэба зафіксаваць, — гэта стабільная працэздатнасць, а не змінныя факты, такія як стыль напісання або фіксаваная структура выходных даных. Фін-налаштаванне ў такіх случаях ўсё ж дапамагае, адколі тое, што ўжо закладзена, не становіцца застарэлым.

Шырока практыка: команда дакручвае мадэль на адпрацаваным фатаге сваёй базы знанняў, выкідае яе, а чыры разы пазней бачыць, як мадэль весела адпавядае на запытанні пра версію продукту, якой больш няма. Гэта не недакладнасць дакручвання. Гэта неправы інструмент, які выкорыстоўваецца для рашэння проблемы, чутлівай да свежасці дадзенняў, і RAG завжды быў правым рашэннем.

Дзе інжынеры робяць помылкі

Часта павтараюцца калькі:

• Дакручванне для дадзення новых знанняў. Гэта ненадзеянае рашэнне, і яно стае неактуальным як толькі дадзеныя зміняюцца. Выкорыстоўваеце RAG.
• Перш заўсёды праграма дакручвання, таму што гэта здаецца серйозней, чым простае запрашэнне. Простае запрашэнне — гэта не проста трук для пачаткунав, і яно дае найбольшую цэннасць за працаваны час.

Стварэнне RAG, калі весь корпус пасходзіць у вікна кантэксту. Двадцятыя-сторанковая база знання можа проста быць уключаная ў запіт, зберагваная ў кэшы. RAG дадаў бы сложнасць у пошуку, якой ніхто не патрэбуе.

Адмова ад ацэнкі. Немагчыма з’ясавіць, чыя правіла налагоджэння дапамоглі, без пазначанага базовага рэвалюцыі, таму трэба стварыць набор для ацэнкі раней, чым прымаць складныя методы.

Короткая версія

У 2026 году стандарт — спачатку запіт, пасля чаго шукаюць знання, калі яны патрэбны, а налагоджэння правіла прымаюць толькі для усунення зафіксаванага розбіжнасці ў працэсе. Рашэнне павінна выкліквалася балансам між костам, зусіллямі і свежасцю інфармацыі, а не тым, якая тэхніка звучыць найболей вражаюча пад час прэзентацій.

Команды, якія працуюць быстра і дэшава, спачатку аналізуюць структуру, перш чым вжываць інструменты. Як толькі гэта будзе зроблена правільна, большасць складных рашэнняў знікне.

Спаднія матэрыялы

• Адаптаванне з дэмаверкіі да працы ў працэсе: разбіўка на часткі, pgvector, перэранкіраванне і FastAPI — Чым насправды складаецца бэкэнд працэсу RAG у працэсе: ETL і разбіўка на часткі, эмбедынгі ў pgvector, індэксы HNSW, перэранкіраванне за дапамогою крос-энкодэра і оркестратор FastAPI.
• Тонкая наладка модэлю для аналізу візуальных дадзеных на чыпах Apple з адпаведнымі інструментамі MLX і Ollama — Зменшыце галюцынаціі пад час аналізу дадзеных шляхом тонкай наладкі модэля Qwen2-VL з адпаведнымі тэхнікамі MLX LoRA на Mac, пасля чаго пераканвертуйце яго у фармат GGUF і выкарыстаце ў існуючым дапрыемку RAG за дапамогою Ollama.

Ацэнка прыема дадзейн у RAG за межаў ANN Recall, на прыкладзе Turbopuffer — Швайны вектарны індэкс усё ж можа не знайсці адпаведнасць. Дазнаецеся пра компрэсіі ў зберагчыцы Turbopuffer, гібрыдны метод BM25 плюс пошук вектараў, а таксама пра тое, як «золатыя» наборы дадзейн адметруюць рэальны Recall.

Анчараванне тонкай наладкі LLM з выкарыстоўваннем перакананых рэальных дадзейн — Як стварыць маленькі набор рэальных дадзейн для тонкай наладкі: выбірайце аўтарытэтныя істочнікі, запрашайце захішчаныя старонкі і PDF-файлы у фармаце Markdown, фарматавайце радкі, пераканвайце і адкладзіце ў бок.

Шасцяступенчатая схема становлення інжынера AI да 2026 года — Дзеянне інжынераў AI, неабходная ступень матэматыкі, шасць стадзій ад Python да RAG і агентаў, а таксама шасцімесечны план, тры праекты для портфеля, распашчытныя прычыны.

Чаму LLM-ы патрабуюць зовнішней памяці: RAG, эмбеддынгі і файн-цюнінг — Як прыем адзысквання дадзеных падкрэпляе генераванне ў мовных мадэлях, чым являюцца чанкінг, эмбеддынгі, адпаведныя адказы, дзе RAG перавыграў файн-цюнінг, а дзе ён все ўсё не выконвае сваёя задачы.