RAG, файнцюнінг ці агенты: як выбраць патрэбны ўзровень і парадак яго будавання
RAG супраць файнцюнінгу і AI-агентаў: што робіць кожны, кошт, затрымка і збоі, практычныя правілы і HR-асістэнт, які паказвае, у якім парадку іх будаваць.
Крыніцы: RAG vs Fine-Tuning vs AI Agents: When to Use What in Real-World AI Systems
У практычна кожнам праекце з LLM раней чым пазней выклікаюцься два пытанні. Адна з іх — чы хацяць запрашваць дакументы чы налаштаваць мадэль. Другая — чы продукту патрэбен агент чы проста болей розумны запрос. Неяк не дывна, але на якіях з іх часта даюць паслабныя адказы, і не толькі пачатківцы. Даžнаваліся інжынеры паспялі вікі на налаштаванне мадэлі, каб тая запамятавала факты, якія запрашэнням для запрашэння дакументаў можна было бы атрымаць за аднаго дня. Іншыя команды абгортавалі фрэймворк агента навакола таго, што на самай працэ было проста канцэнтрам для адпаведзення на пытанні, проста таму, што агенты былі тэмай кожнай нарады таго кварталу.
Менш захопліва рэальнасць заключаецца у тым, што алгорытмы адзыскві, наладкі і агенты не ўзаемна конкуруюць за адну і тую ж задачу. Кожны з іх рашае аднародную проблему, а сістэмы, якія працуюць для рэальных корыстувачаў, часта сумяшваюць два з іх або ўсе тры, пры чым кожны элемент выканае тое, у чым ён супэрнацыянален. У наступным раздэле паказана, як кожны з іх працуе пад спадом, скількі гэта коштае, як команды іх зласовуюць, як элементы взаімаўзаеся і невялікі праект, які паказвае парадак іх стварэння.
Што на самай працэ фактычна робіць кожны з іх
Адзыскві-аддытаваная генерацыя
Алгорытм адзыскві не паўтарае мадэль. Ён толькі зміняе тое, што мадэль мае можлівасць прачытаць пры адпаведзе.
Калі прыходзіць запіт, сістэма ператварае яго на эмбедынг — цыфровое выражэнне яго значэння, і шукае ў базе дадзэнняў вектараў, такіх як Pinecone, Qdrant, FAISS або Azure AI Search, зберагучыя фрагменты, якія маюць найбольша сэмантычная блізасць. Гэтыя фрагменты дадаюцца як кантэкст у запрошэнні, і мадэль адпавядае на адважанне гэтых дадзэнняў, а не на тое, што яна асваяла пад час прадзяловай падготовкі.
Ценнасць крыўціцца ў тым, канфузію яна запобегае. Мадэлі найлёгкая адкрываюць дэталі, калі яны змушаны адпавядаць на адважанне внутраней памяці, па-особліву ў тымы, якія ўзніклі нядаўна, есць малавядомыя або спецыфічныя для адной кампаніі. Пры наданні модэлі кантэкставага тэкста ў кожны раз значыць, што яна адважае на адважанне актуальных дадзэнняў і не здагадваецца.
Гэтая паіплайн-сістэма мае фіксаваныя правілы працы: яна прыймае дакументы, дзеліць іх на часткі, уключае гэтыя часткі, зберагае вектары, адмашчвае пошук сэроднечы, частае з’еднвае яго з пошукам па ключовым словам, за неабяжнасцю пераранжуе кандыдатавакі, складае запіт і генеруе рэзультат.
Тонкая наладка
Тонкая наладка разлічваецца па характары, а не толькі па ступені. Ужаўваны мадэль продовжвае трэнавацца на падобранай групе вашых сабе прыкладоў, зазвычай на парах вхідных дадзеных і бажанага выходу, якія дэманструюць точна тое паведанне, якое трэба. Зменяюцца вагі, а або з адпаведнымі тэхнікамі LoRA і QLoRA зменяецца невялікі набор вагі адаптара, які дадаецца да зашчытанага базовага модэля.
Ён добра працуе для навучэння практыкам: тону голасу, строгаму фармату выходных даных, адзінаму спосабу рашэння паводзяў пэўнага тыпу, або адносу да крайніх кейсаў у галіні, дзе існуе тыячы пазначаных прыкладаў. Мета — перакашталетыць стандартную працэю так, каб тыя ж інструкцыі не патрэбна было павтараць у кожным запіце, а не дадаць новыя факты.
Ён паслаба працуе для усяго, што постаўляе змяны. Каталог продуктав, які апдэйтаваецца ў тыжневым тэрміне, не можа разумна знаходзіцца ў вагах мадэлі, таму што знанні застойваюцца пасля завершэння навчання, а кожны апдэйт значыць новы запуск.
Агенты
Агент размешчае мадэль у цыкле: назірае, робіць выважання, дзеяе, назірае за рэзультатам, зноў робіць выважання і продовжвае, пакуль не будзе досягнута мета або не спрацюе правіла зупінкі. Мадэль больш не дае аднаго адказу. Яна выбірае, што робіць далей, часта вызываючы такія інструменты, як API, функцыі, базы дадзеных і іншыя сервісы, і включае ўхідныя даны з іх у свае наступныя рашэнні.
Саме гэты цыкл ператварае сістэму, якая адпавядае на запытанні, у сістэму, якая выкананяе задачы. LangGraph, CrewAI і ручна рэалізаваны цыкл ReAct — усе яны выконваюць якуюсь версію гэтага цыклу: мадэль пішае свою думку, выбірае інструмент, інструмент запускаецца, рэзультат вяртаецца ў кантэкст, і цыкл павтараецца, пакуль агент не вырашыць, што ўсё завершана, або не дасягне ліміту крокаў. Ліміт крокаў завжды трэба задаць.
Кораткій спосаб разлічыць гэтыя тры элементы:
- Функцыя адзысквання інформацыі забезпечвае правямую інформацыю.
- Тонкая наладка забезпечвае правільную працю.
- Агенты даюць належны градус автаноміі.
Паралельна праця
Разлікі праўдзіваюцца у калькі параметраў:
- Абнаўленні знанняў. Адзысканне ведамасцей вяліцеся ў рэальны час, так як дастатнька толькі апдэйтування базы вектараў. Апдэйтаваныя знанні застаюцца незменнымі да наступнага цягу трэніравання. Для агентаў усё залежыць ад таго, што яны адзыскваюць або вызываюць.
- Косць. Адзысканне ведамасцей мае сярэдні розмер: эмбеддынгі, зберагаччы і дадатковыя токены вхідных даных. Тонкая наладка мае высокія косты завдзяк прабору дадзэнняў, вычысленням, часу на GPU і ацэнцы. Косць агентаў колічыцца ад сярэдніх да высокіх, так як кожны заданні включае калькі модэляў плюс плата за адпаведныя інструменты.
- Складнасць. Для адгэтування дакументаў патрэбна ўпаковка, уключэнне і налаштаванне працэсу пошуку. Для тонкай налаштавкі патрэбна падготовка дадзэнняў, інфраструктура навчання, ціклы ацэнкі і захопленне ад надмернага прылягання. Для агентаў патрэбна планаванне, інтэграцыя інструментаў, карэспанція з адказамі на адказы і кантроль ціклу.
- Час на налаштаванне. Дні на адгэтування дакументаў, тыдні на тонкую налаштавку, а для агентаў — ад дзён да тыдняў, залежна ад працэсу выканання задач.
- Найбольш падходзяча для. Адпаведзення на запытанні, пошук у дакументах і адгэтування дакументаў. Для тонкай налаштавкі — тон, фарматаванне і логіка дзеяння ў пэўной галіні. Для агентаў — багатоэтапныя задачы, аўтаматызацыя і выкарыстоўванне інструментаў.
- Затрымка. Адгэтування дакументаў дагэтульвае адзін крок, як правіла, 50–300 мілісекунд. Тонкая налаштавка не дагэтульвае нічога пад час выканання задачы па супэрнатыўнай модэлі. Агенты часта выконваюць калькі крокаў і можу патрабаваць калькі секунд на кожную задачу.
- Тыямо. Адзыявленне значыць падтрыманне базы знанняў у актуальным стане. Дакладная налада значыць перыядычную перапрацоўку ў залежнасці ад змян у патрэбах. Агенты значыць адканаўленне процэсаў работы, інструментаў і інструкцый.
- Тыповая неудача. Некалькаспрэчнае адзыявленне прыводзіць да несумяжнага кантэксту і некалькаспрэчнай адпаведзі. Надзанятасць робіць наладжаны мадэль хвороблівай да незнайомых даных. Агенты застаюць у цыкле, выклікаюць некалькаспрэчны інструмент або ствараюць безмежныя вітраты.
Тры сітуацыі, по адной для кожной
Чат-бот для падпараціння пасля падтрымкі падходзіць для выкарыстоўвання ў дакументацыі да продукту. Компанія, якая мае 400 сторанак дакументацыі, логів змян і правілаў, можа настроіць мадэль на гэты тэкст, але настроеныя параметры мадэлі стануць застарэлымі пасля наступнага выласкання продукту. Уключэнне кожнага фрагмента ў базу вектараў запобегае гэтаму. Калі кліент спытаецца, чыі API падтрымлівае пакетныя запыты, сістэма выбірае тры найболей актуальныя часткі дакументацыі, мадэль адпавядае на запыт на адной з іх і паказвае відпаведную сторанку. Пасля змян у дакументацыі пасля наступнага цыклу розработкі, паўтарныя уключэння фрагментаў апдэйтуюць адпаведзі без паўторнага навчання мадэлі.
Прамус для напісання у стыле статэйкі дапамагае ў тонкай наладзе. Компанія-выпускнік медыя-контэнту хочаць апускі ў абавеснай стыле: пэўны рытм рэчэй, без першай особы і пэўная колькасць ключоўых момантаў у верхней частцы. Заставленне модэлю дае хорашыя рэзультаты, але з часам ўсё больш адхіляецца ад намечанага. Навчанне на адносна 2 000 парах апускаў, вырэдзаных людзьмі, дапамагае модэлю надзеясна ствараць тэкст, які адпавядае стылю компаніі, без патрэбы кожны раз падкладаць кераванне стылам.
Адаптаванне кандыдата падходзіць агенту. Стартап з працавання хочаць сказаць: пераглянуць гэтага кандыдата і запланаваць календарны разыянне, калі ён падходзіць, а рэшта — сама сабе. Агент чытае рэзюме, практычна пераканае яго па трэбаванням вакансіі за дапамою внутраняго API для ацэнкі, пераглядае календар руководзіцеля з працавання, пішае і надае электранаўку з планаванням, а таксама фіксуе рэзультат у сістэме адстэйкі кандыдатаў. Одна інструкцыя пакрывае ўсё гэта, і ніхто не чапаецца за адзінкавыя крокі.
У практыцы пастаеяе тая ж раздзеленасць: дызайны, якія акцэнтаваны на запошчанні дадзеных, адпавядаюць за базаванне, агенты — за оркестрацыю, а тонкая наладка выкорыстоўваецца толькі тады, калі падказкі не можаць стабілізаваць паведанне.
Як яны адна з іншайю сувязаны
Шырокія слоі не ўтвараюць абсалютна незалежных структураў. Найболей эфектывныя сістэмы ўз’яднаюць іх, пры чым запіт прайходзіць ад агента, які плануе, праз працэс выкарыстоўвання інформацыі, якая падае факты, да настроўанага модэля, які сформулюе выходны рэзультат.
User Query
↓
Agent (decides what needs to happen — plan the steps)
↓
RAG (retrieves relevant knowledge, if the step needs facts)
↓
LLM (fine-tuned, if tone/format/behavior consistency matters)
↓
Action (respond to user, call a tool, trigger a downstream workflow)
↓
Agent (evaluates result → loop again or stop)
У сэрвіснай супрацоўцы гэта выглядае так: прыходзіць паведамленне, і агент класіфікуе яго мету, вырашаючы, што патрэбная інфармацыя пра продукт. Сістэма адзысквання выцягвае неабходныя фрагменты дакументацыі. Наладжаная мадэль складае адпаведны адказ у стылі брэнда. Потым агент ацэнюе, чыяму ўпэўненасць дастаткова высока, каб адправіць адказ аўтаматычна, чыму трэба, каб працаваў чалавек, і нарэшце фіксуе весь абмян у CRM.
Калі адняць хоць які элемент, з’яўляецца прызнак. Сістэма адзысквання без агента не можа вырашыць, калі шукаць інфармацыю, а калі дзеяць. Агент без сістэмы адзысквання не мае жадных ведамаў па тэмам, якія не ўключаныя ў яго навучальныя даны. Наладжаная мадэль без сістэмы адзысквання дае упэўненыя, апрантаваныя адказы, якія можаць быць застарэлыя.
Скількі кошта кожны элемент
Наведаныя ніжэй цыфры паказваюць толькі апэктыўныя значэнні, адколькі рэальныя паказнікі залежаць ад масштабу і прадаўцы.
Для выкарыстоўвання первыя вітраты адносяцца да установкі корпуса дадзеных, які можа быць установленае адной часовай або поступова па меры зростання колькасці дакументаў. Рэгулярныя вітраты — гэта хостыранне векторнай базы дадзеных па певнай цэне плюс дадатковыя токены за выкарыстоўваны кантэкст у кожнай запытцы. Цэе самыя дышэчныя спосабы для атрымання бажанага рэзультата, таму большасць командаў должныя пачынаць самэ звідсі.
Для тонкай наладкі значныя первыя вітраты часта адносяцца да дадзеных: збір і пазначэнне якісных прыкладаў для навчання ёсць дорогім. Далей ідуць вітраты на вычысленні пад час цыклаў навчання і ацэнкі. Пасля чаго трэба занова навчаць, калі неабходна змяніць прыемы карыстоўвання, а таксама хостыранне спецыяльнага модэлю, калі толькі не выкарыстоўваецца LoRA на спяльнай базе. Цэй спосаб трэбуе самых большых пачатковых інвестыцый і мінімальна тольеруе помылкі, адтыму што парадныя дадзеныя для навчання безпосерэдна вплываюць на якасць працы модэлю.
Для агентаў наладка включае праектаванне рабочага прайсупутніку, інтэграцыю інструментаў і тэставанне можлівых сцэнарыёў абыякавасці. Рэгулярныя віткі ёсць скрытым аспектам, адколькі кожны крок агента ўособлівае ўзыв да модэлю. Задача, якая складаецца з пяці крокаў, можа коштаць у пяць-дзесяць разоў больш, чым адна простая запытка, а цыкл без ліміту павтарэнняў можа працаваць без канца. Выценка відображае сложнасць задачы, а не толькі колькасць ўжыцця.
На практыцы можна сказаць, што запыткі ўзяць інфармацыю зазвычай ёсць найдэшавшы спосаб зменшыць колькасць халюцынацый. Тонкая наладка ўзнаграджаецца толькі тады, калі стабільнае паведанне ёсць справжнім трэбаванням продукту, а не проста додатковым прыемлівым элементам. Агенты практычныя з точкі зору цены за задачу толькі тады, калі задача вымагае калькі рашэнняў і дзеянняў, а не тады, калі дастатнім будзе адзін правільна падбораны узыв.
Практычныя правілы для выбору
- Выберыце метод адзысквіць дадзеных, калі воны часта зменяюцца. Дакументы, правілы, каталогі, цены і запасы, якія зміняюцца ў тыдзень або ў дзень, чырпаюць паўную параду з гэтага методу, але паслабаюць эфект ад тонкай наладкі.
- Выберыце тонкую наладку, калі важнейшы ўзор паведання, чым самыя знанні. Калі мадэль знае сферу, але продовжае вяршыць неправільны тон, фармат або патэрн аргументацыі, незважаючы на правільныі запрос, проблема крыўдзіцца ў паведанні.
- Выберыце агента, калі задача выклікае неабходнасць кількох крокаў аб дзеянняў у рэальным свеце. Адпаведзь на запытак не выклікае такой неабходнасці. Аднак выявленне таго, што трэба зрабіць, а пасля ўжо выкананне гэтага ў розных сістэмах, верагодна, так.
- Спалучыце адзысквіць дадзеных і тонкую наладку, калі неабходны як адпаведныя факты, так і стабільны тон, што часта бувае у продуктах, назначаных для кліентаў.
- Спалучыце адзысквіць дадзеных і агента, калі задача выклікае неабходнасць як фактов, так і рашэнняў, пры чым агент выбірае, што шукаты і калі дзеяць на адной з гэтых інформацый.
Тая ж логіка можа быць практыкавана ў двух короткіх схемах прабегу. Першая пераканальваецца, чы рэшэнні залежыць ад інформацыі, якая часта зміняецца.
Does the answer depend on information that changes often?
YES → RAG
NO ↓
У другам упытку спытваець пра адпаведнасць паведамленняў і пра тое, чы робіта складаецца з кальколькі хадоў чы з рэальных дзеянняў.
Does the model need to consistently behave/sound a certain way,
and prompting alone isn't holding that consistency?
YES → Fine-tuning
NO ↓Does the task require multiple steps, tool calls, or real actions
(not just answering a question)?
YES → Agent (likely combined with RAG, and fine-tuning if voice matters)
NO → A single well-prompted LLM call is probably enough
Маленькі праект, які паказваюць прынцыпы
Возьмімо внутршньага асістэнта па кантролі кадраў.
- Пачніце з ахавання інфармацыі. Убудуўце інструкцыі для працаваючых, правілы прыпынення працы і дакументы па паўтарынкам у вектарны сховішча. Тады працаваючыя могу запытацца, сколькі дзён хворобы ў іх ёсць, і атрымаць обоснованы, апаводжаны адказ. Гэта падкропвае адпаведна 70 процэтаў такіх сцэнарыяў і займае калькі дзён.
- Дадайце дапрацоўкі толькі, якшчы з’явіцца прызнакі недастатку. Падазроўваючы, што кантроль кадраў хоча, каб кожны адказ мяў спецыфічны эмпатычны тон і строгі фармат: «Гэтае — правілы, гэтае — што гэта значыць для вас», а адказы продовжваюць адхіляцца ад гэтага, маленькі модэль, настроены на калькі соткаў падобных пар пытання-адказ, можа заполніць гэты прызнак.
Парадок падбіральны. Адзыскванне інфармацыі выканана перша, таму што гэта найдэшавальнейша метода і ўсеохватная. Настраівання мадэлі выканана толькі тады, калі пазірае рэальны разлік у паведамленнях. Агенты выкананы ў пасляднюю чаргу, і толькі тады, калі задача сапраўды выклікае мнагаэтапныя дзеянні.
Частыя памылкі
- Тонкая наладка там, дзе была патрэбна адзысканне інфармацыі. Команды прагтуюць уключыць знанні ў параметры мадэлі, калі практычная проблема выклікае нехватку доступу да актуальных даных. Рэзультатам ёст тое, што працэс стае медленней, значна дорожэй і старэець як толькі мадэль пачынае працаваць.
- Агенты без чытко візначанага працэса работы. Нечытка мета разам з необмежанымі інструментамі выклікае тое, што агент блукае, практыкуе петлі і ведае ся неперакладзумовна. Чыткія умовы завершэння працы, адмітныя межы колькасці крокаў разумовага аналізу і вузкі спектар інструментоў дапамагаюць кераваць яго дзеяннямі, тады калі проста прабачыць яму самостойна рашаць проблемы не можа заменіць чытка візначаны працэс.
- Ігнораванне затрымкі і вартасці. Кожны крок адзыскання інфармацыі і кожны крок агента выклікаюць дадзейненне ўсё большых затрат і дадаюць прычыну для даплатаў. Дэманстрацыя можа выглядаць чыста прыгожа, але ў рэальных умовах для атрымання адпаведнай адпаведзі можа знадобіцца 12 секунд і шасць вызоў мадэлі.
Напрамак развіцця
Індустрыя ясна прымыкае да агентных рабочых практык, тое значыць да сістэм, якія плануюць, дзеяюць і выконваюць наступныя крокі без пацікавлення ў кожны раз. Наступны крок — гібрыдны падход: выкарыстоўванне даных для падтрымкі адпаведных адпаведзей, налаштавання параметраў для стабілізаціі поведзення, а таксама дугавечная памяць, якая дазволяе агенту прыгадваць пакананыя раней пераказы, замест таго, каб ў кожнай сесіі пачынаць з нуля.
Відбуваецца помітны пераход ад чат-ботаў да таго, што дзеяныя называюць сябрамі на базе ШЫ — сістэм, якія выкананяюць постацэйную работу ў розных інструментах і працуюць у часе, а не чакаюць на запытанне. Дасягненне такога рубежа мала стосунака да выбору самай яскравай тэхнікі. Гэта залежыць ад розумення таго, што кожная частка робіць добра, і ўсвядомленага ўзаемадзейнавання іх, пачынаючы з самага простагу слоя, які рашае проблему.
Выбор ніколі не быў між толькі выкарыстоўваннем дадзеных, ўточненнем ўстановак чы агентах. Асенсівны вопыт — гэта якая комбінацыя патрэбна конкрэтнай сістэме і ў якой спраўе яе трэба стварыць.
Супаўзяныя матэрыялы
- Chroma Context-1: 20B-мадэль-падчынны агент для шырэйшага і точнейшага RAG — Як Chroma Context-1 з 20 мільярдаямі параметрамі выступае як падчынны агент толькі для выкарыстоўвання інфармацыі, які сам скарбліць свой кантэкст, як яго навучалі, што не хватает без яго вікорыстоўвання і ў чым ён не дастатковы.
- Практычныя заўважэнні: Тры рэвэры Google Cloud RAG: векторны пошук, двігун RAG і выкарыстоўвання агентаў — Паследовы апіс практычных заўважэнняў пра тры рэвэры Google Cloud RAG: векторны пошук, двігун RAG і выкарыстоўвання агентаў: контракты, перакананні і месцы для вставкі коду.