Як працуе RAG у прадакшн-сістэмах
Як RAG працуе ў прадакшне: чаму адной LLM недастаткова, асноўная ідэя, разбіўка, эмбедынгі, вектарная база і агульная схема пошуку.
Крыніцы: How RAG Works
Чаму самыя толькі LLM-ы недастатковы
Зберагаеце стабільныя інструкцыі сістэмы і схемы знарадзёў. Перадача ідэнтычных прамуслов ёсць частым выклікам для рэсурса сістэмы.
What is our internal refund escalation workflow?
Основная ідэя RAG
Абліковваце рэкалі на фіксаваным наборэ запытанняў прычымо да налаштавання прамуслов. Часта змена прамуслов рэдка калі лепшае слабую сістэму пошуку.
Высокага рэвяра працэс RAG
Абліковваце рэкалі на фіксаваным наборэ запытанняў прычымо да налаштавання прамуслов. Часта змена прамуслов рэдка калі лепшае слабую сістэму пошуку.
Традыцыйныя LLM-ы протык усістакоў RAG
Question → Model → Response
Question → Retrieval → Context Injection → Response
Ментальная модэль, якая робіць RAG эфектываў
Задаеце ліміт токенав на кожны раунд і сесыю. Агентскія знарадзія агрэсыўна расшырваюць кантэкст; строгі ліміты не дазволяюць дэманстрацыям ператварыцца на неспакоючыя рахункі.
reasoning engines
open-book exams
Шаг 1 — Збіраюцца дакументы
Дакументы к Кроку 1 якэтапныя працы работаюць наўсёрэдзе, калі іх спрыяваць як мерыемую паверхню. Зафіксавайце адны ідэальны транскрыпт, адзін прыклад неудачы і запіс пра вярнэнне да пачатковага стану перад расшырэнням масштаба. Запісвайце часы выканання і косты токеноў або запытак па боку ад функцыйнальных рэзультатаў. Візуабельнасць костаў з самага пачатку запобегае неспакойным рахункам, калі працэс пераходзіць з дэмаверсіі ў спяльныя асяроддзя. Раздзеліце політыку часткавага апрацоўвання дадзеных ад політыкі ўтрымання іх. Змена адной з яных не павінна вымагаць перапісвання другой, калі зменяюцыся паказнікі якосці. Дакументы к Кроку 1 якэтапныя працы работаюць наўсёрэдзе, калі іх спрыяваць як мерыемую паверхню. Зафіксавайце адны ідэальны транскрыпт, адзін прыклад неудачы і запіс пра вярнэнне да пачатковага стану перад расшырэнням масштаба. Дакументавайце як успішны, так і вярнучыся шляхы адпаведна. Перапрыбуткі, людзкія контрольныя пункты і апрацоўка некорэктных паведамленняў ёсць часткай продукту, а не чымсь, што дадаецца пазней.
Чаму не можна выкарыстоўваць сырэе дакументы без перадзейсткаваў
Кабы з’ясаваць, чаму не можна выконваць працэс з необработанымі дакументамі, пярэд тым, як зменіць код, неабходна ўзначыць вхідныя даны, адпаведальнага за крок і крытэрыя завершэння. Аператары должны магчымае перадзваніць крок з вядомай точкі контролю, не прабуючы спадарацца пра схованы стан. Лепш выкорыстоўваць маленькія, тэставаныя елементы замест большых скрыптов. Калі крок не выйшоў, прычына неудачы павінна вказываць на адну конкрэтную адпаведальнасць, а не на заплутаны працэс. Наводзіце тыя часткі тэксту, якія фактычна лежаць у падставе адпаведнай адказы. Без ціх цытатаў аператары не зможаць розразліць галюцынацыю ад працягу індэксавання.
Крок 2 — Разбіўка на часткі
У стадыі фрагментавання (Step 2 Chunking) неабяжна падзець задаць інпуты, адміністратара шагу і крэтыяры завершэння пры перадзеі коду. Аперацыйныя працавнікі павінны магчымаць перзапуск шагу з вядомай точкі контролю, не падозрываючы схованы стан. Спрыяйце гэтай этапы як даговору межа інпутамі і падтверджанымым выходным даным. Дайце назвы артыкулам, задаць пераканальнія для успеху і адмовіцеся ад бяспечнага частковага завершэння. Цітуйце тыя часткі, якія фактычна сталі падставай для адказу. Без цітатаў аперацыйныя працавнікі не зможуць адразніць галюцынацыю ад прасоў у індэксаванні.
100-page document
hundreds of smaller semantic chunks
Чаму фрагментавання так важліва
На стадыі «Чаму так важлівы чанкінгі» неабяцкова ўзначыць вхідныя даны, адпаведальнага за крок і крытэрыя завершэння пры перадзеі коду. Аперацыйныя працавнікі павінны магчымае перайсці на выкананне кроку з вядомага пункта контролю, не спрабоўваючы здагадвацца пра заштынены стан. Запісваць час выканання і кост токеноў або запытаў разам з функцыйнальнымі рэзультатамі. Відразлівае паказанне костаў з’являецца перашкоду неспакою, калі працэс пераходзіць з дэмаверсіі ў спяльныя сераўы. Указваць тые часткі тэксту, якія фактычна сталі падставай для адпаведнай адпаведзі. Без цых цытатаў аперацыйныя працавнікі не можуць розразліць галюцынацыю і працэсныя прасчыпы. На стадыі «Чаму так важлівы чанкінгі» неабяцкова ўзначыць вхідныя даны, адпаведальнага за крок і крытэрыя завершэння пры перадзеі коду. Аперацыйныя працавнікі павінны магчымае перайсці на выкананне кроку з вядомага пункта контролю, не спрабоўваючы здагадвацца пра заштынены стан. Аддзеісцаваць дакументацыю як для «шчаслівага» шляху, так і для шляху вяснавання. Перапрыбуткі, людзкія контрольныя пункты і обработка нерабочых запытаў ёсць часткай продукту, а не пасляднім этапам дапрацоўкі.
Працэс чанкавання
Калі працуеце зэтапам працэсу чанкавання, спачатку запісайце умовы: неабяжлівыя даны, сігнал успеху і тое, што выходзіць пад частыя неудачы. Такі спіс контроля дапамагае заліцьваты змяны ў кодзе. Валіце маленькія, тэставаныя елементы замест вялікіх скрыптов. Калі якісь крок не выйшае, неудача должна вказваць на адну конкрэтную адпаведальнасць, а не на заплутаны весь працэс. Перад налаштаваннем запітоў пераканайцеся, насколькі эфектыва ўстаўка адпаведных даных на фіксованыя наборы запітаў. Частая зміна запітоў рэдка калі вярнайце слабкую эфектывнась ціранування інформацыі.
Пашырэныя стратэгіі чанкавання
Калі працюеце над стадзіяй «Застаўкі спакоювання даных», спачатку запішыце кантракт: неабходныя вхідныя даны, сігнал успеху і тое, што выходзіць у разе частковага невыпання. Такі спіс пераказваў заходзіць на тое, каб пазнейшыя змены коду былі чыстымі. Спрыймайце гэтую стадзію як кантракт межа вхіднымі данымі і перакананымі выходнымі рэзультатамі. Даўце назвы артыфактам, задаць правіла пераканання успеху і адмовіцеся ад мовчкавага частковага завершэння. Замерыяйце рэгрэсію на фіксаванай сэтцы запітаў прычым падбір запросоў. Частае змена запросоў рэдка калі вялікі паслявысканні.
Шаг 3 — Генераванне з уключэнням
Калі працуеце над стадзіяю 3 «Стварэнне імбеддынга», спачатку запісайце умовы: неабяжлівыя даныя, сігнал успеху і тое, што выканаецца у разе частковага нявыполнення. Такі спіс дапамагае заліцварыць пазнейшыя змены ў кодзе. Запісвайце час выканення і кост токенаў або запытаў разам з функцыйнальнымі рэзултатамі. Відразы костаў з самага пачатку запобегае неспакойным рахункам, калі працэс пераходзіць з дэмаверсіі ў спяльныя сераўы. Замерьце рэкалі на фіксаванай сэтке запытаў прычымо да налаштавання прамптам. Частае змена прамптам рэдка калі-небудзь выправляе слабую сістэму пошуку. Калі працуеце над стадзіяю 3 «Стварэнне імбеддынга», спачатку запісайце умовы: неабяжлівыя даныя, сігнал успеху і тое, што выканаецца у разе частковага нявыполнення. Такі спіс дапамагае заліцварыць пазнейшыя змены ў кодзе. Аддокументавайце як шлях успеху, так і шлях вяснавання проблем. Перапрыбуткі, людзкія контралі і обработка нераспакаваных паведамленняў ёсць часткай продукту, а не пазнейшым дапрацоўкам.
Spring Boot microservices guide
[0.12, -0.44, 0.91, ...]
Працэс умякчэння дадзеных
Этап працы працэсу умякчэння дадзеных дае найлепыя рэзультаты, калі яго спрыявае аналіз як меркаванай велічыны. Перш чым расшырваць масштабы, неабяжна зафіксаваць адны ідэальны прыклад перакладу, адзін прыклад неудачы і прыметкі па поверненню да пярвоначальнага стану. Лепш выбіраць маленькія, тэставаныя елементы замест амаль неконтрольваных скрыптов. Калі якісь крок не выйшае, прычына неудачы павінна быць асоўваная з конкрэтным элементам, а не з усім заплутаным працэсам. Неабяжна раздзеляць правілы фрагментавання дадзеных і правілы ўтрымання іх. Змена адных не павінна вымагаць перапісвання іншых, калі змянююцыся паказчыкі якосці.
Чаму важна якасць умякчэння дадзеных
Этап «Парадоксы, якія выказваюць значэнне качанства імбеддынгу» працюе найэфектыўней, калі яго спрыяваць як мерыемую велічыну. Зафіксавайце адны ідэальны прыклад транскрыпцыі, адзін прыклад неудачы і запіс пра вярнэнне да пачатковага стану, перш чым расшырваць масштабы. Спрыявайце гэты этап як кантракт межа вхіднымі дадзеннямі і перакананымі выхіднымі рэзультатамі. Даўце назвы артыфактам, задаце крытэрыя успеху і не падзеўляйцеся частым, непূরным выкананнем задачы. Раздзеліце правілы часткавага абрабатвання дадзеных і правілы ўтрыманні іх. Змена адных не павінна прымусваць перапісванне іншых, калі змянююцца паказнікі качанства.
Шаг 4 — Зберагчык базы дадзеных у вектарнай форме
Этап базы дадзеных вектараў крок 4 працуе наякша, калі яго спрыяваць як мерымабельную паверхню. Зберажыце адны ідэальны прыклад, адзін кейс неудачы і запіс пра вярнэнне да пачатковага стану перад расшырэнням масштаба. Запісвайце часы выканання і косты токеноў або запытак па боку ад функцыйнальных рэзультатаў. Візуабельнасць костаў з самага пачатку запобегае неспакойным рахункам, калі працэс пераходзіць з дэмаверсіі ў спяльныя асяроддзя. Раздзеліце політыку часткавання дадзеных ад політыкі ўзяць іх з базы дадзеных. Змена адной з яных не должна прыводзіць да перапісвы другой, калі змянююцца паказнікі якосці. Этап базы дадзеных вектараў крок 4 працуе наякша, калі яго спрыяваць як мерымабельную паверхню. Зберажыце адны ідэальны прыклад, адзін кейс неудачы і запіс пра вярнэнне да пачатковага стану перад расшырэнням масштаба. Дакументавайце як успішны, так і вярнэчы паты. Перапрыбуткі, людзкія контрольныя пункты і обработка некорэктных запытак ўжо ёсць часткай продукту, а не чымсь, што дадаецца пазней.
Крок 5 — Адзысканне запыткаў корыстніка
У стадыі запітаў корыстніка на 5-му кроце неабходна пазначыць даныя, адпаведальнага за крок і крытэрыя завершэння пры перадзеіснаванні коду. Аператары должны магчымае перадзеіснаваць крок з вядомага пункта контролю, не спрабоўваючы здагадвацца пра схованы стан. Лепш выбіраць маленькія, тэставаныя елементы замест большых скрыптов. Калі крок не выконваецца, прычына неудачы должна вказываць на адну конкрэтную адпаведальнасць, а не на заплутаны працэс. Прыкладзіце фрагменты, якія насправды ляглі в основу адпаведнай адказы. Без цых цітатаў аператары не зможуць разлічыць галюцынацію ад працягу індэксавання.
How does our payment retry system work?
Працэс выкарыстоўвання дадзеных
Для этапы пайплайна адміністрацыі задаюцца вхідныя даны, адміністратар шагу і крэтыяры завершэння пры зміне коду. Аперацыйныя працавнікі должны магчымаць перзапуск шагу з вядомай точкі контролю, не падозрываючы схованы стан. Спрыяйце цій этапы як кантракту межаў вхідных дадзеных і перакананых выходных рэзультатаў. Даўце назвы артыфактам, задаюце перакананні ў успеху і адмовіцеся ад тыхнай частковай рэалізацыі без паведамлення. Указуйце тыя часткі тэксту, якія фактычна лежалі в основе адпаведнай адказу. Без цых цітатаў аперацыйныя працавнікі не зможуць адразніць галюцынацыю ад працягу індэксавання.
Шаг 6 — Введэнне запыту
Для этапы 6 «Вбрыск запросу» неабяжна ўзначыць вхідныя даны, адпаведальнага за этап і крэтыры завершэння пры перадзеі коду. Аперацыйныя працавнікі должны магчымае запускаць этап з вядомай точкі контролю без неабяжнага вычыслення захаваных станоў. Запісваць час выканання і кост токенаў або запытаў разам з функцыйнаімі рэзультатамі. Відразлівая відавальнасць костаў з’являецца перашкодай неспакойным рахункам, калі працэс пераходзіць з дэмавай версіі ў спяльныя сераўры. Калі наступны этап — гэта код або вызов інструмента, лепш выкарыстоўваць структураваныя выходныя даны з перакананнем схэмы, чым вольныя тэкстовыя фарматы. Для этапы 6 «Вбрыск запросу» неабяжна ўзначыць вхідныя даны, адпаведальнага за этап і крэтыры завершэння пры перадзеі коду. Аперацыйныя працавнікі должны магчымае запускаць этап з вядомай точкі контролю без неабяжнага вычыслення захаваных станоў. Адначасова дакументаваць успішны і варыянт вярнення да нормальнасці. Перапрыбуткі, людзкія контрольныя пункты і обработка некорэктных запытаў ёсць часткай продукту, а не пасляднім элементам дапрацоўкі.
System Instructions
Retrieved Context:
[Retrieved Documents]
User Question:
[Actual Query]
Чаму важна структура запіта
Калі вы працуеце над этапам «Чаму важна структура запіта», спачатку запісайце умовы: неабяжлівыя даны, сігнал успеху і тое, што выходзіць у разе частковага невыпання. Такі спіс дапамагае заліцварыць пазнейшыя змены ў кодзе. Валіце маленькія, тэставаныя елементы замест большых скрыптов. Калі якісь крок не выйшоў, невыпанне должна паказваць на адну конкрэтную адпаведальнасць, а не на заплутаны ланцужок задач. Зберагаеце у кэшы стабільныя інструкцыі сістэмы і схемы інструментаў. Перадзесланне ідэнтычных даных — частая прычына зайвага навантажэння.
context engineering
Полная архітэктура RAG
Калі працюеце над стадзіяй Full RAG Architecture, спачатку запісайце контракт: неабяжлівыя даныя, сігнал успеху і тое, што выходзіць у разе частковага нэуспеху. Такі спіс контроля дапамагае заліцьварыць пазнейшыя змены ў кодзе. Спрыймайце гэтую стадзію як контракт межа данымі і перакананымі выходамі. Дайце назву артыфактам, задаце крытэрыя успеху і не падзеўляйцеся частковым завершэнням без паведамлення. Змяроўваце рэкалі на фіксаванай сэтке запытаў прычым падбір прамптав. Частае змена прамптав рэдка калі вярнуе слабую способнасць да выкарыстоўвання інформацыі.
Чаму RAG значна зменшае галюцыназы
Калі працуеце над этапам «Чаму RAG значнаючы скарочвае», спачатку запісайце умовы вікорыстоўвання: неабходныя даныя, сігнал успеху і тое, што выходзіць пад частковым невялікім бракам. Такі чэк-ліст дапамагае заставаць пазнейшыя змены коду чыстымі. Запісвайце час выканання і кост токеноў або запытаў праза функцыйнае рэзультат. Відразлівае паказанне костаў з самага пачатку запобегае неспакойным рахункам, калі працэс пераходзіць з дэмаверсіі ў спяльныя сераўы. Замерьце рэкалі на фіксаванай сэтке запытаў прычым до налаштавання прамптов. Частае зміненне прамптов рэдка калі-небудзь выправляе слабую сістэму пошуку інформацыі. Калі працуеце над этапам «Чаму RAG значнаючы скарочвае», спачатку запісайце умовы вікорыстоўвання: неабходныя даныя, сігнал успеху і тое, што выходзіць пад частковым невялікім бракам. Такі чэк-ліст дапамагае заставаць пазнейшыя змены коду чыстымі. Аддзекавайце дакументацыю пра правільны ход задачы і ход ў разы ўскладненняя. Перапрыбуткі, людзкі контроль і обработка некорэктных паведамленняў ёсць часткай продукту, а не чымсь, што дадаецца пазней.
Чаму галюцынаціі яшчэ трапляюцца ў RAG
Этап «Чаму галюцынаціі яшчэ трапляюцца» працуе найкрашча, калі яго розглядаць як віміроўваную паверхню. Зафіксавайце адна ідэальная транскрыпцыю, адзін прыклад неудачы і прыметку па адкату перш чым расшырваць масштаб. Валідзіце маленькія, тэставаныя елементы замест большых скрыптов. Калі якісь крок не выходзіць, прычына неудачы павінна вказываць на адную адпаведальнасць, а не на заплутаны працэс. Раздзеліце правіла часткавання дадзеных ад правіл ўзяць іх для пошуку. Змена адных не павінна вымагаць перапісву іншых, калі зменяюцца паказнікі якосці.
Пераранжаванне — скрытый слой якосці
Этап перыякорэння і выявлення схованай якосці працюе наўжоўды лепш, калі яго спрыяваць як меркаваную плошчу. Зафіксавайце адны ідэальны прыклад, адзін прыклад неудачы і запіс пра вярнэнне да поперадньага стану пры расшырэнні масштаба. Спрыяйце гэтаму этапу як кантракту межа вхіднымі данымі і падтвердзенымі выходнымі рэзультатамі. Дайце назвы артыфактам, задаць крытэрыя успеху і не падзеўляйцеся частым, непূরным выкананням задачы. Раздзеліце правілы часткавага абрабатвання даных і правілы ўзяць іх збераганых версый. Змена адных не павінна прымусваць перапісванне іншых, калі змянююцца показнікі якосці.
Алгорытм перыякорэння
Этап «Re-Ranking Flow» працюе найкрашча, калі яго розглядаць як параметр, які можна змерыць. Перш чым расшырваць сферу прыемлівання, зафіксавайце адны ідэальны прыклад працы, адну справу з бягамі і прыметку па вярнэнню да пачатковага стану. Запісвайце часы выканання і косты токеноў або запытак разам з функцыйнальнымі рэзултатамі. Відразувыя даны пра косты запобегаюць неспакоўным рахункам, калі працэс пераходзіць з дэмовай асяроддзя ў спяльныя сераўеры. Раздзеліце правілы часткавага обрабоцкі дадзеных ад правіл ях выкарыстоўвання. Змена адных не павінна вымагаць перапісвання іншых, калі змянююцца паказнікі якосці. Этап «Re-Ranking Flow» працюе найкрашча, калі яго розглядаць як параметр, які можна змерыць. Перш чым расшырваць сферу прыемлівання, зафіксавайце адны ідэальны прыклад працы, адну справу з бягамі і прыметку па вярнэнню да пачатковага стану. Адначасова задокументавайце шляхы успешнай працы і шляхі ўстранэння проблем. Перапрыбуткі, людзкі контроль і обрабоцка некорэктных паведамленняў ёсць часткай продукту, а не етапамі пазнейшага доўрабаткі.
Чаму якасць выкарыстоўвання дадзеных часта мае большое значэнне, чым размах мадэлі
Для этапы «Прычыны частай зямлі выкарыстоўвання якосці» неабходна падчас змены коду адзначыць вхідныя даны, адпаведальнага за шаг і крэтыяры завершэння. Аперацыёныя працавнікі должны магчымае перайсці на выкананне шага з вядомай точкі контролю, не падозрываючы прыхованы стан. Лепш выбіраць маленькія, тэставаныя елементы замест большых скрыптов. Калі шаг не выканаецца, прычына неудачы должна вказываць на адзін конкрэтны аспект, а не на заплутаны ланцюг задач. Калі наступны шаг — гэта код або вызов інструмента, лепш выкарыстоўваць структураваныя выходны даны з перакананнем схэмы, чым працэсны тэкст.
Складзенне кантэксту
Для этапы спакавання кантэксту неабяжна ўзначыць вхідныя даны, адпаведальнага за этап і крэтыры завершэння пры перадзеіснавленні коду. Аператары должны магчымаць перзапуск этапу з вядомай точкі контролю, не падозрываючы прыхованы стан. Спрыяйце гэтай этапы як даговору межа вхіднымі данымі і перакананымі выходнымі рэзультатамі. Даўце назвы артыфактам, узначыць крэтыры успеху і адмовіцеся ад беззвучнага частковага завершэння. Цітуйце тыя часткі, якія фактычна лежалі в основе адпаведнай адказы. Без цітатаў аператары не можуць разлічыць галюцынацію ад прасоў у індэксаванні.
Працэс спакавання кантэксту
Для этапы каналу адміністрацыі кантэкста неабходна прадзеявленне вхідных дадзеных, адпаведнага адпаведальніка за этап і крэтарыяў выходу пры перадзмене коду. Аператары должны магчыма было перзапускаць этап з вядомай точкі контролю, не спрабоўваючы здагадвацца пра схованы стан. Запісвайце час выканання і кост токеноў або запытаў разам з функцыйнальнымі рэзультатамі. Відразлівая відавальнасць костаў з самага пачатку запобегае неспакойным рахункам, калі працэс пераходзіць з дэмавай версіі ў спяльныя асяроддзя. Указвайце тыя часткі тэксту, якія фактычна ляглі ва основу адпаведзьбы. Без цых цітатаў аператары не можуць разлічыць галюцынацію ад прасоў у індэксаванні. Для этапы каналу адміністрацыі кантэкста неабходна прадзеявленне вхідных дадзеных, адпаведнага адпаведальніка за этап і крэтарыяў выходу пры перадзмене коду. Аператары должны магчыма было перзапускаць этап з вядомай точкі контролю, не спрабоўваючы здагадвацца пра схованы стан. Дакументавайце як успішны, так і варыянты вярнага адновлення. Перапрыбуткі, людзкія перакрыцця і обработка нерабочых паведамленняў ёсць часткай продукту, а не чымсь, што будзе дадаўце пазней.
Мульты-хоп адміністрацыя
Калі працуеце над стадзіяй мульты-хоп адміністрацыі, спачатку запісайце умовы: неабяжлівыя даныя, сігнал успеху і тое, што выходзіць пад частковыя неудачы. Такі спіс контроля дапамагае заліцьварыць пазнейшыя змены ў кодзе.
Which customers failed payment retries after the Kafka outage?
Чаму RAG стала аднай з найважлівейшых модэляў ШЫ
Практычныя застосоўванні RAG
Памочныя сістэмы для падпрыемстваў
Падтрымка кліянтаў за дапамогою ШЫ
Памочныя асістэнты для кодавання за дапамогою ШЫ
Сістэмы ШЫ для правовых цэлей
ШЫ ў сферэ охоры здароў’я
Фінансавыя сістэмы ШЫ
Закрытыя інжынерныя вызовы ў RAG
KAG — новая эвалюцыя за межамі RAG
OpenSPG + LLMs
RAG проты KAG
retrieve semantically similar chunks
reason across structured relationships and logic