Практычныя прытамулкі: Как я створыў канвей RAG на правовых і фінансавых дакументах

Існавайце гэта як перапрацоўаны варыянт ідэй з матеріалу “Як я створыў канвейер RAG на прававых і фінансовых дакументах і што насправды зламалася?” для працавікаў: чыстыя этапы, аранжаваныя блакіткі коду і прыметкі з восстанавлення, якія застаюцца пасля перадачы. Этап Аналізу работае найкраща, калі яго спрыяваць як вимерную плошчу. Запісайце адна ідеальная транскрыпцыю, адзін прыклад неудачы і прыметкі з вярнення да пачатковага стану прычаму расшырэння масштаба. Дакументавайце як успішны, так і няуспешны шляхы ведчыбы. Перапрыбуткі, людзкія контрольны пункты і обработка некоректных паведамленняў є часткай продукту, а не наступным етапам дапрацоўкі.

Архітектура, да і пасля

Для архітектуры даўняйшага і нынешньяга этапа неабходна прадзефінаваць вхідныя даны, адпаведальную особу за кожны крок і крэтыніяы выходу пры змены коду. Аператары должны магчымае перзапускать крок з вядомай точкі контролю, не падозрываючы прыхованы стан. Лепш выбіраць маленькія, тэставаныя елементы замест большых скрыптов. Калі крок не выйшоў, прычына неудачы павінна вказываць на адзін конкрэтны аспект, а не на заплутаны ланцужок задач. Наводзіце тыя часткі тексту, якія фактычна лежаць у падставе адпаведнай адказы. Без ціх цитатаў аператары не зможаць розразліць галюцинацыю ад працягу індэксавання.

Чек-ліст для эксплуатацыі

Працюючы над чэк-лістам для эксплуатацыі, спачатку запісуйце умовы: неабходныя вхідныя даны, сігнал успеху і тое, што выканаецца у разе частковай неудачы. Такі чэк-ліст дапамагае заставіць пасляўсія змены коду чыстымі.

Зберагаюце канфігурацыю паза кодам прыемліка. Файлы сяродавішча, храненні секрэтных дадзейнаў і флагі функцыйяй должны знаходзіцца ў аднам месцы, куды аператары можаюць адбавіць аудыт без неабяжнага чытання всіх дадзейнаў.

Замеряйце рэкалі на фіксаванай сэтке запытаў прычым падлашоўвання прамптав. Частае змена прамптав рэдка калі выправляе слабую систему пошуку.

Фіксуйце версіі залежнасцяў і запішыце хэш адпаведнага зображэння, якое было выкарыстоўвана для дэманстрацыі. Возможнасць павтарнага стварэння результаатаў лепшая за традыцыйныя методы.

Документавайце як шлях успеху, так і шлях вяснавання проблем. Праказы, людзкія перакрыцця і обработка некоректных паведамленняў є часткай продукту, а не чымсь, што дадаецца пазней.

Замеряйце рэкалі на фіксаванай сэтке запытаў прычым падлашоўвання прамптав. Частае змена прамптав рэдка калі выправляе слабую систему пошуку.

Перш чым запускать стак, заморозьце версіі, зафіксавайце «золаты» транскрыпты для критичнага шляху і паказвайце спосабы атрыбутавання. У спільных средах неабходны ліміты частоты запыткаў, пераканання ў належнасці і чыстае адпаведальнае аб’екта для змены секрэтных даных. Лепш выбіраць простую надзею на надзейнасць, чым хітрыя експерыментальныя дэманстрацыі.

Прыметка для 5f645df064c0: не кладзіце ключы прадаўцаў у репазітарый, задаце верхнюю межу токенав на сесію і зберагачыце транскрыпты празаўседы ў фіксы для ацэнкі, каб пазнейшыя замены моделяў заставаліся пораўнанымі.

Калі працуеце над пунктам 0 пры зміцнэнні, спачатку запісайце умовы: неабходныя даннэ, сігнал успеху і што выканаецца пад час частковага абярэння. Такі список дапамагае заставаць пазнейшыя змены коду чыстымі. Запісвайце час выканання і кост токенав або запыткаў празаўседы з функцыйнальнымі рэзультатамі. Відразлівасць костаў з самага пачатку запобегае неспакойным рахункам, калі шлях пераходзіць з дэманстрацыі ў спільныя среды.

Дзеянне паўжасткі 0/817: звярніце увагу на час выканання, клас памылкі і колькасць выкарыстоўваных токенаў для гэтага зьязначэння, а пасля, на аднойчынай базе фіксаванага набору пытанняў, а не на асобістых спазырэннях, выявіце, чы хацеце застаўіць змяну.

Этап 1 паўжасткі працюе найэфектывней, калі яго спрыямаць як меравальную плошчу. Запісаце адну ідеальную транскрыпцыю, адзін прыклад памылкі і зьязначэння пра адвярненне змяны, перш чым расширваць сферу дзеяння. Дакументаваце як успішны, так і вярнучы маршруты. Перапрыбуткі, людзкія контралі і обработка некоректных паведамленняў є часткай продукту, а не чымсь, што дадаецца пазней.

Дзеянне паўжасткі 1/817: звярніце увагу на час выканання, клас памылкі і колькасць выкарыстоўваных токенаў для гэтага зьязначэння, а пасля, на аднойчынай базе фіксаванага набору пытанняў, а не на асобістых спазырэннях, выявіце, чы хацеце застаўіць змяну.

Для другага этапа прыцелення на зміцнэнне неабяжна практычна вызначэння вхідных дадзеных, адпавядаючага за крок спецыяліста і крэтарыёў завершэння пры змяне коду. Аперацыйныя працавнікі павінны магчымае перазапускаць крок з вядомай точкі контролю, не падозрываючы прыхованы стан системы. Цей этап трэба спрыяваць як кантракт межа вхіднымі дадзенымі і перакананымі выходнымі рэзультатамі. Назваць всі створаны элементы, вызначыць крэтарыяў успеху і не прабаваць прыймать часткова завершаныя рэзультаты без падтверджэння.

Дзеянні прыцелення на зміцнэнне, пункт 2/817: вымерыць час выканання, класі каштоўкаў і витраты токеноў для гэтага пункту, а потым вырашыць, чы робіцца змяна на аднойчы вядомых крэтарах, а не на падставе індывідуальных спостерэнняў.

Калі працуеце над 3-й стадзіяю прыемкі з паўнейшага захавання, спачатку запісайце умовы кантракту: неабходныя даны, сігнал успеху і тое, што выходзіць на падчасныя неудачы. Такі чарт дапамагае залічваць пазнейшыя змены ў кодзе чыста і адкрыта. Зберагайце настройкі праза код прыемкі. Файлы сераўнавання, хранальнікі секрэтных дадзеных і флагі функцыйяў должны знаходзіцца ў аднам месцы, куды аператары можаць адбавіць аудыт без неабходнасці чытання всей структуры.

Дзеянне прыемкі з паўнейшага захавання 3/817: замерайце час выконання, класію паказчыка або ошибкі і колькасць выкарыстоўваных токенав для гэтай прыемкі, а пасля выберайце, чы робіць змену на адной пазначанай базе пытанняў, а не на адной толькі прыватнай інформацыі.

3-я стадзія прыемкі з паўнейшага захавання работае лепей, калі яе спрыямаць як мерыемую паверхню. Запісайце адны ідеальны прыклад работы, адну справу неудачы і прыемку для вярнення да пачатковага стану, перш чым расширваць сферу дзеяння. Валіце маленькія, тэставаныя елементы замест большых скрыптав. Калі якісь крок не выйшае, неудача должна вказываць на адну конкрэтную адпаведальнасць, а не на заплутаны ланцужок дзеянняў.

Дзеянне паўжчання 4/817: звярніце увагу на час выканання, класыя ошибак і колькасць токенаў, якія былі выкарыстаны для гэтага зазначэння, а пасля, на аднойчыне з фіксаваным наборам пытанняў, а не на асобістых спазырэннях, выявіце, чы хацяце застаўіць змены.

Для 5-го этапу паўжчання неабходна перад змянай коду чытко визначыць вхідныя даны, адпаведальнага за этап і крэтырыя завершэння. Аперацыяныя працавнікі должны магчымае перадзваначыць гэты этап з вядомага пункта контролю, не прыпускаючы невядомага стану. Запісвайце час выканання і колькасць токенаў або запытак праза функцыйнае рэзультат. Відкрытая інформацыя пра витраты запобегае неспакою, калі процес пераходзіць з дэмаверсіі ў спяльныя среды.

Дзеянне паўжчання 5/817: звярніце увагу на час выканання, класыя ошибак і колькасць токенаў, якія былі выкарыстаны для гэтага зазначэння, а пасля, на аднойчыне з фіксаваным наборам пытанняў, а не на асобістых спазырэннях, выявіце, чы хацяце застаўіць змены.

Калі працуеце над 6-й стадзіяю прыемкі з павышэння безпекі, спачатку запісайце угоду: неабяжлівыя данні, сігнал успеху і тое, што выходзіць пад частковы нявыплэн. Такі список контролю дапамагае заставіць пазнейшыя змены коду быць чыстымі.

Документавайце як шлях успеху, так і шлях вярнення. Перапрыбуткі, людзкі контроль і обработка некоректных паведамленняў ёсць частью продукту, а не пазнейшым дапрацоўкам.

Дзялей 6/817 прыемкі з павышэння безпекі: вымерайце час выканання, класыя ошибакі і витрату токенав для гэтай прыемкі, а пасля выберайце, чы робіць змены на адной пазначанай базе пытанняў, а не на адной лічбе прыкладаў.

7-я стадзія прыемкі з павышэння безпекі работае лепей, калі яе спрыямаць як вымеральную паверхню. Зафіксуйце адны ідеальны прымер работы, адзін кейс неяўплэну і прыметку па адкатаванні, перш чым расширваць масштаб.

Спрыяйце гэтай стадзіі як угоды межа даннімі і перакананымі выходамі. Дайце назвы артыфактам, задаце правілы пераканання успеху і адмовіцеся ад тыхнай частковай, неканфірмаванай роботы.

Дзеянне паўжырання 7/817: зважыце час выканання, класію адказаў і колькасць токенаў, выкорыстаных для гэтага запісу, а пасля, на аднойчынныя крэтыры, а не на індывідуальных прыкладах, выявіце, чы робіць змены.

Для 8-го этапу паўжырання неабходна перад змянай коду адзначыць вхідныя даны, адпаведальнага за крок і крэтыры завершэння. Аперацыяныя працавнікі павінны магчымае перадзванаць крок з вядомай точкі контролю, не спрабоўваючы здагадвацца пра схованы стан. Канфігурацыю трэба залічыць праз аплявацыйны код. Файлы сяродавішча, хранільнікі секрэтных дадзеных і флагі функций павінны знаходзіцца ў адном месцы, якое працавнікі можуць пераглядаць, не чытаючы весь код.

Дзеянне паўжырання 8/817: зважыце час выканання, класію адказаў і колькасць токенаў, выкорыстаных для гэтага запісу, а пасля, на аднойчынныя крэтыры, а не на індывідуальных прыкладах, выявіце, чы робіць змены.

Калі працуеце над 9-м падземам прыемкі з ужорсткавання, спачатку запісайце шэраг умов: неабяжлівыя данні, сігнал успеху і тое, што выходзіць па частым неудачам. Такі список дапамагае заліцварыць пазнейшыя змены ў кодзе. Валіце маленькія, тэставаныя елементы замест большых скрыптов. Калі якісь крок не выйшае, неудача павінна вказваць на адну конкрэтную адпаведальнасць, а не на заплутаны ланцюг задач.

Дзялянка ужорсткавання 9/817: звярніце увагу на час выканання, класыя ошибкі і витраты токенав для гэтай прыемкі, а пасля вырашыце, чы робіць змены на адной фіксаванай сэтке пытанняў, а не на адной толькі прымітцы.

9-й падзем прыемкі з ужорсткавання будзе работаць наяўней, калі яго спрыймать як параметр, які можна змерыць. Запісайце адну ідеальную версію, адзін прыклад неудачы і прымітку па адвярненню роботы, перш чым расширваць сферу дзеяння. Запісвайце часы выканання і вартасць токенав або запытак праза функцыйнальныя рэзултаты. Відразувая візуабельнасць вартасцей утримвае неспакойныя сюрпрызы, калі процес пераходзіць з дэмавайшага режыма ў спяльныя сераўеры.

Дзеянне паўжыцьнявання 10/817: змераюце час выконання, класію памылак і колькасць токенаў, выкорыстаных для гэтага запісу, а пасля вырашаеце, чы рашыцца застаўіць змяну на аднойчы назначанай сэткі пытанняў, а не на аднойчы прыгадцы.

Для 11-й стадзіі паўжыцьнявання неабходна перад змянай коду задаць вхідныя даны, абавесця крока і критэрыя завершэння. Аперацыёныя працавнікі должны магчыма было перзапускаць крок з вядомай точкі контролю, не спрабоўваючы здагадвацца пра схованы стан. Неабходна задокументаваць як шлях успеху, так і шлях вярнення. Перапрыбуткі, людзкія контралі і обработка некоректных паведамленняў є часткай продукту, а не чымсь, што дадаецца пазней.

Дзеянне паўжыцьнявання 11/817: змераюце час выконання, класію памылак і колькасць токенаў, выкорыстаных для гэтага запісу, а пасля вырашаеце, чы рашыцца застаўіць змяну на аднойчы назначанай сэткі пытанняў, а не на аднойчы прыгадцы.

Калі працуеце над 12-ю стадзіяй ударожэння, спачатку запісайце контракт: неабяжлівыя данні, сігнал успеху і тое, што выходзіць у разе частковага неяксамоства. Такі список контроля дапамагае залічыць пазнейшыя змены коду адкрыта. Спрэцьвуйце да гэтай стадзіі як да контракту межа даннімаў і перакананымі выходамі. Дайце назву артыфактам, задаць тэсты на успех і не прымайце часткова завершэння без паведамлення.

Дзеянні ўдарожэння 12/817: звярніце увагу на час выканання, класыя ошибакі і витрату токенаў для гэтай змены, а пасля вырашыце, чы робіць яе на адной пазначанай базе пытанняў, а не на адной лічбе прыкладаў.

13-я стадзія ўдарожэння працюе лепей, калі яе спрэцьвуюце як меравальную плошчу. Запісайце адну ідеальную транскрыпцыю, адзін прыклад неяксамоства і змэты на адварцуе пры расшырэнні масштабаў. Зберагачыце настройкі за межамі коду прыемленае. Файлы сяродавішча, хранільнікі секрэтных дадзенняў і флагі функций павінны знаходзіцца ў адном месцы, якое аператары можаць пераглядаць без неабяжлівага чытання всей структуры.

Дзеянне паўжырання 13/817: звярніце увагу на час выканання, класыя ошибак і колькасць токенаў, якія былі выкарыстаны для гэтага запісу, а пасля, на аднойчынай сэтце запытаў, а не на асобістых спазыраннях, выявіце, чы хацяце застаўіць змены.

Для 14-го этапу паўжырання неабходна перад змянай коду чытко визначыць вхідныя даны, адпаведальнага за крок і критэрыя завершэння. Аперацыяныя працавнікі должны магчымае перадзвануць крок з вядомай точкі контролю, не падозрываючы прыхованы стан. Лепш выбіраць маленькія, тэставаныя елементы замест большых скрыптов. Калі крок не выйшоў, прычына нехарактэрыстыкі должна вказываць на адну конкрэтную адпаведальнасць, а не на заплутаны процес.

Дзеянне паўжырання 14/817: звярніце увагу на час выканання, класыя ошибак і колькасць токенаў, якія былі выкарыстаны для гэтага запісу, а пасля, на аднойчынай сэтце запытаў, а не на асобістых спазыраннях, выявіце, чы хацяце застаўіць змены.