Практычныя прытамулкі: Частка RAG, дзе насправды забезпечваецца якасць
Практычныя прыказкі: тая частка RAG, дзе насправды забезпечваецца якасць – кантракты, перакрычанні і слоты для коду для команд, якія викорыстоўваюць гэты патэрн.
Існавайце гэта як перапрацоўку ідэй з кнігі «Тая частка RAG, дзе насправды забезпечваецца якасць» для аператараў: чыстыя этапы, аранжаваныя блакі коду і прыметкі па вяснаванню, якія застаюцца пасля перадачы. Этап Аналізу работае найкраща, калі яго спрыяваць як вимерную плошчу. Запісаўце адна ідеальная транскрыпцыю, адзін прыклад неудачы і прыметку па адвярнуццю роботы, прычаму расшырваючы масштаб. Валіце маленькія, тэставаныя елементы замест большых скрыптов. Калі якісьць кроку не выходзіце, прычына неудачы павінна вказываць на адную адпаведальнасць, а не на заплутаны процес.
Тры відменнасці чак, тры стваральнікі
Для трэх стадзій чакаў выканання неабходна прадзефінаваць вхідныя даны, адпаведальную особу за кожны крок і крэтыніяы выходу пры змены коду. Аператары должны магчымае перзапускіць крок з вядомай точкі контролю, не падозрываючы прыхованы стан. Спрыяйце гэтай стадзіі як даговору межа вхіднымі данымі і перакананымі выходнымі рэзультатамі. Дайце назвы артыфактам, прадзефінаваць крэтыніяы успеху і адмовіцеся ад беззвучнага частковага завершэння. Указывайце тыя часткі тексту, якія фактычна лежалі в основе адпаведнай адказы. Без цых цітатаў аператары не зможаць разлічыць галюцинацію ад прасоў у індэксаванні.
Этап чысткі: адлічэнне таго, што модель ніколі не бачыць
Для стадзіі аджуставання пасу чысткі ўтрымайце адзначэнныя вхідныя даны, адпаведальную особу за крок і критэрыя завершэння пры перадзеіснаванні коду. Аператары должны магчымаць перзапуск крока з вядомай точкі контролю, не падозрываючы прыхованы стан. Запісвайце час выконання і кост токена або запыту празаўседле з рэзультатамі функцыянальнай працы. Візуабельнае паказанне костаў з’являецца перашкодай неспакою, калі траекторыя пераходзіць з дэмавайнага сераўера ў спяльныя сераўеры. Калі наступны крок — гэта код або вызов інструмента, валідаванне за дапамою схемы даўае прывілей структураваных выходных дадзенняў працоўней, чым вольная форма тэксту.
Абзначэнне, якое змяніла ўсё
Для пазлу «Атрыбут, які змяніў стадію», перш чым зменяць код, неабходна визначыць параметры вхідных дадзеных, адпаведальнага за крок і критэрыя завершэння. Аператары должны магчымае перзапускати крок з вядомай точкі контролю, не спрабоўваючы здогадвацца пра схованы стан. Конфігурацыю трэба знаходзіць паза кодам прыкладнення. Файлы сераўіса, хранальнікі секрэтных дадзеных і флагі функцый належыць у аднам месца, якое аператары можаць пераглядаць, не чытаючы весь ланцуг задач. Паказваць трэба тыя часткі тексту, якія фактычна лежаць у падставе адпаведнай адказы. Без ціх цитатаў аператары не можаць розразліць галюцинацію ад працягу індэксавання. Для пазлу «Атрыбут, які змяніў стадію», перш чым зменяць код, неабходна визначыць параметры вхідных дадзеных, адпаведальнага за крок і критэрыя завершэння. Аператары должны магчымае перзапускати крок з вядомай точкі контролю, не спрабоўваючы здагадвацца пра схованы стан. Валідзіць кращэ маленькія, теставаныя елементы, чым велікія скрыпты. Калі крок не выйшоў, прычына неудачы должна вказываць на адну конкрэтную адпаведальнасць, а не на заплутаны ланцуг задач.
Неясна.
Што на самай працо бачыць модель
Калі працуеце над этапам «Што на самай працо бачыць модель», спачатку запісайце угоду: неабяжлівыя даннэ, сигнал успеху і што выходзіць у разе частковага невыпання. Такі список контроля дапамагае заліцьварыць пазнейшыя змены ў кодзе. Спрыятлівае ставленне да гэтага этапу як да угоды межа даннемі і перакананымі выходамі. Дайце назвы артыфактам, задаце правіла пераканання успеху і не падтрымайце тыхія частковыя завершэння. Зберагаце ў кешы стабільныя інструкцыі системы і схемы інструментаў. Перадача ідэнтычных прамуров яе частая прычына зношэння.
Потым мы вбудовываем
Калі працюеце над этапам «Then», спачатку запісайте умовы виконання: неабяцковыя даны, сігнал успеху і тое, што выходзіць пад частыя неудачы. Такі список дапамагае заліцварваць можлівыя змены ў кодзе. Запісуйце час виконання і кост токена або запыту разам з рэзультатамі функцыйнасці. Відразы коста з самага пачатку запобегае неспакою, калі процес пераходзіць з дэмовай среды ў спяльнаваныя сераўеры. Перад налаштовваннем запрошэнняяў пераканайцеся, як працюе система адзысквання інформаціі на фіксаванай сэтке запытаў. Частае змена запрошэнняяў рэдка калі вядомае слабыя стороны адзысквання дадзеных.
Што на самай працоўнай стадыі ёсць готовым фрагаментам
Калі працюеце над стадзіяй «Што такое завершаны чак», спачатку запісайце контракт: неабяжлівыя даны, сігнал успеху і тое, што выходзіць у разе частковага нявыпання. Такі список пераконвае ў тым, што пазнейшыя змены коду будуць чыстымі. Зберагаюце настройкі за межамі коду прыемлі. Файлы сераўнавання, храненні секрэтных данных і флагі функцыйяў должны знаходзіцца ў аднам месцы, куды аператары можаць адбавіць аудыт без неабяжлівага чытання всей структуры. Перад налаштаваннем запрошэнняў пераканайцеся ў роботы системы на фіксаванай сэтке запытаў. Частае змена запрошэнняў рэдка калі вялікі эфект дае на слабую систему пошуку. Калі працюеце над стадзіяй «Што такое завершаны чак», спачатку запісайце контракт: неабяжлівыя даны, сігнал успеху і тое, што выходзіць у разе частковага нявыпання. Такі список пераконвае ў тым, што пазнейшыя змены коду будуць чыстымі. Валіце маленькія, тэставаныя елементы замест большых скрыптов. Калі якісь крок не выйшаў, прычына нявыпання должна вказываць на адну адпаведальнасць, а не на заплутаную лінію обробкі.
text : "Enter amount and press F4."
(built + cleaned + section-prefixed)
retrieval_context : "Procedure step entering the amount
and pressing F4 during wire transfer
initiation." (the label)
chunk_type : TEXT
section_path : "Wire Transfer > Initiation >
Amount Entry" (Part 2)
preceding_heading : "Amount Entry"
table_headers : null (TABLE only)
page_start / end : 12 / 12
image_object_key : null (IMAGE only)
embedding_model : text-embedding-3-large
embedding_dim : 1536
embedding : [ ...1536 floats... ] (body+label)
text_search_vector: label weighted high, body lower
Свяжанне зарады ціх метаў
Этап свяжання працюе найэфектывней, калі яго спрыяваць як мерыемую структуру. Запісаўце адна ідеальная версія, адзін прыклад неудачы і прыметку па адкату перш чым расширваць масштабы. Спрыяйце гэтаму этапу як кантракту межа вхіднымі дадзеннямі і паверыжанымі выходнымі рэзультатамі. Даўце назвы артыфактам, задаце критэрыя успеху і адмовіцеся ад тыхнага частковага завершэння без паведамлення. Раздзеліце правілы частковага обробкі дадзенняў ад правіл ях выкарыстоўвання. Змена ў адных не павінна прымусваць перапісванне іншых, калі змянююцца паказнікі якосці.
Дзе мы зараз і што будзе далей
Этап «Дзе мы знаходзімся і на якой стадыі» працюе найэфектывней, калі яго розглядаць як вимерную плошчу. Запісайте адны ідеальны прыклад роботы, адну справу з бягамі та прыметкі па поверненню да пачатковага стану пры перадзеяванні масштаба. Запісуйце часы виконання та косты токеноў або запытак праза функцыйнае рэзультат. Відразлівае паказанне костаў з самага пачатку запобегае неспакою з боку расчыткаў, калі процес пераходзіць з дэмаверсіі ў спяльныя сераўы. Раздзеляйце політыку частковай обробкі дадзеных ад політыки ўтрымання інформацыі. Змена адной з яных не павинна вымагаць перапісвання другой, калі зменяюцыся паказнікі якосці.
Чэрніця кантролю
Калі працуеце над этапам чэрніцы кантролю, спачатку запісайце умовы кантракту: неабходныя данні, сігнал успеху та тое, што вядзецца, калі выйшла частковая памылка. Такая чэрніця дапамагае заставаць пазнейшыя змены коду чыстымі.
Документавайце як шлях успеху, так і шлях вярнення да нормальнага стану. Перапрыбуткі, людзкія контрольныя пункты та обробка некоректных запытак є часткай продукту, а не пазнейшым дапрацоўкам.
Зьвярзіце рэкалі на фіксаванай сэтке запытаў прычымо да налагоджэння прамптав. Часта змена прамптав рэдка калі-небудзь вылечвае слабую систему аднаходжэння інфармацыі.
Зафіксавайце версіі залежнасцяў і запісаўце сумарны атрыбут зображэння, якое было выкаранае пад час дамоў. Возможнасць перапрыгчання рэзультатаў лепшая за традыцыйныя знання.
Валічыце маленькія, тэставаныя елементы замест большых скрыптав. Калі якісь крок не выйшае, адказ за гэтая неудача павінен быць прысвечаны адзіной адпаведальнасці, а не заплутанай лініи обробкі.
Зьвярзіце рэкалі на фіксаванай сэтке запытаў прычымо да налагоджэння прамптав. Часта змена прамптав рэдка калі-небудзь вылечвае слабую систему аднаходжэння інфармацыі.
Перш чым пераводзіце стак, зафіксавайце версіі, запісаўце „золаты“ транскрыпт для критычнай лініі і паказваце крокі для адворачэння. У спакульнаваных средах патрэбны ліміты частоты, перакананні ў прыналежнасці і чысткі власнік для ротацыі секрэтных дадзенняў. Валічыце простую надзяйнасць замест крэатыўных, адзінразовых дамоў.
Запіска параграфу для b5930b16a1d3: не трэба кантрацеўваць ключы прадастоўніка ў репазітарыі, задаць максімальную кантэйнгу токена на кожную сесію, а таксама зберагчы транскрыпціі праза фіксатуры адлічэння, каб пазнейшыя замены моделей заставалі пораўняннымі.
Калі працуеце над стадзіяй 0 запіскі пра зміцнэнне, спачатку запісайце контракт: неабходныя вхідныя даны, сігнал успеху і тое, што выходзіць у разе частковага невыпання. Такі чэк-ліст дапамагае заставаць пазнейшыя змены коду чыстымі. Канфігурацыю трэба кантрацеўваць праза код аплікацыі. Файлы сераўнавання, сховішчы секрэтных дадзеных і флагі функцыйяў должны знаходзіцца ў аднам месцы, куды аператары можаць адбавіць аудыт без неабходнасці чытання всей структуры.
Дзялей пра зміцнэнне 0/805: вы мерыце час выканання, класію адзінакоў і выкарыстоўванне токена для гэтай запіскі, а пасля выявляеце, чы хацяце заставіць змену на адной пазычанай сэткі пытанняў, а не на адной толькі анекдотыце.
Этап 1 прыцеленняя ў зміцнэнне працюе найкраща, калі яго розглядаць як вимерную паверхню. Запісаце адна «золатая» транскрыпцыя, адин прыклад неудачы і запіс пра вярнэнне да пачатковага стану перш чым расширваць масштабы. Валіце маленькія, тэставаныя елементы замест большых скрыптов. Калі якісь крок не выходзіць, прычына неудачы павінна вказываць на адную адпаведальнасць, а не на заплутаны процес.
Дзеянне прыцеленняя ў зміцнэнне 1/805: вимеравайце час выканання, класію памылак і колькасць выкорыстоўваных токенав для гэтага запісу, а потым вырашайце, чы рашыцца застаўляць змяну, стварываючыся на адной фіксаванай сэтце пытанняў, а не на анекдотах.
Для другага этапа прыцелення на змягчэнне ризыкавання неабяжна практычна ваказка: перад змінайом код неабяжна адначасна вызначыць параметры вхідных дадзеных, адпаведнага адпаведальнага заэтапа і критэрыя завершэння. Аператары должны магчымае перадзваніць гэты заэтап з вядомага пункта контролю, не прыпускаючы стану, які залишаецца незрозумелым. Неабяжна фіксавацыя часу выкарыстоўвання, а таксама вартосці токенаў чы запытак праз адночасна з функцыйнальнымі рэзултатамі. Відразы вартасцяў з самага пачатку запобегае неспакойным рахункам, калі процес пераходзіць з дэмавайнага режыма ў спяльныя среды.
Дзеянне прыцелення на змягчэнне 2/805: неабяжна змерыць час выкарыстоўвання, класі каштоўнасцей і вартосць токенаў для гэтай практычнай ваказкі, а пасля на адной основе фіксаванага набору пытанняў, а не індывідуальных спостарожэнняў, вырашыць, чы застаўляць зміны.
Калі працуеце над 3-й стадзіяю прыемкі з паўнейшага захавання, спачатку запісайце угоду: неабходныя даны, сігнал успеху і тое, што выходзіць на падчасныя неудачы. Такі чарт дапамагае залічваць пазнейшыя змены ў кодзе чыста.
Документавайце як шлях успеху, так і шлях вярнення да нормальнага стану. Перапрыбуткі, людзкія контралі і обработка некоректных паведамленняў є частью продукту, а не пазнейшым дапрацоўкам.
Дзялённе 3/805 прыемкі з паўнейшага захавання: вымерайце час выконання, класію памылак і колькасць выкарыстоўваных токенав для гэтай прыемкі, а пасля выберайце, чы робіць змену на адной пазначанай базе пытанняў, а не на адной лічбе прыкладаў.
4-я стадзія прыемкі з паўнейшага захавання работае лепей, калі яе спрыямаць як вымерную плошчу. Запісайце адну ідеальную транскрыпцыю, адзін прыклад неудачы і запіс пра вярненне да пачатковага стану, перш чым расширваць масштаб.
Спрыяйце гэтай стадзіі як угоды межаў між вхіднымі данымі і перакананымі выходнымі рэзультатамі. Назвайце артыфакты, задаць критэрыя успеху і адмовіцеся ад беззвучнага частковага завершэння.
Дзеянне паўжасткі 4/805: звярніце увагу на час выканання, класы паказакоў і витрату токенаў для гэтага запісу, а пасля, на аднойчынай базе фіксаванага набору пытанняў, а не на індывідуальных прыкладах, выявіце, чы рэшацься застаўляць змяну.
Для 5-го этапа паўжасткі неабходна перад змянай коду чытальна апісаць вхідныя даны, адпаведальнага за крок і критэрыя завершэння. Аперацыяныя працавнікі павінны магчымае перадзванаць крок з вядомай точкі контролю, не падозрываючы прыхованы стан. Канфігурацыю трэба зберагчы параду коду прыкладнення; файлы сяродавішча, хранільнікі секрэтных дадзенняў і флагі функций павінны знаходзіцца ў адном месцы, якое працавнікі можуць пераглядаць, не чытаючы весь код.
Дзеянне паўжасткі 5/805: звярніце увагу на час выканання, класы паказакоў і витрату токенаў для гэтага запісу, а пасля, на аднойчынай базе фіксаванага набору пытанняў, а не на індывідуальных прыкладах, выявіце, чы рэшацься застаўляць змяну.
Калі працуеце над 6-ю стадзіяй забезпечэння безпекі, спачатку запісайце умовы кантракта: неабяжлівыя даны, сігнал успеху і тое, што выходзіць на частым неудачам. Такі список контроля дапамагае залічваць пазнейшыя змены ў кодзе чыста і прозрачна. Валіце маленькія, тэставаныя елементы замест вялікіх скрыптав. Калі якась стадзія не выйшла, неудача должна вказваць на адну конкрэтную прычыну, а не на заплутаную сістэму.
Дзялянка забезпечэння безпекі 6/805: замерайце час выканання, класію каштоўкаў і колькасць токенаў, якія былі выкарыстаны для гэтай стадзіі, а пасля выберайце, чы робіць змены на адной фіксаванай базе пытанняў, а не на адной толькі прыватнай інформацыі.
7-я стадзія забезпечэння безпекі працуе лепей, калі яе спрыямаць як меравальную плошчу. Запісайце адны ідеальны прыклад роботы, адзін прыклад неудачы і запіску пра вярнэнне да пачатковага стану, перш чым расширваць сферу дзеяння. Запісвайце часы выканання і каштоўка токенаў або запытак праза функцыйнае рэзультат. Відкрытая інформацыя пра каштоўкі з’являецца першымі і запобегае неспакойным рахункам, калі процес пераходзіць з дэмавайнага режыма ў спяльныя среды.
Дзеянне паўжчання 7/805: звярніце увагу на час выканання, класыя ошибак і колькасць токенаў, якія былі выкарыстаны для гэтага запісу, а пасля, на аднойчынай базе фіксаванага набору пытанняў, а не на асобістых спазырэннях, выявіце, чы хацяце застаўіць змены.
Для 8-го этапу паўжчання неабходна перад змянай коду чытко апісаць вхідныя даны, адпаведальнага за этап і крэтыярыя завершэння. Аперацыёныя працавнікі должны магчымае перадзвануць гэты этап з вядомага пункта контролю, не прымуджаючыся здагадвацца пра схованы стан. Трэба адночасна задокументаваць шлях успеху і шлях вярнення да нормальнага стану. Праказы, перадпрыемкі і обработка некоректных паведамленняў є часткай продукту, а не чымсь, што дадаецца пазней.
Дзеянне паўжчання 8/805: звярніце увагу на час выканання, класыя ошибак і колькасць токенаў, якія былі выкарыстаны для гэтага запісу, а пасля, на аднойчынай базе фіксаванага набору пытанняў, а не на асобістых спазырэннях, выявіце, чы хацяце застаўіць змены.
Калі працуеце над 9-м падземам прыемкі з ужорсткавання, спачатку запісайце контракт: неабяжлівыя данні, сигнал успеху і тое, што выходзіць у разе частковага нявыпання. Такі список пераконтроўвае чыстасць пазнейшых змян у кодзе. Спрыятлівае ставленне да гэтага падзема як да контракта межу даннімі і перакананымі выходамі. Дайце назвы элементам, задаце критэрыя успеху і не падтрымвайце тыхню частковую узавершэннасць.
Дакладныя вядомасі пра ужорсткаванне 9/805: звярніце увагу на час выканання, класы памылак і витрату токенав, а потым вынікніце рашэнне пра тое, чы гэтую змяну застаўці, адпаведна фіксаванаму набору пытанняў, а не індывідуальным спостарэнням.
9-й падзем прыемкі з ужорсткавання будзе эфектываў, калі яго спрыятлівае ставленне як да вимернай плошчы. Запісайце адна ідеальная транскрыпцыя, адзін прыклад памылки і запіс пра вярнэнне да пачатковага стану, перш чым расширваце сферу дзейнасці. Зберагаўце настройкі праза код аплікацыі. Файлы сяродавішча, хранільнікі секрэтных дадзенняў і флагі функций павінны знаходзіцца ў адном месцы, якое аператары можаць пераканаць без неабяжлівага чытання всей структуры.
Дзеянне паўжчання 10/805: звярніце увагу на час выканання, клас памылакі і колькасць выкорыстоўваных токенаў для гэтага запісу, а пасля, на аднойчынай базе фіксаванага набору пытанняў, а не на асобістых спазыраннях, выявіце, чы рэшацца застаўляць змяну.
Для 11-й стадзіі паўжчання неабходна перад змянай коду чытко визначыць вхідныя даны, адпаведальнага за крок і критэрыя завершэння. Аперацыяныя працавнікі павінны магчымае перадзванаць крок з вядомай точкі контролю, не падозрываючы прыхованы стан. Лепш выбіраць маленькія, тэставаныя елементы замест большых скрыптов. Калі крок не выйшоў, прычына неудачы павінна вказываць на адну конкрэтную адпаведальнасць, а не на заплутаны процес.
Дзеянне паўжчання 11/805: звярніце увагу на час выканання, клас памылакі і колькасць выкорыстоўваных токенаў для гэтага запісу, а пасля, на аднойчынай базе фіксаванага набору пытанняў, а не на асобістых спазыраннях, выявіце, чы рэшацца застаўляць змяну.
Калі працуеце над 12-ю стадзіяй ударожэння, спачатку запісайце шаблон кантракта: неабяжныя вхідныя даны, сігнал успеху і тое, што выходзіць у разе частковага абякання. Такі список контроля дапамагае заліцвачваць пазнейшыя змены коду.
Запісвайце часы выканання, а таксама кост токена чы роезпытаў праз адныя з функцыйнальных рэзультатаў. Відразлівасць костаў з самага пачатку запобегае неспакойным рахункам, калі процес пераходзіць з дэмаверсіі ў спяльныя среды.
Дакладнасць ударожэння 12/805: звярніце увагу на час выканання, класію абяканняў і кост токена для гэтай стадзіі, а пасля выберыце, чы застаўляць змену на адной фіксаванай сэтке пытанняў, а не на адной лічбе прыкладаў.
13-я стадзія ударожэння будзе эфектывная, калі яе спрыяваць як меравальную плошчу. Запісвайце адны ідеальны прыклад роботы, адны прыклад абякання і запіс пра вярнэнне да пачатковага стану, перш чым расширваць сферу дзеяння.
Дасведчыце як «шчаслівы» шлях, так і шлях вярнэння. Праказы, людзкі контроль і обработка некоректных паведамленняў є часткай продукту, а не чымсь, што дадаецца пазней.
Дзеянне паўжыцьнявання 13/805: змяроўвае час выканання, класію памылак і колькасць токенаў, выкорыстаных для гэтай змены, а пасля прымае рашэнне пра тое, чы хацяць яе застаўіць, стварыўшы фіксаваны набор пытанняў, а не спакойнае адгукванне.
Для 14-го этапу паўжыцьнявання неабходна перад змянай коду задаць вхідныя даны, адпаведальнага за крок і критэрыя завершэння. Аперацыяныя системы павінны магчымае перадзванаць крок з вядомай точкі контролю, не падозрываючы прыхованы стан. Штэпень гэтую трэба спрацавваць як кантракт межа вхіднымі данымі і перакананымі выходнымі рэзультатамі. Назваць артыфакты, задаць перакананні на успех і адмовіцца ад беззвучнага частковага завершэння.
Дзеянне паўжыцьнявання 14/805: змяроўвае час выканання, класію памылак і колькасць токенаў, выкорыстаных для гэтай змены, а пасля прымае рашэнне пра тое, чы хацяць яе застаўіць, стварыўшы фіксаваны набор пытанняў, а не спакойнае адгукванне.
Калі працуеце над стадзіяй 15 з адаптавання захоўнай системы, спачатку запісаце кантракт: неабходныя даны, сігнал успеху і тое, што выходзіць па частковай нявыполненасці. Такі список контроля дапамагае залічыць пазнейшыя змены ў кодзе адкрыта і прозрачна. Зберагаюце настройкі паза кодам прыемліка. Файлы сераўнавання, хранільнікі секрэтных данных і флагі функцый крануцца ў аднам месцы, якое аператары можаць пераглядаць без неабходнасці чытання всей структуры.
Дакладнасць адаптавання 15/805: звярніце увагу на час выканання, класы каштоўкаў і витрату токенаў для гэтай стадзіі, а пасля вырашыце, чы робіць змены на адной пазаложанай базе дакладнасцей, а не на адной толькі прыкладзе.
Стадзія 16 з адаптавання захоўнай системы працюе лепей, калі яе спрыямаць як меравальную плошчу. Запісаце адны ідеальны прыклад роботы, адзін кейс нявыполненасці і прыказку па адкатаванню, перш чым расширваць сферу дзеяння. Валіце маленькія, тэставальныя елементы замест вялікіх скрыптав. Калі якась ступеня не выйшла, прычына нявыполненасці должна вказываць на адну конкрэтную адпаведальнасць, а не на заплутаны процес.
Дэталі зміцнення 16/805: звярніце увагу на час працы стэны, клас паканняў і витрату токенав для гэтага зьязку, а пасля вырашыце, чы робіць змяну на аднойчы заданай сэткі пытанняў, а не на аднойчы прымітцы.