Практычныя нататкі: межы вектарнага пошуку ў RAG — косінусная блізкасць

Існавайце гэта як перапісаны варыянт ідэй з артыкула “The Limits of Vector Search in RAG — Cosine Similarity and the Lexical Gap”, адаптаваны для працовніка: чыстыя этапы, арранжаваныя блакіты коду і прыметкі для вярнення, якія застаюцца пасля перадачы задання.

Косінейская сэмплярнасць вімерае куточак, а не ідэнтычнасць дакументаў. Чаму вектарны пошук трапляеся на коды пакрыць, запародкі і цячыны — і што варыта вімераваць у вашам сабе RAG.

Падход, калі косінейскую сэмплярнасць вважаюць вімеравальной плошчынай, працуе найэфектывнейша. Запісуйце адны ідэальны прыклад, адну справу з бягам і прыметкі для вярнення да пачатковага стану пры расшырэнні масштаба. Валіце маленькія, тэставаныя елементы замест большых скрыптов. Калі якісь крок не выйшаў, прычына бягу должна вказываць на адну конкрэтную адпаведальнасць, а не на заплутаны ланцужок заданняў. Раздзеляйце правілы фрагментавання і правілы адзысквання. Змена ў одных не должна вымагаць перапісвання іншых, калі змянююцца паказатэлі якосці.

Вектар мерыць напрамак, а не ідэнтычнасць

Этап «Вектар мерыць напрамак» працюе найэфектывней, калі яго спрыяваць як меравальную паверхню. Зафіксавце адны ідэальны прыклад, адзін прыклад неудачы і запіс пра вярнэнне да пачатковага стану перш чым расшырваце масштабы. Спрыявайце этапу як кантракту межа вхіднымі данымі і перакананымі выходнымі рэзультатамі. Даўце назвы артыфактам, задаце крытэрыя успеху і не падзеўляйцеся частым, непূরным выкананнем задачы. Раздзеліце правілы часткавага апрантавання дадзеных ад правіл ўзяць іх з памяці. Змена адных не должна прымусваць перапісванне іншых, калі змянююцца паказнікі якосці.

Два напрамакі той самай прыемкі

Працэўнае меса сцэны найкрашча функцыонуе, калі яго спрыяваць як вімерную паверхню. Запісайце адна «золатая» версія, адын прыклад неудачы і прыметку па вярнэнню да пачатковага стану пры расшырэнні масштаба. Запісвайце часы выканання і косты токеноў або запытак па боку ад функцыйнальных рэзультатаў. Візуабельнасць костаў з самага пачатку запобегае неспакойным рахункам, калі працэс пераходзіць з дэмаверсіі ў спяльныя асяроддзя. Раздзеліце правілы часткавання дадзеных ад правілаў ўзяць іх. Змена аднаго з іх не должна вымагаць перапісвы другога, калі зменяюцца паказнікі якосці.

Адны вектар, занадта многа для запамятовання

Этап «Адыякшы вектар занадта» работае наўсібаротна, калі яго спрыяваць як меравальную паверхню. Зафіксавайце адны «золаты» прыклад, адну справу з бягункамі і запіс пра вярнэнне да пачатковага стану, перш чым расшырваць масштабы. Зберагаюце настройкі праза код прыемліка. Файлы сяродавішча, хранільнікі секрэтных дадзеных і пазнакі функцый должны знаходзіцца ў адном месцы, куды аператары можаць адрабатваць контроль, не чытаючы весь граф. Раздзеляйце політыку часткавання дадзеных і політыку ўтрымання іх. Змена адной з яных не должна вымагаць перапісву другой, калі зменяюцыся паказнікі якосці.

Жорсткая межа стыснення

«The Hard Ceiling» на стадыі працюе найэфектывней, калі яго спрыяваць як меравальную паверхню. Запісаце адны ідэальны прыклад, адну справу з бягам і прыметку па вярнэнню да пачатковага стану пры расшырэнні масштаба. Дакументавайце як шлях успеху, так і шлях вярнэння. Перапрыбуткі, людзкія контраліны і обработка некорэктных паведамленняў ёсць часткай продукту, а не чымось, што дадаецца пазней. Раздзеляйце правілы часткавання дадзеных і правілы ўтрымання іх. Змена адных не должна вымагаць перапісвання іншых, калі змянююцца паказнікі якосці. «The Hard Ceiling» на стадыі працюе найэфектывней, калі яго спрыяваць як меравальную паверхню. Запісаце адны ідэальны прыклад, адну справу з бягам і прыметку па вярнэнню да пачатковага стану пры расшырэнні масштаба. Спрыяваць гэты стадыю як кантракт межа вхідных дадзеных і перакананых выходных рэзультатаў. Даце назвы артыфактам, задаце крытэрыя успеху і не падтрымвайце тыхню частковую завершэннасць.

Угол, які нічога не гаворыць пра ідэнтычнасць

Для ўрагу «An Angle That Says» неабходна пазначыць вхідныя даны, адпаведальнага за крок і крытэрыя завершэння пры перадзмене коду. Аператары должны магчымаць перзапуск кроку з вядомай точкі контролю, не прабуючы вычысляць захаваны стан. Запісваюць час выканання і вартасць токенаў або запытак палягліва да рэзультатаў функцыянальнай працы. Візуабельнае паказанне вартасцей запобегае неспадзянанным рахункам, калі траекторыя пераходзіць з дэмавай версіі ў спяльныя сераўы. Паказваюць часткі тэксту, якія фактычна ляглі восновай для адпаведнай адпаведзі. Без цых цытатаў аператары не можуць разлічыць галюцынацію ад прасоўкі ў індэксаванні.

Хабнасць і меры косай метрыкі

Для стадзій «Hubness» і «Limits» неабяжна ўскладнення вводных дадзей, адпаведнага власніка крока і крэтарыяў завершэння працы перад зменым коду. Аперацыйныя працавнікі павінны магчымае перзапускаць крок з вядомай точкі контролю, не падозрываючы прыхованы стан. Конфігурацыю трэба захаваць паза кодам прыемлікі. Файлы сераўнавання, хранілішчы секрэтных дадзей і флагі функцыйяў павінны знаходзіцца ў аднам месцы, якое працавнікі можуць пераглядаць, не чытаючы весь граф. Паказваць трэба тыя часткі тэксту, якія фактычна лежалі в основе адпаведнай адказу. Без цых цітатаў працавнікі не можуць адразніць галюцынацыю ад працягу індэксавання.

Чатыры спосабы, якімі вектар можа памыліцца

Для этапа „Чатыры спосабы вектара“ неабяжна прадзефінаваць вхідныя даны, адпаведальную за крок особу і крытэрыі завершэння пры змяне коду. Аперацыйныя працавнікі должны магчыме быць перадзеўваць крок з вядомага пункта контролю, не спрабоўваючы здагадвацца пра схованы стан. Неабяжна задокументаваць як шлях успеху, так і шлях вярнення да нормальнага стану. Перапрыбуткі, людзкія перакрыцця і апрацоўка некорэктных паведамленняў ёсць часткай продукту, а не чымсь, што дадаецца пазней. Прытамліваць трэба тыя часткі тэксту, якія фактычна лежаць у падставе адпаведнай адказы. Без ціх прытамлень аперацыйныя працавнікі не зможуць адразніць галюцынацыю ад працявання з непаштоўнымі данымі. Для этапа „Чатыры спосабы вектара“ неабяжна прадзефінаваць вхідныя даны, адпаведальную за крок особу і крытэрыі завершэння пры змяне коду. Аперацыйныя працавнікі должны магчыме быць перадзеўваць крок з вядомага пункта контролю, не спрабоўваючы здагадвацца пра схованы стан. Спрыятаць гэты этап як кантракт між вхіднымі данымі і паштоўнымі выходнымі рэзультатамі. Даць назвы артыфактам, прадзефінаваць перакрыцця успеху і не прабоўваць прыймаць часткова завершаныя рэзультаты без паведамлення.

Адмова

Калі працюеце над стадзіяй адзынакоўкі, спачатку запісайце угоду: неабходныя даны, сігнал успеху і тое, што выходзіць пад частым неудачам. Такі спіс контроля дапамагае заліцварыць пазнейшыя змены ў кодзе. Запісвайце часы выканання і кост токенаў або запытаў праза функцыйнае рэзультат. Відкрытыя даны пра косцы з’являюцца рана, таму не будзе неспакою, калі працэс перэйдзе з дамавайнага рэжыму ў спяльныя асяроддзя. Замерьце рэткі адзыв на фіксаваны набор запытаў прычым рэгулюванні прапазаў. Частая змена прапазаў рэдка калі-небудзь выправляе слабую сістэму адзыскання інформацыі.

Точныя ідэнтыфікаторы

Калі працюеце над стадзіяй «Точныя ідэнтыфікаторы», спачатку запісайце умовы контракту: неабяжлівыя даны, сігнал успеху і тое, што выканаецца у разы частковага нявучнасці. Такі спіс контроля дапамагае залічваць змяны ў кодзе адкрыта і працэсна.

Чысы

Калі працюеце на стадыі Numbers, спачатку запісайце угоду: неабяжлівыя даныя, сігнал успеху і тое, што выходзіць у разе частковага нявыпання. Такі спіс перакладзець пазнейшыя змены коду ў правільны направленні. Документавайце як шлях успеху, так і шлях вярнення да нормы. Перапрыбуткі, людзкія контралі і обработка некорэктных паведамленняў ёсць часткай продукту, а не пазнейшым дапрацоўкам. Змяркуйце рэткасць адпаведных адказоў на фіксованы набор запітаў прычымо да налаштавання підказак. Частае змена підказак рэдка калі вярнайць слабкую эфектыўнасць пошуку. Калі працюеце на стадыі Numbers, спачатку запісайце угоду: неабяжлівыя даныя, сігнал успеху і тое, што выходзіць у разе частковага нявыпання. Такі спіс перакладзець пазнейшыя змены коду ў правільны направленні. Спрытывайце гэты стадыю як угоду межа данымі і перакананымі выходамі. Дайце назвы элементам, задаць крытэрыя успеху і не падтрымайце тыхнавалое часткова завершэння.

Комбінацыйныя запіты

Этап комбінатарных запітоў працюе найэфектывней, калі яго розглядаць як меруючую плошчу. Зафіксавайце адны ідэальны прыклад, адзін прыклад неудачы і запіс пра відкатанне раней, чым расшырваць масштабы. Запісвайце часы выканання і кост токеноў або запітоў па боку функцыональных рэзультатаў. Візуальная наявнасць костаў з самага пачатку запобегае неспакойным рахункам, калі працэс пераходзіць з дэмовай асяроддзя ў спакульную. Раздзельвайце політыку часткавання дадзеных і політыку ўзяць дадзеныя. Змена адной з іх не должна вымагаць перапісвання другой, калі зменяюцыся показнікі якосці.

Доказ таго, што жадны лепшы модэль не зможа вырашыць проблему

Этам доказатак, што жадны ўровень не працуе наякша, калі яго спрыятаць як вімерную паверхню. Зафіксавайце адны «золаты» прыклад, адну справу з бягам і запіс пра вярнэнне да пачатковага стану, перш чым расшырваць масштабы. Зберагаюце настройкі пазначынай ад коду прыемліка. Файлы сяродавішча, хранілішчы секрэтных дадзеных і флагі функцый должны знаходзіцца ў аднам месцы, куды аператары можаць адрабатаваць без неабяжнага чытання всіх дадзеных. Задавайце ліміты бюджэту на кожны раунд і кожную сесію. Інструменты-агенты агрэсывна расшырваюць кантэкст; строгі ліміты не дазволяюць дэмам ператварыцца на неспакоўныя рахункі.

Эмпірычны кантэкст і трываючы спарча

«Эмпірычны кантэкст» і паветка працююць наяўней, калі іх спрыяваць як мерыемую паверхню. Зберагучы адна ідэальная транскрыпція, адзін прыклад неудачы і запіс пра вярнэнне да пачатковага стану, перш чым расшырваць масштабы. Дакументаваць трэба як успішны, так і вярнучыся шляхы. Перапрыбуткі, людзкія контралі і обработка некорэктных паведамленняў ёсць часткай продукту, а не наступным етапам дапрацоўкі. Раздзеляйце політыку частковай обработкы дадзеных і політыку ўтрымання інформацыі. Змена адной з яных не должна вымагаць перапісвання другой, калі зменяюцыся паказнікі якосці. «Эмпірычны кантэкст» і паветка працююць наяўней, калі іх спрыяваць як мерыемую паверхню. Зберагучы адна ідэальная транскрыпція, адзін прыклад неудачы і запіс пра вярнэнне да пачатковага стану, перш чым расшырваць масштабы. Спрыявайце гэтую паветку як кантракт межа вхіднымі дадзенымі і перакананымі выходнымі рэзультатамі. Называйце артыфакты, задаюце крытэрыя успеху і не падтрымайце бяспечнае частковае завершэння задання.

Што пераконтраць пры запуску гібрыднага пошуку

У стадыі «Што пераканаліцаваць пры пачатку» неабяжна ўзначыць вхідныя даны, адпаведальнага за крок і крытэрыя завершэння пры зміне коду. Аперацыйныя працавнікі павінны магчымае перазапускаць крок з вядомай точкі контролю, не прабуючы спадарацца пра схованы стан. Запісваць час выканання і вартасць токена або запыту праза функцыйнальнымі рэзултатамі. Відразы вартасці з самага пачатку запобегае неспакоўным рахункам, калі працэс пераходзіць з дэмовай асяроддзя ў спяльнаныя сераўеры. Указваць тые часткі тэксту, якія фактычна ляглі в основу адпаведнай адказы. Без цых цітатаў аперацыйныя працавнікі не можуць разлічыць галюцынацію ад прасоўкі ў індэксаванні.

Што гэта значыць для архітэктара

Для этапа «Што гэта значыць» неабяжна прадзефінаваць вхідныя даны, адпаведальную особу за крок і крытэрыі завершэння пры змяне коду. Аператары должны магчымаць перзапуск крока з вядомай точкі контролю, не падозрываючы прыхованы стан. Конфігурацыю трэба залічыць пазначкай ад коду прыемлівання. Файлы сераўнавальной асяроддзя, хранільнікі секрэтных даных і флагі функцый крануцца ў аднам месцы, якое аператары можаць пераглядаць, не чытаяўшы весь ланцуг задач. Паказваць трэба тыя часткі тэксту, якія фактычна лежалі в основе адпаведнай адказы. Без цых цітатаў аператары не можаць разлічыць галюцынацію ад працягу ў індэксаванні.

У заключэнні

У фазе «Заканчэнне» неабяжна практычная вялікасць: перад зменым коду трэба адзначыць вхідныя даны, адпаведальнага за крок і крытэрыя завершэння. Аперацыйныя працавікі павінны магчымаецца перадзваніць крок з вядомага пункта контролю, не спрабоўваючы здагадвацца пра схованы стан. Неабяжна задокументаваць як «шчаслівы» шлях, так і шлях вяснавання проблем. Перапрыбуткі, людзкія перакрыцця і апрацоўка некорэктных паведамленняў ёсць часткай продукту, а не чымсь, што дадаецца пазней. Паказваць часткі тэксту, якія фактычна лежаць у падставе адпаведнай адказы. Без ціх цытатаў аперацыйныя працавікі не зможуць разлічыць галюцынацію ад працявання з непаштоўнымі данымі. У фазе «Заканчэнне» неабяжна практычная вялікасць: перад зменым коду трэба адзначыць вхідныя даны, адпаведальнага за крок і крытэрыя завершэння. Аперацыйныя працавікі павінны магчымаецца перадзваніць крок з вядомага пункта контролю, не спрабоўваючы здагадвацца пра схованы стан. Спрыяць гэтай фазе як даговору між вхіднымі данымі і паштоўнымі выходнымі рэзультатамі. Даць назвы артыфактам, адзначыць крытэрыя успеху і не прабоўваць прыйняць часткова завершаныя рэзультаты без падтверджэння.

Чэк-ліст для аперацый

Калі працюеце над стадзіяй аператывнага чэк-лісту, спачатку запісайце кантракт: неабяжлівыя даныя, сігнал успеху і тое, што выходзіць у случае частковага неяксамоства. Такі чэк-ліст дапамагае заставіць пазнейшыя змены коду быць чыстымі.

Валіце маленькія, тэставаныя елементы замест большых скрыптов. Калі якісь крок не выйшае, неяксамоства павінны адносіцца да адной адпаведнасці, а не да заплутанага ланца задач.

Замерайце рэкалі на фіксаваным наборэ запітанняў прычым падлаштаванню прамптаў. Частае змены прамптаў рэдка калі вярнуюць слабую сістэму адзысквання інформацыі.

Закрэпіце версіі залежнасцяў і запісайце характэрыстыкі зображэння, якое было выкаранае пад час дамоўкі. Возможнасць перапрыгнуць на адначасовы працэс важлівей, чым традыцыйныя знаёмства.

Спрыятлівае ставленне да гэтай стадзіі як да кантракту межа данымі і перакананымі выходамі. Дайце назвы элементам, задаце крытэрыя успеху і адмовіцеся ад мовчанкавага частковага завершэння.

Замерайце рэкалі на фіксаваным наборэ запітанняў прычым падлаштаванню прамптаў. Частае змены прамптаў рэдка калі вярнуюць слабую сістэму адзысквання інформацыі.

Перш чым запускаць стак, заморозьце версіі, зафіксавайце «золаты» транскрыпты для крытычных шляхоў і паказвайце крокі для атрыбуцыі. У спакаваных срэдах неабходны ліміты частоты запытоў, пераканання ў належнасці тэнанту і чысткі власнік для ротацыі секрэтных даных. Валіце простую надзейнасць працоўнікам, чым хітрыя разовыя дэманстрацыі.

Прыметка для 299fa2268d54: не кладзіце ключы прадаўца ў рэпазітарый, задаце верхнюю межу токена на сесію і зберагачыце транскрыпты празаўседы ў фікстурах eval, каб пазнейшыя замены модэляў заставаліся пораўнанымі.

Калі працуеце над пунктом 0 з ударжання безпекі, спачатку запісайце контракт: неабходныя даны, сігнал успеху і тое, што выходзіць на частковай нявыполненасці. Такі чэк-ліст дапамагае заставаць пазнейшыя змены коду чыстымі. Дасведчывайце як «шчаслівы» шлях, так і шлях вяснавання разам. Перапрыбуткі, людзкія контралі і обработка некорэктных паведамленняў — частка продукту, а не ўжо пазнейшая дапрацоўка.

Дзеянне паўжасткі 0/778: звярніце увагу на час выканання, клас памылкі і колькасць токенаў, выкарыстоўваных для гэтай змяны, а пасля, на аднойчынных пытаннях, а не на аналагіях, адначынна рашыце, чы хацеце застаўіць гэту змяну.

Этап 1 паўжасткі працюе найэфектывней, калі яго спрыяваць як меравальную плошчу. Запісаце адну ідэальную транскрыпцыю, адзін прыклад неудачы і змяну, якая павертае стан у пачатковы, прычаму расшыруваць масштаб не трэба. Спрыявайце гэты этап як кантракт межа вхіднымі данымі і перакананымі выходнымі рэзультатамі. Даўце назвы артыфактам, задаце крытэрыя успеху і адмовіцеся ад мовчанкавага частковага завершэння.

Дзеянне паўжасткі 1/778: звярніце увагу на час выканання, клас памылкі і колькасць токенаў, выкарыстоўваных для гэтай змяны, а пасля, на аднойчынных пытаннях, а не на аналагіях, адначынна рашыце, чы хацеце застаўіць гэту змяну.

Для другага этапа практыкы зміцнення неабяжна пазначыць вхідныя даны, адпаведальнага за крок і крытэрыя завершэння пры зміне коду. Аператары должны магчымаць перзапуск кроку з вядомай точкі контролю, не падозрываючы прыхованы стан. Конфігурацыю трэба залічыць пазначкай ад коду прыемліка. Файлы сераўнавання, хранальнікі секрэтных даных і флагі функцыйяў должны знаходзіцца ў аднам месцы, якое аператары можаць пераглядаць, не чытаяўшы весь код.

Дзялейчык практыкі зміцнення 2/778: вы мераваеце час выканання, класы каштоўкаў і вітрату токенав для гэтай практыкі, а потым выявляеце, чы рашацься застаўіць змяну на адной пазначкай фіксаванага набора пытанняў, а не на адной лічбе.

Калі працуеце над 3-й стадзіяю практыкы забезпечэння безпекі, спачатку запісайце умовы кантракта: неабяжлівыя даныя, сігнал успеху і тое, што выходзіць на падзею частковага нявыпання. Такі спіс контроля дапамагае заліцвачыць пазнейшыя змены ў кодзе. Валіце маленькія, тэставаныя елементы замест большых скрыптов. Калі якісь крок не выйшае, прычына нявыпання павінна вказываць на адну конкрэтную адпаведальнасць, а не на заплутаны ланцюг задач.

Дзеянне 3/778 практыкы забезпечэння безпекі: замерайце час выканання, класы каштоўкаў і вітраты токенав для гэтай практыкі, а потым вырашайце, чы робіць змены на адной основе фіксаванага набору пытанняў, а не на адной лячбе.

3-я стадзія практыкы забезпечэння безпекі працуе лепей, калі яе спрыяваць як меравальную плошчу. Запісайце адны ідэальны прыклад работы, адзін кейс нявыпання і прыказку па адкатаванні, перш чым расшырваць масштаб. Запісвайце часы выканання і вартасць токенав або запыткаў разам з функцыйнальнымі рэзултатамі. Відкрытая інформацыя пра вартасці запобегае неспакойным рашчыткам, калі працэс пераходзіць з дэмавайшнага рэжыма ў спяльныя асяроддзя.

Дзеянні паўжасткі 4/778: звярніце увагу на час выканання, клас памылак і колькасць вікорыстоўваных токенав для гэтага зьязку, а пасля вырашыце, чы робіць змяну на аднойчы заданай сэткі пытанняў, а не на аднойчы прымітывах.