Практычныя нататкі: за межамі эмбедынгаў — аўтаматычная праверка і версіянаванне дакументаў
Практычны разбор тэмы «аўтаматычная праверка і версіянаванне дакументаў за межамі эмбедынгаў»: кантракты, праверкі і гатовыя фрагменты кода для каманд, якія ўкараняюць гэты падыход.
Крыніцы: Beyond Embeddings: Automated Document Validation and Version Control for RAG Knowledge Bases
У гэтым керавану практычным крокам перакладзена вся сяброўка, ад сырых матэраляў да готавага сістэмнага рашэння для праекту «Beyond Embeddings: Автаматызаваная пераканальцовка дакументаў і кантроль версій для баз знанняяў RAG». Акцэнт ставіцца на практычныя крокі, чыстае выкананне пераканальцоўкаў і код, які можна проста дадаць у рэпазітарый без неабязковасці з’ясаваць мету. У стадыі агляду неабходна з’явіць вхідныя даны, адпаведальнага за крок і крытэрыя завершэння прычым пераканальцоўкаў, перш чым змяніць код. Аператары должны магчымае перадзвіжыць крок з вядомага пункта контролю, не падозрываючы прыхованы стан сістэмы. Конфігурацыю трэба заставляць праза код аплікацыі. Файлы сяродавішча, хранільнікі секрэтных дадзенняў і флагі функцый должны знаходзіцца ў аднам месцы, якое аператары можаць пераглядаць, не чытаяўшы весь код аплікацыі.
Введэнне
Калі працюеце над стадзіяй введэння, спачатку запісайце контракт: неабяжлівыя даны, сігнал успеху і тое, што выходзіць у разе частковага неяксамоства. Такі спіс пераконтролю дапамагае заліцварыць пазнейшыя змены ў кодзе. Документавайце як шлях успеху, так і шлях вярнення. Перапрыбуткі, людзкіе контралі і обработка некорэктных паведамленняў ёсць часткай продукту, а не пазнейшым дапрацоўкам. Перад налаштаваннем запітаў пераканайцеся ў рэкале на фіксаваным наборы запітаў. Частая змена запітоў рэдка калі вярнайце слабкую способнасць да выкарыстоўвання інформацыі.
Чаму самыя метаданы не дапамагаюць
Калі працюеце над этапам «Пачаму сама метаданая не дапрацоўвае», спачатку запісайце умовы працы: неабходныя даны, сігнал успеху і тое, што выходзіць на частым неудачам. Такі спіс контроля дапамагае залічыць пазнейшыя змены ў кодзе. Валіце маленькія, тэставаныя елементы замест большых скрыптов. Калі якісь крок не задаецца, неудача должна вказваць на адну конкрэтную адпаведальнасць, а не на заплутаны працэс. Перад налаштаваннем запітоў пераканайцеся, наскількі эфектыва сістэма адпаведзае на фіксованы набор запітанняў. Частае змены запітоў рэдка калі вылечваюць слабую спроможнасць сістэмы да пошуку.
import fitz # PyMuPDF
from pypdf import PdfReader
doc = fitz.open("mining_act_2022.pdf")
metadata = doc.metadata
for key, value in metadata.items():
print(f"{key}: {value} -> {type(value)}")
format: PDF 1.5 -> <class 'str'>
title: View - NSW legislation -> <class 'str'>
author: -> <class 'str'>
subject: -> <class 'str'>
keywords: PCO, Parliamentary Counsel's Office, ...
creator: -> <class 'str'>
producer: Prince 15.1 (www.princexml.com) -> <class 'str'>
creationDate: -> <class 'str'>
modDate: -> <class 'str'>
trapped: -> <class 'str'>
encryption: None -> <class 'NoneType'>
Пачаму рэгаксі і LLM-ы недастатні
Калі працуеце над стадзіяй «Чаму Regex і LLM-ы», спачатку запісайце контракт: неабяжлівыя даныя, сігнал успеху і тое, што выходзіць у разе частковага нявыпання. Такі спіс контроля дапамагае заліцьварыць чыстасцю пазнейшых змян у кодзе. Спрыятліваце гэтую стадзію як контракт межа данымі і перакананымі выходамі. Дайце назвы артыкулам, задаце правіла пераканання успеху і адмовіцеся ад тыхоўскага частковага завершэння. Зберагачвайце у кешы стабільныя інструкцыі сістэмы і схемы інструментаў. Перадача ідэнтычных прамуслов — частая прычына змарнавання рэсурсаў. Калі працуеце над стадзіяй «Чаму Regex і LLM-ы», спачатку запісайце контракт: неабяжлівыя даныя, сігнал успеху і тое, што выходзіць у разе частковага нявыпання. Такі спіс контроля дапамагае заліцьварыць чыстасцю пазнейшых змян у кодзе. Зберагачвайце настройкі параду ўнутры коду прыемлівача. Файлы сераўнавання, хранільнікі секрэтных дадзеных і флагі функцый должны знаходзіцца ў аднам месцы, куды аператары можаць адбавіць аўдыт без неабяжлівага чытання всей структуры.
Методалогія
Этап методалогіі працюе найэфектывней, калі яго розглядаць як вімерную плошчу. Зафіксавце адны ідэальны прыклад працы, адну справу з бягам і прыметку па вярнэнню да пачатковага стану пры расшырэнні масштаба. Дакументавце як шлях успеху, так і шлях вярнэння да нормальнага стану. Перапрыятыя, людзкі контроль і обработка некорэктных паведамленняў ёсць часткай продукту, а не элементамі пазнейшай дапрацоўкі. Раздзеліце правілы частковай обработкі даных ад правілаў ўзяць даныя. Змена аднаго з іх не должна вымагаць перапісвання другога, калі зменяюцыся паказнікі якосці.
Выяўленне метаданых
Этап выкаліквання метадаў працюе наякша, калі яго розглядаць як вімерную структуру. Зберагучы адна ідэальная версія транскрыпцыі, адзін прыклад неудачы і запіс пра вярнэнне да пачатковага стану, перш чым расшырваць масштабы. Валіце маленькія, тэставаныя елементы замест большых скрыптов. Калі якісь крок не выходзіць, прычына неудачы павінна вказываць на адну конкрэтную адпаведальнасць, а не на заплутаны ланцюг задач. Раздзеляйце правілы часткавання інфармацыі ад правіл яе выкаліквання. Змена ў адных не павінна вымагаць перапісву іншых, калі зменяюцца паказнікі якосці.
# Example of document id generation
raw_bytes = Path(pdf_path).read_bytes()
content_hex = raw_bytes.hex()
doc_std_id = str(uuid.uuid5(DOCUMENT_ID_NAMESPACE, content_hex))
# Code Example of generating similarity id with minhash encoding
def _compute_doc_similarity_id(self, full_text: str) -> str:
sketch = pyhyperminhash.Sketch()
entry = pyhyperminhash.Entry()
entry.add_bytes(full_text.encode("utf-8"))
sketch.add_entry(entry)
return base64.b64encode(sketch.save()).decode()
# Code Example of DocumentFingerprint Pydantic model class
class DocumentFingerprint(BaseModel):
primary_entity: str
entity_type: str
key_words: list[str]
Параболка контэнту
Этап адміністрацыі кантэнту працюе наяўней, калі яго спрыяваць як мерыемую плошчу. Зберагучы адна ідэальная версія, адзін прыклад неудачы і запіс пра вярнэнне да пачатковага стану, перш чым расшырваць сферу дзеяння. Спрыяйце гэтам этапу як кантракту межа вхіднымі данымі і адміністрацыянымі выходамі. Даўце назвы артыфактам, задаць крытэрыя успеху і не падзеўляйцеся частым, непрыгледным завершэнням задачы. Раздзеліце правілы часткавай апрацоўкі дадзеных ад правіл ўтрымання іх. Змена адных не павінна вымагаць перапісву іншых, калі зменяюцыся паказнікі якосці. Этап адміністрацыі кантэнту працюе наяўней, калі яго спрыяваць як мерыемую плошчу. Зберагучы адна ідэальная версія, адзін прыклад неудачы і запіс пра вярнэнне да пачатковага стану, перш чым расшырваць сферу дзеяння. Зберагачы настройкі параду ўне з кодам прыемліка. Файлы сераўнавання, хранільнікі секрэтных дадзеных і флагі функцый павінны знаходзіцца ў адном месцы, якое аператары можаць пераглядаць без неабяжнага чытання всіх дадзеных.
# Coding Example for Jaccard similarity computation
import pyhyperminhash
new_sketch_bytes = base64.b64decode(new_doc_similarity_id)
new_sketch = pyhyperminhash.Sketch.load(new_sketch_bytes)
cand_sketch_bytes = base64.b64decode(candidate_similarity_id)
cand_sketch = pyhyperminhash.Sketch.load(cand_sketch_bytes)
jaccard_sim = new_sketch.similarity(cand_sketch)
jaccard_threshold = SIMILARITY_CONFIG["jaccard_threshold"]
if jaccard_sim < jaccard_threshold:
print("New document detected")
"""
Upload as a new document to vector daatabase
"""
else:
print("Similar document detected")
"""
Subsequent identity score calculation...
"""
Заключэнне
У стадыі заключэння неабяжна практычна апранаванне інпутаў, адпаведальнага за крок і крэтарыяў выходу пры перадзмене коду. Аператары павінны магчымаць перзапуск кроку з вядомай точкі контролю, не спадзяваючыся на захаваны стан. Неабяжна задокументаваць як шлях успеху, так і шлях вяснавання проблем. Перапрыбуткі, людзкія перакрыцця і апрацоўка некорэктных паведамленняў ёсць часткай продукту, а не чымсь, што дадаецца пазней. Указваць часткі тэксту, якія фактычна лежаць у падставе адпаведнай адказы. Без ціх цытатаў аператары не можуць разлічыць галюцынацію ад працягу індэксавання.
Чэк-ліст для аператыўнай працы
Стадыя чэк-ліста для аператыўнай працы працюе найэфектывней, калі яе спрыяваць як мерыемую плошчу. Збіраць адна ідэальная транскрыпцыя, адзін прыклад неудачы і запіс пра вярнэнне да пачатковага стану пры расшырэнні масштабаў. Запісваць часы выканання і косты токенаў або запытак разам з функцыйнальнымі рэзултатамі. Відразувыя даныя пра косты запобегаюць неспакойным рахункам, калі працэс пераходзіць з дэмовай асяроддзя ў спакульнаныя сераўы.
Раздзеліце політыку часткавання ад політыку выявлення. Змена адной з іх не павінна прымусваць перапісванне другой, калі зменяюцца паказнікі якосці.
Дадзіце тэст на пераканаўчыя дзеянні, які працавае з крытычным шляхам у сістэме CI за дапамогою фіксатароў, а не з рэальнымі платнымі API, калі толькі дозволяе бюджэт.
Зберагаце настройкі праза код аплікацыі. Файлы сераўнавання, хранільнікі секрэтных дадзеных і флагі функцый павінны знаходзіцца ў аднам месцы, куда аператары можаць адбавляць контроль без неабяжнага чытання всіх элементаў.
Раздзеліце політыку часткавання ад політыкі выявлення. Змена адной з іх не павінна прымусваць перапісванне другой, калі зменяюцца паказнікі якосці.
Перад апраноўкай стака заморозьце версіі, зафіксуйце ідэальны транскрыпт для крытычнага шляху і паказваце способы адворачэння. У спільных сераўнах неабходны ліміты частоты запытоў, пераканаўчыя перагледы тэнантства і чыстае адпаведальнае аб’екта для ротацыі секрэтных дадзеных. Валіце простую надзяйнасць працоўнікаў перад крэатыўнымі, але ендзэврацыйнымі дэманстрацыямі.
Запіска параграфу 4cd49d3b9b36: не трэба кантрацеўваць ключы прадаўцаў у рэпазітарыі, задаць максімальную кантроль на токены на адну сесію, а таксама зберагчы транскрыпціі празаўседле з фікстурамі для ацэнкі, каб пазнейшыя замены мадэляў заставалі пораўнанневымі.
Запіска па ўжорсткаванню на стадыі 0 найэфектывней працуе, калі яе спрыямаць як мерыемую плошчу. Зафіксавайце адну ідэальную транскрыпцію, адзін кейс неудачы і запіску пра вярнэнне да пачатковага стану перш чым расшырваць масштаб. Спрыяйце гэтай стадыі як кантракту межа вхіднымі дадзеннямі і перакананымі выходамі. Назвайце артыфакты, задаць крытэрыя успеху і адмовіцеся ад беззвучнага частковага завершэння.
Дзеянне ўжорсткавання 0/869: замерыце час выкарыстання, класію паканаў і колькасць токенаў для гэтай запіскі, а праз то вырашыце, чы робіць змяну на адной пазначанай сэткі пытанняў, а не на адной лячбе.