Практычныя нататкі: лакальныя LLM для выцягвання графаў у Graph RAG — бенчмарк сярэдзіны 2026
Практычны разбор тэмы «лакальныя LLM для выцягвання графаў у Graph RAG, паўторны бенчмарк сярэдзіны 2026 года»: кантракты, праверкі і гатовыя фрагменты кода для каманд, якія ўкараняюць гэты падыход.
Крыніцы: Local LLMs for Graph RAG Extraction: The Mid-2026 Re-Benchmark
Наступныя прытамлівкі паказваюць практычны падход да рэшэнкі задачы “Локальныя LLM-ы для выкарыстоўвання графаў у RAG: Перапрыбораванне ў серэдзіне 2026 года”. Акцэнт ставяецца на контракты, перакананняя і месцы для коду, а не на мотывацыйныя аспекты.
Чэрэз пяць месцаў вы зноў запускаеце все — і відомы “пятачак 7B” аказаўся нарадкам пад час дэкадавання.
Калі працуеце над этапам “Чэрэз пяць месцаў”, спачатку запісайце контракт: неабходныя даны, сігнал успеху і тое, што вядзецца ў разы частковага нявыпання. Такі спіс контролю дапамагае заставіць пазнейшыя змены коду чыстымі. Запісуйце як шлях успеху, так і шлях вярнення да нормы. Перапрыбораванні, людзкія перакананняя і апрацоўка некорэктных паведамленняў ёсць часткай продукту, а не пазнейшым дапрацоўкам. Зберагаюце у кэшы стабільныя інструкцыі сістэмы і схемы знарадзёў. Перасылка ідэнтычных прамовляючых частак ёсць частым выклікам для рэсурсаў.
Тэза, якую вы хацелі спроставіць
Калі працуеце над стадзіяй «Заява, якую вы хацелі», спачатку запісайце угоду: неабяжлівыя даны, сігнал успеху і тое, што выканаецца у разе частковага нявыполнення. Такі спіс пераканаець у тым, што пазнейшыя змены коду будуць чыстымі. Валіце маленькія, тэставаныя елементы замест большых скрыптов. Калі якісь крок не выйшае, прычына нявыполнення павінна вказваць на адзіну адпаведальнасць, а не на заплутаны ланцужок задач. Зберагаеце у кэшы стабільныя інструкцыі сістэмы і схемы інструментаў. Перадзял у тое ж самае прамэру ёсць частым выклікам затрачання рэсурсаў.
Гэта спрацавала
Калі працуеце над стадзіяй «It did stage», спачатку запісайце контракт: неабяжлівыя даны, сігнал успеху і тое, што выходзіць у разе частковага нявыпання. Такі спіс пераконтроўкаў дапамагае заліцьварыць пазнейшыя змены ў кодзе. Спрыймайце гэтую стадзію як контракт межа данымі і перакананымі выходамі. Дайце назву артыфактам, задаце правілы пераканання успеху і адмовіцеся ад тыхоўскага частковага завершэння. Зберагачыце у кешы стабільныя інструкцыі сістэмы і схемы інструментаў. Перадача ідэнтычных прамулкіў — частая прычына збытка рэсурсаў.
Phi-4-mini 3.8B Parse-OK rate Strict schema-valid
-------------------------------- --------------- ---------------------
Unconstrained, open extraction 22% 0%
Unconstrained, schema-guided 33% 0%
Constrained, open extraction 100% 100%
Constrained, schema-guided 100% 100%
Пастка, пра якую ніхто мяне не паведаміў: рэжым мышлення пагаршае структураваны выход
Калі працуеце над этапам «Пастка, працоўнік якой ніхто не паветарыў», спачатку запісайце контракт: неабходныя даны, сігнал успеху і тое, што выходзіць па частым неудачам. Такі спіс контроля дапамагае заліцварыць пазнейшыя змены ў кодзе. Запісвайце часы выканання і кост токена або запіту праза функцыональныя рэзультаты. Відразлівасць костаў з самага пачатку запобегае неспакойным рахункам, калі парадокс пераходзіць з дэмаверсіі ў спяльныя асяроддзя. Зберагаюце у кэшы стабільныя інструкцыі сістэмы і схемы інструментаў. Перадзесланне ідэнтычных прамаўляючых частак — частая прычына вітрацын.
Qwen3.5-4B, schema-guided Parse-OK Output tokens/doc Median latency
--------------------------------- ---------- ------------------- ----------------
Thinking default, unconstrained 33% 10,142 94.0s
Thinking on, constrained 0% 649 6.3s
Thinking off, constrained 100% 599 5.8s
Абмежэнні не толькі выправляюць правамернасць — яны таксама выправляюць прыемнасць
Працюючы з абмежэннямі, не проста ўвайшыце у рэжым стэйджування, а спачатку запісайце умовы вікорыстання: неабяжныя даныя, сігнал пра успех і тое, што выходзіць на падзею частковага абякання. Такі спіс контроля дапамагае заставіць пазнейшыя змены коду быць чыстымі. Зберагаюце настройкі пазней ад коду прыемліка. Файлы сераўнавання, храненні секрэтных даных і флагі функцыйяў должны знаходзіцца ў аднам месцы, куда аператары можуць аўдытаваць іх без неабяжнага чытання всей структуры. Кэшавайце стабільныя інструкцыі сістэмы і схемы інструментаў. Перадзесланне ідэнтычных даных ўсё часта стае прычыной зайвых вітрацоў. Працюючы з абмежэннямі, не проста ўвайшыце у рэжым стэйджування, а спачатку запісайце умовы вікорыстання: неабяжныя даныя, сігнал пра успех і тое, што выходзіць на падзею частковага абякання. Такі спіс контроля дапамагае заставіць пазнейшыя змены коду быць чыстымі. Валідзіце маленькія, тэставаныя елементы працы больш за масіўныя скрыпты. Калі які-небудзь крок абякае, прычына абякання должна вказываць на адну конкрэтную адпаведальнасць, а не на заплутаны ланцоўкі задач.
Табеля з грошамі
Этап стварэння табелі з метаданымі грошаў працюе наякрацэ, калі яго спрыяваць як мерыемую паверхню. Запісаце адна «золатая» версія, адын прыклад неудачы і прыметку па поверненню да пярвінскага стану пры розшырэнні масштаба. Спрыявайце гэты этап як кантракт межа вхіднымі дадзеннямі і паверыжанымі выхіднымі рэзультатамі. Даўце назвы артыфактам, задаце крытэрыя успеху і не прымайце частковае завершэння без паведамлення. Задзейце бюджэт на кожны раунд і кожную сесію. Інструменты-агенты агрэсывна расшырваюць кантэкст; строгі ліміты не дазволяюць дэмам ператварыцца на неспакоўныя рахункі.
Model med s/doc tok/s hrs/1k docs local electricity hosted-small API frontier API
------------------------ ----------- ------- ------------- ------------------- ------------------- --------------
Qwen3.5-4B (think off) 5.8 123 1.6 $0.17 $0.08 $9.73
Qwen3.5-9B (think off) 6.3 91 1.8 $0.18 $0.08 $8.72
Gemma 4 E4B 6.6 106 1.8 $0.19 $0.08 $9.75
Gemma 3 12B 8.4 79 2.3 $0.25 $0.08 $9.34
Mistral Small 3.2 13.6 52 3.8 $0.40 $0.14 $11.81
Phi-4-mini 3.8B 10.0 219 2.8 $0.29 $0.06 $6.28
Чысты масштаб і што далей
Чыстая сфера дзеяння і той этап, які найлепша працюе, калі яго рассматрываць як вімерную паверхню. Запісайце адна ідэальная транскрыпцыя, адзін прыклад неудачы і прыметку па поверненню да пачатковага стану перш чым расшырваць сферу дзеяння. Запісвайце часы выканання і косцткі токенав або запытаў праза функцыйнае рэзультаты. Відразлівае паказанне косцоў запобегае неспадзяваным рахункам, калі працэс пераходзіць з дэмавайнтару ў спяльныя сераўы. Задайце бюджэт на токены на кожны раунд і на кожную сесію. Інструменты-агенты агрэсывна расшырваюць кантэкст; строгі ліміты не дазволяюць дэмавайнтарам ператварыцца на неспадзяваныя рахункі.
Што на самай працоўнае, выданне серэдзіны 2026 года
Этап «Што на самай працоўнае у серэдзіне 2026 года» працуе найкрашча, калі яго спрыяваць як мерыемую паверхню. Зберагуце адна ідэальная транскрыпцыя, адзін прыклад неудачы і запіс пра вярнэнне да пачатковага стану перш чым расшырваць масштабы. Зберагуйце настройкі параду ў кодзе прыемлівача. Файлы сераўнавальной асяроддзя, хранільнікі секрэтных дадзеных і флагі функцый павінны знаходзіцца ў адном месцы, куды аператары можаць аўдытаваць іх без неабяжнага чытання всіх элементаў. Установіце ліміты бюджэту на кожны раунд і кожную сесію. Інструменты-агенты агрэсывна расшырваюць кантэкст; жорсткія ліміты не дазволяюць дэмам ператварыцца на неспакоўлівыя рахункі. Этап «Што на самай працоўнае у серэдзіне 2026 года» працуе найкрашча, калі яго спрыяваць як мерыемую паверхню. Зберагуце адна ідэальная транскрыпцыя, адзін прыклад неудачы і запіс пра вярнэнне да пачатковага стану перш чым расшырваць масштабы. Валідзіце маленькія, тэставаныя елементы замест большых скрыптов. Калі якісь крок не выйшае, неудача павінна вказываць на адную адпаведальнасць, а не на заплутаны ланцоўкі дзеянняў.
Апавядамленні
У стадыі «Апавяранні» неабходна ўзначэнне вхідных дадзеных, адпавядаючага за крок спецыяліста і крэтарыў завершэння працы перад змянай коду. Аператары должны магчымае перадзеісцаваць крок з вядомага пункта контролю, не спрабоўваючы здагадвацца пра схованы стан.
Чэк-ліст для эксплуатацыі
У стадыі чэк-ліста для эксплуатацыі таксама неабходна ўзначэнне вхідных дадзеных, адпавядаючага за крок спецыяліста і крэтарыў завершэння працы перад змянай коду. Аператары должны магчымае перадзеісцаваць крок з вядомага пункта контролю, не спрабоўваючы здагадвацца пра схованы стан.
Неабходна аддакументаваць як шлях успеху, так і шлях вярнення да нормальнага стану. Перапрыбуткі, людзкія перакрыцця і апрацоўка некорэктных паведамленняў ёсць часткай продукту, а не чымсь, што дадаецца пазней.
Калі наступным крокам ёсць напісанне коду або вызов інструменту, лепш выкорыстоўваць структураваныя выходныя даныя з паўерыванням схемы, чым прозу без стройкі.
Перад налаштаваннем запітоў трэба пераканацца, што сістэма правільна адпавядае на фіксаваны набор запітанняў. Частае змены запітоў рэдка калі вярнуюць хорашыя рэзультаты пошуку.
Перад змінай запітоў або модэляў трэба зафіксаваць ідэальны набор даных. Калі змінююцыся і сама сістэма, і крытэрыя яе працы, гэта можа маскаваць падвышэнне кількасці помілак.
Калі дозволяе бюджэт, трэба дадаць тэст на працясную працу, які пераканаецца ў правільнасці крытычнага маршруту за дапамогою фіксаваных даных, а не рэальных платных API-сервісаў.
Перад апраноўкай тэхналогій трэба зафіксаваць версіі, заспамяніць ідэальны транскрыпт для крытычнага маршруту і праконтролаваць крокі для вярнення да поперадней версіі. У спакульнаваных срэдах неабходны ліміты на колькасць запытоў, перакананні ў правільнасці праваў на выкарыстоўванне рэсурсаў і чысткі власнік для змены секрэтных даных. Лепш надзейна, але простая праца, чым крэатывныя, але разовыя дамахі.
Запіска параграфу 5f36b3d19383: не трэба кантрацеўваць ключы прадаўцаў у рэпазітарыі, задаць максімальную кантроль на токены на адну сесію, а таксама зберагчы транскрыпціі празаўседле з фікстурамі для ацэнкі, каб пазнейшыя замены мадэляў заставалі пораўнанневымі.
Запіска па прыняццю заходаў абароны 0 этапы найэфектывней працюе, калі яе спрыяваць як мерыемую плошчу. Зафіксавайце адну ідэальную транскрыпцію, адзін кейс неудачы і запіску пра вярнэнне да пачатковага стану перш чым расшырваць сферу дзеяння. Дакументавайце як успішны, так і вярнэнчы паты. Перапрыбуткі, людзкія контралі і обработка некорэктных паведамленняў ёсць часткай продукту, а не пазнейшым дапрацоўкам.
Дзялей прыняцця заходаў абароны 0/773: замерайце час выканання, класію адзінакоў і выкарыстаныя токены для гэтай запіскі, а пасля вырашыце, чы робіць змяну на адной падставе фіксаванага набора запытанняў, а не на адной падставе індывідуальных спазыроў.
Для этапы 0 пры гэрмаванні неабяжна прадзерагаць вхідныя даны, адпаведнага адпаведальнага за крок і крэтарыя выходу пры змены коду. Аператары должны магчымаць перзапуск крока з вядомай точкі контролю, не падозрываючы схованы стан. Запісваць час выканання і вартасць токенаў або запытак праза функцыйнае рэзультат. Відкрытая візуабілізацыя вартасцей запобегае неспакоўным рашчыткам, калі працэс пераходзіць з дэмавайнага рэжыма ў спакульнае сераўерское сэрвіса.
Дзялейныя праблемы гэрмавання 0/792: змяроўваць час выканання, класы каштоўкаў і вітраты токенаў для гэтай этапы, а пасля — вырашыць, чы рашыцца застаўіць змены на адной пазнаковай базе, а не на асобістых спостараваннях.
Калі працюеце над першым этапам зміцнення, спачатку запісайце умовы кантракта: неабяжлівыя даны, сігнал успеху і тое, што выходзіць у разе частковага невыпання. Такі спіс контроля дапамагае заліцвачыць пазнейшыя змены коду.
Документавайце як шлях успеху, так і шлях вярнення да нормальнага стану. Перапрыбуткі, людзкія перакрыцця і апрацоўка некорэктных паведамленняў ёсць часткай продукту, а не пазнейшым дапрацоўкам.
Дзеянні зміцнення 1/792: вымерайце час выканання, класію памылак і колькасць выкорыстоўваных токенав для гэтага пункту, а потым выберайце, чы робіць змену на аднойчынных крэтарах, а не на аснове індывідуальных спостарожэнняў.