Разбіліце дакументы на часткі па кансэльствах, якія неабходны для адказу.

Уявіце, што вы запитуўаете інструкцыю з розгортання, калі трэба вярнуцься да поперадней версіі сервіса. Пошук вяртаў інструкцыю па вярнуцці, але выключэнне знаходзіцца ў наступным фрагменте: інструкцыя дапускаецца толькі пасля таго, як паводзіцца певная перапактовка стану. Знайдзены тэкст є релевантным, прычаму адказ усё ж можа быць некоректным.

Гэта ўсё тая проблема фрагментавання. Елемент, які лёгка ў індексацыі, можа не збігатыся з елементам, які ўстаткуе для пояснення чаго-небудзь.

Перш чым налаштаваць модель укладання, пераканайцеся, калі фрагменты, якія вы використоўваете, дазволяюць модэлі бачыць тое, што трэба.

Пачніце з той структуры, якая у вас ёсць

Для тэхнічной статыі раздел і яго параграфы є логічным пунктом выйска. Прыклад коду павінен супроводжвацца поясненням яго прыпускаў. Табліце трэба достатнькі пазначкі, каб можна было зрозумець значэння. Выключэнне павінна знаходзіцца поблізу правіла, якое вона зменяе.

Гэта залежыць ад вярнучы правідабельны текст-выкладчык. Якщо ваш паспарсер уже ператворыў табліцу на неясную серію дадзеных, меньшыя фрагменты толькі распаўзуць гэтую неяснасць.

Практычны спосаб начальнай обработкі — раздзеляць тэкст на частыні па межах разделаў, адкладаць суседзячыя параграфы ў межах заданага розміру і дзеляць занадта большыя разделы па межах рэчэнняў. Блокі коду і табліцы трэба обрабоўваць спецыяльна, калі яны перакроююць заданы розмір; неабходна зберагчы ўсю іх структуру і павтараць абозначэння, неабходныя для інтэрпретацыі кожной часткі.

Гэта толькі пачатковы проект, а не універсальны оптамум. Гласарый і адчынныя звіты організуюць доказы інакш.

Іспользуйце перакрыцце з конкрэтнай прычыны

Перакрыцце можа захаваць рэчынку, якая інакш бы перасеклася з межай. Яно таксама прыносіць павтарэнне тэксту. Пры дастатковым перакрыцце калькі лепшых рэзультатаў можаць мець практычна той самы абзац, што спрацоўвае за рахунак бюджету контэксту без дадання новых падтверджэнняў.

Зважайце на корыстнае пакрыцце, а таксама на значэнне кожнага фрагмента. Якщо пяць атрыбуаваных фрагментаў усе пояснююць прычыну адкату, але ніхто не містіць выключэння, атрыбуванне большае колькіцы таго ж тэксту не рашае проблэму.

Пасля атрыбування выявіце перакрываючыяся часткі з таго ж источніка і злучыце ўсе яны або усуніце дуплікаты пры стварэнні запиту. Зберагачыце ўсё іх месца выходу, каб цітаты заставаліся вядомымі.

Атрыбуйце толькі неабходнае і ўсвядомлена расширяйце

Маленькі фрагменты можу стац хорашым цэллю для пошуку, таму што яны сфокусаваны на адной ідеі. Актуальныя разделы могу стац кращым контэкстам для генеравання, таму што яны прадаюць вызначэнняі і дапаможнае мяркаванне.

Адны з спосабаў — даць кожнаму маленькаму фрагменту ідэнтыфікатор родныя раздела. Спачатку шукаюць меньшыя елементы, а потым выбраныя рэзультаты раскрываюцца ў ўсіх іх родных разделах, калі для адпаведзення трэбуе больш контэкста. Раскрыванне все ж такі трэбуе певных ресурсоў; завантажэнне цэлага дакумента для кожнага рэзультата проста пераносіць первасныя проблемы на аднолькі больш высокі рэвень.

Для інструкцыі з адпраўкі рэзультаты пошуку могу выявіць умовы анулювання змян. Родны раздел тады можа прадаст асаблівасці і крокі для вяснавання ситуацыі. Так адпаведзенне стае цэлесапраўдным без неабходнасці для прыстрою пошуку аналізаваць вельмі большы фрагмент дакумента.

Порашчатка конфігурацыяў з аднаковымі запытамі

Стварыце запитанні, які адкрыюць межы: вяскладчыну, параджэкстыванне між абзацамі, пошук у таблыце і правілу з асэнзіяй. Адазначыце доказы, якія трэба для кожнай адпаведзі.

Пораўняйце простую версію з фіксаваным размерам з вашай версіяй, якае урахоўвае структуру. Зберагачыце корпус, запитанні і кантэкст у тым жа розмяре. Аналізавайце, чыякож кожная конфігурацыя збірае достатню колькасць доказоў, якую колькасць дуплікацый ёна стварае, і якія адпаведзі застаюцца немагчымыя на аднойчынны кантэкст.

Пад час задачы параметраў вырабніцтва не плутайце словы з токенамі модэлю. Раздзелальнік колькасці слоў ёсць зручны для пратотыпа; фінальны запрос павінен пасходзіць па правілам токенаў і мерыям модэлю, які яго працоўвае.

Калі дыявядзьбы падтверджэнняў єсць надзеяныя, гібрыдны спосаб ахавання можа дапамогчы корыстнікам знайсці іх як за дапамою точных тэрмінаў, так і за дапамою звычайнага языка. Кращая ахавання ўжо тады ёсць наўякожнае, калі вярнутыя фрагменты важыць таго, каб іх прачытаць.