Зрабейце так, каб прыцэпленне рангавання зайняло свае месца ў вашай практыцы RAG.
Переранкінг павінен зайняць свае месца ў працэсе RAG: неабходна дадаць інфармацыю, якой не хватала першаму ранкеру, захаваць доказы недыскрэтаванымі і перавышыць базовы рэзультат, які выкарыстоўвае толькі адзыскванне дадзеных.
Дадзенне рэранкера здаецца простым апградам: запрашваецца шырокі набор тэкстаў, аплываецца болей рэтельная пераканальнасць, і найлепшыя рэзультаты адправляюцца да моделі.
Такая архітектура можа быць корыстной. Але ёна таксама можа спрычыніць затрымку і пагаршыць якасць доказаў. Ключовы вопыт — яю інфармацыю дастае другі этап.
У аднам з публікаваных кейс-стадыяў наэтап рэранкінгу пераўтарыў падход з ужываннем эмбеддінга, які викорыстоўвался пад час запрашэння, і скорачыў текст-кандыдата. Такім чынам другі аналіз ацэніў горшую версію матэрыялу. Урок чыстае: компанента пад назвай рэранкер не прыносіць автаматычна лепшаг сигналу пераканальнасці.
З'ясавайце меры можлівасцей кандыдацкага пула
Рэранкер аранжуе дакументы, якія ён прымеў. Ён не шукае ў рэштце вашай колекцыі нехватную інфармацыю.
Якщо адаптаваны тэкст не ў спісе кандыдаатаў, перагляньце процес выкарыстоўвання данных, фільтраў чы ўмов розмежавання частак. Падышча складнасці алгорытма для оцэнкі не можа з’явіць тэкст, якога няма.
Самэльга таму гібрыдны спосаб выкарыстоўвання кандыдаатаў і переорганізацыя ранжыравання трэба ацэніваць окрема. Першы этап мае на мету узяць у расчыт корисныя доказы. Другі — выбраць і распарадзіць гэтыя доказы ў межах строгага бюджету.
З’ясавайце, што бачыць другі алгорытм
Крос-кодэр обрабоўвае запит і кандыдаатаў адночасна, што дазволяе даць оцэнку адносу значэння, якая разлічыцца ад пораўнання незалежна вырахаваных эмбедынгаў. Гэта дадатковая взаімадзея ёсць адной з прычын, чаму яго варта расследаваць для створэння спісу кандыдаатаў.
Адзінакоўна, у алгорытму для расчытку балоў все ж існуе ліміт паведамленняў. Якщо наэтапная обробка адмаўляе рэчы, якая адпавядае на запитанне, модель не можа яе восстановіць. Запісваюцца рэальны текст, які быў пераданы алгорытму, а не толькі первісны фрагмент, які быў схованы.
Для дзялёных тэкстаў трэба пераканацца, дзе знаходзяцься значныя деталі. Фіксаваны прымэтнік можа застаўіць вступны текст, але паспрабаваць выдаліць самае важлівая правіла, прыклады коду чы адступніцы. Варта рассмотрзець корачэ, супаўзмежныя фрагменты чы акрэсленні, якія стосуюцца запитання, і перапрацаваць рэзультаты ў працоўны спосаб, а не прыпускати, што політіка скрацэння не мае наследкав.
Порашчыце ранейшы і пазнейшы результаты на ідэнтычных кандыдатах
Зберагаюцца базовыя рангі для кожнага запитання на ацэнку. Запускаецца алгорытм параджавання на тым жа наборе кандыдатаў, пасля чаго порашчываецца ўпорядкаванне і заканчоўны выбар.
Стежыце за тым, чыя неабходныя доказательніцы застаюцца ў фінальным контэксте, чы павышаецца ўжо ўсё іх положэнне, і якія запытанні пагоршваюцца. Адны сумарны бал можа замаскаваць втрату важлівага фрагмента для паводзячай категорыі запытанняў.
Таксама вимеравайце час адпаведзення і выкладкі на всю дыялогію. Павышэнне рангу можа быць корыстным для деталізаванага процесу доследжэння, але занадта дорогім для інтэрактыўных патрактаванняў. Адпрацоўкі, якія ўзьмуцца за основу, залежаць ад таго, якія можлівасці вы ствараеце.
Кансэпт ацэнкі поясняе, як трэба выдзеляць гэтыя перагляды рангу з якасцю створанай адпаведзі.
Цялесапраўдна задаць запасны варыянт
Для інтэрактыўнага прыемніка задайце канечны тэрмін для этапу переранжавання. Якщо прымусова абрываецца час, чынна ўхваліце рашэнне, чы вярнуць базовыя рэзультаты, паказаць адказ пра аблуку чы продаваць роботу асінхронна.
Вернуць базовыя рэзультаты можа быць разумным, калі яны вже падходзяць вашым трэбаванням да якосці. Запісуйце, калі выкарыстоўваны альтернатыўны спосаб, каб павышэнне часу адпаведзення не выглядала випадкова як успешны эксперымент з переранжаванням.
Таксама, старайцеся, каб переранжавач было лёгка выключыць. Компонент не павінен стаць обавязковым толькі таму, што код, які працюе пасля яго, тепер вырачоўвае, што ён існуе.
Залічваюце простыя системы, калі яны ўспэшныя
Адрабатайце тыя ж запитанні з увёмкам і выключэнням переранжавання. Прааналізуйце як павышэння, так і невыкарыстанне можлівасцяў, укладаючы ў тое ж прыклады, калі дужна сягнуць максимальной дужыны вхідных дадзенняў.
Якщо другі паслядовны спосаб не можа паказаць корыстную перадачу ў вашых умовах, яго адключэнне ёсць правамерным інжынерскім рашэнням. Мета — адпаведзенне, падтрымванае правымі доказамі за прыемным косцом. Болей складныя дыяграмы корыстныя толькі тады, калі яны дапамагаюць досягнуць гэтай меты.