Агентне деталізоване навчання: навчання вікі знань замість параметрів моделі
Запустіть цикл навчання штучного інтелекту на вікі з набутими знаннями, отриманими з корпоративних документів: критерії оцінки, створені на основі необроблених даних, конфіденційні запитання та сертифікат із чесними обмеженнями.
Джерела: Agentic Finetuning: Your Data Knows Things Nobody in Your Company Knows
Знання, якими володіє компанія, але до яких не може дістатися
Уявіть собі виробника обладнання, у якого є близько 900 звітів про обслуговування. Ця купа документів приховує відповіді на запитання, які мають велику фінансову цінність: які серії обладнання найчастіше ламаються та чому, які ремонти є ефективними, а що зламується під час встановлення взимку, але ніколи — влітку.
Ось у чому проблема: ніхто не може передати ці відповіді. Кілька досвідчених співробітників пам’ятають частину інформації, проте жоден документ не містить повного опису. Прочитати всі 900 звітів неможливо одній людині. Тож ці знання залишаються всередині компанії та все одно не є доступними для неї. Майже кожна організація, якій вже певний вік, стикається з цим проблемою, а більшість сучасних проєктів з ШІ її ігнорують.
Що насправді хочуть компанії
Компанії не хочуть шукати у своїх даних, адже функція Ctrl+F вже давно зробила пошук зайвою. Вони хочуть отримати знання. Порівняйте версії запитань для пошуку з версіями, призначеними для навчання:
- Запит для пошуку — це запит про те, що сказано у протоколі тестування 214. Запит для навчання — це запит про те, як конкретна суміш поводиться під час холодного заливання, на основі п’ятнадцяти років звітів про тестування.
- Запит для пошуку — це запит про документ патенту з конкретного випадку. Запит для навчання — це запит про те, як насправді відбувається процес подання заявки, які заперечення трапляються часто та що призводить до відхилення заявки з першої спроби.
- Запит для пошуку — це запит про тикет 8812. Запит для навчання — це запит про те, що роблять найбільш досвідчені співробітники підтримки, коли обладнання зламується двічі протягом місяця, та що вони обіцяють клієнту.
Ці знання мають велику цінність, але поводяться жорстоко: вони існують лише у фрагментах та ніколи не зберігаються в одному місці. Ніщо на папері їх не утримує. Вони з’являються між документами, у вигляді закономірностей, що охоплюють сотні звітів, як процес, що формується на основі трьохсот випадків, або як правило, яке двоє керівників тримають у пам’яті. Якщо ці двоє підуть, то з будинку виходить пам’ять компанії, а не просто два співробітники.
Чому «спілкування з документами» є недостатнім
Звичайний підхід у цій галузі — вбудовувати все, отримувати найближчі фрагменти та генерувати текст з них. Для пошуку це добре працює, і це не є атакою на RAG. Проте система повертає лише те, що хтось записав. Якщо поставити питання для навчання, наприклад, який серіал найбільше зазнає проблем та чому, система бере три фрагменти з трьох звітів, потім на місці створює виглядальну синтезацію, а наступного разу — іншу. Ніхто не витягує з цього уроки, не перевіряє їх та не надає стабільної форми. Замість пошуку знань система реконструює їх під кожне запитання, причому досить погано.
Сама купа даних також є хаотичною: тут є суперечливі версії політик, застарілі специфікації та помилки, які передаються далі. Будь-яка система, яка читає ці необроблені дані, успадковує ці недоліки. Уявіть два PDF-файли: один обіцяє 12 місяців гарантії, а інший — 24. Обидва отримуються під час пошуку, і відповідь стає справою випадку.
Навіть одноразова людська обробка інформації, чи то звіт консультанта, чи узагальнююча стаття стажера на Вікі, стикається з двома критичними питаннями. Як можна знати, що це правильно, і як можна знати, що це повне? Не існує об’єктивної істини, жодних тестів чи визначення готовності, тож документ починає «гнити» мовчки з самого дня завершення роботи над ним.
Отже, справжня проблема полягає не у пошуку інформації. Це перетворення величезних обсягів даних на знання, якими можна покладатися, та підтримання цих знань у правильному стані протягом часу. Коротко кажучи: видобуток діамантів із вугільної шахти. Вони там є, але ручне просіювання вугілля нікому не до вподоби.
Чому фінтюнінг моделі не допомагає
Фінтюнінг — це природний інстинкт, і він здається правильним з певної причини. Це справжнє традиційне машинне навчання: дані, мітки, показник втрат, оновлення ваг та набір тестів, який модель ніколи не бачила. Саме такої суворості бракує у світі документно-чатових систем.
Проте цей процес змінює неправильний шар. Ваги є непрозорими. Коли відповідь, отримана миттєво, є неправильною, не існує нейрона, який міг би її виправити. Усе, що було навчено, замерзає під час навчання та „старіє“ разом із наступною хвилею звітів, а кожне оновлення вимагає нового циклу навчання, оцінки та розгортання. Фінтюнінг також має репутацію методу, який навчає навичок та стилю, водночас ненадійно зберігаючи факти. Коротко кажучи, правильний цикл застосовується до неправильного об’єкта.
Запуск циклу на один шар вище
Пропозиція полягає у тому, щоб зберегти весь звичайний цикл навчання штучного інтелекту та запустити його на один рівень вище, на знаннях замість ваг. Цей підхід називається агентним фінтюнінгом.
Це відповідність є структурною, а не поетичною: кожна частина стандартного циклу навчання має прямий аналог, і те, що навчається, — це знання.
Об’єктом навчання є вікі — набір читабельних сторінок з вилученими знаннями, де кожне твердження прив’язане до своїх джерел. Одна сторінка може описувати поведінку при холодному литті, а інша — те, як насправді відбувається процес обробки даних. Людина може відкрити такі сторінки та сперечатися з ними. Агент, який працює над цим, залишається максимально простим та читає лише вікі, тож уся інтелектуальна цінність знаходиться у тому, що містить вікі. Неправильну відповідь можна виправити, виправивши знання, як backprop виправляє ваги, а не шляхом корекції запиту та сподівань.
Читайте діаграму під час одного проходження циклу: спочатку глибока обробка даних, потім порівняльний аналіз на основі необроблених даних, налаштування до стабілізації показників, і нарешті секретні запитання, яких жоден попередній крок не торкався.
Крок 1: завантаження та мета
Усе завантажується без сортування разом із відповіддю на недооцінене запитання: що слід з цього вивести? Прикладами можуть бути характеристики матеріалів чи реальний перебіг процесів. Визначена мета спрямовує обробку даних на отримання знань, а не на створення узагальнень.
Крок 2: глибока обробка даних, wiki v0
Далі весь набір даних ретельно обробляється — документ за документом, регіон за регіоном, на ту глибину, яка необхідна за метою. Це дорогий етап, який виконується лише один раз. Глибока обробка є важливою з певної причини. Якби вона відбувалася лише там, де згодом виникали заперечення з боку критеріїв оцінки, то вікі формувалося б на основі цих тестів, а знання були б адаптовані під тести, а не під дані. Спочатку глибока обробка дозволяє самому набору даних визначити його повноту, тож роль критеріїв оцінки зводиться до перевірки та виправлення.
Суперечності, які знаходяться під час обробки, наприклад, різниця у гарантійному терміні 12 проти 24 місяців, потрапляють у чергу для людини. Вони не блокують процес обробки та вирішуються наприкінці, оскільки жодна модель не може визначити, який PDF є застарілим.
Крок 3: критерії оцінки, створені на основі даних, а не вікі
Люди зазвичай спочатку наражаються тут на труднощі. Якщо запитання для тесту беруться з вікі, то все, чого бракує у вікі, не має відповідних запитань, тож «сліпа зона» створює власний тест та складає його ідеально. Тому запитання потребують ще трьох джерел: оригінальних документів (що читач має отримати з цього звіту?), оголошеної мети (запитання, що поєднують документи для аналізу тенденцій, причин та процесів) та осіб, які беруть участь (що їм насправді запитують). Потім цей набір ділиться: 75 відсотків — для навчання, а 25 відсотків залишаються як секретні запитання з таким самим балансом тем, без перефразованих повторень та без можливості для когось їх переглянути. Навчання, орієнтоване на тест, позбавить його сенсу.
Крок 4: відповідь, оцінювання, діагностика, переписування
Кожна неправильна відповідь має первинну причину, а кожна причина має свій шлях розв’язання:
- Якщо інформація про навчання існує у даних, а вікі її проігнорувала, переробіть цю область знову, більш глибоко.
- Якщо її немає ніде, запитайте людину та ніколи не вигадуйте відповідь.
- Якщо два джерела суперечать одне одному, висвітліть цей конфлікт.
- Якщо саме запитання було помилковим, виправте його та залиште агента у спокої.
Одне правило перевершує всі інші: відповідь на запитання ніколи не копіюється до вікі. Критерії вказують, де потрібно шукати, документи визначають, що слід записати, а те, що записується, має бути загальними сторінками, які можуть використовуватися для будь-яких подальших запитань. Якщо це правило порушується, вікі перетворюється на збірник відповідей, про що ніхто не помічає.
Крок 5: перевірка чесності
Коли оцінки під час навчання перестають зростати, таємні запитання виконуються один раз. Якщо результати навчання та таємних запитань близькі один до одного, це означає, що у вікі справді зберігається отримані знання, і його можна сертифікувати, створити версії та поставляти з вказанням його обмежень на упаковці. Якщо ж різниця велика, створений продукт є марним. Тоді тест оновлюється: старі запитання видаляються, нові формулюються на основі даних із свіжими формулюваннями та прикладами, створюється новий запечатаний набір та продовжується налаштування. Оскільки вікі схилявся до старих запитань, наступні раунди містять завдання, яких він раніше не бачив. Падіння оцінок з 95 під час навчання до 71 при таємних запитаннях є проблемою, хоча таке перенавчення проявилося б у будь-якому ноутбуці Kaggle у 2019 році. Старі уроки залишаються актуальними, і саме в цьому полягає суть.
Потім система створює нескінченний набір тестів. Питання, з яким агент не впорався, стає одночасно поправкою до вікі та новим записом у базі критеріїв, а свіжі звіти знову запускають цей цикл. У кінцевому підсумку компанія має постійну, перевірену базу даних, яка залишається актуальною навіть після звільнення співробітників.
Усю цю методику можна описати одним реченням:
Критерії вказують, де шукати інформацію, дані — що записувати, а секретний набір — коли зупинятися.
Де вона застосовується
Ця методика підходить для організацій, чия цінність полягає у обмежених наборах даних, якими вони володіють. До цього належать інженерні та матеріалознавчі компанії з десятиліттями звітів та протоколів тестування, а також юридичні та патентні фірми, де справжній процес охоплює сотні справ. Також підходять виробники з інструкціями та історією обслуговування, а також команди підтримки, які ведуть розмови протягом багатьох років, а їхні критерії практично вже готові до експорту.
Покупці, які вимагають доказів, також отримують перевагу, адже сертифікат із результатами таємних запитань має більшу вагу, ніж твердження про те, що продукт працює на найновішій версії.
Два побічні ефекти стають самими продуктами. Очищена Вікі є чудовим матеріалом для ознайомлення, адже новачки можуть безпосередньо читати отриману інформацію. А виявлення під час аудиту того, що дві політики суперечать одна одній, поки персонал імпровізує, — саме це консультанти коштують компаніям дуже дорого для виявлення. Цей цикл сам по собі призводить до цього.
Обмеження
Метод здобуває довіру, усвідомлюючи свої обмеження, тож ось вони:
- Навички, стиль та тон не входять до сфери застосування. Якщо модель не може міркувати чи писати у спосіб, який потрібен для виконання завдання, це вже сфера справжньої налаштування моделі. Агентне налаштування працює над тим, що знає агент, а не над тим, що він може робити.
Нудні частини, справжня перевага
Усе це не є науковим проривом. Набори для тестування застарілі, інструменти оцінки LLM є стандартними, а екстракція знань — це вже усталена галузь. Перевага полягає у тому, що майже ніхто не займається цими нудними завданнями. Команди порівнюють моделі, тоді як важливі для роботи дані залишаються непрочитаними у папці з назвою FINAL_v2_old_DO_NOT_DELETE.
Моделі постійно покращуються самі собою, але уроки з даних компанії не витягнуться самостійно. Та частина, яку варто навчати, — це та, що насправді належить самій компанії.