Тонкая настройка агентов: обучение вики знаний вместо весов модели
Запустить цикл обучения ИИ на вики с извлеченными данными из корпоративных документов: создать эталоны на основе сырых данных, секретные вопросы и сертификат с указанием честных ограничений.
Источники: Agentic Finetuning: Your Data Knows Things Nobody in Your Company Knows
Знания, принадлежащие компании, но к которым она не может получить доступ
Представьте производителя оборудования, у которого хранится около 900 отчетов о техническом обслуживании. В этих отчетах скрыты ответы на вопросы, имеющие огромную ценность: какие серии оборудования чаще всего выходят из строя и почему, какие ремонты оказываются эффективными, а что ломается при установке зимой, но никогда — летом.
Проблема в том, что никто не может передать эти ответы. Несколько опытных сотрудников помнят часть информации, но ни один документ не содержит полных ответов. Прочитать все 900 отчетов невозможно одному человеку. Поэтому знания остаются внутри компании, но к ним так и не удается получить доступ. Почти каждая организация, просуществовавшая определенное время, сталкивается с этой проблемой, а большинство современных проектов в области искусственного интеллекта ее игнорируют.
Чего на самом деле хотят компании
Компании не хотят искать в своих данных, поскольку функция Ctrl+F уже давно решила проблему поиска. Им нужны выводы. Сравните версии вопросов для поиска с версиями, направленными на получение знаний:
- Вопрос для поиска заключается в том, что говорится в протоколе тестирования 214. Вопрос для получения знаний касается того, как конкретная смесь ведет себя при заливке в холодных условиях на основе пятнадцати лет отчетов о тестах.
- Вопрос для поиска предполагает запрос документа патента по конкретному случаю. Вопрос для получения знаний касается того, как на самом деле проходит процедура подачи заявки, какие возражения часто встречаются и почему заявка отклоняется с первой попытки.
- Вопрос для поиска — это запрос на информацию о билете 8812. Вопрос для получения знаний касается того, что делают самые опытные сотрудники службы поддержки, когда оборудование выходит из строя дважды за месяц, и что они обещают клиенту.
Эти знания обладают ценностью, но ведут себя жестоко: они существуют лишь в виде фрагментов и никогда не остаются на одном месте. Ничто на бумаге не может их удержать. Они появляются между документами, в виде закономерностей, прослеживаемых в сотнях отчетов, как процесс, формирующийся на основе трехсот случаев, или как правило, которое два старших сотрудника хранят в памяти. Если эти двое уходят, то из офиса уходит память компании, а не просто два сотрудника.
Почему подход «общение с документами» недостаточен
Обычный подход в этой индустрии заключается в том, чтобы встроить всё необходимое, загрузить ближайшие фрагменты данных и сгенерировать текст на их основе. Для поиска такой метод работает хорошо, и это не является атакой на технологию RAG. Однако система возвращает лишь то, что кто-то записал. Если задать вопрос, связанный с обучением, например, какая серия чаще всего терпит неудачу и почему, система берёт три фрагмента из трёх отчётов, импровизирует убедительный ответ прямо на месте, а в следующий раз — другой. Никто не извлекает информацию для обучения, не проверяет её и не приводит в стабильную форму. Вместо поиска знаний система реконструирует их под каждый вопрос, причём делает это плохо.
Сам набор данных также представляет собой беспорядок: в нём присутствуют противоречивые версии правил, устаревшие спецификации и ошибки, передающиеся дальше. Любая система, читающая эти необработанные данные, унаследует эти недостатки. Представьте два PDF-файла: в одном обещается 12 месяцев гарантии, а в другом — 24. Оба загружаются, и ответ становится вопросом случая.
Даже единственный раз созданный человеком синтез, будь то отчет консультанта или краткое резюме вики стажера, сталкивается с двумя критическими вопросами. Откуда известно, что он верен, и откуда известно, что он полон? Нет никакой истинной базы данных, никаких тестов и никакого определения готовности, поэтому документ начинает «портиться» сразу после завершения работы над ним.
Следовательно, настоящая проблема заключается не в поиске информации. Речь идет о преобразовании огромных объемов данных в ценные знания, на которые можно полагаться, и о поддержании этих знаний в правильном виде со временем. Если выразить это одной фразой: добыча алмазов на угольной шахте. Они там есть, но вручную просеивать уголь никому не интересно.
Почему тонкая настройка модели не помогает
Тонкая настройка — это естественный инстинкт, и она кажется правильной по веской причине. Это настоящее традиционное машинное обучение: данные, метки, показатель потерь, обновление весов и тестовый набор, который модель никогда раньше не видела. Именно такой строгий подход отсутствует в мире документов и чатов.
Однако при этом изменяется неверный уровень. Веса остаются непрозрачными. Когда готовый ответ ошибочен, нет никакой возможности использовать соответствующие нейроны для его исправления. Все, что было выучено, замерзает во время обучения и «стареет» с появлением новых отчетов, причем каждое обновление требует повторного обучения, оценки и развертывания. Тонкая настройка также имеет репутацию метода, способного обучать навыкам и стилю, при этом ненадежно храня факты. Короче говоря, правильный цикл применяется к неверному объекту.
Запуск цикла на уровень выше
Предложение заключается в том, чтобы сохранить всю традиционную схему обучения машинного обучения и запустить её на уровень выше, над весами, а именно над знаниями. Этот подход называется агентным финетюнингом.
Эта связь структурная, а не метафорическая: у каждой части стандартной схемы обучения есть прямой аналог, и объектом обучения являются знания.
Объектом обучения выступает вики — набор читаемых страниц с извлеченными знаниями, при этом каждое утверждение связано со своими источниками. Одна страница может посвящаться поведению при холодном литье, а другая — процессу формовки. Человек может открыть такие страницы и оспорить содержащуюся в них информацию. Агент, находящийся выше, остается максимально простым: он читает только вики и ничего больше, поэтому вся интеллектуальная составляющая находится в самом вики. Неправильный ответ исправляется путем корректировки знаний, как это делается при использовании метода обратного распространения ошибки для корректировки весов, а не путем изменения промпта и ожидания улучшений.
Читайте диаграмму, просматривая её один раз в процессе выполнения цикла: сначала глубокая обработка данных, затем создание эталона на основе сырых данных, настройка до стабилизации показателей, и наконец секретные вопросы, к которым ранние этапы никогда не обращаются.
Шаг 1: загрузка и цель
Все данные загружаются в неотсортированном виде вместе с ответом на важный вопрос: что следует извлечь из этого? Примерами могут служить характеристики поведения материалов или реальный ход событий. Указанная цель направляет процесс обработки на извлечение информации, а не на составление краткого резюме.
Шаг 2: глубокая обработка, wiki v0
Далее весь набор документов обрабатывается тщательно, документ за документом и регион за регионом, на такую глубину, которая требуется по целям проекта. Это дорогостоящий этап, который выполняется один раз. Глубина обработки выбирается заранее по веской причине. Если бы она определялась только на основе мест, где позже возникают претензии, вики формировалось бы в соответствии с результатами тестирования, а знания адаптировались бы под тест, а не под данные. Обработка сначала на большой глубине позволяет самому набору документов определить его полноту, тем самым сокращая роль критериев оценки до проверки и устранения ошибок.
Выявленные по пути противоречия, такие как разница в сроках гарантии — 12 против 24 месяцев, попадают в очередь для рассмотрения человеком. Они не мешают обработке документов и решаются в конце, поскольку ни одна модель не может определить, какой PDF устарел.
Шаг 3: критерий оценки, созданный на основе данных, а не вики
Люди обычно сначала путаются именно здесь. Если вопросы к тесту берутся из вики, то всё, чего нет в вики, не имеет соответствующих вопросов, поэтому «слепая зона» сама создаёт свой экзамен и сдаёт его на отлично. Поэтому для вопросов требуются три других источника: оригинальные документы (что читатель должен усвоить из этого отчёта?), заявленная цель (вопросы, связанные с тенденциями, причинами и процессами в разных документах) и участники (что им на самом деле задают). Затем этот набор делится: 75 процентов предназначаются для тренировок, а 25 процентов хранятся как секретные вопросы с таким же балансом тем, без повторяющихся формулировок и без возможности для кого-либо их просмотра. Обучение под конкретный тест лишило бы его смысла.
Шаг 4: ответ, оценка, диагностика, переписывание
Каждой неверной ответу присваивается коренная причина, и у каждой причины есть свой путь решения:
- Если в данных присутствует нужная информация, но вики её упустил, необходимо снова исследовать эту область более тщательно.
- Если информации нигде нет, следует обратиться к человеку и ни в коем случае не выдумывать ответ.
- Если два источника противоречат друг другу, необходимо указать на это противоречие.
- Если сам вопрос содержит ошибку, его следует исправить и не вмешиваться в работу агента.
Есть одно правило, которое превосходит все остальные: ответ на вопрос никогда не копируется в вики. Критерии помогают определить, где нужно искать информацию, документы определяют, что следует записать, причем записанное должно быть общими страницами, которые могут быть использованы для любых последующих вопросов. Если это правило нарушается, вики превращается в сборник ответов, о чём никто не замечает.
Шаг 5: проверка честности
Когда результаты обучения перестают расти, секретные вопросы применяются один раз. Если результаты обучения и секретных вопросов близки друг к другу, значит, вики действительно содержит полученные знания, и его можно сертифицировать, версионировать и выпустить с указанием его ограничений на упаковке. Если же разница велика, то созданное решение является бесполезным. Тогда процедура тестирования повторяется: устаревшие вопросы удаляются, новые формируются из базы данных с изменёнными формулировками и примерами, создаётся новый запечатанный набор, и процесс настройки возобновляется. Поскольку вики склонялся к старым вопросам, последующие раунды предполагают тестирование на вопросах, которых он ранее не видел. Падение показателей с 95 при обучении до 71 при тестировании на секретных вопросах негативно сказывается на результатах, хотя такая проблема переобучения проявилась бы и в любом ноутбуке Kaggle в 2019 году. Старые уроки остаются в силе, и это и есть суть всей концепции.
Затем система генерирует бесконечный набор тестов. Вопрос, с которым агент справляется некорректно, становится объектом исправления в вики-странице и новой записью в базе показателей, после чего новые отчеты возобновляют цикл. В итоге у компании формируется постоянно обновляемая, проверенная база знаний, которая сохраняется даже после увольнения сотрудников.
Весь метод можно описать одним предложением:
Показатели указывают, где искать информацию, данные — что записывать, а секретный набор тестов — когда прекращать работу.
Области применения
Этот метод подходит организациям, чья ценность заключается в ограниченных количествах имеющихся у них ресурсов. К ним относятся инженерные и материаловедческие компании с десятилетиями отчетов и протоколов тестирования, а также юридические и патентные фирмы, где реальный процесс разворачивается в рамках сотен дел. Также подходят производители с руководствами и историей обслуживания, а также команды поддержки, имеющие годы записей разговоров, чьи показатели эффективности практически готовы к экспорту.
Покупатели, требующие доказательств, также получают выгоду, поскольку сертификат с результатами тестов на знание конфиденциальных вопросов имеет большую ценность, чем утверждение о том, что продукт работает на самой новой версии модели.
Два побочных эффекта сами превращаются в полезные результаты. Очищенная версия вики становится отличным материалом для ознакомления новых пользователей, поскольку они могут непосредственно читать информацию для обучения. А выводы аудита о том, что две политики противоречат друг другу на фоне импровизаций сотрудников, — именно то, за что консультанты берут у компаний высокую плату. Этот цикл сам приводит к таким выводам.
Ограничения
Метод завоевывает доверие, зная свои ограничения; вот они:
- Навыки, стиль и тон выходят за рамки применения этого метода. Если модель не может рассуждать или писать в соответствии с требованиями задачи, это уже область доработки модели. Агентное тонкое настраивание направлено на улучшение знаний агента, а не его способностей.
Скучные этапы, настоящее преимущество
Всё это не является научным прорывом. Наборы тестов устарели, инструменты оценки LLM — это стандартная практика, а извлечение знаний — устоявшаяся область. Преимущество заключается в том, что почти никто не занимается скучными этапами. Команды сравнивают модели, в то время как действительно важные выводы остаются непрочитанными в папке с названием FINAL_v2_old_DO_NOT_DELETE.
Модели продолжают совершенствоваться самостоятельно, но уроки из данных компании не будут извлекаться сами по себе. Та часть, которую стоит обучать, — это та, что действительно принадлежит самой компании.