Практические заметки: местные LLM для извлечения данных с использованием Graph RAG: повторное тестирование в середине 2026 года

В следующих заметках описывается практический подход к решению задачи «Локальные LLM для извлечения данных с графов с использованием технологии RAG: переоценка критериев в середине 2026 года». Основное внимание уделяется контрактам, проверкам и местам для вставки кода, а не мотивирующим аспектам.

Через пять месяцев вы снова запустили всё — и оказалось, что знаменитый «барьер в 7 миллиардов» был лишь артефактом декодирования.

При работе над этапом «Через пять месяцев» сначала запишите контракт: необходимые входные данные, сигнал успешного выполнения и действия при частичной неудаче. Такой список поможет сохранять честность при последующих изменениях кода. Документируйте как успешный, так и восстановительный пути работы. Повторные попытки, проверки человеком и обработка ошибок являются частью продукта, а не последующими улучшениями. Храните в кэше стабильные системные инструкции и схемы инструментов. Пересылка одинаковых входных данных — частая причина избыточных ресурсов.

Утверждение, которое вы хотели опровергнуть

При работе над этапом «Ваше требование» сначала запишите условия контракта: необходимые входные данные, сигнал успешного выполнения и действия при частичной неудаче. Такой чек-лист помогает сохранять честность при последующих изменениях кода. Лучше использовать небольшие, тестируемые модули вместо обширных скриптов. Если какой-то шаг не сработает, причина должна быть связана с конкретной функцией, а не с запутанной цепочкой операций. Храните в кэше стабильные инструкции системы и схемы инструментов. Повторная отправка одинакового преамбула — частая причина избыточных расходов.

Это сработало

При работе над этим этапом сначала запишите контракт: необходимые входные данные, сигнал успешного завершения и действия при частичной неудаче. Такой чек-лист помогает сохранять честность при последующих изменениях кода. Рассматривайте этот этап как контракт между входными данными и проверенными выходными данными. Дайте названия результатам работы, определите критерии успеха и не допускайте молчаливого частичного завершения задачи. Храните в кэше стабильные инструкции системы и схемы инструментов. Пересылка одинаковых данных является распространенной причиной избыточных ресурсов.

  Phi-4-mini 3.8B                  Parse-OK rate   Strict schema-valid
 -------------------------------- --------------- ---------------------
  Unconstrained, open extraction   22%             0%
  Unconstrained, schema-guided     33%             0%
  Constrained, open extraction     100%            100%
  Constrained, schema-guided       100%            100%

Ловушка, о которой меня никто не предупредил: режим мышления уничтожает структурированный вывод

При работе над этапом «Ловушка, о которой никто не предупредил», сначала запишите условия контракта: необходимые входные данные, сигнал о успехе и действия при частичной неудаче. Такой список помогает сохранять честность при последующих изменениях кода. Записывайте время выполнения и стоимость токенов или запросов рядом с функциональными результатами. Отслеживание затрат на раннем этапе предотвращает неожиданные счета при переходе от демо-среды к общедоступным средам. Храните в кэше стабильные инструкции системы и схемы инструментов. Повторная отправка одинаковых данных — частая причина избыточных затрат.

  Qwen3.5-4B, schema-guided        Parse-OK   Output tokens/doc   Median latency
 --------------------------------- ---------- ------------------- ----------------
  Thinking default, unconstrained   33%        10,142              94.0s
  Thinking on, constrained          0%         649                 6.3s
  Thinking off, constrained         100%       599                 5.8s

Ограничения не только обеспечивают корректность — они также определяют поведение

При работе с ограничениями не ограничивайтесь просто стадиями реализации — сначала запишите контракт: необходимые входные данные, сигнал успешного выполнения и что происходит при частичной неудаче. Такой чек-лист помогает сохранять честность последующих изменений в коде. Храните конфигурацию отдельно от кода приложения. Файлы среды, хранилища секретов и флаги функций должны находиться в одном месте, чтобы операторы могли их проверять, не читая весь код. Храните в кэше стабильные инструкции системы и схемы инструментов. Пересылка одинаковых заголовков — распространенная причина избыточных затрат. При работе с ограничениями не ограничивайтесь просто стадиями реализации — сначала запишите контракт: необходимые входные данные, сигнал успешного выполнения и что происходит при частичной неудаче. Такой чек-лист помогает сохранять честность последующих изменений в коде. Предпочитайте небольшие, тестируемые единицы кода большим скриптам. Когда какой-то шаг терпит неудачу, ошибка должна указывать на конкретную ответственность, а не на запутанную цепочку операций.

Таблица затрат

Этап таблицы финансов работает наилучшим образом, когда его рассматривают как измеримую основу. Зарегистрируйте один успешный пример, один случай сбоя и записку о возврате к предыдущему состоянию перед расширением объема работ. Рассматривайте этот этап как контракт между входными данными и проверенными результатами. Дайте названия соответствующим документам, определите критерии успеха и не соглашайтесь на молчаливое частичное выполнение задач. Установите лимиты на количество операций за раз и за сессию. Инструменты агентов активно расширяют объем данных; жесткие ограничения предотвращают превращение демонстраций в неожиданные счета.

  Model                    med s/doc   tok/s   hrs/1k docs   local electricity   hosted-small API    frontier API
 ------------------------ ----------- ------- ------------- ------------------- ------------------- --------------
  Qwen3.5-4B (think off)   5.8         123     1.6           $0.17               $0.08               $9.73
  Qwen3.5-9B (think off)   6.3         91      1.8           $0.18               $0.08               $8.72
  Gemma 4 E4B              6.6         106     1.8           $0.19               $0.08               $9.75
  Gemma 3 12B              8.4         79      2.3           $0.25               $0.08               $9.34
  Mistral Small 3.2        13.6        52      3.8           $0.40               $0.14               $11.81
  Phi-4-mini 3.8B          10.0        219     2.8           $0.29               $0.06               $6.28

Честный объем работ и следующие шаги

Масштабы проекта Honest и тот этап, который наилучшим образом подходит для рассмотрения как измеримая поверхность. Соберите один идеальный пример работы, один случай сбоя и записку о возврате к предыдущему состоянию перед расширением масштабов. Записывайте временные показатели, а также стоимость токенов или запросов рядом с функциональными результатами. Отслеживание затрат на раннем этапе предотвращает неожиданные счета при переходе от демо-версии к общедоступным средам. Установите лимиты на количество токенов за один ход и за сессию. Инструменты типа агентов активно расширяют контекст; жесткие ограничения не позволяют демо-версиям превращаться в неожиданные счета.

Что действительно работает, версия середины 2026 года

Этап «То, что действительно работает» в середине 2026 года функционирует наилучшим образом, когда его рассматривают как измеримую поверхность. Соберите один идеальный пример работы, один случай сбоя и запись о возврате к предыдущему состоянию перед расширением объёма работ. Храните конфигурацию вне кода приложения. Файлы среды, хранилища секретов и флаги функций должны находиться в одном месте, чтобы операторы могли их проверять, не читая весь код. Установите лимиты на количество токенов за ход и за сессию. Инструменты типа агентов активно расширяют контекст; жёсткие ограничения предотвращают появление неожиданных счетов. Этап «То, что действительно работает» в середине 2026 года функционирует наилучшим образом, когда его рассматривают как измеримую поверхность. Соберите один идеальный пример работы, один случай сбоя и запись о возврате к предыдущему состоянию перед расширением объёма работ. Предпочитайте небольшие, тестируемые единицы кода вместо обширных скриптов. Когда какой-то шаг сбивается, причина сбоя должна указывать на конкретную ответственность, а не на запутанную цепочку операций.

Ссылки

На этапе создания ссылок необходимо определить входные данные, ответственного за выполнение шага и критерии завершения перед внесением изменений в код. Операторы должны иметь возможность перезапустить шаг с известной точки контроля, не догадываясь о скрытом состоянии. Рассматривайте этот этап как контракт между входными данными и проверенными результатами. Дайте названия результатам работы, определите критерии успеха и не допускайте молчаливого частичного выполнения задачи. При следующем шаге, представляющем собой код или вызов инструмента, предпочтительнее использовать структурированные результаты с проверкой по схеме вместо свободного текста.

Чек-лист операций

На этапе чек-листа операций необходимо определить входные данные, ответственного за выполнение шага и критерии завершения перед внесением изменений в код. Операторы должны иметь возможность перезапустить шаг с известной точки контроля, не догадываясь о скрытом состоянии.

Документируйте как успешный, так и восстановительный сценарии работы. Повторные попытки, проверки человеком и обработка неработоспособных сообщений являются частью продукта, а не элементами последующей доработки.

Предпочтительнее использовать структурированный формат с проверкой схемы вместо свободного текста, когда следующим шагом является написание кода или вызов инструмента.

Оцените уровень воспроизводимости ответов на фиксированном наборе вопросов перед настройкой промптов. Частая смена промптов редко помогает улучшить качество поиска.

Заморозьте эталонный набор данных до изменения промптов или моделей. Изменение как системы, так и критериев оценки может скрыть ухудшения в работе.

При наличии бюджета добавьте тест на работоспособность, который проверяет критически важные этапы в процессе интеграции с использованием фикстчеров, а не реальных платных API.

Перед переходом на новую версию технологий заморозьте текущие версии, сохраните эталонный вариант ответа для критически важных этапов и убедитесь, что известны шаги для возврата к предыдущей версии. В совместных средах необходимы ограничения на частоту запросов, проверки принадлежности пользователя и четко определенный ответственный за обновление секретов. Лучше надежность, даже если она кажется скучной, чем креативные одноразовые демонстрации.

Примечание к пакету обновлений для 5f36b3d19383: не включайте ключи поставщиков в репозиторий, установите лимит токенов на одну сессию и храните транскрипты рядом с фикстурами для оценки, чтобы последующие замены моделей оставались сопоставимыми.

Примечание по усилению безопасности на этапе 0 работает лучше всего, когда рассматривается как измеримая характеристика. Соберите один идеальный транскрипт, один пример сбоя и запись о возврате к предыдущему состоянию перед расширением объёма работ. Документируйте одновременно успешный и восстановительный сценарии. Повторные попытки, проверки человеком и обработка неработающих сообщений являются частью продукта, а не последующими улучшениями.

Подробность по усилению безопасности 0/773: измеряйте время выполнения, класс ошибки и расход токенов для этого примечания, затем решайте, следует ли сохранять изменение на основе фиксированного набора критериев, а не на основе единичных примеров.

Для этапа 0 записки по укреплению безопасности необходимо определить входные данные, ответственного за выполнение шага и критерии завершения перед изменением кода. Операторы должны иметь возможность перезапустить шаг с известной точки контроля, не догадываясь о скрытом состоянии. Рядом с функциональными результатами следует записывать время выполнения, затраты на токены или запросы. Отображение затрат заранее предотвращает неожиданные счета при переходе с демо-среды в общедоступные среды.

Подробности укрепления безопасности 0/792: измерьте общее время выполнения, класс ошибок и затраты на токены для данной записки, после чего решите, следует ли сохранять изменения, опираясь на фиксированный набор критериев, а не на устные оценки.

При работе над первым этапом записки по усилению безопасности сначала запишите условия работы: необходимые входные данные, сигнал о успешном выполнении и действия при частичной неудаче. Такой чек-лист поможет сохранять честность при последующих изменениях кода.

Документируйте одновременно «идеальный» сценарий работы и сценарий восстановления. Повторные попытки, проверки человеком и обработка неработоспособных сообщений являются частью продукта, а не элементами последующей доработки.

Подробности усиления безопасности 1/792: измерьте время выполнения, класс ошибки и количество использованных токенов для данной записки, затем решите, следует ли сохранять изменение, опираясь на заранее определенный набор критериев, а не на устные оценки.