Инструменты руководства заставляют агентный RAG выполнять три шага вместо одного яркого вызова.

Краткие сводки значимости, различия между предложениями и проверка подсчётов остаются неактивными, пока инструменты руководства, поиск инструментов и неполные результаты не научат модель последовательности.

Издатель: REACTAPP.TOPДобавлено на сайт 26 сент. 2026 г.28 мин чтения6538 слов

Источники: Reflections on Tools: Getting Agentic RAG to Take Three Steps-Part 7 of my EDGAR Intelligence MCP journey

В предыдущих частях этой серии создавалась деревообразная структура обзора, сырые числовые данные изолировались от языковой модели, текст из графиков извлекался, анализировались изменения между отчетами, исследовался способ поиска информации и определялась компания, к которой относится запрос. В этом выпуске речь идет о узком интерфейсе, до которого на самом деле достигают все эти элементы: о кратком блоке текстового описания инструмента, который модель анализирует перед тем, как совершить вызов.

Три инструмента

В четвертой части анализировались годовые изменения факторов риска. Попытка использовать оба отчета 10-K в модели для определения изменений оказалась неэффективной не только из-за затрат: метод Context Rot от компании Chroma фиксирует структуру задачи и изменяет лишь длину входных данных в различных моделях — производительность снижается по мере увеличения объема контекста неравномерно, и причины этого невозможно определить только на основе самой задачи. Ошибки остаются незамеченными: модель, сообщающая о шести изменениях, никогда не указывает на отсутствие седьмого. Даже анализ на уровне символов сталкивается с трудностями при перераспределении текста; двойные сводки усугубляют ситуацию. Те методы, которые выжили, использовали три инструмента, а не два:

L1 для выявления наиболее важных элементов — краткие резюме разделов в стиле RAPTOR (одно краткое описание на каждый раздел отчета по методу из первой части). Определяются темы, которые изменились. Для каждой стороны делается один вывод. Этот метод позволяет улавливать смысл, недоступный при анализе на уровне пар символов.

Разница в качестве доказательства — отметки на уровне пунктов, показывающие точные формулировки по каждой выделенной теме. Метод полностью механический, исчерпывающий и поддающийся проверке.

Подсчёт для верификации — проверка на то, действительно ли отличаются формулировки в двух документах. Одинаковые фразы с обеих сторон обычно означают лишь перестановку слов, а не реальные изменения.

Эта тройка по-прежнему корректна. В формате абзаца статьи она также полностью неактивна. В ней нет ничего, что могло бы запустить инструмент. Модель, которая спрашивала, что изменилось в факторах риска Apple, никогда не читала эту статью. В ней есть вопрос, список инструментов и информация о том, что говорят сами эти инструменты. Увидев diff_filings, её естественный импульс — вызвать его и описать результат. Агентные системы RAG часто пропускают этот этап: поиск информации — это легкая часть; сложная часть заключается в том, чтобы научить модель каким трем шагам следовать и в каком порядке, используя только текст, прилагаемый к инструментам.

_SECTION_SLUGS = (
    "overview", "routing", "setup", "deal_walkthrough", "diff_workflow",
    "tools", "warmth", "time_axes", "sql_track", "metrics", "alpha", "fields",
    "idempotency", "presentation", "response_bounds",
)


def _split_sections() -> dict[str, str]:
    parts = _GUIDANCE_MD.split("\n## ")[1:]
    assert len(parts) == len(_SECTION_SLUGS), (
        f"guidance has {len(parts)} sections, {len(_SECTION_SLUGS)} slugs"
    )

Если руководство неверно, инструменты так и не будут собраны. Если оно верно, но не прочитано, они тоже так и не будут собраны. Остальная часть этой статьи посвящена тому, как заставить это руководство загружаться, оставаться кратким и выдерживать поиск инструментов.

Выбор, вызов и то, что не является ни тем, ни другим

Использование инструментов делится на два этапа, названия которых людям уже известны.

Выбор — это определение того, какой инструмент должен входить в активный набор для текущего этапа: поиск маршрута, поиск инструмента, фильтрация каталога. Вызов — это отправка структурированного запроса с аргументами после того, как инструмент стал доступен. Фреймворки и API моделей уделяют большое внимание обоим этапам.

Существует ещё третий этап, который не относится ни к одному из вышеупомянутых: ориентация — это описание, которое объясняет модели, почему тот или иной инструмент существует в рабочем процессе, что должно произойти до его использования и как выглядит завершение работы. Ориентация — это не выбор между получением информации и её генерацией. Это фраза, превращающая три отдельных инструмента в последовательность действий.

Большинство решений скрывают информацию об ориентации в бесконечно удлиняющихся системных подсказках или вообще её игнорируют, надеясь, что название инструмента будет достаточным. Ни один из этих подходов не работает эффективно, когда у вас есть десятки инструментов MCP и пользователь задаёт однострочный вопрос о двух документах.

Инструмент руководства

Инструмент руководства — это инструмент, единственная задача которого заключается в предоставлении инструкции: краткого, авторитетного описания многоэтапного метода. Он не загружает документы и не вычисляет различия. Он возвращает текст, которому модель должна следовать в течение нескольких последующих ответов.

For the full repeatable diff flow see `edgar_guidance(section="diff_workflow")`.

Призыв к использованию такого инструмента дешевле, чем включение всего метода в каждую системную подсказку. Кроме того, его легко найти: поиск инструментов может показать его, если запрос связан с вопросом о том, что изменилось, а игнорировать его — если пользователь хочет получить лишь один числовой факт.

Инструменты руководства теряют эффективность, когда превращаются в дубликаты документации, которые постоянно меняются, или когда пытаются сами выполнять функции поиска информации. Сохраняйте их в виде кратких процедурных инструкций.

Навыки указывают на это, но не копируют его.

Навыки (или наборы навыков, или руководства агентов) должны указывать на инструмент руководства по имени и назначению, а не копировать его содержимое. Копирование создает два источника информации. Когда метод меняется — появляется новый шаг проверки или новое правило подсчёта — достаточно обновить инструмент руководства один раз. Навыки продолжают указывать: «сначала вызовите workflow_guidance при изменении год к году фактора риска».

For document selection and extraction strategies, use PFW_get_guidance
(see quick reference chart for section selection).

For document selection strategies and multi-document workflows, use
PFW_get_guidance (see quick reference chart for section selection).

For cross-MCP workflows, use PFW_get_guidance (see quick reference chart).

For field selection guidance and token estimates, use
PFW_get_guidance(section='tools').

Такая косвенность кажется бюрократической, пока вы не устраните скрытый сбой и не поймёте, что двенадцать файлов с навыками были бы неверными копиями.

Чему научили серверы MCP USPTO о инструментах руководства

Ранее в проекте MCP USPTO была допущена та же ошибка, но в другой области: слишком много инструментов, каждый из которых имел привлекательное название, но не было четкой последовательности их использования. Сотрудники сначала обращались к удобному инструменту поиска и пропускали проверку. Решением стало не добавление новых инструментов, а наличие руководства, указывающего в тексте результатов поиска, какой порядок действий является обязательным и какие результаты считаются неполными без дополнительного звонка.

WORKFLOW: even the substantive-only headline is clause-level and can
still be noisy on a heavily rewritten section. For "what materially
changed" questions, run RAPTOR L1 FIRST — search_filings(level=1,
section_path=<the section>) on each filing to read the two section
summaries and build a short topic list (typically 5-10 items) of what
actually moved. Then call this diff to pin the EXACT clause language
for each flagged topic, and skip every pair that doesn't touch one.
The L1 contrast also surfaces meaning that a cold diff buries in
reflow (e.g. a new tax-law valuation allowance). See
edgar_guidance(section="diff_workflow") for the full repeatable flow.

Уроки, перенесенные в работу с EDGAR:

Руководство должно быть легко доступным для использования, а не просто задокументированным в README, который модель никогда не видит.
Руководство должно быть достаточно кратким, чтобы сохранять свою значимость на фоне других описаний, появляющихся после поиска инструментов.
Руководство должно указывать возможные сценарии сбоя («не останавливайтесь после достижения красной линии») так же, как и способы успешного выполнения задач.

Руководство должно оставаться в собственности домена — последовательности USPTO не должны присутствовать в тексте инструмента EDGAR, и наоборот.

Таким образом, рабочий процесс перешел в документацию методов

Размещение описания метода в файле Markdown, который нравится человеку, никак не влияет на модель. Однако размещение его в документации/описании инструмента руководства действительно влияет, поскольку именно этот текст вставляется во время выполнения при выборе инструмента.

- `alpha` (default = EDGAR_RAPTOR_HYBRID_ALPHA, falling back to
  EDGAR_HYBRID_ALPHA): only affects the L0 clause collection, which
  carries BM25 sparse vectors. 1.0 = pure dense, 0.0 = pure BM25. Do
  NOT lower it for an exact citation or identifier (a literal
  "$750,000,000", a defined term, "Section 9.1(d)") — keep the default
  and pass `rerank=True`, which supplies most of the precision on a
  short identifier-only query.

На практике миграция выглядела следующим образом: брался абзац статьи с описанием трех инструментов, он сжимался в императивные шаги, добавлялись критерии успеха, и все это становилось содержимым возврата функции get_yoy_risk_factor_method (название может отличаться). Навыки и системные подсказки указывают только на этот инструмент. Когда метод из части 4 получил шаг проверки подсчетов, изменилось только содержимое возврата руководства.

Документационные строки — это не место для публикации романов. Стремитесь к нескольким сотням слов о процедуре, а не к полному эссе. Делайте ссылки для людей; сохраняйте минимальный набор функций, доступных к вызову.

Пути возврата: вторая половина предложения

Инструмент, возвращающий огромный объем информации без указания дальнейших действий, заставляет модель сводить всё к краткому изложению и останавливаться. Пути возврата представляют собой вторую половину предложения: после поступления данных указывается, какой инструмент их подтверждает, какой считывает, и когда можно дать ответ.

- For a MULTI-YEAR or HISTORICAL question about one company, prefer
  `group=` over a single `cik`: a kind='lineage' group covers the
  whole predecessor/successor chain (so a question that crosses a
  name/CIK change — Avago→Broadcom, Apollo's predecessor — doesn't
  silently miss the older filings) and its members COLLAPSE into one
  issuer block, with each hit keeping its own cik and the block
  carrying `lineage_ciks` for provenance. `resolve_parties_to_cik`
  reports which group to pass.

При многократных этапах работы проектируйте возврат частичных результатов вместе с подсказками по следующим шагам. Это не означает, что инструмент должен стать самостоятельным агентом — это означает, что данные возвращения не должны выглядеть как готовый ответ, пока проверка ещё не завершена. Кроме того, сообщения об ошибках должны различать случаи «отклонений не обнаружено» и «невозможно было выполнить сравнение», иначе модель будет выдумывать уровень уверенности.

Тот же механизм, другой рабочий процесс

Инструменты руководства не являются уникальными для изменения факторов риска. Для принятия решений в компании (Часть 6), извлечения данных из изображений (Часть 3) и создания краткого резюме без ошибок при работе с числами (Часть 2) каждый раз требуется краткий метод, который можно вызвать в случае недостаточно четко сформулированного вопроса пользователя. Паттерн повторяется: по одному инструменту руководства на каждую группу рабочих процессов, навыки, указывающие направление действий, и результаты, которые не позволяют считать работу завершенной преждевременно.

AI-RANKED RESULTS — ordered by semantic similarity, not authority. L0 hits
are extracted clause text. L1/L2 hits are AI-generated summaries — take
especial caution with figures ... A claim about WHAT CHANGED, read off two
L1/L2 summaries, is likewise unverified until the distinguishing language
is confirmed against the underlying clause text on both sides.

Использование одного большого инструмента руководства в разных рабочих процессах вновь создает проблему, связанную с системными запросами. Лучше использовать несколько небольших инструментов руководства с четко определенными условиями активации в их описаниях, чтобы при поиске можно было выбрать подходящий вариант.

И еще один инструмент для запуска всего процесса

Для некоторых сессий требуется звонок с руководством bootstrap перед любым поиском: какая компания, какие формы, какие годы, в каком порядке инструменты. Без этого агенты переходят к функции diff_filings, используя неверную пару документов.

INTERPRETING THE REDLINE — you can and should tell real edits from chunking
artifacts; do that filtering rather than treating every delta as substantive.
... The word-level highlights are the tell: differences only at the START
and/or END of the clause (or a small leading/trailing add/delete) mean a
realignment, while a term changing in the MIDDLE (amounts, dates, defined
terms, added/removed obligations or conditions) is a real edit.

Во время руководства bootstrap разрешается задавать уточняющие вопросы через чат, но при этом запрещается преждевременное использование инструментов. Следует соблюдать принцип идемпотентности — двукратный вызов не должен изменять состояние хранилища.

Тридцать пять инструментов

Количество инструментов в интерфейсе EDGAR MCP выросло примерно до тридцати пяти инструментов. При таком объеме невозможно включить всю информацию о каждом инструменте в запрос, а показ одного сплошного списка заставляет модель делать случайные первые выборы. Поэтому поиск инструментов становится обязательным: необходимо включить запрос, основанный на метаданных инструментов, предоставить список кандидатов, а затем позволить модели сделать выбор.

if counts.get("substantive_modified"):
    response["chunking_note"] = AI_DIFF_REALIGNMENT_NOTE

Тридцать пять — это не главное; главное в том, что инструменты для получения рекомендаций должны выживать в процессе поиска. Если описание инструмента не соответствует критериям «что изменилось / год к году / факторы риска», он никогда не попадет в список кандидатов, и три инструмента снова останутся бездействующими.

Поиск инструментов и три основных инструмента

Для рабочего процесса анализа факторов риска год к году список результатов поиска должен в первую очередь включать: инструмент для получения рекомендаций, инструменты выделения L1, инструмент сравнения и инструмент подсчёта/проверки. Все остальное является шумом для этой категории вопросов.

"revenue is a derived metric — one issuer's consolidated number.
 A multi-CIK `ciks=` list would blend inputs across issuers into a
 figure belonging to none of them. Call once per `cik=` (or pass a
 lineage `group=` for a predecessor chain)."

Настройка поиска — это работа над продуктом: синонимы в описаниях, отрицательные примеры («не предназначено для поиска по отдельной компании») и наборы оценочных вопросов пользователей с ожидаемыми первыми инструментами. Без такого цикла оценки рекомендации остаются лишь философским предпочтением.

Что видит пользователь

Пользователи не должны видеть вспомогательные элементы интерфейса. Они задают простой вопрос и получают ответ с указанием источника. Внизу может отображаться инструкция → L1 → diff → count. Интерфейс продукта может объединить эти элементы в метки статуса («проверка изменений», «загрузка конкретных пунктов», «подтверждение новизны»), не раскрывая названий инструментов.

Input(s) [...] were not tagged by this issuer under any recognized XBRL
concept in the requested periods, so the derived value is 'unknown'
wherever they are needed. Not every issuer reports every line item
(e.g. asset-light filers omit capex), so the same metric may resolve
for an issuer that does tag them.

При возникновении ошибки следует показать этап, на котором произошла ошибка. Фраза «Разница недоступна» позволяет принять меры; фраза «Агент допустил ошибку» — нет.

Страницы-прокси

Страницы-прокси, предназначенные для пользователей, описывают те же рабочие процессы для операторов и аудиторов. Они могут быть длинными. Однако они не должны становиться единственной копией метода, необходимого модели — ведь модель не будет просматривать сайт с документами в процессе работы, если только вы специально не предусмотрите такую возможность.

Per-figure descriptions are NOT produced on this path: charts and images
on these pages carry no annotation, and their absence is not evidence the
page had no figures ... check the linked source image (source_url) before
concluding something is absent from the filing.

Сохраняйте ссылки на страницы-прокси и инструменты руководства: на странице указано, что «канонические инструкции для машины находятся в инструменте X», а в описании инструмента — что «описание от человека доступно по URL Y». Разница между ними является ошибкой в релизе.

Попробуйте воспроизвести сами

Чтобы воспроизвести эту ситуацию вне рамок данной серии:

Опишите метод в виде последовательных шагов с указанием названий инструментов и условий остановки.
Сделайте его результат доступным в виде ответа от инструмента руководства.
Направьте пользователей на соответствующий инструмент; не вставляйте его содержимое напрямую.
Пусть инструменты, генерирующие доказательства, сообщают о неполноте данных до завершения проверки.
Разместите поиск инструментов перед большим каталогом; оцените точность первого инструмента на наборе эталонных вопросов.
Используйте документацию от человеков в качестве прокси, а не как основной источник информации во время выполнения.

armth: hits from filings whose summary tree is still cold (L0-only)
trigger background tree builds — `tree_builds_enqueued` in the result
says how many; re-run the search shortly after to get L1/L2 summaries.

Evaluate a math expression EXACTLY (deterministic; LLMs are error-prone
at multi-digit arithmetic). Compute, calculate, arithmetic, math.

EXPECTED_NON_DEFERRED = {
    "guidance.py",
    "resolve_parties.py",
    "edgar_strategic_search.py",
}

# Anthropic's stated range for non-deferred tools.
MAX_NON_DEFERRED = 5

Метод будет изменен

Триада четвертой части не станет окончательным словом. Новые способы верификации, более дешевые модели выделения важного, улучшенная обработка перераспределения элементов — всё это появится. Если бы этот метод существовал только в эссе и наборах технических рекомендаций, каждое улучшение требовало бы многократной работы над несколькими файлами. Однако, когда он встроен в один инструмент помощи, изменения осуществляются путем одной правки вместе с проверкой на нарушение основных принципов.

Use your tool-search or tool-discovery step, but do not CALL any of the
tools it finds. I want to read them, not run them.

1. Search for tools now, by server name and by keyword, and list the MCP
   servers and tools you can reach. If your first look says you have no
   tools, search again before concluding that: with tool search enabled,
   most tools stay hidden until you go looking for them.

2. Pick one non-trivial tool. Show me, verbatim and without summarising
   or reformatting:
   - its exact tool name
   - its complete description text, every line of it
   - its full input schema: each parameter, its type, its default, and
     the description attached to that parameter

   Print the description IN FULL even if it runs to a thousand words or
   more. Do not abbreviate it, do not list its section headings instead,
   and do not tell me to look at the tool result: I cannot see what you
   can see, which is the whole point of this.

3. Then tell me, in your own words:
   - does that text instruct you to call anything BEFORE this tool, or
     AFTER it?
   - does it tell you how to interpret or filter the result?
   - does it tell you to relay anything to me?
   - is there anything in it you would not have done on your own?

Главный вывод

Агентный RAG — это не просто «поиск затем генерация». Для обнаружения изменений в документах SEC это составная цепочка инструментов, которая работает корректно только тогда, когда модели указывается — в месте, которое она действительно читает — порядок их использования. Три инструмента (краткие сводки значимости, сравнения пунктов, проверка посчётом) решают научную проблему, описанную в части 4. Они не выполняют никаких действий, пока ориентация не становится инструментом руководства, доступным для вызова, навыки не указывают точку вместо копии, функции не отказываются считать работу завершённой преждевременно, и поиск инструментов не может найти нужное руководство среди десятков аналогичных.

Если хотите, можете рассматривать процессы выбора и вызова как готовые примитивы; отличительным фактором является третий момент — ориентация. Ориентация, изложенная в документах типа README, представляет собой лишь декорацию. Ориентация, присутствующая в системных подсказках, превращается в неуправляемый набор данных. Ориентация, находящаяся в кратком, поисковом инструменте, принадлежащем самой области, делает процесс управления работоспособным.

Работа USPTO MCP преподала ту же урок по вопросам товарных знаков и патентов: дружелюбные названия инструментов без четкой последовательности приводят к ошибочным действиям с самого начала. Работа в EDGAR унаследовала эту проблему и намеренно перенесла рабочий процесс в docstrings. Тридцать пять инструментов сделали поиск инструментов обязательным; поиск превратил качество описаний в часть корректности, а не в маркетинговый текст.

Человек должен оставаться спокойным при просмотре контента. Текст на страницах-прокси должен быть полным. Информация, которую модель читает перед первым реальным поиском, должна быть краткой, императивной и сопровождаться указанием метода. Если завтра изменится метод, необходимо обновить инструмент руководства и снова пройти тесты. Не стоит гнаться за двенадцатью копиями текста.

Если вы возьмете себе одно инженерное правило из этого материала: никогда не позволяйте единственной копии многоэтапного метода находиться в месте, куда модель не может обратиться. Эссе учат людей. Инструменты руководства учат агентов. Навыки служат указателями. Результаты представляют собой незаконченные предложения, требующие дальнейшего действия. Поиск инструментов — это барьер, определяющий, попадет ли какой-либо из этих текстов в процесс обработки.

Серия продолжается: инструменты развиваются, каталог расширяется, и описание для руководства должно оставаться самым кратким точным описанием того, как составляются эти инструменты. Именно поэтому агентный RAG выполняет три шага вместо одного яркого вызова.

Конкретный чек-лист для новой семьи рабочих процессов:

Дайте названия инструментам и способам проверки, которые затрудняют бесшумные сбои.
Напишите инструмент для руководства, описание которого соответствует способу задач пользователей.
Сохраняйте объем возвращаемого текста на уровне нескольких сотен слов о процедуре.
Направьте использование навыков на этот инструмент; запретите вставку текста.
Отмечайте результаты с указанием доказательств как неполные без проверки.
Добавьте «золотые вопросы», при которых первым инструментом должно быть руководство.
Создайте ссылки на страницы с участием человека, не делая их критически важными для работы программы.
Отрепетируйте изменение метода как редактирование с использованием одного инструмента.

Команды, которые пренебрегают чек-листом, с трудом понимают проблему изменения контекста: модель «читает» оба документа, свободно говорит, но упускает важные изменения. Команды, которые соблюдают чек-лист, обнаруживают, что агентный RAG становится скучным в лучшем смысле — предсказуемые шаги, цитируемые пункты и подсчёт проверок, который может быть завершён без ошибок.

Скучность — вот цель. Яркие ответы, получаемые с помощью одного инструмента, — это способ тихо передавать пользователю ошибки.

Evaluate a math expression EXACTLY (deterministic; LLMs are error-prone
at multi-digit arithmetic). Compute, calculate, arithmetic, math.

Use it over numbers you ALREADY retrieved (e.g. from
query_financial_facts) — it does NOT fetch data. Supports + - * / // % **,
unary minus, and abs, round, min, max, pow, sqrt, log (natural), log10,
log2, exp, floor, ceil, plus constants pi and e. No variables, attribute
access, or other calls (safe AST evaluator).

Examples:
- 5-yr revenue CAGR: "(60922/26974)**(1/5) - 1"
- net debt / EBITDA: "(96700 - 29943) / 34000"
- YoY % change: "(383285 - 394328) / 394328 * 100"
- segment as % of total: "23056 / 81462 * 100"

Returns {expression, result, formatted} on success, or {error, expression}
if the expression is rejected.

Источники

Основными источниками для этой части являются литература по ReAct и использованию инструментов в качестве основы, исследование Chroma «Context Rot» для получения доказательств ухудшения качества, методы обобщения в стиле RAPTOR, использованные в первой части, предыдущие части этой серии EDGAR Intelligence MCP для инструментов типа L1/diff/count, а также собственный каталог инструментов MCP проекта и документация прокси-сервисов. Названия пакетов и API постоянно меняются — рассматривайте тексты руководств как версионно-управляемые правила поведения агента, а человеческие комментарии — как пояснения, а не как факты, действующие во время выполнения программы.

Почему инертные методы кажутся завершенными на странице

Техническое письмо требует полных объяснений. Параграф, в котором упоминаются L1, diff и подсчёт читаемости, напоминает технический проект. Специалисты не читают такие проекты; они читают текст инструментов в рамках установленного лимита. Именно из-за разницы между этими аудиториями большинство демонстраций, предназначенных для специалистов, тихо превращаются в упаковки для одного инструмента. Чтобы преодолеть эту разницу, необходимо признать, что часть ваших лучших текстов придётся переписать в виде функций, и что такие функции могут быть менее изящными, чем оригинальные эссе.

Ориентация против качества поиска

Улучшение эмбеддингов, разбиения на части и переранжирования способствует работе инструментов анализа данных. Это не указывает модели на то, чтобы вызывать три из них по порядку. Команды часто тратят четверть времени на оттачивание показателей поиска и неделю — на формулировку запросов, а затем удивляются, почему функция обнаружения изменений по-прежнему сводится к одному вызову diff_filings. Ориентация на бюджет как приоритетный аспект работы: описание текста, синонимы поиска, тесты с использованием «золотого» инструмента и проверка формата результатов.

Примеры неудач, которые стоит задокументировать

Задокументируйте те неудачи, за которые вы уже заплатили: прекращение работы после появления предупреждения, указывающего лишь на изменение форматирования; доверие к двойным кратким изложениям, скрывающим противоречия; рассмотрение реорганизации как новшества; ответы до завершения внутренних процедур компании; смешивание последовательностей данных USPTO в сессии EDGAR. Каждая неудача становится важной строкой в руководстве и «золотым» вопросом, на который не будет ответа, если игнорировать эту строку.

Экономика токенов для руководства

Ответ длиной в триста слов является более экономичным, чем включение двух документов формата 10-K в контекст «на всякий случай», а также дешевле, чем использование системного промпта с перечислением всех рабочих процессов. Он также экономичнее, чем затраты на поддержку некорректных ответов. Оценивайте качество руководства так же, как и процесс поиска информации: задержку, коэффициент успешного поиска среди инструментов и процент верификации результатов — а не только то, насколько умно звучит текст.

Управление

Кто имеет право редактировать инструменты руководства? Рассматривайте их как конфигурационные файлы продакшена. Требуйте проверки изменений, ведите историю правок и блокируйте слияния, которые изменяют руководство без обновления базовых вопросов. Операторы, просматривающие страницы-прокси, должны видеть тот же идентификатор версии, который возвращается инструментом в строке заголовка. Когда при аудите спросят, почему агент использовал три инструмента, указывайте на версионированный текст руководства — а не на аргументы из Slack прошлого месяца.

Что не следует включать в руководство

Не храните секреты, URL-адреса среды с учетными данными или информацию, специфичную для конкретного пользователя. Не сохраняйте полные фрагменты документов. Не размещайте сложные правила, сопоставимые по объему с романами. Обязательно указывайте порядок действий, условия остановки и названия следующих инструментов. Если какая-либо деталь предназначена только для людей, оставьте ее на странице-прокси.

Связь с графами в стиле LangGraph

Некоторые команды кодируют эти три шага в виде жесткого графа без возможности выбора модели. Это допустимо и часто более безопасно. Инструменты помощи особенно полезны, когда вам все еще нужна модель для решения недостаточно определенных задач, но при этом метод должен оставаться доступным среди множества инструментов. Графы и инструменты помощи дополняют друг друга: граф может реализовать выбранную методику, а инструменты помощи способствуют ее выбору и обеспечивают честность гибридных агентов.

Эскиз механизма оценки

Ведите таблицу с вопросами пользователей, ожидаемым первым инструментом, классом ожидаемой последовательности инструментов и запрещенными инструментами для преждевременного завершения. Запускайте соответствующий инструментарий при каждой правке руководства. Если точность определения первого инструмента снижается, прерывайте процесс сборки. Раз в неделю проводите выборочную проверку транскрипций на наличие плавных ответов, в которых не учитывалось подсчет. Опубликуйте простой дашборд, чтобы отдел продукта и отдел инженерии использовали одно и то же определение фразы «агент совершил три действия».

Номенклатура

Называйте инструменты так, как того требует поиск: глаголы, которые вводят пользователи (explain_yoy_risk_factor_method), лучше умных внутренних кодовых названий. Описания должны содержать синонимы: изменение, дельта, изменение за год, факторы риска, Пункт 1A, по сравнению с прошлым годом. Полезны также отрицательные указания: «не для реальных котировок акций», «не для краткого изложения в одном абзаце».

Масштабирование за пределы одной серии

Как только у нескольких доменов появятся инструменты руководства, создайте небольшой мета-индекс: домен → название инструмента руководства. Не объединяйте домены в один инструмент для написания эссе. Кросс-доменная контаминация — это способ, с помощью которого рекомендации USPTO проникают в сессии EDGAR. Держите индекс простым и однозначным.

В части 4 было доказано, почему один инструмент научно недостаточен. В этой части показано, почему правильный научный метод всё равно терпит неудачу в практическом применении без возможности получения ориентира. Читайте их вместе: инструменты без руководства бесполезны; руководство без инструментов — это просто показуха. Вместе они обеспечивают возможность для агентного RAG получить статус «агентного» решателя в задачах, где наказываются бездействие и ошибки.

Перед отправкой изменения руководства проведите пробную сессию: выполните «холодную» сессию, задайте ключевой вопрос, убедитесь, что руководство является первым инструментом, проверьте, что L1 работает с обеих сторон, убедитесь, что запрашивается разница с указанием названия руководства для пары, проверьте подсчёт итераций, убедитесь, что видимый для пользователя ответ содержит ссылки на положения и указание процедуры верификации. Запишите ID транскрипта рядом с версией руководства. Если какой-либо шаг пропущен, исправьте описание или поиск перед тем, как радоваться показателям восстановления.

Операционный приложение: сценарий пробной сессии

Перед отправкой изменения руководства проведите пробную сессию: выполните тестовую работу, задайте ключевой вопрос, убедитесь, что руководство является первым инструментом, проверьте, что L1 работает с обеих сторон, убедитесь, что запрашивается разница с указанием названия руководства для пары, проверьте подсчёт выполнений, убедитесь, что видимый для пользователя ответ содержит ссылки на положения и указание процедуры верификации. Запишите ID транскрипта рядом с версией руководства. Если какой-либо шаг пропущен, исправьте описание или поиск перед тем, как радоваться показателям восстановления.

Приложение к операционной процедуре: сценарий пробной сессии

Перед отправкой изменения руководства проведите пробную сессию: выполните тестовую работу, задайте ключевой вопрос, убедитесь, что руководство является первым инструментом, проверьте, что L1 работает с обеих сторон, убедитесь, что запрашивается разница с указанием названия руководства для пары, проверьте подсчёт выполнений, убедитесь, что ответ, видимый пользователю, ссылается на соответствующие пункты и указывает на проверку. Запишите ID транскрипции рядом с версией руководства. Если какой-либо шаг пропущен, исправьте описание или поиск перед тем, как радоваться показателям восстановления.

Приложение к операционной процедуре: сценарий пробной сессии

Перед отправкой изменения руководства проведите пробную сессию: выполните «холодную» сессию, задайте ключевой вопрос, убедитесь, что руководство является первым инструментом, проверьте, что L1 работает с обеих сторон, убедитесь, что запрашивается разница с указанием названия руководства для пары, проверьте подсчёт итераций, убедитесь, что видимый для пользователя ответ содержит ссылки на положения и указание процедуры верификации. Запишите ID транскрипта рядом с версией руководства. Если какой-либо шаг пропущен, исправьте описание или поиск перед тем, как радоваться показателям восстановления данных.

Операционный приложение: сценарий пробной сессии

Приложение к операционной процедуре: сценарий пробной сессии

Перед отправкой изменений в руководство проведите пробную сессию: выполните тестовую работу, задайте ключевой вопрос, убедитесь, что руководство является первым инструментом, проверьте, что L1 работает с обеих сторон, убедитесь, что запрашивается разница с указанием названия партнерского руководства, проверьте подсчёт выполнений, убедитесь, что ответ, видимый пользователю, ссылается на соответствующие пункты и указывает на процедуру верификации. Запишите ID транскрипта рядом с версией руководства. Если какой-либо шаг пропущен, исправьте описание или поиск перед тем, как радоваться показателям восстановления данных.

← Все статьи Прислать бриф