Narzędzia pomocnicze sprawiają, że agenty RAG wykonują trzy kroki zamiast jednego efektownego wywołania.

Streszczenia istotnych elementów, różnice w klauzulach oraz weryfikacja liczb pozostają nieruchome, dopóki narzędzie pomocnicze, wyszukiwanie narzędzi oraz niekompletne wyniki nie nauczą modelu tej sekwencji.

Wydawca: REACTAPP.TOPDodane na tej stronie 26 wrz 202628 min czytania6538 słów

Źródła: Reflections on Tools: Getting Agentic RAG to Take Three Steps-Part 7 of my EDGAR Intelligence MCP journey

We wcześniejszych częściach tej serii stworzono drzewo podsumowujące, oddzielono surowe liczby od modelu językowego, pobrano tekst z wykresów, zbadano, co zmieniło się pomiędzy poszczególnymi zgłoszeniami, zastanowiono się, jak w ogóle można coś znaleźć, oraz określono, do której firmy odnosi się dana zapytanie. Ten rozdział dotyczy wąskiej interfejsu, do którego faktycznie dochodzą te elementy: krótkiego fragmentu tekstu opisującego narzędzie, który model analizuje przed podjęciem decyzji.

Trzy narzędzia

Część 4 analizowała zmiany czynników ryzyka z roku na rok. Podanie obu dokumentów 10-K modelowi i zapytanie o to, co się zmieniło, okazało się nieskuteczne nie tylko ze względu na koszty: metoda Context Rot firmy Chroma utrzymuje zadanie w stałej formie i zmienia jedynie długość danych wejściowych w różnych modelach – wydajność pogarsza się w miarę wzrostu kontekstu, w nierówny sposób i w sposoby, których nie można przewidzieć na podstawie samego zadania. Błędy pozostają niewidoczne: model, który zgłasza sześć zmian, nigdy nie informuje o tym, że przeoczył siódmą. Samodzielne wykrywanie zmian na poziomie poszczególnych znaków sprawia trudności przy ponownym ułożeniu tekstu; podwójne streszczenia są jeszcze gorsze. To, co przetrwało, wykorzystywało trzy narzędzia, a nie dwa:

L1 do identyfikacji najważniejszych elementów — streszczenia sekcji w stylu RAPTOR (jedno krótkie streszczenie AI na każdą sekcję dokumentu z Części 1). Określenie, które tematy uległy zmianie. Jeden wynik na każdą stronę. Pozwala dostrzec znaczenie, którego nie potrafią wykryć pary znaków.

Różnice jako dowód — wykaz na poziomie zdań pokazujący dokładne sformułowania dla każdego zidentyfikowanego tematu. Całkowicie mechaniczny, wyczerpujący i poddawalny sprawdzeniu.

Podliczanie w celu weryfikacji — sprawdzenie, czy charakterystyczne sformułowania rzeczywiście różnią się pomiędzy dwoma dokumentami. Podobne sformułowania po obu stronach zazwyczaj oznaczają tylko przeorganizowanie tekstu, a nie rzeczywistą zmianę.

To trio nadal jest poprawne. Zapisane jako akapit artykułu jest również zupełnie nieruchome. Nic w nim nie sprawia, że narzędzie zostanie uruchomione. Model, który zapytał o zmiany w czynnikach ryzyka Apple, nigdy nie czytał tego artykułu. Zawiera on pytanie, listę narzędzi oraz informacje o tych narzędziach. Widząc diff_filings, jego naturalnym odruchem jest wezwanie go i przedstawienie wyników. Agentic RAG często omija to etap: pozyskiwanie danych to łatwa połowa; trudniejsza jest nauka modelu których trzech kroków należy wykonać i w jakiej kolejności, korzystając wyłącznie z tekstu dołączonego do narzędzi.

_SECTION_SLUGS = (
    "overview", "routing", "setup", "deal_walkthrough", "diff_workflow",
    "tools", "warmth", "time_axes", "sql_track", "metrics", "alpha", "fields",
    "idempotency", "presentation", "response_bounds",
)


def _split_sections() -> dict[str, str]:
    parts = _GUIDANCE_MD.split("\n## ")[1:]
    assert len(parts) == len(_SECTION_SLUGS), (
        f"guidance has {len(parts)} sections, {len(_SECTION_SLUGS)} slugs"
    )

Jeśli wskazówki są błędne, narzędzia nigdy się nie łączą. Jeśli są poprawne, ale niewykorzystane, nadal się nie łączą. Reszta tego tekstu dotyczy sprawienia, by te wskazówki zostały załadowane, pozostały krótkie i przetrwały proces wyszukiwania narzędzi.

Wybór, wywołanie i to, co nie jest ani tym, ani tamtym

Użycie narzędzi dzieli się na dwa etapy, które ludzie już potrafią nazwać.

Wybór to decyzja o tym, które narzędzie powinno znaleźć się w zestawie aktywnym w danym etapie – wybieranie ścieżki, wyszukiwanie narzędzia, filtrowanie katalogu. Wywołanie to wysłanie ustrukturyzowanego żądania z argumentami, gdy narzędzie staje się dostępne. Frameworki i interfejsy API modeli skupiają się na obu tych aspektach.

Istnieje jeszcze trzeci etap, który nie należy do żadnej z tych kategorii: orientacja – to opis, który mówi modelowi, dlaczego dane narzędzie występuje w procesie pracy, co musi się wydarzyć przed jego użyciem oraz jak wygląda zakończenie zadania po nim. Orientacja nie jest wyborem pomiędzy pobieraniem a generowaniem informacji. To zdanie, które przekształca trzy odrębne narzędzia w spójną sekwencję.

Większość narzędzi ukrywa informacje o orientacji w promptach systemowych, które stale się wydłużają, albo je pomijają, licząc na to, że sama nazwa narzędzia wystarczy. Żadne z tych rozwiązań nie jest skalowalne, gdy ma się dziesiątki narzędzi MCP i użytkownika, który zadaje jednozdaniowe pytanie dotyczące dwóch dokumentów.

Narzędzie wskazówek

Narzędzie wskazówek to narzędzie, którego jedynym zadaniem jest dostarczenie procedury – krótkiego, autorytatywnego opisu wieloetapowej metody. Nie pobiera ono dokumentów ani nie oblicza różnic. Zwraca tekst, który model powinien stosować w kolejnych krokach.

For the full repeatable diff flow see `edgar_guidance(section="diff_workflow")`.

Jego wywołanie jest tanie w porównaniu z wkładaniem całej metody do każdego promptu systemowego. Jest również łatwo dostępne: wyszukiwanie narzędzi może je wyświetlić, gdy zapytanie dotyczy zmian, a pominąć je, gdy użytkownik chce tylko jednego liczbowego faktu.

Narzędzia pomocnicze zawodzą, gdy stają się drugimi kopiami dokumentacji, które ulegają zmianom, lub gdy próbują same przeprowadzać wyszukiwanie. Należy je utrzymywać w formie krótkich procedur.

Umiejętności to wskazówki, a nie ich kopia.

Umiejętności (lub zestawy umiejętności, lub podręczniki działań agenta) powinny odwoływać się do narzędzia pomocniczego pod względem nazwy i celu, a nie wklejać jego treści. Kopiowanie tworzy dwa źródła prawdy. Gdy metoda się zmienia – pojawia się nowy krok weryfikacji, nowa zasada liczenia – aktualizuje się narzędzie pomocnicze tylko raz. Umiejętności nadal wskazują, że „najpierw należy wezwać workflow_guidance w przypadku zmiany czynnika ryzyka rok do roku”.

For document selection and extraction strategies, use PFW_get_guidance
(see quick reference chart for section selection).

For document selection strategies and multi-document workflows, use
PFW_get_guidance (see quick reference chart for section selection).

For cross-MCP workflows, use PFW_get_guidance (see quick reference chart).

For field selection guidance and token estimates, use
PFW_get_guidance(section='tools').

Taka pośredniość wydaje się biurokratyczna, dopóki nie naprawisz ukrytego problemu i nie zdasz sobie sprawy, że dwanaście plików z umiejętnościami stanowiłoby błędne kopie.

Czego nauczyły nas serwery MCP USPTO o narzędziach pomocniczych

We wcześniejszych pracach MCP USPTO popełniono ten sam błąd w innym obszarze: zbyt wiele narzędzi, z których każde miało przyjazną nazwę, ale żadne nie posiadało jasnej sekwencji działań. Pracownicy najpierw korzystali z efektownego narzędzia do wyszukiwania i pomijali weryfikację. Rozwiązaniem nie było dodanie więcej narzędzi – była to instrukcja, która w tekście powrotu wyników wskazywała, który porządek jest obowiązkowy oraz które wyniki są niekompletne bez dodatkowego telefonu.

WORKFLOW: even the substantive-only headline is clause-level and can
still be noisy on a heavily rewritten section. For "what materially
changed" questions, run RAPTOR L1 FIRST — search_filings(level=1,
section_path=<the section>) on each filing to read the two section
summaries and build a short topic list (typically 5-10 items) of what
actually moved. Then call this diff to pin the EXACT clause language
for each flagged topic, and skip every pair that doesn't touch one.
The L1 contrast also surfaces meaning that a cold diff buries in
reflow (e.g. a new tax-law valuation allowance). See
edgar_guidance(section="diff_workflow") for the full repeatable flow.

Lekcje przeniesione do prac nad EDGAR:

Instrukcje muszą być dostępne do wywołania, a nie tylko udokumentowane w pliku README, którego model nigdy nie widzi.
Instrukcje muszą być dostatecznie krótkie, aby przetrwać presję kontekstową po tym, jak wyszukiwanie narzędzi dodaje inne opisy.
Instrukcje muszą określać sposoby awarii („nie przerywaj po osiągnięciu czerwonej linii”) w taki sam sposób, w jaki opisują pomyślne scenariusze.

Wskazówki muszą pozostać w posiadaniu właściciela domeny — sekwencje USPTO nie powinny znajdować się w tekście narzędzia EDGAR i odwrotnie.

Dlatego proces przeniósł się do docstringów

docstringu/nazwie narzędzia narzędzia pomocniczego ma takie znaczenie, ponieważ to właśnie ten tekst jest wstrzykiwany podczas uruchomienia narzędzia po jego wyborze.

- `alpha` (default = EDGAR_RAPTOR_HYBRID_ALPHA, falling back to
  EDGAR_HYBRID_ALPHA): only affects the L0 clause collection, which
  carries BM25 sparse vectors. 1.0 = pure dense, 0.0 = pure BM25. Do
  NOT lower it for an exact citation or identifier (a literal
  "$750,000,000", a defined term, "Section 9.1(d)") — keep the default
  and pass `rerank=True`, which supplies most of the precision on a
  short identifier-only query.

get_yoy_risk_factor_method (nazwa może się różnić). Umiejętności i prompty systemowe wskazują jedynie na to narzędzie. Gdy metoda z Części 4 otrzymała krok weryfikacji liczb, zmieniła się tylko treść zwracana przez narzędzie pomocnicze.

Docstrings nie są miejscem na powieści. Celuj w kilkaset słów opisujących procedurę, a nie cały esej. Dodawaj linki przeznaczone dla ludzi; utrzymuj prostą strukturę funkcji.

Drogi zwrotne: druga połowa zdania

Narzędzie, które zwraca ogromną ilość informacji bez wskazania dalszych kroków, uczy model podsumowywania i zatrzymywania się. Drogi zwrotne to druga połowa zdania: po otrzymaniu dowodów, które narzędzie je potwierdza, które je liczy oraz kiedy można podać odpowiedź.

- For a MULTI-YEAR or HISTORICAL question about one company, prefer
  `group=` over a single `cik`: a kind='lineage' group covers the
  whole predecessor/successor chain (so a question that crosses a
  name/CIK change — Avago→Broadcom, Apollo's predecessor — doesn't
  silently miss the older filings) and its members COLLAPSE into one
  issuer block, with each hit keeping its own cik and the block
  carrying `lineage_ciks` for provenance. `resolve_parties_to_cik`
  reports which group to pass.

W przypadku procesów wieloetapowych projektuj zwracane wyniki jako częściowe rezultaty wraz z wskazówkami dotyczącymi kolejnych kroków. To nie oznacza, że narzędzie musi samo stać się agentem – oznacza to, że treść zwracana nie powinna przypominać gotowej odpowiedzi, gdy weryfikacja jest jeszcze w toku. Ponadto informacje o błędach powinny odróżniać przypadki „braku odchyleń” od „niemożności wykonania porównania”, w przeciwnym razie model będzie wymyślał poziom pewności.

Ten sam mechanizm, inny proces pracy

Narzędzia pomocnicze nie są wykorzystywane wyłącznie przy zmianie czynników ryzyka. Rozwiązanie problemów w firmie (Część 6), wyodrębnianie danych z obrazów (Część 3) oraz bezpieczne podsumowywanie danych liczbowych (Część 2) wymagają odpowiednio krótkiej metody wywoływalnej, gdy pytanie użytkownika jest zbyt ogólne. Wzorzec się powtarza: jedno narzędzie pomocnicze na każdą rodzinę procesów pracy, umiejętności wskazujące kierunek działania oraz wyniki, które nie pozwalają uznać zadania za zakończone przedwcześnie.

AI-RANKED RESULTS — ordered by semantic similarity, not authority. L0 hits
are extracted clause text. L1/L2 hits are AI-generated summaries — take
especial caution with figures ... A claim about WHAT CHANGED, read off two
L1/L2 summaries, is likewise unverified until the distinguishing language
is confirmed against the underlying clause text on both sides.

Dzielenie się jednym dużym plikiem z instrukcjami pomiędzy różne procesy pracy powoduje ten sam problem co z plikami systemowych promptów. Lepiej używać kilku małych narzędzi pomocniczych z jasno określonymi warunkami uruchomienia w ich opisach, aby można było łatwo wybrać odpowiednie narzędzie.

I takie, które uruchamia całość

Część sesji wymaga rozmowy wstępnej typu bootstrap przed jakimkolwiek wyszukiwaniem: która firma, jakie formularze, które lata, jaka kolejność instrumentów. Bez niej agenci przechodzą do funkcji diff_filings, używając niewłaściwej pary dokumentów.

INTERPRETING THE REDLINE — you can and should tell real edits from chunking
artifacts; do that filtering rather than treating every delta as substantive.
... The word-level highlights are the tell: differences only at the START
and/or END of the clause (or a small leading/trailing add/delete) mean a
realignment, while a term changing in the MIDDLE (amounts, dates, defined
terms, added/removed obligations or conditions) is a real edit.

Podczas rozmowy wstępnej typu bootstrap dozwolone jest zadawanie pytań wyjaśniających przez kanał czatu, przy jednoczesnym zakazie przedwczesnego używania zaawansowanych narzędzi. Należy zachować jej idempotentność – dwukrotne wywołanie nie powinno zmieniać stanu magazynu.

Trzydzieści pięć narzędzi

Liczba narzędzi dostępnych w interfejsie EDGAR MCP wzrosła do około trzydziestu pięciu narzędzi. Przy takiej skali niemożliwe jest umieszczenie całego opisu w zapytaniu, a pokazanie modelowi prostej listy skłania do losowych pierwszych prób. Wtedy konieczne staje się wyszukiwanie narzędzi: należy włączyć zapytanie do metadanych narzędzia, dostarczyć krótką listę opcji, a następnie pozwolić modelowi na wybór.

if counts.get("substantive_modified"):
    response["chunking_note"] = AI_DIFF_REALIGNMENT_NOTE

Trzydzieści pięć to nie jest kluczowe – istotne jest to, aby narzędzia pomocnicze przetrwały proces wyszukiwania. Jeśli opis narzędzia nie odpowiada kryteriom „co się zmieniło / rok do roku / czynniki ryzyka”, nigdy nie trafi do krótkiej listy, a te trzy narzędzia znów pozostaną nieruchome.

Wyszukiwanie narzędzi i trzy narzędzia

Dla procesu obsługi czynników ryzyka rok do roku lista wyników wyszukiwania powinna priorytetowo zawierać: narzędzie pomocnicze, narzędzia podkreślania L1, narzędzie do porównywania oraz narzędzie do liczenia/weryfikacji. Wszystko inne stanowi szum dla tej kategorii pytań.

"revenue is a derived metric — one issuer's consolidated number.
 A multi-CIK `ciks=` list would blend inputs across issuers into a
 figure belonging to none of them. Call once per `cik=` (or pass a
 lineage `group=` for a predecessor chain)."

Dostosowywanie procesu wyszukiwania to praca nad produktem: synonimy w opisach, przykłady negatywne („nie nadaje się do wyszukiwania pojedynczych firm”) oraz zbiory pytań użytkowników z oczekiwanymi pierwszymi narzędziami. Bez tego cyklu oceny pomocnicze pozostają jedynie filozoficznym wyborem.

To, co widzi użytkownik

Użytkownicy nie powinni widzieć narzędzi pomocniczych. Zadają proste pytanie i otrzymują odpowiedź z odniesieniami. Poniżej w transkrypcji mogą być pokazane wskazówki → L1 → diff → count. Interfejs użytkownika produktu może połączyć te elementy w etapy postępu („sprawdzanie zmian”, „wybieranie dokładnych klauzul”, „weryfikacja nowości”) bez ujawniania nazw narzędzi.

Input(s) [...] were not tagged by this issuer under any recognized XBRL
concept in the requested periods, so the derived value is 'unknown'
wherever they are needed. Not every issuer reports every line item
(e.g. asset-light filers omit capex), so the same metric may resolve
for an issuer that does tag them.

Gdy coś się nie uda, pokaż etap, w którym doszło do błędu. „Diff niedostępny” to informacja, na podstawie której można coś zrobić; „agent popełnił błąd” – nie.

Strony proxy

Strony proxy przeznaczone dla ludzi dokumentują te same procesy dla operatorów i audytorów. Mogą być długie. Nie mogą stać się jedyną kopią metody potrzebnej modelowi – ponieważ model nie przegląda strony z dokumentacją w trakcie pracy, chyba że celowo zostanie to umożliwione przez narzędzie.

Per-figure descriptions are NOT produced on this path: charts and images
on these pages carry no annotation, and their absence is not evidence the
page had no figures ... check the linked source image (source_url) before
concluding something is absent from the filing.

Niech strony proxy oraz narzędzia pomocnicze pozostaną powiązane: na stronie jest napisane, że „kanoniczne instrukcje maszyny znajdują się w narzędziu X”, a w opisie narzędzia podano, że „opis ludzkim językiem znajduje się pod adresem URL Y”. Rozbieżności pomiędzy nimi stanowią błąd w wersji oprogramowania.

Odtwórz to sam

Aby odtworzyć ten wzorzec poza tą serią:

Napisz metodę jako sekwencję poleceń z określonymi narzędziami i warunkami zatrzymania.
Ujawnij ją jako treść zwracaną przez narzędzie pomocnicze.
Skieruj umiejętności na to narzędzie; nie wklejaj treści zwracanej przez nie.
Ustal, aby narzędzia generujące dowody deklarowały swoją niekompletność aż do przeprowadzenia weryfikacji.
Umieść funkcję wyszukiwania narzędzi przed dużym katalogiem; oceniaj dokładność pierwszego narzędzia na zestawie pytań referencyjnych.
Traktuj dokumenty ludzkie jako proxy, a nie jako źródło prawdy w czasie wykonywania programu.

armth: hits from filings whose summary tree is still cold (L0-only)
trigger background tree builds — `tree_builds_enqueued` in the result
says how many; re-run the search shortly after to get L1/L2 summaries.

Evaluate a math expression EXACTLY (deterministic; LLMs are error-prone
at multi-digit arithmetic). Compute, calculate, arithmetic, math.

EXPECTED_NON_DEFERRED = {
    "guidance.py",
    "resolve_parties.py",
    "edgar_strategic_search.py",
}

# Anthropic's stated range for non-deferred tools.
MAX_NON_DEFERRED = 5

Metoda ma ulec zmianie

Triada z Części 4 nie będzie ostatecznym słowem. Nowe sztuczki weryfikacji, tańsze modele uwypuklenia, lepsze radzenie sobie z przepływem tekstu – to wszystko się pojawi. Gdyby ta metoda istniała tylko w esejach i zbiorkach umiejętności, każda poprawka byłaby projektem archeologicznym wymagającym wielu plików. Dzięki temu, że istnieje w jednym narzędziu pomocniczym, zmiana polega na pojedynczej edycji plus sprawdzeniu kluczowych pytań pod kątem regresji.

Use your tool-search or tool-discovery step, but do not CALL any of the
tools it finds. I want to read them, not run them.

1. Search for tools now, by server name and by keyword, and list the MCP
   servers and tools you can reach. If your first look says you have no
   tools, search again before concluding that: with tool search enabled,
   most tools stay hidden until you go looking for them.

2. Pick one non-trivial tool. Show me, verbatim and without summarising
   or reformatting:
   - its exact tool name
   - its complete description text, every line of it
   - its full input schema: each parameter, its type, its default, and
     the description attached to that parameter

   Print the description IN FULL even if it runs to a thousand words or
   more. Do not abbreviate it, do not list its section headings instead,
   and do not tell me to look at the tool result: I cannot see what you
   can see, which is the whole point of this.

3. Then tell me, in your own words:
   - does that text instruct you to call anything BEFORE this tool, or
     AFTER it?
   - does it tell you how to interpret or filter the result?
   - does it tell you to relay anything to me?
   - is there anything in it you would not have done on your own?

Główne wnioski

Agentic RAG to nie „pobierz, a następnie utwórz”. W celu wykrywania zmian w dokumentach SEC jest to skomponowana łańcuch instrumentów, który działa poprawnie tylko wtedy, gdy model otrzymuje informację — w miejscu, które faktycznie czyta — o tym, w jakiej kolejności należy je używać. Te trzy instrumenty (streszczenia istotnych elementów, różnice w klauzulach, weryfikacja liczb) rozwiązują problem naukowy z Części 4. Nie wykonują żadnych działań, dopóki orientacja nie istnieje jako narzędzie wsparcia dostępne do wywołania, umiejętności wskazują kierunek zamiast kopiować treść, mechanizmy zwrotne odmawiają wczesnego uznania pracy za zakończoną, a wyszukiwarka narzędzi potrafi znaleźć to wsparcie wśród dziesiątek innych narzędzi.

Jeśli chcesz, możesz traktować selekcję i wywoływanie jako już rozwiązane elementy; tym, co odróżnia produkty, jest trzeci moment: orientacja. Orientacja zawarta w plikach README to jedynie dekoracja. Orientacja umieszczona w komunikatach systemowych staje się nieudostępnialnym do zarządzania zbiorem informacji. Orientacja zawarta w krótkim, wyszukiwalnym narzędziu pomocniczym należącym do danej domeny jest praktyczna w użyciu.

Praca nad MCP w USPTO nauczyła tę samej lekcji w kontekście znaków towarowych i patentów: przyjazne nazwy narzędzi bez określenia kolejności prowadzą do nieświadomych, błędnych pierwszych prób wywołania. Praca nad EDGAR przejęła ten problem i celowo przeniosła procesy do docstringów. Trzydzieści pięć narzędzi sprawiło, że ich wyszukiwanie stało się obowiązkowe; wyszukiwanie sprawiło, że jakość opisów stała się elementem poprawności, a nie tylko tekstem marketingowym.

Człowiek, który to widzi, powinien zachować spokój. Treść stron proxy powinna być kompletna. Tekst, który model odczytuje przed pierwszym rzeczywistym wyszukiwaniem, powinien być krótki, stanowczy i opatrzony wersją metody. Gdy jutro zmieni się metoda, należy zaktualizować narzędzie pomocnicze i ponownie przeprowadzić kluczowe pytania. Nie należy gonić za dwunastoma skopiowanymi wersjami.

Jeśli masz zaczerpnąć jedną zasadę inżynieryjną z tego tekstu: nigdy nie pozwalaj, by jedyna kopia wieloetapowej metody znajdowała się w miejscu, do którego model nie może uzyskać dostępu. Eseje uczą ludzi. Narzędzia pomocnicze uczą agentów. Umiejętności są wskazówkami. Wyniki to półzdania wymagające następnego czasownika. Wyszukiwanie narzędzi to brama, która decyduje, czy którykolwiek z tych tekstów dostanie się do środka.

Seria trwa: instrumenty ewoluują, katalog się powiększa, a opis przewodnikowy musi pozostać najkrótszym, dokładnym opisem tego, jak te instrumenty współpracują ze sobą. Dlatego agentic RAG składa się z trzech kroków zamiast jednego efektownego wezwania.

Konkretna lista kontrolna dla nowej rodziny procesów pracy:

Nazwij instrumenty oraz mechanizmy weryfikacji, które utrudniają bezgłośne awarie.
Napisz narzędzie przewodnikowe, którego opis odpowiada sposobowi zadawania pytań przez użytkowników.
Zachowaj długość odpowiedzi poniżej kilkuset słów.
Skieruj umiejętności użytkowników na to narzędzie; zabronij wklejania tekstu.
Oznacz odpowiedzi zawierające dowody jako niekompletne bez weryfikacji.
Dodaj kluczowe pytania, przy których pierwszym narzędziem musi być ten przewodnik.
Łącz strony z ludzkim asystentem, nie czyniąc ich krytycznymi pod względem czasu wykonywania.
Przygotuj zmianę metodologii jako edycję przy użyciu jednego narzędzia.

Zespoły, które pomijają listę kontrolną, na własnej skórze odkrywają problem Context Rot: model „czytał” oba pliki, mówił płynnie, ale przeoczył istotną zmianę. Zespoły, które przestrzegają listy kontrolnej, stwierdzają, że agentic RAG staje się nudny w najlepszym sensie – przewidywalne kroki, cytowalne klauzule oraz liczba weryfikacji, która może dać wynik błędny.

Nuda jest celem. Efektowne odpowiedzi uzyskiwane za pomocą pojedynczego narzędzia to w rzeczywistości ciche błędy dostarczane użytkownikom.

Evaluate a math expression EXACTLY (deterministic; LLMs are error-prone
at multi-digit arithmetic). Compute, calculate, arithmetic, math.

Use it over numbers you ALREADY retrieved (e.g. from
query_financial_facts) — it does NOT fetch data. Supports + - * / // % **,
unary minus, and abs, round, min, max, pow, sqrt, log (natural), log10,
log2, exp, floor, ceil, plus constants pi and e. No variables, attribute
access, or other calls (safe AST evaluator).

Examples:
- 5-yr revenue CAGR: "(60922/26974)**(1/5) - 1"
- net debt / EBITDA: "(96700 - 29943) / 34000"
- YoY % change: "(383285 - 394328) / 394328 * 100"
- segment as % of total: "23056 / 81462 * 100"

Returns {expression, result, formatted} on success, or {error, expression}
if the expression is rejected.

Źródła

Główne źródła odniesienia dla tej części to literatura dotycząca ReAct i wykorzystania narzędzi jako tło, badanie Context Rot autorstwa Chromy jako dowód na degradację długości, metoda podsumowywania w stylu RAPTOR użyta w Części 1, wcześniejsze części tej serii EDGAR Intelligence MCP dotyczące instrumentów L1/diff/count, a także własny katalog narzędzi MCP projektu oraz dokumentacja proxy. Nazwy pakietów i API ulegają zmianom – traktuj teksty instrukcyjne jako wersjonowany kontrakt określający zachowanie agenta, a teksty autorstwa ludzi jako komentarze, a nie wartości obowiązujące w czasie wykonywania programu.

Dlaczego metody inercyjne wydają się ukończone na stronie

Pisanie techniczne wymaga kompletnych wyjaśnień. Akapit, w którym wymienione są L1, diff oraz liczenie czytań, brzmi jak opis projektu. Agenci nie czytają projektów; czytają teksty narzędzi w ramach określonego budżetu tokenów. To rozbieżność pomiędzy tymi grupami odbiorców sprawia, że większość „demonstracji typu agencyjnego” w rzeczywistości staje się jedynie otoczką dla pojedynczego narzędzia. Zamykanie tej luki oznacza przyjęcie faktu, że część twoich najlepszych tekstów musi zostać przepisana na postać procedur wywoływalnych – a te procedury mogą być mniej eleganckie niż eseje.

Orientacja versus jakość wyszukiwania

Poprawa embeddingów, dzielenia na fragmenty oraz ponownego sortowania pomaga narzędziom analitycznym. Nie mówi to modelowi, aby wywołał je trzy po kolei. Zespoły często spędzają ćwierć roku na doskonaleniu metryk wyszukiwania i tydzień na opracowywaniu promptów, a potem zastanawiają się, dlaczego detekcja zmian nadal sprowadza się do jednego wywołania funkcji diff_filings. Priorytetem powinna być orientacja na budżet: opis tekstowy, synonimy do wyszukiwania, testy z użyciem „złotych” narzędzi oraz przeglądy kształtu wyników.

Przypadki niepowodzeń wartych udokumentowania

Udokumentuj te niepowodzenia, za które już zapłaciłeś: zatrzymanie się po osiągnięciu progu krytycznego, który pokazuje jedynie zmiany w układzie tekstu; poleganie na podsumowaniach, które maskują sprzeczności; traktowanie reorganizacji jako czegoś nowego; odpowiadanie przed zakończeniem procedury decyzyjnej w firmie; łączenie sekwencji z USPTO z sesjami EDGAR. Każde takie niepowodzenie staje się jednym koniecznym punktem w wytycznych oraz jednym kluczowym pytaniem, na które nie ma odpowiedzi, jeśli ten punkt zostanie zignorowany.

Ekonomika tokenów w przewodnikach

Odpowiedź składająca się z trzystu słów jest tańsza niż umieszczenie dwóch dokumentów 10-K w kontekście „na wszelki wypadek”, a także tańsza niż prompt systemowy wymieniający każdy proces pracy. Jest też tańsza od kosztów obsługi błędnych odpowiedzi. Oceniaj przewodniki tak samo, jak oceniasz proces wyszukiwania: opóźnienie, wskaźnik trafień przy wyszukiwaniu narzędzi oraz wskaźnik poprawności weryfikacji późniejszej — a nie tylko to, czy tekst brzmi sprytnie.

Rządy

Kto może edytować narzędzia przewodników? Traktuj je jak konfiguracje produkcyjne. Wymagaj przeglądu, przechowuj historię i blokuj łączenia, które zmieniają przewodniki bez aktualizacji podstawowych pytań. Operatorzy czytający strony proxy powinni widzieć ten sam identyfikator wersji, który narzędzie zwraca w linii nagłówkowej. Gdy audyt pyta, dlaczego agent użył trzech narzędzi, wskazuj na zaktualizowany tekst przewodnika — a nie na argument z Slacka z zeszłego miesiąca.

Czego nie należy umieszczać w przewodnikach

Nie umieszczaj tajemnic, adresów URL środowiskowych z danymi uwierzytelniającymi ani informacji specyficznych dla użytkownika. Nie umieszczaj całych fragmentów plików. Nie umieszczaj złożonych polityk o długości powieści. Umieść natomiast informacje o kolejności działania, warunkach zatrzymania oraz nazwy następnych narzędzi. Jeśli jakaś informacja jest przeznaczona wyłącznie dla ludzi, pozostaw ją na stronie proxy.

Związek z grafami w stylu LangGraph

Część zespołów koduje te trzy kroki jako sztywny graf bez możliwości wyboru modelu. Jest to dopuszczalne i często bezpieczniejsze. Narzędzia pomocnicze sprawdzają się wtedy, gdy nadal chcesz mieć model w procesie rozwiązywania niejasno sformułowanych pytań, ale potrzebujesz, aby metoda pozostała dostępna wśród wielu narzędzi. Grafy i narzędzia pomocnicze są wzajemnie uzupełniające: graf może implementować wybraną metodę, natomiast narzędzia pomocnicze ułatwiają wybór i zapewniają uczciwość hybrydowych agentów.

Szkic narzędzia do oceny

Zachowuj tabelę z pytaniami użytkowników, oczekiwanym pierwszym narzędziem, oczekiwaną sekwencją narzędzi oraz narzędziami zabranionymi do wczesnego zatrzymania. Uruchamiaj ten zestaw przy każdej modyfikacji wskazówek. Przerywaj proces budowy, jeśli dokładność wyboru pierwszego narzędzia spadnie. Co tydzień sprawdzaj transkrypcje pod kątem płynnych odpowiedzi, których nie uwzględniono przy liczeniu. Opublikuj prosty panel analityczny, aby zespół produktowy i zespół inżynieryjny mieli takie samo rozumienie zwrotu „agent wykonał trzy kroki”.

O nazewnictwie

Nazwij narzędzie tak, jak tego wymaga wyszukiwanie: czasowniki, które wpisują użytkownicy (explain_yoy_risk_factor_method), są lepsze od pomysłowych wewnętrznych nazw kodowych. Opisy powinny zawierać synonimy: zmiana, różnica, rok do roku, czynniki ryzyka, Punkt 1A, w porównaniu z ubiegłym rokiem. Przydatne są również informacje negatywne: „nie do używania przy aktualnych cenach akcji”, „nie do streszczania w jednym akapicie”.

Skalowanie poza jedną serię

Gdy kilka domen będzie miało już narzędzia pomocnicze, utwórz mały metaindeks: domena → nazwa narzędzia pomocniczego. Nie łącz domen w jedno narzędzie do pisania esejów. To właśnie poprzez zanieczyszczenie międzydomenowe rady USPTO przedostają się do sesji EDGAR. Utrzymuj indeks prosty i jasny.

Zamknięcie pętli w części 4

Część 4 wykazała, dlaczego jeden instrument jest naukowo niewystarczający. Ta część pokazuje, dlaczego poprawna metoda naukowa nadal zawodzi w praktyce bez dostępnej powierzchni orientacyjnej. Czytaj je razem: instrumenty bez wskazówek są nieruchome; wskazówki bez instrumentów to tylko teatr. Razem sprawiają, że system RAG o charakterze agentywnym może uzyskać miano „agentywnego” przy zadaniach, które karzą za bezczynne niepowodzenia.

Dodatek operacyjny: scenariusz próbny

Zanim wyślesz zmianę w przewodniku, przeprowadź próbę: sesję „chłodną”, pytanie kluczowe, upewnij się, że przewodnik jest pierwszym narzędziem, sprawdź, czy L1 działa po obu stronach, upewnij się, że poproszono o porównanie z określonym przewodnikiem dla pary, sprawdź liczbę prób, upewnij się, że widoczna dla użytkownika odpowiedź odwołuje się do klauzul i wskazuje na weryfikację. Zapisz ID transkrypcji obok wersji przewodnika. Jeśli jakikolwiek krok został pominęty, popraw opis lub wyszukiwanie przed celebrowaniem metryk odzyskiwania danych.

Dodatek operacyjny: scenariusz próby

Zanim wyślesz zmianę w przewodniku, przeprowadź próbę: sesję „chłodną”, zadanie kluczowe, potwierdź, że przewodnik jest pierwszym narzędziem, sprawdź, czy L1 działa po obu stronach, upewnij się, że poproszono o porównanie z określonym przewodnikiem dla pary, sprawdź liczbę prób, upewnij się, że widoczna dla użytkownika odpowiedź odwołuje się do klauzul i wskazuje na weryfikację. Zapisz ID transkrypcji obok wersji przewodnika. Jeśli jakikolwiek krok został pominęty, popraw opis lub wyszukiwanie przed celebrowaniem metryk odzyskiwania danych.

Dodatek operacyjny: scenariusz próby

Zanim wyślesz zmianę w instrukcjach, przeprowadź próbne testy: sesję bez udziału użytkownika, kluczowe pytanie, potwierdź, że instrukcje są pierwszym narzędziem, sprawdź, czy L1 działa po obu stronach, upewnij się, że prosi się o porównanie z podanymi instrukcjami dla pary użytkowników, sprawdź liczbę prób wykonywania, upewnij się, że widoczna dla użytkownika odpowiedź odwołuje się do klauzul i wskazuje na proces weryfikacji. Zapisz identyfikator transkrypcji obok wersji instrukcji. Jeśli któryś krok został pominęty, popraw opis lub wyszukiwanie przed celebrowaniem wskaźników odzyskiwania informacji.

← Wszystkie artykuły Wyślij brief