Галоўная / Артыкулы

Інструменты керавання змушаюць агентскі RAG выконваць тры крокі замест аднаго яскравага вызову.

Кантэкставыя статыстыкі, разлікі клазаў і пераканальванне падсчыту застаюцца нядзейнымі, пакуль інструмент керавання, пошук інструментаў і непачатковыя рэзультаты не научыць мадэллю гэтыя последовальнасці.

Выдавец: REACTAPP.TOP28 хв чытання6538 слоў

Крыніцы: Reflections on Tools: Getting Agentic RAG to Take Three Steps-Part 7 of my EDGAR Intelligence MCP journey

У пакульных частках гэтай серыі стваралася дрэвае апূরкненне, целыя цыфры захоўваліся ад мовнага модэлю, тэкст выцягвалі з графікаў, спытвалася, што зменілася между заявкамі, спытвалася, як узагале можна ўсё знайсці, і спытвалася, якая компанія мае на увазе запіт. У гэтай частцы йдзе пра вузкі інтэрфейс, да якого насправды дасягаюць гэтыя элементы: короткі блакат тэксту з апісаннем інструменту, які модэль аналізуе пры выборы дзеяння.

Тры інструменты

Частка 4 аналізавае змяны фактораў рызыку з годы ў году. Аддача обох дакументаў 10-K модэлю і запытанне пра тое, што змянілася, не ўспела не толькі з-за віткоў: метод Chroma’s Context Rot заставляе задачу незменнойю і зменшае толькі дужыну вхідных дадзеных у разныя модэлі — выканання паслабляецца, калі кантэкст зростае, неравнамерна, спосабамі, якія нельга прыняць на адной лэжысці задачы. Неудачы застаюцца непазначанымі: модэль, якая адзвярнулася пра шысць змян, ніколі не паведамляе пра тое, што прапусціла сьпявыю змяну. Сама толькі пазначкая пры кожным сімволе не можа эфектыва справіцца з перэраспадам тэксту; двойныя падсумкі ўсё горшыя. Тые методы, якія перазсталі, выкарыстоўвалі тры інструменты, а не два:

  1. L1 для выяўлення значамасці — падсумкі раздэлаў у стыле RAPTOR (працёзнае паведамленне ад AI для кожнага раздэла дакумента з Часткі 1). Калькі тэмы змяніліся. Адна пазначка на кожную сторону. Модэль можа разгледзець значэнне, якое немагчыма разгледзець па парах сімвалаў.
  • Разлік для падчынення — пунктавыя пазначкі на рэвельінгу на адзін пункт, якія даюць можлівасць цытаваць тыя словы, якія асоціююцца з кожной пазначанай тэмай. Працуе абсалютна механічна сістэма, якая ўрахоўвае усё і дазволяе перагляд.
  • Пільнюванне для пераканання — пераконтрація, чы рэальна разніца ў формулаванні існуе межа двума дакументамі. Адна і тая ж фраза ў обох дакументах зазвычай означае толькі пераранжаванне, а не справжню змяну.
  • Эта тройка як і раней застаецца правільной. Калі ўжо напісаная як абзац статты, яна таксама паштоўна беспрацэзная. У ёй няма нічага, што могла б запусціць інструмент. Мадэль, якая спытвалася, што зменілася ў факторах рызыку Apple, ніколі не чытала гэтыя тэксты. У ёй ёсць запіт, спіс інструментаў і тое, што гэтыя інструменты пішуць пра сабе. Паказваючы diff_filings, яе логічны інстынкт — вызваць яго і апісаць рэзультат. Агентны RAG часта прахідаець праз гэта: запошук — гэта лёгкая частка; складнай ёй часткай яеў научыць мадэль калькі трох крокаў здзейсніць і ў якой спраўе, выкарыстоўваючы толькі тэкст, прыўязаны да інструментаў.

    _SECTION_SLUGS = (
        "overview", "routing", "setup", "deal_walkthrough", "diff_workflow",
        "tools", "warmth", "time_axes", "sql_track", "metrics", "alpha", "fields",
        "idempotency", "presentation", "response_bounds",
    )
    
    
    def _split_sections() -> dict[str, str]:
        parts = _GUIDANCE_MD.split("\n## ")[1:]
        assert len(parts) == len(_SECTION_SLUGS), (
            f"guidance has {len(parts)} sections, {len(_SECTION_SLUGS)} slugs"
        )
    

    Калі кераванне некалькі, інструменты ніколі не складаюцца. Калі ёно правельнае, але не чытанае, яны таксама ніколі не складаюцца. Рэшта гэтага тэксту прызначаная для таго, каб гэтае кераванне чыталася, заставалася короткай і перазстаўала пасля пошуку інструментаў.

    Выбіранне, вызыванне і тое, што не ўжо ніткога

    Іспытанне інструменту дзеліцца на два моменты, якія люды ужо ведаюць, як называць.

    Выбір — гэта прымэчка, які інструмент павінен быць у актыўным наборэ для данага крока: падбір маршруту, пошук інструмента, фільтрацыя каталога. Выклік — гэта адправка структураванага запіту з аргументамі, калі інструмент стае доступным. Фрэймворкі і API-і модэляў акцэнтаваюць увагу на обох аспектах.

    Існуе трэці момент, які не ўпадае ні па аднаму з гэтых крытэрыяў: орыентацыя — гэта опіс, які раз’ясняе модэлю чаму інструмент існуе ў рабочым працэсе, што павінна адбыцца перад яго вжыванням і як выглядае завершэнне працы пасля. Орыентацыя — гэта не выбор між запрашэнням і генераванням. Гэта рэчы, якія ператвараюць тры бездзейныя інструменты на последовальнасць дзеянняў.

    Большая частка такіх раштароў ховае інструкцыі ў сістэмным запіце, які стаўляецца дагэна без канца, або ж ўзагалі іх не паводзіць, спадзяючыся, што назва інструмента будзе достатня. Жадна з гэтых методаў не ёсць функцыональной, калі у вас дзесяткі інструментаў MCP і корыстувальнік задае аднорадковы запіт пра два дакументы.

    Інструмент-нарадчык

    Інструмент-нарадчык — гэта інструмент, якога ўсё адносна простая задача: вярнуць інструкцыю — короткі, автарытатыўны апісанне багатоэтапнага методу. Ён не запрашвае дакументы, не вычысляе разлікі. Ён вяртае тэкст, які мадэль павінна следаваць пры наступных кроках.

    For the full repeatable diff flow see `edgar_guidance(section="diff_workflow")`.
    

    Яго вызыв ёсць дышаўным у пораўнанні з тым, калкі трэба запхваць весь метод у кожны сістэмны запіт. Кроме таго, яго можна знайсці: пошук інструментаў можа выявіць яго, калкі запыт стосуецца таго, “што змянілася”, а выключыць яго, калкі корыстувальнік хоча толькі адна чысловая інформацыя.

    Інструменты керавання не функцыянаюць, калі стаюць другім экзаменам дакументацыі, якая змінюецца, або калі прабуюць самі выконваць пошук. Храніце іх у віглядзе простых інструкцый.

    Навыкі на гэта адказваюць. Яны яе не копіююць.

    Навыкі (альбо пакеты навыкаў, альбо інструкцыйі для агентаў) должны прысвячваць увагу інструменту керавання па імені і мэты, а не прыкладваць яго тэкст. Копіюванне стварае два істочнікі правды. Калі метод зміняецца — падыходзіць новы крок верыфікацыі, новая правіла лічэння — інструмент керавання трэба апдэйтаваць толькі раз. Навыкі продовжваюць прабаваць «спачатку вызваць workflow_guidance праз змяну фактора рызыку з году на год».

    For document selection and extraction strategies, use PFW_get_guidance
    (see quick reference chart for section selection).
    
    For document selection strategies and multi-document workflows, use
    PFW_get_guidance (see quick reference chart for section selection).
    
    For cross-MCP workflows, use PFW_get_guidance (see quick reference chart).
    
    For field selection guidance and token estimates, use
    PFW_get_guidance(section='tools').
    

    Такая непрамасць здаецца бюрократычной, пакуль вы не вылечыце таямні спосаб абякання і не зрозумеце, што дванаццаць файлаў навыкаў былі б некорэктнымі копіямі.

    Што навчылі серверы USPTO MCP пра інструменты керавання

    Ранейшая работа USPTO MCP падкіла на тую ж самую адзіну ў іншай сферы: занадта много аблікаванняў, кожна з прыемным назвам, але жадная без чыткага парадку выкарыстоўвання. Агенты спачатку вярнуліся да прыемнага аблікавання для пошуку і праскочылі практыку пераканання. Рашэннем не было дадзення больш аблікаванняў — гэта была інструкцыя, якая у тэксце вярнення аблікаванняў паказвала, які порадок ёсць обавязковым, а якія рэзультаты ёсць непূরнымі без дадатковага калена.

    WORKFLOW: even the substantive-only headline is clause-level and can
    still be noisy on a heavily rewritten section. For "what materially
    changed" questions, run RAPTOR L1 FIRST — search_filings(level=1,
    section_path=<the section>) on each filing to read the two section
    summaries and build a short topic list (typically 5-10 items) of what
    actually moved. Then call this diff to pin the EXACT clause language
    for each flagged topic, and skip every pair that doesn't touch one.
    The L1 contrast also surfaces meaning that a cold diff buries in
    reflow (e.g. a new tax-law valuation allowance). See
    edgar_guidance(section="diff_workflow") for the full repeatable flow.
    

    Урокі, якія былі перанесены ў работу EDGAR:

    • Інструкцыі павінны быць зручнымі для выкарыстоўвання, а не толькі задокументаванымі ў README, якое модэль ніколі не бачыць.
    • Інструкцыі павінны быць дастаткова короткімі, каб застацься зрозумелымі пасля таго, як пошук аблікаванняў дадае іншыя опісы.
    • Інструкцыі павінны называць варыянты неудач («не зупіняйцеся пасля чэрвонай лініі») так сама, як і можлівыя успеховыя сценарыі.
  • Інструкцыі павінны застаўся у власнасці домэну — последованасці USPTO не патрабуюцца ў тэксце інструмента EDGAR, і навпакі.
  • Так працэс быў перанесены ў докстрынгі

    Размешчэнне методу ў файле у фармаце markdown, які падабаецца людзям, нічога не дае для модэлю. Размешчэнне яго ў докстрынгу / апісанні інструмента інструкцыйныго інструмента дае рэзультат, таму што гэты тэкст ўводзіцца пад час запуску, калі выбіраецца інструмент.

    - `alpha` (default = EDGAR_RAPTOR_HYBRID_ALPHA, falling back to
      EDGAR_HYBRID_ALPHA): only affects the L0 clause collection, which
      carries BM25 sparse vectors. 1.0 = pure dense, 0.0 = pure BM25. Do
      NOT lower it for an exact citation or identifier (a literal
      "$750,000,000", a defined term, "Section 9.1(d)") — keep the default
      and pass `rerank=True`, which supplies most of the precision on a
      short identifier-only query.
    

    У практыцы міграцыя выглядала так: берліся параграфы статты, якія опісвалі тры інструменты, яны станавіліся у віглядзе імператыўных крокаў, дадаваліся крытэрыяы успеху, і гэта выкладвалася як рэзультат функцыі get_yoy_risk_factor_method (назва можа варыцца). Навыкі і запрошэнняя сістэмы паказвалі толькі на гэты інструмент. Калі метод з Часткі 4 павышыўся на крок пераканання па лічэнню, змяніўся толькі рэзультат інструкцый.

    Докстрынгі не ўтвараюць месца для падачы романаў. Намагайцеся напісаць калькілявання з колькасцю сотней слоў, а не цэлы эсэ. Даеце лінкі для людзей; трывожыце толькі неабходныя элементы, якія можна вызваць.

    Шляхі вярнення: другая частка рэчы

    Інструмент, які вяртае вельмі большы об’ём інфармацыі, не адзначаючы, што робіць далей, навучае мадэль ствараць апускі і зупыніцца. Шляхі вярнення — гэта другая частка рэчы: пасля таго, як прыходзяць доказы, які інструмент іх паўтарае, які інструмент ўрахоўвае іх, і калі можна даць адпаведзенне.

    - For a MULTI-YEAR or HISTORICAL question about one company, prefer
      `group=` over a single `cik`: a kind='lineage' group covers the
      whole predecessor/successor chain (so a question that crosses a
      name/CIK change — Avago→Broadcom, Apollo's predecessor — doesn't
      silently miss the older filings) and its members COLLAPSE into one
      issuer block, with each hit keeping its own cik and the block
      carrying `lineage_ciks` for provenance. `resolve_parties_to_cik`
      reports which group to pass.
    

    Праектуйце вярнення як частковыя рэзультаты плюс падказкі ўжо наступнага крока, калі робочы працэс ўключае калькілявання на колькаэтапнай основе. Гэта не значыць, што інструмент павінен стаць самастоятэльным агентам — гэта значыць, што пакет дадзеных не павінен выглядаць як готова адпаведзенне, калі перакранчэння ўсё яшчэ чакае. Дзялейна, у разе бягучых адмоўленняў павінны быць разлічаны варыянты «не знайдзена адхілення» і «не удалося запрацаваць апуск», інакш мадэль стварыць сабе доверлівасць.

    Той самы механізм, адзінакавы рабочы працэс

    Інструменты керавання не ўзначальваюцца выключна для змяны фактора рызыку. Для рашэння праблем компаніі (Частка 6), выяўлення дадзеных (Частка 3) і стварэння кінцавага апісання з урахоўваннем чысловых дадзеных (Частка 2) кожны раз, калі запыт корыстніка недастаткова адзначаны, патрэбны короткія методы, якія можна вызваць. Шаблон павтараецца: адзін інструмент керавання на кожную групу рабочых процэсаў, навыкі, якія направляюць, рэзультаты, якія не дазволяюць прышвартавацца раней, чым будзе завершана праца.

    AI-RANKED RESULTS — ordered by semantic similarity, not authority. L0 hits
    are extracted clause text. L1/L2 hits are AI-generated summaries — take
    especial caution with figures ... A claim about WHAT CHANGED, read off two
    L1/L2 summaries, is likewise unverified until the distinguishing language
    is confirmed against the underlying clause text on both sides.
    

    Адна большая база інструментавання, якая выкорыстоўваецца ў розных рабочых процэсах, знову стварае проблему з базай запытанняў сістэмы. Крашчэ выкорыстоўваць калькі маленькіх інструментаванняў з чысткім, ясным мовам запуску ў іх опісах, каб пошук могаў выбраць правы інструмент.

    І адзін, які запускае ўсё

    Дзеянняякія патрабуе бутстрап-аўтадзеяння пры першай апрацоўке: якая кампанія, якія формы, якія гады, які парадак інструментаў. Без гэтага агенты прыходзяць да diff_filings з неправым парам дакументаў.

    INTERPRETING THE REDLINE — you can and should tell real edits from chunking
    artifacts; do that filtering rather than treating every delta as substantive.
    ... The word-level highlights are the tell: differences only at the START
    and/or END of the clause (or a small leading/trailing add/delete) mean a
    realignment, while a term changing in the MIDDLE (amounts, dates, defined
    terms, added/removed obligations or conditions) is a real edit.
    

    У рамках бутстрап-аўтадзеяння дазволена задаванне уточнюючых запытанняў праз канал чату, пры тым як продовжаецца заборона на нерэшаная вікорыстоўвання інструментаў. Ёго трэба зробіць ідэмпатным — двойная вызов не павінна зменіць стан базы дадзеных.

    Трыдцяць пяць інструментаў

    Колькасць інструментаў EDGAR MCP вырасла да прыблізна трыдцяць пяць. Праўда, у такім масштабе немагчыма включыць у запыт усія апісанні, а калі дазволіць модэлю бачыць просты спіс, гэта спрыяе віпадковым першым вызовам. Пошук інструмента становіцься обавязковым: трэба включыць запыт у метаданы інструмента, дастаць скорачаны спіс, а потым прабачыць модэлю выбраць.

    if counts.get("substantive_modified"):
        response["chunking_note"] = AI_DIFF_REALIGNMENT_NOTE
    

    Трыяцца пяць — гэта не ключова дымэнка; ключавая дымэнка заключаецца ў тым, што інструменты керавання павінны перазстаць пасля пошуку. Калі апісанне інструмента керавання не падходзіць під крытэрыя «што зменілася / з году на год / факторы рызыку», ён ніколі не увайдзе у скоры спіс, і тры інструмента зноў застануцца недзейнымі.

    Пошук інструментаў і тры інструмента

    Для працэсу аналізу фактораў рызыку з году на год спіс рэзультатаў пошуку павінен прыорытэтна включаць: інструмент керавання, інструменты выяўлення L1, інструмент разлічэння і інструмент падрахунку/пераканання. Усе іншае ёсць шумам для такага класу запытанняў.

    "revenue is a derived metric — one issuer's consolidated number.
     A multi-CIK `ciks=` list would blend inputs across issuers into a
     figure belonging to none of them. Call once per `cik=` (or pass a
     lineage `group=` for a predecessor chain)."
    

    Настройка пошуку — гэта частка працы над продуктам: сінантымы ў апісаннях, негатыўныя прыклады («не для пошуку толькі адной кампаніі») і наборы для ацэнкі запытанняў корыстувачаў з прагнутымі першымі інструментамі. Без такога цыклу ацэнкі керавання застаецца філасофскай прыярэннасцю.

    Што бачыць чалавек

    Пользоватары не павінны бачыць скульптуры. Яны ставяць простае запытанне і атрымоўваюць адпаведную адказ. Адным пад ней можа быць показаныя інструкцыі → L1 → diff → count. UX продукту можа аб’еднаваць іх у пазначкі прыгона (“перакантролюванне таго, што змянілася”, “заўязванне точных клазу”, “перакантролюванне новасці”) без адкрывання назв інструментоў.

    Input(s) [...] were not tagged by this issuer under any recognized XBRL
    concept in the requested periods, so the derived value is 'unknown'
    wherever they are needed. Not every issuer reports every line item
    (e.g. asset-light filers omit capex), so the same metric may resolve
    for an issuer that does tag them.
    

    Калі ў чымсь выйшла праця, пакажыце этап, дзе выйшла праця. “Diff недоступны” — гэта дзеянне, якое можна выкарыстоўваць; “агент памыліўся” — няма.

    Сторункі-праксі

    Сторункі-праксі, назначаныя для людзей, дакументуюць тыя ж працэсы для аператараў і аўдытараў. Іх можна робіць дужа дзягучымі. Яны не павінны стаць ўжоўсёды едынай копіяю методу, якой патрэбна модэлю — таму што модэль не перэглядае ваш сайт дакументаў пад час працы, як толькі вы спецыяльна не наладзіце такую можлівасць.

    Per-figure descriptions are NOT produced on this path: charts and images
    on these pages carry no annotation, and their absence is not evidence the
    page had no figures ... check the linked source image (source_url) before
    concluding something is absent from the filing.
    

    Зберагаеце супяжы з сторанкамі-праксі і інструментамі для керавання: на сторанцы напісана, што «канонічныя інструкцыі для апарата знаходзяцца ў інструменце X», а у опісе інструмента — «людскія пояснення на URL Y». Разлік межаў між імі ёсць баг у версіі.

    Прабуйце самі

    Ёсць калькіляцыя гэтага патэрна паza межамі гэтай серыі:

    1. Запісуйце метод як последовнасць інструкцый з назвамі інструментаў і умовамі завершэння.
    2. Аддаюце яго як тэла, якое вяртае інструмент для керавання.
    3. Направляйце навыкі на інструмент; не копіюйце тэла.
    4. Змусьце інструменты для падтверджэння вяртаць інформацыю пра непавнасць пакуль не будзе адбывацца перацэнка.
    5. Размясціце пошук інструментаў перад вялікім каталогам; ацэніце точнасць першага інструмента на наборы золатых запітанняў.
    6. Зберагаеце людскія документы як праксі, а не як асалютны істочнік правды пад час выканання.
    armth: hits from filings whose summary tree is still cold (L0-only)
    trigger background tree builds — `tree_builds_enqueued` in the result
    says how many; re-run the search shortly after to get L1/L2 summaries.
    
    Evaluate a math expression EXACTLY (deterministic; LLMs are error-prone
    at multi-digit arithmetic). Compute, calculate, arithmetic, math.
    
    EXPECTED_NON_DEFERRED = {
        "guidance.py",
        "resolve_parties.py",
        "edgar_strategic_search.py",
    }
    
    # Anthropic's stated range for non-deferred tools.
    MAX_NON_DEFERRED = 5
    

    Метод будзе змянены

    Трыяктна структура часты 4 не будзе апошнім словам. Новыя методы параболізацыі, дышэўнейшыя мадэлі, аптальнейшая обработка перэраспалювання — усё гэта будзе рэалізавана. Якбы гэты метод існаваў толькі ў эсе і зборках навыкаў, кожны прыглед быў бы мнагафайловым археалогічным праектам. Калі ён існуе ў адном інструменце керавання, змяны стаюць простым рэдагаваннем плюс перагляд ключоўых запытанняў.

    Use your tool-search or tool-discovery step, but do not CALL any of the
    tools it finds. I want to read them, not run them.
    
    1. Search for tools now, by server name and by keyword, and list the MCP
       servers and tools you can reach. If your first look says you have no
       tools, search again before concluding that: with tool search enabled,
       most tools stay hidden until you go looking for them.
    
    2. Pick one non-trivial tool. Show me, verbatim and without summarising
       or reformatting:
       - its exact tool name
       - its complete description text, every line of it
       - its full input schema: each parameter, its type, its default, and
         the description attached to that parameter
    
       Print the description IN FULL even if it runs to a thousand words or
       more. Do not abbreviate it, do not list its section headings instead,
       and do not tell me to look at the tool result: I cannot see what you
       can see, which is the whole point of this.
    
    3. Then tell me, in your own words:
       - does that text instruct you to call anything BEFORE this tool, or
         AFTER it?
       - does it tell you how to interpret or filter the result?
       - does it tell you to relay anything to me?
       - is there anything in it you would not have done on your own?
    

    Галоўны вывод

    Agentic RAG – гэта не проста процедура «з’явіць даны, потым стварыць тэкст». Для выяўлення змян у дакументах SEC гэта складаны ланцуг інструментаў, які працюе правільна толькі тады, калі модэлю чытальна паведамляецца – у тым месцы, якое ён насправдэ чытае – які парадак трэба выкарыстоўваць. Тры інструмента (підсумкі значамасці, разлікі клазаў, перакананне праз падрахунок) рашаюць научную проблему з часткі 4. Яны нічога не робяць, пакуль наяўнае направлення не стане інструментам керавання, які можна вызваць; навыкі вказуюць, а не копіююць, рэзультаты не спрабуюць адразу падаць як готовыя, а пошук інструментаў можа знайсці неабходныя вадзімкі сярод дзесяткаў іншых.

    Як хочаце, можаце спрыяваць выбору і вызову як даўжэйшыя прымітывы; тое, што робіць іх разнымі, — гэта трэці момент: орыўентацыя. Орыўентацыя, якая знаходзіцца ў документах README, ёсць проста дэкорацыяй. Орыўентацыя, якая знаходзіцца ў паведамленнях сістэмы, стае неконтрольным элементам. Орыўентацыя, якая знаходзіцца ў короткім, можна шуканым і належным домену інструменце для керавання, ёсць функцыональной.

    Работа USPTO MCP навучыла тое ж самае па правілам на знакі і патэнты: дружэлюбныя назвы інструментоў без пэракладу спрыяюць адчутку, што першыя вызовы будуць правільнымі. Работа EDGAR успадкавала гэтыя проблемы і спецыяльна перанесла процэс работы ў докстрынгі. Трыдзяць пяць інструментоў зробілі пошук інструментоў неабходным; пошук зробіў якасць апісання частынай правільнасці, а не маркетынгавым тэкстам.

    Тое, што бачыць чалавек, должна застацца спакойным. Тое, што напісана на сторонічках-проксі, должна застацца цэлым. Тое, што чытае мадэль пры першай рэальнай выявленні, должна застацца короткай, імператыўной і пазначанай версіяй разам з методам. Калі завтра змяніцца метод, змяніце інструмент керавання і парадныя запытанні, і ўжо раз запрацаваце іх. Не ловіце дванаццаць скопіяў, якія былі прыкладзены.

    Калі вы взяце адну інжынерную правілу з гэтага раздэла: ніколі не дазволяйце ўжоедынственной копіі багатапрыемковага методу знаходзіцца там, дзе мадэль не можа яго вызваць. Эсэі навучаюць людзей. Інструменты керавання навучаюць агентаў. Навыкі — гэта вказывальнікі. Рэзультаты — гэта паўвыразы, якія вымагаюць наступнага дзеяслова. Пошук інструментаў — гэта вораты, якія вяршаюць, чы рэчы з таго тэксту увайдзе ў кімнату.

    Серыя продолжаецца: інструменты развіваюцца, каталог расшыраецца, а інструкцыйны элементы павінны застаўляцца найболей стыслым і правдазнаею апісаннем таго, як гэтыя інструменты взаімаўна дзейнуюць. Самэй так агентны RAG выконвае тры крокі замест аднаго яскравага вызову.

    Конкрэтны спіс пераканальных пунктаў для новай групы рабочых процэсаў:

    • Дайце назвы інструментам і способам пераканання, якія ускладнююць бесшумныя аберання.
    • Напісце інструмент для інструкцый, чыяя апісанне падходзіць да таго, як запытаюцься корыстнікі.
    • Зберагчыце тэкст адпаведзі да колькасці каля кількох сотняў слоў.
    • Направіце навыкі на гэты інструмент; забраніце копіюванне-выклейванне.
    • Пазначыце адпаведзі з доказамя як непачатыя без пераканання.
    • Дадзіце «золатыя» запытанні, дзе першы інструмент павінен быць інструкцыйным.
    • Падключыце стороннія старонкі без таго, каб яны сталі крытычнымі пад час выканання.
    • Разыграйце зміну методу як рэдагаванне адзінаго інструмента.

    Команды, які ігнаруюць співачэку, знову сталкваюцца з проблемай Context Rot па складны чын: мадэль «ачытала» оба даследжэння, вольна гаворыла, але не зазначыла важлівых змян. Команды, якіе выкарыстоўваюць співачэку, бачаць, што агентны RAG становіцца нудным у найкрашчым сэнсе — прагнозаваныя крокі, можна цытаваць клазулі і падсчыт пераканальных доказоў, які можа быць абмовлены.

    Нуднасць — гэта мета. Яскравыя адпаведзі з аднаго інструмента — гэта спосаб, якім тыхія працяжкі падаюць да корыстнікаў.

    Evaluate a math expression EXACTLY (deterministic; LLMs are error-prone
    at multi-digit arithmetic). Compute, calculate, arithmetic, math.
    
    Use it over numbers you ALREADY retrieved (e.g. from
    query_financial_facts) — it does NOT fetch data. Supports + - * / // % **,
    unary minus, and abs, round, min, max, pow, sqrt, log (natural), log10,
    log2, exp, floor, ceil, plus constants pi and e. No variables, attribute
    access, or other calls (safe AST evaluator).
    
    Examples:
    - 5-yr revenue CAGR: "(60922/26974)**(1/5) - 1"
    - net debt / EBITDA: "(96700 - 29943) / 34000"
    - YoY % change: "(383285 - 394328) / 394328 * 100"
    - segment as % of total: "23056 / 81462 * 100"
    
    Returns {expression, result, formatted} on success, or {error, expression}
    if the expression is rejected.
    

    Ўтрэбнікі

    Галоўныя джэрэлы для гэтага выпуску включаюць літэратуру пра ReAct і выкарыстоўванне інструментаў як фон, доследжэння Chroma «Context Rot» для падтверджэння эфекта зменшэння дужыны, методы стыкання у стылі RAPTOR, якія вікорыстоўваліся ў частцы 1, пакульнія часткі гэтай серыі EDGAR Intelligence MCP для інструментаў L1/diff/count, а таксама власны каталог інструментаў MCP праекту і дакументацыю пра заменікі. Назвы пакетаў і API змінююцца — трэба спрыягчыць тэкст інструментаў керавання як версіяваны контракт для поведзення агента, а людскія тэксты трэба расследжваць як каментары, а не як факты часу выканання.

    Чаму інертныя методы здаюцца завершанымі на сторонце

    Тэхнічныя тэксты выкарыстаныя ў дэталізаваных адказах. Абарот, у яком упамінююцца L1, diff і падрахунок чытанняў, нагадвае дызайн. Агенты не чытаюць дызайны; яны чытаюць тэксты інструментаў у межах вялічыны бюджэту. Самэй гэтых аудыянсаў стварае сітуацыю, калі большасць „агентскіх“ дэманстрацый тыхо ператвараюцца ў простыя оберткі для адзінаго інструмента. Ёжыце гэтыя разлікі значыць прыняць тое, што частка вашых найлепшых тэкстаў павінна быць перапісана як вызываемыя процедуры — і што такія процедуры могу быць менш вітончаныя, чым эсэ.

    Орыентацыя проты якосці выкарыстання інфармацыі

    Удосконаленне методаў утварэння эмбедынгаў, разбівання даных на часткі і пераранжавання дапамагае інструментам аналізу доказаў. Гэта не прыказвае модэлю вызываць тры з іх у певной 순서. Команды часта прыдзеляюць чвэртак на доўнераванне паракаметраў аналізу дадзеных і тыдзень на стварэнне запітоў, а потым дывуецца, чаму адказ на выявленні змян все равно складаецца толькі з адного вызыву diff_filings. Бюджэтная орыѐнтацыя як прыорытэтны направлення работы: тэкст апісання, сынантымы для пошуку, тэсты з вікорыстаннем „золатых“ інструментаў і перагляды фармата адказаў.

    Прыклады неудач, якія варта зафіксаваць

    Зафіксуйце тыя неудачы, за якія вы ужо заплатылі: завершэння працы пасля досягнення крытычэскага пункту, які паказвае толькі змены фармату; даверлівасць до двойных падсумакоў, якія маскуюць суперсечанні; спрыйманне рэорганізацыі як чагось новага; адказ на запітанні раней, чым компанія завершыла аналіз; з’еднанне последовасцей USPTO ў сеансы EDGAR. Кожная неудача стае адной з обав’язковых пунктав у інструкціях і адной з „золатых“ запытанняў, на якіе не будзе адказу, калі гэты пункт будэт прыгнораваны.

    Эканаміка токенаў у кансалтатывных інструментах

    Адпаведны адказ дужаючы 300 слоў ёсць дагодзейнейшы, чым падставлянне двух дакументаў 10-K у кантэкст “на всякі случай”, і дагодзейнейшы, чым выкарыстоўванне сістэмных заповедзей, якія перыядычна паводзяць спіс усіх рабочых процэсаў. Ён таксама дагодзейнейшы, чым расходы на падтрымку некорэктных адказаў. Кансалтатывныя інструменты трэба мераваць так сама, як і срэдства для пошуку: за часам адпаведзення, канцэнтрацыяй успехоў у пошуку і ступенем пасэрання адпаведзенняў пасля перакантрольвання — а не толькі за тым, чы рэчапіс звучыць крэатыўна.

    Управлінне

    Калі людзі могу рэедытаваць кансалтатывныя інструменты? Ставіцеся да ўсіх іх як да конфігурацыйных параметраў для працы. Трэба выканаць перагляд, зберагчы історыю змян і заблакаваць з’еднання, якія змяняюць кансалтатывны контэнт без адкорэктывацыі базовых запытаў. Аператары, якія чытаюць стороннія старонкі, должны бачыць той самы ідэнтыфікатор версіі, які інструмент вяртае ў радку загалоўка. Калі пад час аўдыту запытаюць, чаму агент вызваў тры інструменты, трэба паказаць на версіяваны кансалтатывны контэнт — а не на аргумент з Slack з мінулага месца.

    Што не трэба даваць у кансалтатывны контэнт

    Не трэба класты секрэты, URL-адрысы сераўнаў з атрыбутамі прынтэз, а таксама інфармацыю, спецыфічную для паказчыка. Не трэба класты цэлыя фрагменты дакументаў. Не трэба класты складныя правілы, прыроўнаныя за дзейснасцю да романаў. Трэба класты праблему, умовы завершэння і назвы наступных засобаў. Якшо якая-сабе дэталі належыць толькі для людзей, застаўце яе на сторанцы-праксі.

    Связь з графамі у стыле LangGraph

    Дзякуючы дзеям команд, тры крокі часта кодуюцца як жорсткі граф без можлівасці выбору модэлю. Гэта дазволены і часта бяспечнейшы падход. Інструменты-нарадчыкі становяцца корыстнымі, калі вы все ж хочаце, каб модэль быў у працэсе для недастаткова апісаных запытанняў, але ў той жа час трэба, каб метод заставаліся доступным сярод многа засобаў. Графы і нарадчыкі дапамагаюць адна другой: граф можа рэалізаваць выбраны метод, а нарадчыкі спрыяюць выбору і памагаюць гібрыдным агентам застаўцца чыстаснай.

    Эскіз інструмента для ацэнкі

    Зберагаюцься таблыцы з пытаннямі корыстнікаў, запланаваным першым інструментам, планаванай последовасцю інструментаў і інструментамі, якім забораняецца выкарыстоўваць рана. Заставляйце прыстрой запускатыся пасля кожных змян у інструкціях. Калі точнасць выбору першага інструмента падыходзіць, працэс стварэння завершаецца з адмовай. Кожны тыдзень пераглядайце транскрыпціі, каб выявіць выразныя адказы, у якіх не было паракцэнтавання. Публікуйце простую панель керування, каб аддзел продуктаў і аддзел тэхнічной падтрымкі маглі выкарыстоўваць адно і тое ж значэнне фразы “агент выконаў тры крокі”.

    Пра назвы

    Называйце інструмент так, як таго патрабуе пошук: дзеясловы выразы, якія вводзяць корыстнікі (explain_yoy_risk_factor_method), лепшыя за хітрые внутрашні кодаваныя назвы. У апісаннях трэба паводзіць сабою сынонімы: змена, дэльта, па вырахунку за год, факторы рызыка, Пункт 1A, у пораўнанні з празлеглым годам. Негатыўныя пазнакі таксама дапамагаюць: “не для рэальных котыранняў акцыяў”, “не для стварэння аповесці з адного параграфа”.

    Масштабаванне за межы адной серыі

    Калі кілька домэнаў будуць распаўсюджваць інструменты керавання, створыце маленькі мета-індэкс: домэн → назва інструмента керавання. Не аб’еднвайце домэны ў одын інструмент для напісання эсэ. Кантамінацыя межа домэнаў — гэта спосаб, якавым парады USPTO прасачуцца ў сесіі EDGAR. Храніце індэкс простым і чытальным.

    У частцы 4 было паказана, чаму адзін інструмент наукова недастатковы. У гэтай частцы паказана, чаму правільны науковы метод все равно не функцыонуе без можлівасці керавання. Чытайце іх разам: інструменты без керавання ёсць бяздзейнымі; керавання без інструментаў — гэта тэатр. Разам воні ёсць тым, як агентны RAG здобывае атрыбут «агентны» у заданні, якое карае за бездзейнасць.

    Перад адправкайцем змены ў кераванні, атрымайце прыкладны выконанне: практычная сесія, «золатыя» запітанні, паказваце, што кераванне ўжо ёсць першым інструментам, паказваце, што L1 працюе з обох бакоў, паказваце, што запрашваецца разлік з называным парам керавання, паказваце, што ведзёцца підрахунок выконанняў, паказваце, што адпаведны адказ, відны ўжывачу, цітуе пункты і зазначае перакананне. Запісайце ID транскрыпцыі ля версіі керавання. Калі які-небудзь крок быў прахаваны, паспрабуйце выправіць апісанне чы то пошук, перш чым радавацца показнікам вярнага адналёгання.

    Операцыйны дадатак: сцэнарый прыкладнага выканання

    Перад адправкайцем змены ў кераванні, атрымайце прыкладны выконанне: практычная сесія, «золатыя» запітанні, паказваце, што кераванне ўжо ёсць першым інструментам, паказваце, што L1 працюе з обох бакоў, паказваце, што запрашваецца разлік з называным парам керавання, паказваце, што ведуцца підрахункі выконанняў, паказваце, што адпаведны адказ, відны корыстніку, цытуе пункты і зазначае перакананне. Запісуйце ID транскрыпцыі пад версіяй керавання. Калі які-небудзь крокы былі праўлены, паспрабуйце выправіць апісанне чы то пошук, прычаму не трэба спяшаць з аналізам показнікаў адзыскання.

    Операцыйны дадатак: сцэнарый прыкладнага выканання

    Перад адправкайцем змены ў кераванні, атрымайце прыкладны выконанне: практычная сесія, «золатыя» запітанні, паказваце, што кераванне ўжо ёсць першым інструментам, паказваце, што L1 працюе з обох бакоў, паказваце, што запрашваецца разлік з называным парам керавання, паказваце, што ведзёцца підрахунок выконанняў, паказваце, што адпаведны адказ, відны ўжывачу, цітуе пункты і зазначае перакананне. Запісуйце ID транскрыпцыі пад версіяй керавання. Калі які-небудзь крок быў прахаваны, паспрабуйце выправіць апісанне чы то пошук, прычаму не трэба спяшаць з аналізам показнікаў адзыскання.

    Операцыйны дадатак: сцэнарый прыкладнага выканання

    Перад адправкайцем змены ў кераванні, атрымайце прыкладны выконанне: практычная сесія, «золатыя» запітанні, паказваце, што кераванне ўжо ёсць першым інструментам, паказваце, што L1 працюе з обох бакоў, паказваце, што запрашваецца разлік з называным парам керавання, паказваце, што ведзёцца підрахунок выконанняў, паказваце, што адпаведны адказ, відны ўжывачу, цітуе пункты і зазначае перакананне. Запісайце ID транскрыпцыі ля версіі керавання. Калі які-небудзь крок быў прыпусцены, паспрабуйце выправіць апісанне чы то пошук, прычаму не трэба спяшаць з аналізам показнікаў адзыскання.

    Операцыйны дадатак: сцэнарый прыкладнага выканання

    Перад адправкайцем змены ў кераванні, атрымайце прыкладны выконанне: практычная сесія, «золатыя» запітанні, паказваце, што кераванне ўжо ёсць першым інструментам, паказваце, што L1 працюе з обох бакоў, паказваце, што запрашваецца разлік з называным парам керавання, паказваце, што ведуцца підрахункі выконанняў, паказваце, што адпаведны адказ, відны корыстніку, цытуе пункты і зазначае перакананне. Запісуйце ID транскрыпцыі пад версіяй керавання. Калі які-небудзь крокы былі праўжаны, паспрабуйце выправіць апісанне чы то пошук, прычаму не трэба спяшаць з аналізам показнікаў выкарыстоўвання.

    Операцыйны дадатак: сцэнарый прыкладнага выканання

    Перад адправкайцем змены ў кераванні, атрымайце прыкладны выконанне: практычная сесія, «золатыя» запітанні, паказваце, што кераванне ўжо ёсць першым інструментам, паказваце, што L1 працюе з обох бакоў, паказваце, што запрашваецца разлік з называным парам керавання, паказваце, што ведуцца підрахункі выконанняў, паказваце, што адпаведны адказ, відны корыстніку, цытуе пункты і зазначае перакананне. Запісуйце ID транскрыпцыі пад версіяй керавання. Калі які-небудзь крокы былі праўлены, паспрабуйце выправіць апісанне чы то пошук, прычаму не трэба спяшаць з аналізам показнікаў адзыскання.

    Операцыйны дадатак: сцэнарый прыкладнага выканання

    Перад адправкайцем змены ў кераванні, атрымайце прыкладны выконанне: практычная сесія, «золатыя» запітанні, паказваце, што кераванне ўжо ёсць першым інструментам, паказваце, што L1 працюе з обох бакоў, паказваце, што запрашваецца разлік з называным парам керавання, паказваце, што ведзёцца підрахунок выконанняў, паказваце, што адпаведны адказ, відны ўжывачу, цітуе пункты і зазначае перакананне. Запісайце ID транскрыпцыі ля версіі керавання. Калі які-небудзь крок быў прыпусцены, паспрабуйце выправіць апісанне чы то пошук, прычаму не трэба спяшаць з аналізам показнікаў адзыскання.

    Операцыйны дадатак: сцэнарый прыкладнага выканання

    Перад адправкайцем змены ў кераванні, атрымайце прыкладны выконанне: практычная сесія, «золатыя» запітанні, паказваце, што кераванне ўжо ёсць першым інструментам, паказваце, што L1 працюе з обох бакоў, паказваце, што запрашваецца разлік з называным парам керавання, паказваце, што ведуцца підрахункі выконанняў, паказваце, што адпаведны адказ, відны корыстніку, цытуе пункты і зазначае перакананне. Запісуйце ID транскрыпцыі пад версіяй керавання. Калі які-небудзь крокы былі праўлены, паспрабуйце выправіць апісанне чы то пошук, прычаму не трэба спяшаць з аналізам показнікаў адзыскання.

    Операцыйны дадатак: сцэнарый прыкладнага выканання

    Перад адправкайцем змены ў кераванні, атрымайце прыкладны выконанне: практычная сесія, «золатыя» запітанні, паказваце, што кераванне ўжо ёсць першым інструментам, паказваце, што L1 працюе з обох бакоў, паказваце, што запрашваецца разлік з называным парам керавання, паказваце, што ведуцца підрахункі выконанняў, паказваце, што адпаведны адказ, відны корыстніку, цытуе пункты і зазначае перакананне. Запісуйце ID транскрыпцыі пад версіяй керавання. Калі які-небудзь крокы былі праўлены, паспрабуйце выправіць апісанне чы то пошук, прычаму не трэба спяшаць з аналізам показнікаў адзыскання.

    Операцыйны дадатак: сцэнарый прыкладнага выканання

    Перад адправкайцем змены ў кераванні, атрымайце прыкладны выконанне: практычная сесія, «золатыя» запітанні, паказваце, што кераванне ўжо ёсць першым інструментам, паказваце, што L1 працуе на обох сторонах, паказваце, што запрашуецца разлік з пазначэнням назвы керавання для пары, паказваце, што ведуцца підрахункі выконанняў, паказваце, што адпаведны адказ, відны корыстніку, цытуе пункты і зазначае перакананне. Запісайце ID транскрыпцыі пад версіяй керавання. Калі які-небудзь крок быў прахаваны, паспрабуйце выправіць опіс або пошук прычыны, перш чым радавацца показнікам вярнуць.

    Операцыйны дадатак: сцэнарый прыкладнага выканання

    Перад адправкайцем змены ў кераванні, атрымайце прыкладны выконанне: практычная сесія, «золатыя» запітанні, паказваце, што кераванне ўжо ёсць першым інструментам, паказваце, што L1 працуе з обох бакоў, паказваце, што запрашваецца разлік з называным парам керавання, паказваце, што ведуцца підрахункі выконанняў, паказваце, што адпаведны адказ, відны корыстніку, цытуе пункты і зазначае перакананне. Запісуйце ID транскрыпцыі пад версіяй керавання. Калі які-небудзь крокы былі праўлены, паспрабуйце выправіць апісанне чы то пошук, прычаму не трэба спяшаць з аналізам показнікаў адзыскання.

    Операцыйны дадатак: сцэнарый прыкладнага выканання

    Перад адправкайцем змены ў кераванні, атрымайце прыкладны выконанне: практычная сесія, «золатыя» запітанні, паказваць, чы ў кераванні ёсць першы інструмент, паказваць, чы L1 працюе з обох бакоў, паказваць, чы запрашваецца разлік з назвам партнерскага керавання, паказваць, чы ведуцца підрахункі, паказваць, чы адпаведны адказ, відны корыстніку, цытуе пункты і зазначае перакананне. Запісайце ID транскрыпцыі пад версіяй керавання. Калі які-небудзь крокы былі праўлены, паспрабуйце выправіць апісанне чы пошук прычын перш чым радавацца показначальнікам вярнуць даныя.

    Операцыйны дадатак: сцэнарый прыкладнага выканання

    Перад адправкайцем змены ў кераванні, атрымайце прыкладны выконанне: практычная сесія, «золатыя» запітанні, паказваце, што кераванне ўжо ёсць першым інструментам, паказваце, што L1 працюе з обох бакоў, паказваце, што запрашваецца разлік з называным парам керавання, паказваце, што ведуцца підрахункі выконанняў, паказваце, што адпаведны адказ, відны корыстніку, цытуе пункты і зазначае перакананне. Запісуйце ID транскрыпцыі пад версіяй керавання. Калі які-небудзь крокы былі праўлены, паспрабуйце выправіць апісанне чы то пошук, прычаму не трэба спяшаць з аналізам показнікаў адзыскання.

    Операцыйны дадатак: сцэнарый прыкладнага выканання

    Перад адправкайцем змены ў кераванні, атрымайце прыкладны выконанне: практычная сесія, «золатыя» запітанні, паказваце, што кераванне ўжо ёсць першым інструментам, паказваце, што L1 працюе з обох бакоў, паказваце, што запрашваецца разлік з называным парам керавання, паказваце, што ведзёцца підрахунок выконанняў, паказваце, што адпаведны адказ, відны ўжывачу, цітуе пункты і зазначае перакананне. Запісайце ID транскрыпцыі ля версіі керавання. Калі які-небудзь крок быў прахаваны, паспрабуйце выправіць апісанне чы то пошук, перш чым радавацца показнікам вярнага адналёгання.

    Операцыйны дадатак: сцэнарый прыкладнага выканання

    Перад адправкайцем змены ў кераванні, атрымайце прыкладны выконанне: практычная сесія, «золатыя» запітанні, паказваце, што кераванне ўжо ёсць першым інструментам, паказваце, што L1 працюе з обох бакоў, паказваце, што запрашваецца разлік з называным парам керавання, паказваце, што ведзёцца підрахунок выконанняў, паказваце, што адпаведны адказ, відны ўжывачу, цітуе пункты і зазначае перакананне. Запісайце ID транскрыпцыі ля версіі керавання. Калі які-небудзь крок быў прахаваны, паспрабуйце выправіць апісанне чы то пошук, перш чым радавацца показнікам вярнага адналёгання.

    Операцыйны дадатак: сцэнарый прыкладнага выканання

    Перад адправкайцем змены ў кераванні, атрымайце прыкладны выконанне: практычная сесія, «золатыя» запітанні, паказваце, што кераванне ўжо ёсць першым інструментам, паказваце, што L1 працюе з обох бакоў, паказваце, што запрашваецца разлік з называным парам керавання, паказваце, што ведзёцца підрахунок выконанняў, паказваце, што адпаведны адказ, відны ўжывачу, цітуе пункты і зазначае перакананне. Запісайце ID транскрыпцыі ля версіі керавання. Калі які-небудзь крок быў прахаваны, паспрабуйце выправіць апісанне чы то пошук, перш чым радавацца показнікам вярнага адналёгання.

    Операцыйны дадатак: сцэнарый прыкладнага выканання

    Перад адправкайцем змены ў кераванні, атрымайце прыкладны выконанне: практычная сесія, «золатыя» запітанні, паказваце, што кераванне ўжо ёсць першым інструментам, паказваце, што L1 працюе з обох бакоў, паказваце, што запрашваецца разлік з называным парам керавання, паказваце, што ведзёцца підрахунок выконанняў, паказваце, што адпаведны адказ, відны ўжывачу, цітуе пункты і зазначае перакананне. Запісайце ID транскрыпцыі ля версіі керавання. Калі які-небудзь крок быў прахаваны, паспрабуйце выправіць апісанне чы то пошук, перш чым радавацца показнікам вярнага адналёгання.

    Операцыйны дадатак: сцэнарый прыкладнага выканання

    Перад адправкайцем змены ў кераванні, атрымайце прыкладны выконанне: практычная сесія, «золатыя» запітанні, паказваце, што кераванне ўжо ёсць першым інструментам, паказваце, што L1 працюе з обох бакоў, паказваце, што запрашваецца разлік з называным парам керавання, паказваце, што ведзёцца підрахунок выконанняў, паказваце, што адпаведны адказ, відны ўжывачу, цітуе пункты і зазначае перакананне. Запісайце ID транскрыпцыі ля версіі керавання. Калі які-небудзь крок быў прахаваны, паспрабуйце выправіць апісанне чы то пошук, перш чым радавацца показнікам вярнага адналёгання.

    Операцыйны дадатак: сцэнарый прыкладнага выканання

    Перад адправкайцем змены ў кераванні, атрымайце прыкладны выконанне: практычная сесія, «золатыя» запітанні, паказваце, што кераванне ўжо ёсць першым інструментам, паказваце, што L1 працюе з обох бакоў, паказваце, што запрашваецца разлік з называным парам керавання, паказваце, што ведзёцца підрахунок выконанняў, паказваце, што адпаведны адказ, відны ўжывачу, цітуе пункты і зазначае перакананне. Запісайце ID транскрыпцыі ля версіі керавання. Калі які-небудзь крок быў прахаваны, паспрабуйце выправіць апісанне чы то пошук, перш чым радавацца показнікам вярнага адналёгання.

    Операцыйны дадатак: сцэнарый прыкладнага выканання

    Перад адправкайцем змены ў кераванні, атрымайце прыкладны выконанне: практычная сесія, «золатыя» запітанні, паказваце, што кераванне ўжо ёсць першым інструментам, паказваце, што L1 працюе з обох бакоў, паказваце, што запрашваецца разлік з называным парам керавання, паказваце, што ведзёцца підрахунок выконанняў, паказваце, што адпаведны адказ, відны ўжывачу, цітуе пункты і зазначае перакананне. Запісайце ID транскрыпцыі ля версіі керавання. Калі які-небудзь крок быў прахаваны, паспрабуйце выправіць апісанне чы то пошук, перш чым радавацца показнікам вярнага адналёгання.

    Операцыйны дадатак: сцэнарый прыкладнага выканання

    Перад адправкайцем змены ў кераванні, атрымайце прыкладны выконанне: практычная сесія, «золатыя» запітанні, паказваце, што кераванне ўжо ёсць першым інструментам, паказваце, што L1 працюе з обох бакоў, паказваце, што запрашваецца разлік з называным парам керавання, паказваце, што ведзёцца підрахунок выконанняў, паказваце, што адпаведны адказ, відны ўжывачу, цітуе пункты і зазначае перакананне. Запісайце ID транскрыпцыі ля версіі керавання. Калі які-небудзь крок быў прахаваны, паспрабуйце выправіць апісанне чы то пошук, перш чым радавацца показнікам вярнага адналёгання.

    Операцыйны дадатак: сцэнарый прыкладнага выканання

    Перад адправкайцем змены ў кераванні, атрымайце прыкладны выконанне: практычная сесія, «золатыя» запітанні, паказваце, што кераванне ўжо ёсць першым інструментам, паказваце, што L1 працюе з обох бакоў, паказваце, што запрашваецца разлік з называным парам керавання, паказваце, што ведзёцца підрахунок выконанняў, паказваце, што адпаведны адказ, відны ўжывачу, цітуе пункты і зазначае перакананне. Запісайце ID транскрыпцыі ля версіі керавання. Калі які-небудзь крок быў прахаваны, паспрабуйце выправіць апісанне чы то пошук, перш чым радавацца показнікам вярнага адналёгання.

    Операцыйны дадатак: сцэнарый прыкладнага выканання

    Перад адправкайцем змены ў кераванні, атрымайце прыкладны выконанне: практычная сесія, «золатыя» запітанні, паказваце, што кераванне ўжо ёсць першым інструментам, паказваце, што L1 працюе з обох бакоў, паказваце, што запрашваецца разлік з называным парам керавання, паказваце, што ведзёцца підрахунок выконанняў, паказваце, што адпаведны адказ, відны ўжывачу, цітуе пункты і зазначае перакананне. Запісайце ID транскрыпцыі ля версіі керавання. Калі які-небудзь крок быў прахаваны, паспрабуйце выправіць апісанне чы то пошук, перш чым радавацца показнікам вярнага адналёгання.

    Операцыйны дадатак: сцэнарый прыкладнага выканання

    Перад адправкайцем змены ў кераванні, атрымайце прыкладны выконанне: практычная сесія, «золатыя» запітанні, паказваце, што кераванне ўжо ёсць першым інструментам, паказваце, што L1 працюе з обох бакоў, паказваце, што запрашваецца разлік з называным парам керавання, паказваце, што ведзёцца підрахунок выконанняў, паказваце, што адпаведны адказ, відны ўжывачу, цітуе пункты і зазначае перакананне. Запісайце ID транскрыпцыі ля версіі керавання. Калі які-небудзь крок быў прахаваны, паспрабуйце выправіць апісанне чы то пошук, перш чым радавацца показнікам вярнага адналёгання.

    Операцыйны дадатак: сцэнарый прыкладнага выканання

    Перад адправкайцем змены ў кераванні, атрымайце прыкладны выконанне: практычная сесія, «золатыя» запітанні, паказваце, што кераванне ўжо ёсць першым інструментам, паказваце, што L1 працюе з обох бакоў, паказваце, што запрашваецца разлік з называным парам керавання, паказваце, што ведзёцца підрахунок выконанняў, паказваце, што адпаведны адказ, відны ўжывачу, цітуе пункты і зазначае перакананне. Запісайце ID транскрыпцыі ля версіі керавання. Калі які-небудзь крок быў прахаваны, паспрабуйце выправіць апісанне чы то пошук, перш чым радавацца показнікам вярнага адналёгання.

    Операцыйны дадатак: сцэнарый прыкладнага выканання

    Перад адправкайцем змены ў кераванні, атрымайце прыкладны выконанне: практычная сесія, «золатыя» запітанні, паказваце, што кераванне ўжо ёсць першым інструментам, паказваце, што L1 працюе з обох бакоў, паказваце, што запрашваецца разлік з называным парам керавання, паказваце, што ведзёцца підрахунок выконанняў, паказваце, што адпаведны адказ, відны ўжывачу, цітуе пункты і зазначае перакананне. Запісайце ID транскрыпцыі ля версіі керавання. Калі які-небудзь крок быў прахаваны, паспрабуйце выправіць апісанне чы то пошук, перш чым радавацца показнікам вярнага адналёгання.

    Операцыйны дадатак: сцэнарый прыкладнага выканання

    Перад адправкайцем змены ў кераванні, атрымайце прыкладны выконанне: практычная сесія, «золатыя» запітанні, паказваце, што кераванне ўжо ёсць першым інструментам, паказваце, што L1 працюе з обох бакоў, паказваце, што запрашваецца разлік з называным парам керавання, паказваце, што ведзёцца підрахунок выконанняў, паказваце, што адпаведны адказ, відны ўжывачу, цітуе пункты і зазначае перакананне. Запісайце ID транскрыпцыі ля версіі керавання. Калі які-небудзь крок быў прахаваны, паспрабуйце выправіць апісанне чы то пошук, перш чым радавацца показнікам вярнага адналёгання.

    Операцыйны дадатак: сцэнарый прыкладнага выканання

    Перад адправкайцем змены ў кераванні, атрымайце прыкладны выконанне: практычная сесія, «золатыя» запітанні, паказваце, што кераванне ўжо ёсць першым інструментам, паказваце, што L1 працюе з обох бакоў, паказваце, што запрашваецца разлік з называным парам керавання, паказваце, што ведзёцца підрахунок выконанняў, паказваце, што адпаведны адказ, відны ўжывачу, цітуе пункты і зазначае перакананне. Запісайце ID транскрыпцыі ля версіі керавання. Калі які-небудзь крок быў прахаваны, паспрабуйце выправіць апісанне чы то пошук, перш чым радавацца показнікам вярнага адналёгання.

    Операцыйны дадатак: сцэнарый прыкладнага выканання

    Перад адправкайцем змены ў кераванні, атрымайце прыкладны выконанне: практычная сесія, «золатыя» запітанні, паказваце, што кераванне ўжо ёсць першым інструментам, паказваце, што L1 працюе з обох бакоў, паказваце, што запрашваецца разлік з называным парам керавання, паказваце, што ведзёцца підрахунок выконанняў, паказваце, што адпаведны адказ, відны ўжывачу, цітуе пункты і зазначае перакананне. Запісайце ID транскрыпцыі ля версіі керавання. Калі які-небудзь крок быў прахаваны, паспрабуйце выправіць апісанне чы то пошук, перш чым радавацца показнікам вярнага адналёгання.

    Операцыйны дадатак: сцэнарый прыкладнага выканання

    Перад адправкайцем змены ў кераванні, атрымайце прыкладны выконанне: практычная сесія, «золатыя» запітанні, паказваце, што кераванне ўжо ёсць першым інструментам, паказваце, што L1 працюе з обох бакоў, паказваце, што запрашваецца разлік з называным парам керавання, паказваце, што ведзёцца підрахунок выконанняў, паказваце, што адпаведны адказ, відны ўжывачу, цітуе пункты і зазначае перакананне. Запісайце ID транскрыпцыі ля версіі керавання. Калі які-небудзь крок быў прахаваны, паспрабуйце выправіць апісанне чы то пошук, перш чым радавацца показнікам вярнага адналёгання.

    Операцыйны дадатак: сцэнарый прыкладнага выканання

    Перад адправкайцем змены ў кераванні, атрымайце прыкладны выконанне: практычная сесія, «золатыя» запітанні, паказваце, што кераванне ўжо ёсць першым інструментам, паказваце, што L1 працюе з обох бакоў, паказваце, што запрашваецца разлік з называным парам керавання, паказваце, што ведзёцца підрахунок выконанняў, паказваце, што адпаведны адказ, відны ўжывачу, цітуе пункты і зазначае перакананне. Запісайце ID транскрыпцыі ля версіі керавання. Калі які-небудзь крок быў прахаваны, паспрабуйце выправіць апісанне чы то пошук, перш чым радавацца показнікам вярнага адналёгання.

    Операцыйны дадатак: сцэнарый прыкладнага выканання

    Перад адправкайцем змены ў кераванні, атрымайце прыкладны выконанне: практычная сесія, «золатыя» запітанні, паказваце, што кераванне ўжо ёсць першым інструментам, паказваце, што L1 працюе з обох бакоў, паказваце, што запрашваецца разлік з называным парам керавання, паказваце, што ведзёцца підрахунок выконанняў, паказваце, што адпаведны адказ, відны ўжывачу, цітуе пункты і зазначае перакананне. Запісайце ID транскрыпцыі ля версіі керавання. Калі які-небудзь крок быў прахаваны, паспрабуйце выправіць апісанне чы то пошук, перш чым радавацца показнікам вярнага адналёгання.

    Операцыйны дадатак: сцэнарый прыкладнага выканання

    Перад адправкайцем змены ў кераванні, атрымайце прыкладны выконанне: практычная сесія, «золатыя» запітанні, паказваце, што кераванне ўжо ёсць першым інструментам, паказваце, што L1 працюе з обох бакоў, паказваце, што запрашваецца разлік з называным парам керавання, паказваце, што ведзёцца підрахунок выконанняў, паказваце, што адпаведны адказ, відны ўжывачу, цітуе пункты і зазначае перакананне. Запісайце ID транскрыпцыі ля версіі керавання. Калі які-небудзь крок быў прахаваны, паспрабуйце выправіць апісанне чы то пошук, перш чым радавацца показнікам вярнага адналёгання.

    Операцыйны дадатак: сцэнарый прыкладнага выканання

    Перад адправкайцем змены ў кераванні, атрымайце прыкладны выконанне: практычная сесія, «золатыя» запітанні, паказваце, што кераванне ўжо ёсць першым інструментам, паказваце, што L1 працюе з обох бакоў, паказваце, што запрашваецца разлік з называным парам керавання, паказваце, што ведзёцца підрахунок выконанняў, паказваце, што адпаведны адказ, відны ўжывачу, цітуе пункты і зазначае перакананне. Запісайце ID транскрыпцыі ля версіі керавання. Калі які-небудзь крок быў прахаваны, паспрабуйце выправіць апісанне чы то пошук, перш чым радавацца показнікам вярнага адналёгання.

    Операцыйны дадатак: сцэнарый прыкладнага выканання

    Перад адправкайцем змены ў кераванні, атрымайце прыкладны выконанне: практычная сесія, «золатыя» запітанні, паказваце, што кераванне ўжо ёсць першым інструментам, паказваце, што L1 працюе з обох бакоў, паказваце, што запрашваецца разлік з называным парам керавання, паказваце, што ведзёцца підрахунок выконанняў, паказваце, што адпаведны адказ, відны ўжывачу, цітуе пункты і зазначае перакананне. Запісайце ID транскрыпцыі ля версіі керавання. Калі які-небудзь крок быў прахаваны, паспрабуйце выправіць апісанне чы то пошук, перш чым радавацца показнікам вярнага адналёгання.

    Операцыйны дадатак: сцэнарый прыкладнага выканання

    Перад адправкайцем змены ў кераванні, абавяжыце рэпетыцыю: практычны тэст, «золатыя» запітанні, паказваце, што кераванне ўжо ёсць першым інструментам, паказваце, што L1 працуе з обох бакоў, паказваце, што запрашваецца разлік з называным парам керавання, паказваце, што ведзіцца пісчытанне запускаў, паказваце, што адпаведны адказ, відны корыстніку, цытуе пункты і зазначае перакананне. Запісайце ID транскрыпцыі пад версіяй керавання. Калі які-небудзь крок быў прахаваны, паспрабуйце выправіць апісанне чы то пошук, перш чым радавацца показнікам вярнага адналёгання.