Las herramientas de orientación hacen que el RAG agente realice tres pasos en lugar de una sola llamada llamativa.

Los resúmenes de relevancia, las diferencias entre cláusulas y la verificación de conteo permanecen inactivos hasta que una herramienta de orientación llamable, la búsqueda de herramientas y las respuestas incompletas enseñen a el modelo la secuencia.

Editor: REACTAPP.TOPAñadido a este sitio 26 sept 202628 min de lectura6538 palabras

Fuentes: Reflections on Tools: Getting Agentic RAG to Take Three Steps-Part 7 of my EDGAR Intelligence MCP journey

En las partes anteriores de esta serie se creó un árbol de resumen, se mantuvieron los números brutos alejados del modelo de lenguaje, se extrajo texto de las figuras, se preguntó qué cambió entre los registros, se indagó cómo se encuentra cualquier información y se determinó a qué empresa se refería una consulta. Esta sección trata de la estrecha interfaz a la que realmente llegan esas partes: un breve bloque de texto con descripción de herramientas que el modelo analiza antes de realizar una llamada.

Los tres instrumentos

La Parte 4 analizó los cambios año tras año en los factores de riesgo. Probar con ambos informes 10-K en un modelo y preguntar qué cambió falló no solo por cuestiones de costo: el método Context Rot de Chroma mantiene la tarea fija y solo varía la longitud de la entrada entre diferentes modelos; el rendimiento empeora a medida que el contexto crece, de manera desigual y de formas imposibles de predecir únicamente a partir de la tarea. Los fallos son silenciosos: un modelo que indica seis cambios nunca revela que omitió un séptimo. Incluso los marcadores a nivel de carácter tienen dificultades con la reorganización del texto; los resúmenes duales son aún peores. Lo que sobrevivió contaba con tres herramientas, no dos:

L1 para la relevancia — resúmenes por sección al estilo RAPTOR (un resumen generado por IA para cada sección del informe, según la Parte 1). Indica qué temas cambiaron. Una mención por cada lado. Capta significados que las parejas de caracteres no pueden detectar.

Diferencias como evidencia — una marca roja a nivel de cláusula que muestra la redacción citable para cada tema señalado. Totalmente mecánica, exhaustiva y revisable.

Cuento para verificación — verifica si la redacción distintiva realmente difiere entre los dos documentos. Frases compartidas en ambos lados suelen indicar un reordenamiento, no un cambio real.

Esa tríada sigue siendo correcta. Escrita como un párrafo de artículo, también es completamente inerte. Nada en ella hace que una herramienta funcione. Un modelo al que le preguntaron qué había cambiado en los factores de riesgo de Apple nunca ha leído el ensayo. Contiene una pregunta, una lista de herramientas y lo que esas herramientas dicen sobre sí mismas. Al ver diff_filings, su instinto razonable es llamarlo y narrar el resultado. El RAG agente a menudo pasa por alto esto: la recuperación es la parte fácil; la difícil es enseñarle al modelo cuáles son los tres pasos a seguir y en qué orden utilizando únicamente el texto adjunto a las herramientas.

_SECTION_SLUGS = (
    "overview", "routing", "setup", "deal_walkthrough", "diff_workflow",
    "tools", "warmth", "time_axes", "sql_track", "metrics", "alpha", "fields",
    "idempotency", "presentation", "response_bounds",
)


def _split_sections() -> dict[str, str]:
    parts = _GUIDANCE_MD.split("\n## ")[1:]
    assert len(parts) == len(_SECTION_SLUGS), (
        f"guidance has {len(parts)} sections, {len(_SECTION_SLUGS)} slugs"
    )

Si la guía es incorrecta, las herramientas nunca se combinan. Si es correcta pero no se ha leído, tampoco se combinan. El resto de este texto trata sobre hacer que esa guía se cargue, permanezca breve y sobreviva a la búsqueda de herramientas.

Selección, invocación y lo que no es ninguna de las dos cosas

El uso de herramientas se divide en dos momentos que la gente ya sabe cómo nombrar.

Selección consiste en decidir qué herramienta pertenece al conjunto activo para ese turno: enrutamiento, búsqueda de herramientas, filtrado de catálogos. Invocación es emitir una llamada estructurada con argumentos una vez que la herramienta está disponible. Los frameworks y las APIs de modelos se centran en ambos aspectos.

Existe un tercer momento que no es ninguno de los anteriores: orientación, que consiste en la descripción que indica al modelo por qué existe una herramienta en un flujo de trabajo, qué debe ocurrir antes de usarla y cómo se considera que está “terminada” después. La orientación no es una elección entre recuperar o generar información; es la frase que convierte tres instrumentos inertes en una secuencia.

La mayoría de las estructuras ocultan la orientación en un prompt del sistema que se alarga indefinidamente, o bien la omiten con la esperanza de que el nombre de la herramienta sea suficiente. Ninguno de estos enfoques funciona bien cuando se tienen docenas de herramientas MCP y un usuario que hace una pregunta sencilla sobre dos documentos.

La herramienta de guía

Una herramienta de guía es una herramienta cuya única función es proporcionar el procedimiento: la descripción breve y autorizada del método en varios pasos. No obtiene documentos, ni calcula diferencias. Devuelve el texto que el modelo debe seguir en las siguientes interacciones.

For the full repeatable diff flow see `edgar_guidance(section="diff_workflow")`.

Llamar a esta herramienta es económico en comparación con incluir todo el método en cada prompt del sistema. También es fácil de encontrar: la búsqueda de herramientas puede mostrarla cuando la consulta se refiere a “qué cambió”, y excluirla cuando el usuario solo desea un dato numérico.

Las herramientas de orientación fallan cuando se convierten en copias adicionales de documentación desactualizada, o cuando intentan realizar la búsqueda por sí mismas. Manténgalas de carácter procedural y breves.

Las habilidades lo indican. No las copian.

Las habilidades (o paquetes de habilidades, o guías para agentes) deben referenciarse a la herramienta de orientación por su nombre y propósito, no pegar su contenido. La copia crea dos fuentes de verdad. Cuando el método cambia —un nuevo paso de verificación, una nueva regla de conteo— solo es necesario actualizar la herramienta de orientación una vez. Las habilidades siguen indicando “llame primero a workflow_guidance ante cualquier cambio en el factor de riesgo interanual”.

For document selection and extraction strategies, use PFW_get_guidance
(see quick reference chart for section selection).

For document selection strategies and multi-document workflows, use
PFW_get_guidance (see quick reference chart for section selection).

For cross-MCP workflows, use PFW_get_guidance (see quick reference chart).

For field selection guidance and token estimates, use
PFW_get_guidance(section='tools').

Esa indirección parece burocrática hasta el día en que se soluciona un modo de fallo silencioso y se da cuenta de que doce archivos de habilidades habrían sido copias incorrectas.

Lo que los servidores MCP de USPTO enseñaron sobre las herramientas de orientación

Trabajos anteriores del MCP de la USPTO cometieron el mismo error en un dominio diferente: demasiadas herramientas, cada una con un nombre amigable, pero ninguna con una secuencia clara y autoritativa. Los agentes utilizaban primero la herramienta de recuperación llamativa e ignoraban la verificación. La solución no fue añadir más herramientas, sino una guía que indicara, en el texto de retorno de la herramienta, qué orden era obligatorio y cuáles los resultados eran incompletos sin una llamada de seguimiento.

WORKFLOW: even the substantive-only headline is clause-level and can
still be noisy on a heavily rewritten section. For "what materially
changed" questions, run RAPTOR L1 FIRST — search_filings(level=1,
section_path=<the section>) on each filing to read the two section
summaries and build a short topic list (typically 5-10 items) of what
actually moved. Then call this diff to pin the EXACT clause language
for each flagged topic, and skip every pair that doesn't touch one.
The L1 contrast also surfaces meaning that a cold diff buries in
reflow (e.g. a new tax-law valuation allowance). See
edgar_guidance(section="diff_workflow") for the full repeatable flow.

Lecciones aplicadas en el trabajo con EDGAR:

La guía debe ser accesible, no solo documentada en un README que el modelo nunca ve.
La guía debe ser suficientemente breve como para mantener su relevancia tras que la búsqueda de herramientas inserte otras descripciones.
La guía debe nombrar los modos de fallo (“no detenerse después de la línea roja”) de la misma manera que nombra los caminos exitosos.

La guía debe permanecer propiedad del dominio correspondiente: las secuencias del USPTO no deben incluirse en el texto de la herramienta EDGAR, ni viceversa.

Así que el flujo de trabajo pasó a las documentaciones

Poner el método en un archivo Markdown que le guste al usuario no sirve de nada para el modelo. En cambio, colocarlo en la documentación o descripción de la herramienta sí tiene efecto, ya que ese es el texto que se inserta en tiempo de ejecución cuando se selecciona la herramienta.

- `alpha` (default = EDGAR_RAPTOR_HYBRID_ALPHA, falling back to
  EDGAR_HYBRID_ALPHA): only affects the L0 clause collection, which
  carries BM25 sparse vectors. 1.0 = pure dense, 0.0 = pure BM25. Do
  NOT lower it for an exact citation or identifier (a literal
  "$750,000,000", a defined term, "Section 9.1(d)") — keep the default
  and pass `rerank=True`, which supplies most of the precision on a
  short identifier-only query.

En la práctica, la migración se realizó de esta manera: se tomó el párrafo del artículo que describía los tres instrumentos, se condensó en pasos imperativos, se añadieron criterios de éxito y se expuso como el cuerpo de retorno de get_yoy_risk_factor_method (el nombre puede variar). Las habilidades y los prompts del sistema solo hacen referencia a esa herramienta. Cuando el método de la Parte 4 incluyó un paso de verificación por conteo, solo cambió el resultado generado por la guía.

Las documentaciones no son un lugar para publicar novelas. Apunte a unos pocos cientos de palabras que describan el procedimiento, no a un ensayo completo. Proporcione enlaces para los usuarios; mantenga la interfaz de llamadas lo más simple posible.

Rutas de retorno: la segunda mitad de la oración

Una herramienta que devuelve una gran cantidad de información sin indicar qué hacer a continuación enseña al modelo a resumir y detenerse. Las rutas de retorno representan la segunda mitad de la oración: una vez que llegan las pruebas, qué herramienta las confirma, qué herramienta las cuenta y cuándo se puede dar la respuesta.

- For a MULTI-YEAR or HISTORICAL question about one company, prefer
  `group=` over a single `cik`: a kind='lineage' group covers the
  whole predecessor/successor chain (so a question that crosses a
  name/CIK change — Avago→Broadcom, Apollo's predecessor — doesn't
  silently miss the older filings) and its members COLLAPSE into one
  issuer block, with each hit keeping its own cik and the block
  carrying `lineage_ciks` for provenance. `resolve_parties_to_cik`
  reports which group to pass.

Diseñe los resultados como outputs parciales junto con indicaciones sobre el siguiente paso cuando el flujo de trabajo sea multietapa. Eso no significa que la herramienta deba convertirse en un agente por sí misma; significa que el contenido devuelto no debe parecer una respuesta final mientras la verificación aún esté pendiente. Por separado, los mensajes de error deben distinguir entre “no se encontró desviación” y “no fue posible ejecutar la comparación”, de lo contrario el modelo inventará un nivel de confianza falso.

El mismo mecanismo, un flujo de trabajo diferente

Las herramientas de orientación no son exclusivas del cambio en los factores de riesgo. La resolución empresarial (Parte 6), la extracción de figuras (Parte 3) y la resumen seguro numéricamente (Parte 2) requieren cada una un método llamable breve cuando la pregunta del usuario no está suficientemente especificada. El patrón se repite: una herramienta de orientación por familia de flujos de trabajo, habilidades que indican el camino a seguir y resultados que se niegan a considerarse terminados prematuramente.

AI-RANKED RESULTS — ordered by semantic similarity, not authority. L0 hits
are extracted clause text. L1/L2 hits are AI-generated summaries — take
especial caution with figures ... A claim about WHAT CHANGED, read off two
L1/L2 summaries, is likewise unverified until the distinguishing language
is confirmed against the underlying clause text on both sides.

Compartir un único bloque de orientación masiva entre los flujos de trabajo vuelve a generar el problema del bloque de instrucciones del sistema. Es mejor utilizar varias herramientas de orientación pequeñas con lenguaje de activación claro en sus descripciones para que la búsqueda pueda seleccionar la adecuada.

Y una que inicia todo

Algunas sesiones requieren una llamada de orientación bootstrap antes de realizar cualquier consulta: qué empresa, qué formularios, qué años, qué orden de instrumentos. Sin ella, los agentes recurren a diff_filings con el par de documentos incorrecto.

INTERPRETING THE REDLINE — you can and should tell real edits from chunking
artifacts; do that filtering rather than treating every delta as substantive.
... The word-level highlights are the tell: differences only at the START
and/or END of the clause (or a small leading/trailing add/delete) mean a
realignment, while a term changing in the MIDDLE (amounts, dates, defined
terms, added/removed obligations or conditions) is a real edit.

La orientación bootstrap permite hacer preguntas de aclaración a través del canal de chat, pero sigue prohibiendo el uso prematuro de herramientas. Debe ser idempotente: llamarla dos veces no debe modificar el estado del almacén.

Treinta y cinco herramientas

La interfaz MCP de EDGAR ha crecido hasta contar con aproximadamente treinta y cinco herramientas. Con ese volumen, es imposible incluir todas las descripciones en la consulta, y permitir que el modelo vea una lista simple fomenta llamadas aleatorias iniciales. La búsqueda de herramientas se vuelve obligatoria: incluir la consulta en los metadatos de la herramienta, proporcionar una lista reducida y luego dejar que el modelo elija.

if counts.get("substantive_modified"):
    response["chunking_note"] = AI_DIFF_REALIGNMENT_NOTE

Los treinta y cinco no son lo importante; lo esencial es que las herramientas de orientación deben sobrevivir a la búsqueda. Si la descripción de la herramienta de orientación no coincide con “qué cambió / año a año / factores de riesgo”, nunca entrará en la lista final, y las tres herramientas volverán a quedar inactivas.

Búsqueda de herramientas y las tres herramientas

Para el flujo de trabajo de factores de riesgo año a año, la lista de resultados de búsqueda debería incluir preferentemente: la herramienta de orientación, las herramientas de relevancia L1, la herramienta de diferencias y la herramienta de conteo/verificación. Todo lo demás es ruido para esa categoría de preguntas.

"revenue is a derived metric — one issuer's consolidated number.
 A multi-CIK `ciks=` list would blend inputs across issuers into a
 figure belonging to none of them. Call once per `cik=` (or pass a
 lineage `group=` for a predecessor chain)."

Ajustar la búsqueda es un trabajo relacionado con el producto: sinónimos en las descripciones, ejemplos negativos (“no para búsquedas de una sola empresa”) y conjuntos de evaluación con preguntas de usuarios y las herramientas esperadas como primera opción. Sin ese ciclo de evaluación, la orientación sigue siendo una preferencia filosófica.

Lo que ve la persona

Los usuarios no deben ver la estructura temporal del sistema. Formulan una pregunta sencilla y reciben una respuesta con referencias. Debajo, la transcripción puede mostrar indicaciones como → L1 → diff → count. La experiencia de usuario del producto permite combinar estas indicaciones en etiquetas de progreso (“verificando qué se ha modificado”, “extrayendo las cláusulas exactas”, “verificando la novedad”) sin revelar los nombres de las herramientas.

Input(s) [...] were not tagged by this issuer under any recognized XBRL
concept in the requested periods, so the derived value is 'unknown'
wherever they are needed. Not every issuer reports every line item
(e.g. asset-light filers omit capex), so the same metric may resolve
for an issuer that does tag them.

Cuando algo falla, se debe mostrar la etapa en la que ocurrió el error. “Diff no disponible” es una información útil para actuar; “el agente cometió un error” no lo es.

Las páginas de proxy

Las páginas de proxy destinadas a los usuarios humanos documentan los mismos flujos de trabajo para operadores y auditores. Pueden ser extensas, pero no deben convertirse en la única copia del método que necesita el modelo, ya que este no navega por su sitio de documentos durante el proceso a menos que se utilice intencionalmente una herramienta de navegación.

Per-figure descriptions are NOT produced on this path: charts and images
on these pages carry no annotation, and their absence is not evidence the
page had no figures ... check the linked source image (source_url) before
concluding something is absent from the filing.

Mantenga vinculadas las páginas de proxy y las herramientas de guía: la página indica que “las instrucciones canónicas de la máquina se encuentran en la herramienta X”, mientras que la descripción de la herramienta dice “la narrativa humana está en la URL Y”. Cualquier desviación entre ellas constituye un error en la versión publicada.

Reproduzcalo usted mismo

Para reproducir este patrón fuera de esta serie:

Escriba el método como pasos imperativos con herramientas nombradas y condiciones de detención.
Exponga el resultado como cuerpo de retorno de una herramienta de guía.
Dirija las habilidades hacia la herramienta; no pegue el cuerpo del resultado.
Haga que los retornos de las herramientas de evidencia declaren su incompletitud hasta que se realicen pruebas de verificación.
Coloque la búsqueda de herramientas al frente de un catálogo extenso; evalúe la precisión de la primera herramienta con un conjunto de preguntas de referencia.
Mantenga los documentos humanos como proxies, y no como la fuente de verdad en tiempo de ejecución.

armth: hits from filings whose summary tree is still cold (L0-only)
trigger background tree builds — `tree_builds_enqueued` in the result
says how many; re-run the search shortly after to get L1/L2 summaries.

Evaluate a math expression EXACTLY (deterministic; LLMs are error-prone
at multi-digit arithmetic). Compute, calculate, arithmetic, math.

EXPECTED_NON_DEFERRED = {
    "guidance.py",
    "resolve_parties.py",
    "edgar_strategic_search.py",
}

# Anthropic's stated range for non-deferred tools.
MAX_NON_DEFERRED = 5

El método va a cambiar

La tríada de la Parte 4 no será la última palabra. Nuevas técnicas de verificación, modelos más económicos para destacar elementos importantes y una mejor gestión del reflujo tipográfico: todo esto llegará. Si este método existiera únicamente en ensayos y compilaciones de habilidades, cada mejora sería un proyecto arqueológico que requeriría varios archivos. Al encontrarse en una sola herramienta de guía, el cambio consiste simplemente en una edición adicional y una revisión de las preguntas clave.

Use your tool-search or tool-discovery step, but do not CALL any of the
tools it finds. I want to read them, not run them.

1. Search for tools now, by server name and by keyword, and list the MCP
   servers and tools you can reach. If your first look says you have no
   tools, search again before concluding that: with tool search enabled,
   most tools stay hidden until you go looking for them.

2. Pick one non-trivial tool. Show me, verbatim and without summarising
   or reformatting:
   - its exact tool name
   - its complete description text, every line of it
   - its full input schema: each parameter, its type, its default, and
     the description attached to that parameter

   Print the description IN FULL even if it runs to a thousand words or
   more. Do not abbreviate it, do not list its section headings instead,
   and do not tell me to look at the tool result: I cannot see what you
   can see, which is the whole point of this.

3. Then tell me, in your own words:
   - does that text instruct you to call anything BEFORE this tool, or
     AFTER it?
   - does it tell you how to interpret or filter the result?
   - does it tell you to relay anything to me?
   - is there anything in it you would not have done on your own?

Conclusión

El RAG agente no funciona con un método de “recuperar y luego generar”. Para la detección de cambios en los documentos presentados ante la SEC, se trata de una cadena de instrumentos compuestos que solo funciona correctamente cuando se indica al modelo —en un lugar que realmente pueda leer— qué orden seguir. Los tres instrumentos (resúmenes de relevancia, diferencias entre cláusulas y verificación por conteo) resuelven el problema científico descrito en la Parte 4. No realizan ninguna acción hasta que existe una orientación en forma de herramienta de guía llamable, las habilidades indican direcciones en lugar de copiar contenido, los resultados se niegan a considerarse terminados prematuramente, y la búsqueda de herramientas puede localizar dicha guía entre docenas de opciones similares.

Puedes considerar la selección y la invocación como primitivas ya resueltas si así lo deseas; el factor diferenciador es el tercer elemento: la orientación. La orientación que se encuentra en los READMEs es meramente decorativa. La orientación que está presente en los mensajes del sistema se convierte en algo difícil de mantener. La orientación que existe en una herramienta breve, buscable y propiedad del dominio es operativa.

El trabajo en MCP del USPTO enseñó la misma lección en el ámbito de las marcas y patentes: nombres amigables para las herramientas, sin seguir una secuencia específica, generan llamadas erróneas desde el principio. El trabajo en EDGAR heredó ese problema y decidió colocar el flujo de trabajo en las docstrings. Treinta y cinco herramientas hicieron que la búsqueda de herramientas fuera obligatoria; la búsqueda convirtió la calidad de las descripciones en parte de su corrección, y no solo en texto publicitario.

Lo que ve la persona debe mantenerse tranquilo. Lo que indican las páginas de proxy debe permanecer completo. Lo que lee el modelo antes de la primera recuperación real debe ser breve, directo y versionado junto con el método. Cuando el método cambie mañana, modifique la herramienta de guía y vuelva a ejecutar las preguntas clave. No persiga doce copias pegadas.

Si solo toma una regla de ingeniería de esta sección: nunca permita que la única copia de un método de múltiples pasos esté en un lugar al que el modelo no pueda acceder. Los ensayos enseñan a los humanos. Las herramientas de guía enseñan a los agentes. Las habilidades son indicadores. Las respuestas son frases incompletas que exigen el verbo siguiente. La búsqueda de herramientas es la puerta que decide si ese texto entra o no en la sala.

La serie continúa: los instrumentos evolucionan, el catálogo crece, y la descripción guía debe seguir siendo la más breve que refleje con exactitud cómo se componen esos instrumentos. Así es como el RAG agente realiza tres pasos en lugar de un único llamado llamativo.

Lista de verificación concreta para una nueva familia de flujos de trabajo:

Dé nombre a los instrumentos y a la verificación que dificulta los fallos silenciosos.
Escriba una herramienta de guía cuya descripción se ajuste a la forma en que hacen preguntas los usuarios.
Mantenga el cuerpo de la respuesta en unas pocas cientos de palabras de procedimiento.
Dirija las habilidades hacia ella; prohíba el pegado.
Marque como incompletas las respuestas con evidencia sin verificación.
Agregue preguntas clave donde la primera herramienta debe ser de guía.
Vincule las páginas de proxy humano sin que sean críticas en tiempo de ejecución.
Ensaye un cambio de método como una edición con una sola herramienta.

Los equipos que omiten la lista de verificación descubren nuevamente el problema del cambio de contexto de la manera más difícil: el modelo “leyó” ambos documentos, habló con fluidez y pasó por alto el cambio que era importante. Los equipos que siguen la lista de verificación descubren que el RAG con enfoque agente se vuelve aburrido en el mejor sentido: pasos predecibles, cláusulas citables y un conteo de verificaciones que puede confirmarse sin problemas.

El objetivo es lo aburrido. Las respuestas llamativas obtenidas con una sola herramienta son la forma en que los errores silenciosos llegan a los usuarios.

Evaluate a math expression EXACTLY (deterministic; LLMs are error-prone
at multi-digit arithmetic). Compute, calculate, arithmetic, math.

Use it over numbers you ALREADY retrieved (e.g. from
query_financial_facts) — it does NOT fetch data. Supports + - * / // % **,
unary minus, and abs, round, min, max, pow, sqrt, log (natural), log10,
log2, exp, floor, ceil, plus constants pi and e. No variables, attribute
access, or other calls (safe AST evaluator).

Examples:
- 5-yr revenue CAGR: "(60922/26974)**(1/5) - 1"
- net debt / EBITDA: "(96700 - 29943) / 34000"
- YoY % change: "(383285 - 394328) / 394328 * 100"
- segment as % of total: "23056 / 81462 * 100"

Returns {expression, result, formatted} on success, or {error, expression}
if the expression is rejected.

Fuentes

Las referencias principales para esta sección incluyen la literatura sobre ReAct y el uso de herramientas como contexto general, el estudio de Context Rot de Chroma como evidencia de degradación por longitud, la resumen al estilo RAPTOR utilizado en la Parte 1, las secciones anteriores de esta serie EDGAR Intelligence MCP sobre instrumentos L1/diff/count, así como el catálogo de herramientas MCP del propio proyecto y la documentación de proxies. Los nombres de los paquetes y APIs cambian con el tiempo; considere el texto de las guías como el contrato versionado para el comportamiento del agente, y mantenga los ensayos escritos por humanos como comentarios y no como información fiable en tiempo de ejecución.

Por qué los métodos inertes parecen completos en la página

La redacción técnica valora las explicaciones completas. Un párrafo que menciona L1, diff y conteo *parece* un diseño. Los agentes no leen diseños; leen el texto de las herramientas dentro de un presupuesto de tokens. La brecha entre estos públicos es la razón por la cual la mayoría de las demostraciones “basadas en agentes” terminan convirtiéndose silenciosamente en envoltorios de una sola herramienta. Superar esa brecha implica aceptar que parte de la mejor prosa debe reescribirse como procedimientos llamables, y que dichos procedimientos pueden ser menos elegantes que los ensayos.

Orientación versus calidad de recuperación

Mejorar los embeddings, el chunking y el re-ranking ayuda a las herramientas de evidencia. Esto no indica al modelo que los invoque en orden. Los equipos suelen dedicar un cuarto de tiempo a perfeccionar las métricas de recuperación y una semana a los prompts, para luego preguntarse por qué la detección de cambios sigue reduciéndose a una sola llamada a diff_filings. La orientación presupuestaria como flujo de trabajo prioritario: texto descriptivo, sinónimos de búsqueda, pruebas con la primera herramienta “oro” y revisiones de la forma de los resultados.

Casos de fracaso que vale la pena codificar

Codifique los fallos por los cuales ya pagó: detenerse tras una línea roja que solo muestra reflow; confiar en resúmenes duales que ocultan contradicciones; tratar la reorganización como algo novedoso; responder antes de que finalice la resolución de la empresa; mezclar secuencias del USPTO con sesiones en EDGAR. Cada fallo se convierte en una línea imperativa en las directrices y en una pregunta clave cuya respuesta fallará si se ignora dicha línea.

Economía de tokens en las guías

Una respuesta de guía de trescientas palabras cuesta menos que incluir dos documentos 10-K en el contexto “por si acaso”, y también es más económica que un prompt de sistema que enumere cada flujo de trabajo. Además, resulta más barata que el costo de soporte asociado a respuestas incorrectas pero fluidas. Mida las guías de la misma manera que mide la recuperación de información: latencia, tasa de acierto en búsquedas con herramientas y tasa de éxito en la verificación posterior, no solo si el texto suena ingenioso.

Gobernanza

¿Quién puede editar las herramientas de guía? Trátelas como configuraciones de producción. Exija revisión, mantenga un historial y bloquee las fusiones que modifiquen las guías sin actualizar las preguntas base. Los operadores que consulten las páginas de proxy deben ver el mismo identificador de versión que la herramienta muestra en una línea de encabezado. Cuando haya una auditoría y pregunten por qué el agente utilizó tres herramientas, indique el cuerpo de guía versionado, no un argumento de Slack del mes pasado.

Qué no incluir en las guías

No incluya secretos, URLs de entorno con credenciales ni estado específico del usuario. No incluya extractos completos de archivos. Tampoco incluya políticas extensas como novelas con estructuras ramificadas. Sí incluya el orden, las condiciones de detención y los nombres de las herramientas siguientes. Si algún detalle está destinado únicamente a personas, déjelo en la página de proxy.

Relación con los grafos al estilo LangGraph

Algunos equipos codifican los tres pasos como un grafo fijo sin posibilidad de elegir modelo. Eso es válido y a menudo más seguro. Las herramientas de orientación son útiles cuando aún se desea utilizar un modelo para preguntas insuficientemente especificadas, pero es necesario que el método permanezca accesible entre muchas herramientas. Los grafos y la orientación son complementarios: un grafo puede implementar el método una vez seleccionado; la orientación ayuda en la selección y mantiene a los agentes híbridos honestos.

Boceto de sistema de evaluación

Mantenga una tabla con las preguntas de los usuarios, la herramienta esperada inicialmente, la clase de secuencia de herramientas esperada y las herramientas cuyo uso temprano está prohibido. Ejecute el conjunto de herramientas en cada edición de las instrucciones. Fallará la compilación si disminuye la precisión de la primera herramienta utilizada. Realice verificaciones puntuales semanalmente de las transcripciones para asegurarse de que existan respuestas fluidas que no hayan omitido el conteo. Publique un panel de control sencillo para que el equipo de producto y el de ingeniería compartan la misma definición de “el agente realizó tres pasos”.

Sobre la denominación

Nombrar las herramientas según lo que requiere la búsqueda: los verbos que escriben los usuarios (explain_yoy_risk_factor_method) son mejores que nombres internos ingeniosos. Las descripciones deben incluir sinónimos: cambio, delta, año a año, factores de riesgo, Elemento 1A, en comparación con el año anterior. También son útiles las indicaciones negativas: “no para cotizaciones en tiempo real”, “no para resúmenes de un solo párrafo”.

Escalar más allá de una sola serie

Cuando varios dominios cuenten cada uno con herramientas de orientación, cree un pequeño metaíndice: dominio → nombre de la herramienta de orientación. No combine los dominios en una sola herramienta para ensayos. La contaminación entre dominios es la forma en que los consejos del USPTO se filtran en las sesiones de EDGAR. Mantenga el índice sencillo y explícito.

Cerrando el ciclo con la Parte 4

La Parte 4 demostró por qué un único instrumento es científicamente insuficiente. Esta parte demuestra por qué un método científico correcto sigue fallando en la práctica sin una superficie de orientación accesible. Lea ambas partes juntas: los instrumentos sin orientación son inertes; la orientación sin instrumentos no es más que teatro. Juntos, constituyen la base mediante la cual el RAG agente obtiene la etiqueta de “agente” en tareas que castigan los fallos silenciosos.

Apéndice operativo: guion de ensayo

Antes de enviar un cambio en las instrucciones, realice una prueba: sesión en modo frío, pregunta clave, confirme que las instrucciones son la primera herramienta utilizada, verifique que L1 funcione en ambos lados, asegúrese de que se solicite la diferencia junto con las instrucciones correspondientes, confirme el conteo de ejecuciones y que la respuesta visible para el usuario cite las cláusulas e indique la verificación. Anote el ID de la transcripción junto a la versión de las instrucciones. Si se omite algún paso, corrija la descripción o la búsqueda antes de celebrar los indicadores de recuperación.

Apéndice operativo: guion de prueba

Antes de enviar un cambio en las instrucciones, realice una prueba: sesión en modo frío, pregunta clave, confirme que las instrucciones son la primera herramienta utilizada, verifique que L1 funcione en ambos lados, asegúrese de que se solicite la diferencia junto con las instrucciones correspondientes, confirme el conteo de ejecuciones y que la respuesta visible para el usuario cite las cláusulas pertinentes e indique la verificación realizada. Anote el ID de la transcripción junto a la versión de las instrucciones. Si se omite algún paso, corrija la descripción o la búsqueda antes de celebrar los indicadores de recuperación.

Apéndice operativo: guion de prueba

Antes de enviar un cambio en las instrucciones, realice una prueba: sesión sin conexión, pregunta clave, confirme que las instrucciones son la primera herramienta utilizada, verifique que L1 funcione en ambos lados, asegúrese de que se solicite la diferencia con las instrucciones correspondientes especificadas, confirme el conteo de ejecuciones y que la respuesta visible para el usuario cite las cláusulas e indique la verificación. Anote el ID de la transcripción junto a la versión de las instrucciones. Si se omite algún paso, corrija la descripción o la búsqueda antes de celebrar los indicadores de recuperación.

← Todos los artículos Enviar el brief