Artículos para quien
entrega el stack
Textos sobre React, Node.js, TypeScript y AI. El cuerpo traducido se muestra cuando existe. Si no, ve el texto en inglés y una nota que lo dice.
Etiqueta: evals
Creación de un bucle de mejora de agentes con las herramientas de evaluación de LangGraph y LangSmith.
Un bucle paso a paso de LangGraph y LangSmith: recolección de datos, tres capas de puntuación, agrupamiento de fallos, conjuntos de datos de regresión sin conexión y evaluaciones previas al envío.
24 min de lecturaVibe Coding frente a Agentic Engineering: lo que argumenta el nuevo documento de Google sobre SDLC
Un resumen del documento técnico de Google sobre el nuevo SDLC: la verificación como línea divisoria, el uso de harness en lugar de modelos, la ingeniería de contexto, la trampa del 80% y la diferencia entre conductor y orquestador.
9 min de lecturaEvaluaciones para GenAI y agentes: pruebas de un solo turno vs. pruebas de varios turnos en CI
Compare las evaluaciones de un solo turno basadas en trazas con las evaluaciones de varios turnos impulsadas por simuladores, abarcando estándares de referencia, jueces basados en LLM, métricas de agentes, puertas de control de integración y siete prácticas de trabajo.
8 min de lecturaEvaluación de agentes de IA: conjuntos dorados, jueces de LLM y puertas de regresión de CI
Evaluación offline y en línea para agentes con AgentCore, LangFuse, Ragas y DeepEval, además de conjuntos de datos de referencia, control de integración continua, pruebas A/B y retroalimentación basada en la memoria.
18 min de lecturaConfirmaciones de órdenes de auditoría que un agente nunca realizó: Verificación de valores en lugar de texto
Cómo crear un evaluador de consistencia de reclamos para un agente de soporte que realiza pedidos reales: dividir los resultados por propietario y verificar los identificadores contra los resultados de la herramienta.
16 min de lecturaMantener un almacén de vectores fiable: ciclo de vida, arquitectura por inquilinos, metadatos, búsqueda híbrida.
Ejecutar un almacén de vectores para RAG en producción: ciclo de vida de los documentos, actualización de embeddings, filtros de inquilino, búsqueda híbrida para IDs exactos, metadatos y trazabilidad.
9 min de lecturaDesarrollo impulsado por evaluaciones para agentes de IA: contratos, rastreos y evaluadores
Trate las evaluaciones como CI/CD para los agentes: considere las instrucciones de versión como contratos, rastree las ejecuciones con OpenTelemetry y Tempo, y luego realice pruebas con verificaciones deterministas y un evaluador basado en LLM.
13 min de lecturaEvaluación de agentes con un bot de viajes: resultado frente a trayectoria, puertas y pass^k
Un ejemplo práctico de reserva de viajes para evaluar agentes: ejes de resultado y trayectoria, puertas deterministas antes de las puntuaciones ponderadas, una matriz 2x2 y pass@k frente a pass^k.
8 min de lecturaLas habilidades de los agentes son código: define su alcance, revela información al respecto, crea scripts para ellas y pruébalas.
Por qué SKILL.md es la lógica de producción: escribir únicamente conocimiento procedural, ajustar la activación, cargar progresivamente, trasladar el trabajo exacto a scripts, crear evaluaciones y eliminar los que no funcionan.
10 min de lectura
Sobre estos artículos
Presupuesto en 24 h
¿Necesitas el mismo stack en una capa de operador? Envía el brief — presupuesto en 24 h.