Artículos para quien
entrega el stack
Textos sobre React, Node.js, TypeScript y AI. El cuerpo traducido se muestra cuando existe. Si no, ve el texto en inglés y una nota que lo dice.
Etiqueta: llm-evaluation
Por qué las puntuaciones de precisión de los agentes engañan: pass^k, perturbaciones e inyección de fallos
Por qué pass@1 oculta a los agentes de IA poco fiables, y cómo pass^k, los conjuntos de perturbación de entrada y la inyección de fallos revelan brechas en consistencia, estabilidad y tolerancia a fallos.
9 min de lecturaDiagnóstico de fallos en RAG: un mapa de etapas y un evaluador de fundamentación a nivel de afirmación.
Localiza dónde falló la pipeline RAG y luego crea un evaluador de fundamentación de LLM que verifique las afirmaciones una por una y sea validado mediante evaluadores humanos usando el índice kappa.
9 min de lecturaAfinamiento agente: Entrenar una wiki de conocimientos en lugar de los pesos del modelo.
Ejecutar el bucle de entrenamiento de ML en una wiki con conocimientos extraídos de documentos corporativos: puntos de referencia creados a partir de datos brutos, preguntas confidenciales y un certificado con límites honestos.
9 min de lectura¿RAG o grafo de conocimiento? 2,160 respuestas calificadas y el efecto del modelo
RAG frente a grafo de conocimiento: 2,160 respuestas evaluadas en tres familias de modelos y 120 preguntas. El ganador varía según el modelo, y el modelo es lo más importante.
9 min de lecturaPrueba de un mecanismo de control que vuelve a intentar la acción final incorrecta de un agente.
Un experimento con 30 casos: un juez basado en un LLM más una repetición redujeron las acciones de soporte incorrectas de 6 a 2, y por qué detectar una violación no siempre implica que el agente la corrija.
7 min de lecturaDe las evaluaciones a los agentes auto-mejorables: cinco eras de la evaluación de agentes
La evaluación de agentes ahora implica la auditoría de huellas. Vea cómo las verificaciones deterministas, los jueces de LLM y agentes, el diagnóstico y un mecanismo meta construyen un ciclo de mejora seguro.
7 min de lecturaEvaluación y optimización de agentes: comparación de DSPy, TextGrad, Reflexion y OPRO
Cómo se integran DSPy, TextGrad, Reflexion y OPRO como bucles de retroalimentación para los agentes, qué adoptar primero, y cómo separar la evaluación de la optimización en una empresa.
12 min de lecturaDesarrollo impulsado por evaluaciones para agentes de IA: contratos, rastreos y evaluadores
Trate las evaluaciones como CI/CD para los agentes: considere las instrucciones de versión como contratos, rastree las ejecuciones con OpenTelemetry y Tempo, y luego realice pruebas con verificaciones deterministas y un evaluador basado en LLM.
13 min de lecturaEvaluaciones en bucle cerrado para un agente de imágenes en producción: lo que presentó Uber Eats
Un estudio de caso sobre el diseño de evaluación detrás del agente de mejora de fotos de Uber Eats: recuperación de rutas, pass@K, diagnóstico de desviaciones, autotuning y puertas de control de calidad en capas.
7 min de lectura
Sobre estos artículos
Presupuesto en 24 h
¿Necesitas el mismo stack en una capa de operador? Envía el brief — presupuesto en 24 h.