Mediciones de ingeniería de IA: costo del contexto, evidencia del agente e interoperabilidad
Un mapa de las mediciones de IA ejecutadas: sobrecarga de tokens MCP, fallos en el caché de prompts, brechas en la auditoría de agentes y fricción al cambiar modelos, junto con los métodos utilizados y los tamaños de muestra correspondientes.
Fuentes: Every AI Measurement We’ve Run: 43,600 Commits, 96 Releases, 9 MCP Servers
Los comentarios sobre ingeniería de IA suelen expresar una creencia y detenerse allí. Un hábito más estricto consiste en tomar una afirmación popular, realizar el experimento que falta, y publicar los resultados con la fecha, el tamaño de la muestra, las versiones del software y los datos brutos archivados.
Las cifras de este mapa provienen únicamente de ejecuciones que se completaron. Una verificación fallida significaba que el resultado se descartaba, y se anotaba dicha falla.
Considere las secciones a continuación como un índice que crece a medida que finalizan nuevos experimentos.
Qué abarcan estas mediciones y por qué tres pilares
Pilar 1: Economía del contexto: cuánto cuesta realmente el contexto
Los equipos adquieren tokens que nunca crearon; pocos publican cifras sobre ese costo adicional.
Aquí se resume un estudio sobre los servidores de herramientas MCP: un estudio de contexto de servidor de herramientas MCP medido. Al probar 116 herramientas a través de stdio, se consumieron 38,900 tokens antes de que una persona escribiera algo, lo que representa el 19.4% de un límite de 200k tokens. Un solo servidor fue responsable del 45% de ese consumo, y el JSON Schema por sí solo supuso el 93.6% de la cuota de ese servidor.
Por separado, se compararon 96 versiones publicadas en nueve servidores. En 87 transiciones de versión, 42 reescribieron el bloque de herramientas; 31 de esas reescrituras no añadieron ni eliminaron ninguna herramienta. Los cachés de prompts se dañaron en el 48% de esas versiones. La más pequeña interrupción textual afectó a 34 tokens, pero invalidó 36,320 tokens almacenados en caché.
La capacidad del límite también depende del tipo de contenido. Un límite de un millón de tokens puede contener aproximadamente 4 MB de texto documental, pero solo unos 1.8 MB de registros, ya que los registros consumen contexto aproximadamente 2.2 veces más rápido; por lo tanto, el costo es más claro si se expresa en dólares por megabyte que solo en tokens.
La matemática de enrutamiento muestra que un modelo económico solo necesita una tasa de éxito del 4% aproximadamente para ser más competitivo que un modelo de vanguardia. Trabajos relacionados sobre la degradación del contexto explican por qué incluso una ventana de 2 millones de tokens sigue perdiendo información en prompts largos.
Pilar 2 — Evidencia del agente: qué registra el agente y qué se puede demostrar
Cuando un agente gasta dinero durante la noche, a menudo resulta imposible reconstruir lo sucedido.
En seis frameworks diferentes, los registros de auditoría contenían como promedio cinco campos, aunque se consideró necesario doce. Ninguno almacenaba un nivel de confianza ni una cadena de hash (por lo que las ediciones no dejan rastro) y ninguno guardaba la razón para detenerse.
Entre los archivos CLAUDE.md de los 592 repositorios más importantes, el 57% no contenía conocimiento alguno, solo redirecciones. Se analizó el comando HEAD en cada repositorio; los casos límite se revisaron manualmente de ambas maneras, y la estimación cambió dos veces antes de estabilizarse.
Se repitió cincuenta veces un censo de supervivencia basado en código de IA sobre 43,600 commits en once repositorios; veintiuna ejecuciones cambiaron la conclusión. Al analizar 200 de los 5,237 archivos de vllm en lugar del conjunto completo, la brecha de supervivencia de +12.2 puntos se convierte en cero. Un método anterior para responder a la misma pregunta no superó la verificación y fue descartado.
El recuento de líneas de un gran artefacto de prueba formal aparece en el recuento publicado del artefacto de prueba Fermat de Anthropic: aproximadamente 13 millones de líneas en total, el 88.5% corresponde al cuerpo de la prueba, con una longitud media de paso de 8 líneas frente a las 4 de Mathlib.
Se reprodujeron “guerras territoriales” entre múltiples agentes en un repositorio sin utilizar IA alguna: era simplemente un bloqueo de archivos disfrazado de conflicto entre agentes. Otra deficiencia es la falta de alertas: un agente midido permaneció incorrecto en una tarea durante catorce días y nueve horas sin que se activara ninguna alerta en el panel de control.
Pilar 3 — Interoperabilidad y costo de cambio: pasar de un modelo, protocolo o herramienta a otro
El marketing denomina modelos y protocolos intercambiables. Las diferencias son evidentes.
Los conmutadores de modelos de producción no son routers simples: solo tres parámetros tienen escrituras idénticas en las superficies comparadas. Las especificaciones de los protocolos MCP y A2A comparten únicamente dos nombres de método coincidentes. El aislamiento por sí solo también falla frente al patrón de vulnerabilidad “trifecta letal”; el aislamiento sin controles complementarios no es suficiente.
El artículo más leído publicado
Una guía sobre IA local relacionada con el primer chip de 2 nm de Apple plantea si una Mac puede albergar un modelo de 70 mil millones de parámetros. Con 512 GB de memoria unificada la respuesta es sí, y el artículo compara los costos de esa configuración con las alternativas en la nube.
Cómo se lleva a cabo la medición, en cuatro reglas
- Solo se incluye el trabajo ejecutado. Los artículos indican el método, la fecha, el tamaño de la muestra y las versiones; las salidas en bruto se archivan.
Próximos pasos
La frecuencia de publicación es de aproximadamente una medición por semana. El trabajo actual investiga con qué rapidez disminuye la eficacia de un conjunto de pruebas a medida que mejora el modelo probado: cuántos casos dejan de funcionar porque realmente aumentó su capacidad, frente a cuántos dejan de funcionar porque la prueba en sí se ha deteriorado.
Lecturas relacionadas
- Comprendiendo los agentes de IA: Llamadas a herramientas, MCP y el bucle del agente — Aprenda cómo las llamadas a herramientas, MCP y los bucles del agente se combinan para formar la verdadera arquitectura detrás de los sistemas de IA agentes, más allá de las palabras de moda.
- Ingeniería de contexto para agentes de IA: Selección de lo que ve el modelo — Por qué los agentes empeoran a medida que crece su contexto, cómo la ingeniería de contexto difiere de la redacción de instrucciones, y un proceso sencillo para decidir qué verá cada llamada al modelo.