Notas prácticas: LLMs locales para la extracción de Graph RAG: El nuevo benchmark de mediados de 2026
Guía práctica paso a paso: LLMs locales para la extracción de información mediante Graph RAG: El nuevo benchmark de mediados de 2026: contratos, verificaciones y espacios para código listo para uso destinados a los equipos que implementan este patrón.
Fuentes: Local LLMs for Graph RAG Extraction: The Mid-2026 Re-Benchmark
Las notas siguientes reconstruyen un enfoque práctico relacionado con “LLMs locales para extracción de RAG en grafos: El nuevo benchmark de mediados de 2026”. Se da prioridad a los contratos, las verificaciones y los marcadores de posición para código listo para usar, en lugar de a un enfoque motivacional.
Cinco meses después, se volvió a ejecutar todo, y resultó que el famoso “límite de 7B” era en realidad un artefacto de decodificación.
Mientras se trabaja en la etapa “Cinco meses después”, primero se debe anotar el contrato: las entradas requeridas, la señal de éxito y qué ocurre en caso de fallo parcial. Esa lista de verificación mantiene honestas las futuras modificaciones de código. Documente tanto el camino óptimo como el camino de recuperación. Los intentos repetidos, las verificaciones humanas y el manejo de mensajes no entregados forman parte del producto, no son mejoras posteriores. Almacene en caché las instrucciones estables del sistema y los esquemas de las herramientas. Reenviar un preámbulo idéntico es una causa común de desperdicio de recursos.
La afirmación que se quería refutar
Al trabajar en la etapa “La afirmación que deseas”, anota primero el contrato: los datos necesarios, la señal de éxito y qué ocurre en caso de fallo parcial. Esa lista de verificación mantiene honestas las futuras modificaciones del código. Prefiere unidades pequeñas y probables a scripts extensos. Cuando un paso falla, el fallo debe apuntar a una única responsabilidad y no a un proceso complicado. Almacena en caché las instrucciones del sistema estables y los esquemas de las herramientas. Reenviar un preámbulo idéntico es una causa común de desperdicio.
Funcionó
Cuando trabajes en esta etapa, anota primero el contrato: los datos requeridos, la señal de éxito y qué ocurre en caso de fallo parcial. Esa lista de verificación mantiene honestas las futuras modificaciones del código. Considera esta etapa como un contrato entre los datos de entrada y los resultados validados. Nombra los artefactos, define las comprobaciones de éxito y rechaza las completaciones parciales silenciosas. Almacena en caché las instrucciones del sistema estables y los esquemas de las herramientas. Reenviar un preámbulo idéntico es una causa común de problemas.
Phi-4-mini 3.8B Parse-OK rate Strict schema-valid
-------------------------------- --------------- ---------------------
Unconstrained, open extraction 22% 0%
Unconstrained, schema-guided 33% 0%
Constrained, open extraction 100% 100%
Constrained, schema-guided 100% 100%
La trampa de la que nadie me advirtió: el modo de pensamiento consume los resultados estructurados
Al trabajar en la etapa “La trampa de la que nadie advirtió”, anote primero el contrato: los datos requeridos, la señal de éxito y qué ocurre en caso de fallo parcial. Esa lista de verificación mantiene honestas las futuras modificaciones del código. Registre los tiempos y el costo de tokens o consultas junto con los resultados funcionales. Tener visibilidad del costo desde el principio evita facturas inesperadas cuando el proceso pasa de la fase de demostración a entornos compartidos. Almacene en caché las instrucciones del sistema estables y los esquemas de las herramientas. Reenviar un preámbulo idéntico es una causa común de gastos innecesarios.
Qwen3.5-4B, schema-guided Parse-OK Output tokens/doc Median latency
--------------------------------- ---------- ------------------- ----------------
Thinking default, unconstrained 33% 10,142 94.0s
Thinking on, constrained 0% 649 6.3s
Thinking off, constrained 100% 599 5.8s
Las restricciones no solo corrigen la validez, sino también el comportamiento
Al trabajar con las restricciones, no te limites a preparar el entorno; primero escribe el contrato: los datos de entrada requeridos, la señal de éxito y qué ocurre en caso de fallo parcial. Esa lista de verificación mantiene honestas las futuras modificaciones del código. Mantén la configuración fuera del código de la aplicación. Los archivos de entorno, los almacenes de datos secretos y las banderas de funcionalidad deben estar en un lugar donde los operadores puedan auditarlos sin tener que leer todo el sistema. Almacena en caché las instrucciones del sistema estables y los esquemas de las herramientas. Reenviar un preámbulo idéntico es una causa común de desperdicio de recursos. Al trabajar con las restricciones, no te limites a preparar el entorno; primero escribe el contrato: los datos de entrada requeridos, la señal de éxito y qué ocurre en caso de fallo parcial. Esa lista de verificación mantiene honestas las futuras modificaciones del código. Prefiere unidades pequeñas y verificables a scripts extensos. Cuando un paso falla, el fallo debe apuntar a una única responsabilidad y no a un proceso complicado.
La tabla de costos
La etapa de la tabla de costos funciona mejor cuando se trata como una superficie medible. Capture un registro exitoso, un caso de fallo y la nota de reversión antes de ampliar el alcance. Considere esta etapa como un contrato entre las entradas y los resultados validados. Asigne nombres a los artefactos, defina verificaciones de éxito y rechace completaciones parciales silenciosas. Asigne un presupuesto de tokens por turno y por sesión. Las herramientas agentes amplían el contexto de manera agresiva; los límites máximos evitan que las demostraciones se conviertan en facturas inesperadas.
Model med s/doc tok/s hrs/1k docs local electricity hosted-small API frontier API
------------------------ ----------- ------- ------------- ------------------- ------------------- --------------
Qwen3.5-4B (think off) 5.8 123 1.6 $0.17 $0.08 $9.73
Qwen3.5-9B (think off) 6.3 91 1.8 $0.18 $0.08 $8.72
Gemma 4 E4B 6.6 106 1.8 $0.19 $0.08 $9.75
Gemma 3 12B 8.4 79 2.3 $0.25 $0.08 $9.34
Mistral Small 3.2 13.6 52 3.8 $0.40 $0.14 $11.81
Phi-4-mini 3.8B 10.0 219 2.8 $0.29 $0.06 $6.28
Un alcance honesto y lo que viene después
El alcance honesto y la etapa que funciona mejor cuando se trata como una superficie medible. Capture una transcripción ejemplar, un caso de fallo y la nota de reversión antes de ampliar el alcance. Registre los tiempos y el costo de tokens o consultas junto con los resultados funcionales. Tener visibilidad del costo desde el principio evita facturas inesperadas cuando el proceso pasa de la fase de demostración a entornos compartidos. Asigne un presupuesto de tokens por turno y por sesión. Las herramientas agenciales amplían el contexto de manera intensiva; los límites estrictos impiden que las demostraciones se conviertan en facturas inesperadas.
Lo que realmente funciona, edición de mediados de 2026
La etapa “Lo que realmente funciona a mediados de 2026” rinde mejor cuando se trata como una superficie medible. Capture un registro ideal, un caso de fallo y la nota de reversión antes de ampliar el alcance. Mantenga la configuración fuera del código de la aplicación: los archivos de entorno, los almacenes de secretos y las banderas de funcionalidad deben estar en un lugar donde los operadores puedan auditarlos sin tener que leer todo el sistema. Asigne un límite de tokens por turno y por sesión; las herramientas agentes amplían el contexto de forma excesiva, por lo que los topes estrictos evitan que las demostraciones se conviertan en facturas inesperadas. La etapa “Lo que realmente funciona a mediados de 2026” rinde mejor cuando se trata como una superficie medible. Capture un registro ideal, un caso de fallo y la nota de reversión antes de ampliar el alcance. Prefiera unidades pequeñas y verificables en lugar de scripts extensos; cuando un paso falla, el fallo debe apuntar a una sola responsabilidad y no a un proceso complicado.
Referencias
En la fase de Referencias, defina las entradas, el responsable del paso y los criterios de finalización antes de modificar el código. Los operadores deben poder volver a ejecutar el paso a partir de un punto de control conocido sin tener que adivinar el estado oculto. Trate esta fase como un contrato entre las entradas y los resultados validados. Asigne nombres a los artefactos, defina verificaciones de éxito y rechace las completaciones parciales silenciosas. Prefiera resultados estructurados con validación de esquema sobre textos en formato libre cuando el siguiente paso sea código o una llamada a una herramienta.
Lista de verificación operativa
En la fase de la lista de verificación operativa, defina las entradas, el responsable del paso y los criterios de finalización antes de modificar el código. Los operadores deben poder volver a ejecutar el paso a partir de un punto de control conocido sin tener que adivinar el estado oculto.
Documente tanto la ruta óptima como la ruta de recuperación. Las reintentos, los controles humanos y el manejo de mensajes no entregados forman parte del producto, no son algo que se añada posteriormente.
Preferir outputs estructurados con validación de esquema sobre prosa libre cuando el siguiente paso sea escribir código o hacer una llamada a una herramienta.
Medir la capacidad de recuperación con un conjunto fijo de preguntas antes de ajustar los prompts. El cambio constante de prompts rara vez soluciona un sistema de recuperación deficiente.
Congelar un conjunto estándar antes de modificar prompts o modelos. Cambiar tanto el sistema como los criterios de evaluación oculta posibles regresiones.
Añadir una prueba de funcionamiento que ejerza la ruta crítica en los procesos de integración continua utilizando datos fijos, y no APIs pagadas en tiempo real, siempre que lo permitan los presupuestos.
Antes de promocionar la solución, congelar las versiones, capturar una transcripción estándar para la ruta crítica y confirmar los pasos de reversión. Los entornos compartidos requieren límites de uso, verificaciones de asignación y un responsable claro para la rotación de credenciales secretas. Preferir una fiabilidad sólida a demostraciones ingeniosas pero puntuales.
Nota de lote para 5f36b3d19383: mantener las claves del proveedor fuera del repositorio, establecer un límite para los tokens por sesión y almacenar las transcripciones junto a los fixtures de evaluación para que los cambios posteriores en el modelo sigan siendo comparables.
La nota de refuerzo de etapa 0 funciona mejor cuando se trata como una superficie medible. Capture una transcripción de éxito, un caso de fallo y la nota de reversión antes de ampliar el alcance. Documente tanto el camino óptimo como el de recuperación juntos. Las reintentos, los controles humanos y el manejo de mensajes no entregados forman parte del producto, no son mejoras posteriores.
Detalle de refuerzo 0/773: mida el tiempo de ejecución, la clase del error y el consumo de tokens para esta nota, y luego decida si mantener el cambio basándose en un conjunto fijo de preguntas en lugar de en anécdotas.
Para la fase 0 de las notas de fortalecimiento, defina las entradas, el responsable del paso y los criterios de finalización antes de modificar el código. Los operadores deben poder volver a ejecutar el paso a partir de un punto de control conocido sin tener que adivinar el estado oculto. Registre los tiempos de ejecución y el costo en tokens o consultas junto con los resultados funcionales. La visibilidad temprana de los costos evita facturas inesperadas cuando el proceso pasa de entornos de demostración a entornos compartidos.
Detalle de fortalecimiento 0/792: mida el tiempo de ejecución, la clase del error y el gasto en tokens para esta nota, y luego decida si mantener el cambio basándose en un conjunto fijo de preguntas en lugar de en observaciones anecdóticas.
Al trabajar en la fase 1 de las notas de fortalecimiento, anote primero el contrato: los datos de entrada requeridos, la señal de éxito y qué ocurre en caso de fallo parcial. Esa lista de verificación mantiene honestas las futuras modificaciones del código.
Documente tanto el camino óptimo como el de recuperación. Las reintentos, los controles humanos y el manejo de mensajes no entregados forman parte del producto, no son mejoras realizadas posteriormente.
Detalle de fortalecimiento 1/792: mida el tiempo de ejecución, la clase del error y el consumo de tokens para esta nota, y luego decida si mantener el cambio basándose en un conjunto fijo de preguntas en lugar de en anécdotas.