Tasa de errores de pronóstico a la baja: Medición de los errores de pronóstico optimistas en días de pérdida.

Por qué el optimismo en días de caída es importante

Imagínese a alguien que mantiene una posición larga. Cuando un modelo subestima una caída, la pérdida en dicha posición supera lo que las previsiones les habían hecho esperar. Si las previsiones influyen en el tamaño de la posición, las coberturas, las reservas de liquidez o los límites de riesgo, una estimación optimista deja más capital expuesto y menos protección disponible. La pérdida real proviene del mercado y no de las previsiones, y nada aquí calcula las ganancias o pérdidas de una estrategia de trading. La dirección del error sigue siendo relevante, ya que para quien mantiene una posición larga, subestimar una caída puede causar más daño que un error pesimista de igual magnitud. Por lo tanto, elegir un modelo de predicción implica comprender cómo se comportan sus errores en los días en que un activo pierde valor, y no solo cuál es su promedio.

Un estudio de cinco valores energéticos cotizados en el Reino Unido ilustra este punto. Un modelo de mediana racha superó por poco a un índice de referencia con retorno cero en precisión promedio. Un modelo HuPin orientado a escenarios negativos obtuvo resultados peores en promedio, pero cometió muchos menos errores de optimismo cuando los retornos eran negativos. Ambos resultados son reales y responden a preguntas distintas.

Lo que los índices habituales omiten

El RMSE (error cuadrático medio) y el R² fuera de la muestra resumen hasta qué punto están desviadas las previsiones en general. Ninguno indica con qué frecuencia una predicción subestimó la magnitud de una pérdida que realmente ocurrió, y dos predicciones pueden obtener puntajes similares en conjunto aunque difieran significativamente en ese aspecto. En el panel común utilizado a continuación, el R² es una transformación monotónica del RMSE, por lo que juntos proporcionan una única clasificación basada en el error cuadrático y no dos perspectivas independientes.

Esta brecha en la información motivó el enfoque Bear Miss Rate (BMR), que surgió de una tesis de maestría. Combina tres diagnósticos relacionados: cualquier error optimista en un día de pérdida, errores optimistas por encima de un umbral de materialidad práctica, y eventos de retornos severos no detectados. La idea es ofrecer una visión clara de los riesgos negativos junto con los informes habituales de precisión, y no reemplazarlos.

Un ejemplo práctico

Supongamos que un valor bursátil registra un retorno diario del -2% y un pronóstico del modelo del -0.5%. La dirección es correcta, pero la pérdida se subestima gravemente, con un error optimista de 1.5 puntos porcentuales.

Una tasa de acierto direccional podría considerar esa previsión como un éxito, ya que ambos valores son negativos. El RMSE sí incluye el error, pero lo promedia con todos los demás. Ninguno de ellos responde a la pregunta más específica de con qué frecuencia una previsión resultó demasiado optimista cuando el activo cayó, y con qué frecuencia ese optimismo fue lo suficientemente grande como para tener importancia.

BMR pone de manifiesto esa pregunta condicional. En el caso de una posición larga, “optimista” significa un retorno predicho superior al real. Por lo tanto, esta métrica se refiere a la subestimación del tamaño de una pérdida, incluyendo aquellos casos en que la previsión acierta en el signo negativo.

Los tres diagnósticos

Sea el retorno diario realizado yₜ y su previsión puntual ŷₜ.

BMR básico

La versión más simple mide con qué frecuencia la previsión es demasiado alta en los días en que el retorno realizado es negativo:

La comparación es estricta, por lo que una previsión igual al rendimiento realizado no se considera un error. Si no existen observaciones de rendimiento negativo, la tasa está indefinida y no es cero.

BMR con tolerancia

Algunas diferencias en las previsiones son demasiado pequeñas como para ser relevantes en la práctica. BMR_tol solo cuenta las diferencias optimistas que alcanzan una tolerancia ε elegida:

Se aplica un valor común, ε = 0.01, a cada modelo y valor financiero. En unidades de rendimiento diario, eso equivale a aproximadamente un punto porcentual. Fue seleccionado como un nivel de materialidad redondo y fácil de leer para esta ilustración, y no se presenta como un óptimo universal. El denominador es el mismo que utiliza BMR para los escenarios bajistas, y la tasa está indefinida si dicho denominador está vacío.

BMR para pérdidas graves

BMR_Z está orientado a las pérdidas reales graves. Para cada valor financiero, se establece un umbral resistente a valores atípicos basado únicamente en los rendimientos de entrenamiento:

MAD es la abreviatura de desviación absoluta media bruta. El umbral candidato solo se mantiene si la escala resistente a valores atípicos resulta finita y superior a cero, y si el conjunto de entrenamiento contiene al menos cinco valores iguales o inferiores a dicho umbral candidato. Cuando falla alguna de estas condiciones, el procedimiento utiliza el cuantil de entrenamiento Q(0.0228) con interpolación lineal. Cada valor bursátil cuenta con su propio umbral, pero los modelos no, por lo que las predicciones de Martingala, cuantil medio y HuPin se evalúan todas según una misma definición de evento.

El límite de error sigue siendo estricto: una predicción que quede exactamente en el umbral se considera como una señal del evento grave, y no como un error. Cuando ninguna observación de prueba real se encuentra en la cola definida, la tasa condicional no está definida y no es cero.

Una vez establecido el umbral, la tasa de fallos condicionales es, algebraicamente, igual a la tasa de falsos negativos (uno menos el recuerdo) del clasificador de eventos definido por ese umbral. Esa identidad solo abarca la tasa final. El diagnóstico completo de BMR_Z también incluye el umbral exclusivo para entrenamiento, la solución de respaldo para casos con distribución escasa y su posición dentro del diseño integrado de BMR.

El experimento

La prueba empírica utiliza cinco valores bursátiles: BSIF, HTG, SSE, TLW y UKW. Cada modelo se evalúa con un conjunto idéntico de 315 fechas por valor bursátil, desde el 22 de abril de 2024 hasta el 18 de julio de 2025. Esto da un total de 1,575 días-bursátiles en el panel común, de los cuales 785 presentaron un retorno realizado negativo.

Los tres modelos desempeñan roles deliberadamente diferentes:

• Martingala: un punto de referencia teórico que siempre predice un retorno cero.
• Regresión de cuantil mediano: una línea de base lineal de mediana condicional ajustada en el nivel de cuantil 0.5.
• HuPin LSTM: una red orientada a la tendencia a la baja entrenada con una combinación de pérdidas de tipo Huber y pinball, utilizando un parámetro de pinball de 0.05.

Se mantuvieron estas tres familias para la ilustración tras analizar sus resultados en paneles comunes. Sus valores acumulados de RMSE se encuentran dentro del 1.133% del más bajo, y sus valores de R² fuera de la muestra se sitúan todos cerca de cero, mientras que las tasas de error al no detectar la tendencia a la baja distinguen con mayor claridad su comportamiento a la baja. Esa es una elección hecha con fines de presentación, sin pretender que la precisión general sea estadísticamente equivalente.

Hay dos consideraciones importantes. El objetivo aditivo HuPin, por sí solo, no convierte su resultado en un cuantil condicional calibrado al 5%. Además, los objetivos de cuantil mediano y HuPin asimétrico no necesitan apuntar a la misma función. Por lo tanto, la comparación que sigue es una demostración empírica de lo que revelan los diagnósticos BMR, y no una prueba completa de una regla de selección de modelos con función idéntica.

Cada modelo conservado utiliza las mismas claves de evaluación, el mismo umbral de materialidad y los límites de cola derivados de los datos de entrenamiento. Un verificador numérico volvió a calcular las cinco métricas directamente a partir de los resultados del panel común.

La primera figura muestra el RMSE y el R² fuera de la muestra en el panel de 1,575 observaciones.

Resultados en precisión promedio

El modelo de cuantil mediano presenta el RMSE más bajo y un R² de prueba ligeramente positivo, con un RMSE de 0.0603% inferior al del benchmark de retorno cero. El RMSE de HuPin es 1.133% superior al del modelo mediano, y su R² de prueba resulta negativo.

Resultados en casos de fallos a la baja

Al analizar el BMR, las mismas previsiones se ven diferentes. En los 785 días de retorno negativo, Martingale falla en todos ellos, el modelo mediano falla en 765 y HuPin en 627. Al aplicar el umbral común de un punto porcentual, las cifras disminuyen a 394, 365 y 270. En esta muestra, el BMR_tol de HuPin queda por lo tanto 12.10 puntos porcentuales por debajo del del modelo mediano.

La figura dos muestra el BMR, el BMR_tol y el BMR_Z uno al lado del otro, utilizando definiciones y denominadores comunes.

Está incorporado un BMR del 100% para el Martingale: siempre predice cero, por lo que cualquier retorno real negativo queda por debajo de este valor. Su BMR_tol del 50,2% es más informativo, ya que indica que ligeramente más de la mitad de los días bajistas se situaron al menos 0,01 por debajo de la previsión de cero en términos de retorno logarítmico.

BMR_Z añade un resultado negativo que es igualmente útil. El panel de pruebas habitual incluye 115 observaciones de la cola realizada, y según la regla de umbral establecida, los tres modelos fallan en todas ellas. Por lo tanto, el diagnóstico no puede clasificar a los modelos en este caso. Lo que registra es una limitación que comparten: en los días de la cola realizada, ninguna previsión puntual alcanzó el umbral de pérdida severa definido durante el entrenamiento.

Qué muestra y qué no muestra

HuPin no “gana”. En este ejemplo comete menos errores optimistas en los días de pérdida, pero obtiene una precisión general peor, y la familia BMR hace visible ese compromiso. No se definió de antemano un margen de precisión aceptable, y los objetivos de la mediana y de HuPin pueden apuntar a funcionalidades diferentes, por lo que la tabla no puede determinar un modelo preferido. No se realizó ninguna prueba de equivalencia inferencial.

BMR está diseñado como complemento de la precisión central. Un protocolo de selección futuro podría comenzar manteniendo únicamente las predicciones orientadas a la misma funcionalidad objetivo, y luego evaluarlas con una puntuación central consistente para dicha funcionalidad y un margen de precisión aceptable predefinido. Entre las predicciones que superen esa evaluación, una medida BMR seleccionada podría servir como criterio decisivo que favorezca a aquellas con menos errores optimistas en los días de pérdida.

Esa secuencia es importante. Reducir cualquier pronóstico puede disminuir sus tasas de error optimistas sin proporcionar información adicional sobre los plazos. Ciertamente modifica el comportamiento del error de manera significativa y podría ser adecuado para inversores que se preocupan por los riesgos negativos, pero su precio debe mantenerse visible a través de la precisión central, un sesgo o calibración adecuados al objetivo, y un límite claro en el exceso de conservadurismo. Un BMR más bajo por sí solo no constituye evidencia de información predictiva adicional. Un estudio centrado en decisiones también tendría que asignar un costo a las medidas defensivas innecesarias y a las ganancias que se pierden.

Los diagnósticos también tienen sus propias limitaciones. Dado que se basan en pérdidas reales, no informan sobre las advertencias de riesgo falso positivo, y BMR_Z necesitaría una medida de falso positivo o una curva de operación antes de poder respaldar una evaluación completa de detección de eventos. Ninguna tasa por sí sola demuestra ganancias en las operaciones, valor económico, superioridad general del modelo o significancia estadística.

Donde deja esto a las cosas

Los errores promedio siguen siendo esenciales, ya que muestran cuán lejos suelen quedar las previsiones de los resultados reales. BMR añade una segunda capa que pregunta, cuando ocurren pérdidas, si la previsión las subestimó, si la diferencia fue significativa y si la previsión pasó por alto un estado de pérdidas graves definido mediante estadísticas resistentes a valores atípicos.

El estudio de las cinco medidas de seguridad ilustra los beneficios. El modelo con la mejor precisión general no es aquel que comete menos errores optimistas en los días de pérdida, y el diagnóstico de eventos graves revela una falla que comparten los tres. Estos son hallazgos reales sobre el comportamiento de las previsiones, aunque no llegan a determinar una elección de modelo ni una decisión de inversión.

Cada componente matemático está relacionado con objetos estadísticos conocidos. Lo novedoso es limitado: la denominación de la tasa de errores en escenarios bajistas y la formulación del problema, el diseño combinado de los tres diagnósticos, sus especificaciones operativas y la aplicación empírica.

Eso conduce directamente a la pregunta siguiente: para las previsiones que tienen el mismo objetivo funcional y cumplen con un requisito de precisión central preestablecido, ¿puede el BMR funcionar como un criterio secundario fiable que reduzca los errores por días de pérdida excesivamente optimistas, al mismo tiempo que se respeta un límite explícito en cuanto al conservadurismo?

Responderla requiere datos actualizados, un diseño de comparación predefinido, incertidumbre teniendo en cuenta las dependencias, controles para desviaciones conservadoras y comparaciones con alternativas consistentes con el objetivo. Lo que existe hasta ahora es la formulación del BMR, el diseño integrado de tres partes, una implementación reproducible y evidencia empírica que justifica la siguiente prueba.

Leer más

• ¿Qué falló en un pipeline RAG correccional para preguntas y respuestas en YouTube con LangGraph? — Fragmentación, límites de los embeddings, estado de LangGraph, problemas asincrónicos y velocidad de transcripción: los errores encontrados al crear un bot de preguntas y respuestas para YouTube y cómo se solucionaron cada uno. —
• De la demostración al RAG en producción: fragmentación, pgvector, reclasificación y FastAPI — Qué contiene realmente un backend RAG en producción: ETL y fragmentación, embeddings en pgvector, índices HNSW, reclasificación con cross-encoder y un orquestador FastAPI. —