Taux d’erreur de sous-estimation baissière : Mesure des erreurs de prévision optimistes les jours de perte.

Pourquoi l’optimisme en période de baisse est important

Imaginez quelqu’un qui détient une position longue. Lorsqu’un modèle sous-estime une baisse, la perte sur cette position dépasse ce à quoi il s’attendait selon ses prévisions. Si ces prévisions influencent la taille de la position, les stratégies d’hedging, les réserves de liquidité ou les limites de risque, une estimation trop optimiste expose un capital supplémentaire sans offrir une protection adéquate. La perte réelle provient du marché et non des prévisions, et rien ici ne permet de calculer le profit ou la perte d’une stratégie de trading. La direction de l’erreur reste importante, car pour un détenteur de position longue, sous-estimer une baisse peut causer plus de dommages qu’une erreur pessimiste de même ampleur. Choisir un modèle de prévision signifie donc comprendre comment ses erreurs se comportent les jours où un actif perd de la valeur, et pas seulement quelle en est la valeur moyenne.

Une étude de cinq titres énergétiques cotés au Royaume-Uni illustre ce point. Un modèle de type médiane a légèrement surpassé un indice de rendement nul en termes de précision moyenne. Un modèle HuPin axé sur les scénarios négatifs a obtenu de moins bons résultats en moyenne, mais a commis beaucoup moins d’erreurs optimistes lorsque les rendements étaient négatifs. Ces deux résultats sont réels et répondent à des questions distinctes.

Ce que les scores habituels omettent

Le RMSE (erreur quadratique moyenne) et le R² hors échantillon permettent de mesurer dans quelle mesure les prévisions s’écartent globalement de la réalité. Aucun de ces indicateurs ne indique avec quelle fréquence une prévision a sous-estimé l’ampleur d’une perte réelle, et deux prévisions peuvent obtenir des scores similaires dans l’ensemble tout en présentant de grandes différences à cet égard. Sur le tableau commun utilisé ci-dessous, le R² est une transformation monotone du RMSE ; par conséquent, ensemble, ils fournissent un seul classement basé sur l’erreur quadratique, et non deux visions indépendantes.

Cette lacune dans la communication des données a motivé l’approche Bear Miss Rate (BMR), issue d’une thèse de master. Elle regroupe trois diagnostics liés : toute erreur optimiste lors d’une journée de perte, des erreurs optimistes dépassant un seuil de matérialité pratique, ainsi que les événements de rendement sévère non détectés. L’idée est d’ajouter une perspective négative claire aux rapports d’exactitude habituels, sans pour autant les remplacer.

Un exemple concret

Supposons qu’un titre financier affiche un rendement journalier de -2 % et que une prédiction de modèle indique -0,5 %. Le signe est correct, mais la perte est fortement sous-estimée, avec un écart optimiste de 1,5 point de pourcentage.

Un taux de précision directionnel pourrait qualifier cette prévision de victoire, car les deux valeurs sont négatives. Le RMSE prend en compte l’erreur, mais la moyenne avec toutes les autres. Aucun de ces indicateurs ne répond à la question plus précise de savoir avec quelle fréquence une prévision s’est avérée trop optimiste lorsque le titre a chuté, et avec quelle fréquence cet optimisme était suffisamment important pour avoir une incidence.

BMR met en évidence cette question conditionnelle. Pour une position longue, « optimiste » signifie un rendement prévu supérieur à celui réalisé. Ainsi, ce indicateur concerne la sous-estimation de l’ampleur d’une perte, y compris dans les cas où la prévision a correctement identifié le signe négatif.

Les trois diagnostics

Soit le rendement journalier réalisé yₜ et sa prévision ponctuelle ŷₜ.

BMR de base

La version la plus simple mesure avec quelle fréquence la prévision est trop élevée les jours où le rendement réalisé est négatif :

La comparaison est stricte, donc une prévision égale au rendement réel n’est pas considérée comme une erreur. S’il n’existe aucune observation de rendement négatif, le taux est indéfini et non nul.

BMR avec une tolérance

Certaines écarts de prévision sont trop faibles pour avoir de l’importance dans la pratique. BMR_tol ne prend en compte que les écarts optimistes atteignant une tolérance ε choisie :

Une valeur commune, ε = 0,01, est appliquée à chaque modèle et à chaque titre. En unités de rendement journalier, cela correspond à environ un point de pourcentage. Ce chiffre a été retenu en raison de sa simplicité et de sa lisibilité pour cette illustration, et il ne représente pas un optimum universel. Le dénominateur est le même que celui utilisé par BMR pour les scénarios baissiers, et le taux est indéfini si ce dénominateur est vide.

BMR pour des pertes sévères

BMR_Z vise les pertes réelles sévères. Pour chaque titre, un seuil résistant aux valeurs atypiques est déterminé uniquement à partir des rendements d’entraînement :

MAD signifie l’écart absolu médian brut. Le seuil candidat n’est retenu que si l’échelle résistante aux valeurs atypiques donne un résultat fini et supérieur à zéro, et si l’ensemble d’entraînement contient au moins cinq retours égaux ou inférieurs à ce seuil candidat. Lorsque l’une de ces conditions n’est pas remplie, la procédure utilise le quantile d’entraînement Q(0,0228) avec interpolation linéaire. Chaque valeur financière dispose de son propre seuil, mais ce n’est pas le cas pour les modèles ; par conséquent, les prévisions Martingale, de quantile médian et HuPin sont toutes évaluées selon une même définition d’événement.

La limite de manque est à nouveau stricte : une prévision se situant exactement au seuil est considérée comme une détection de l’événement grave, et non comme un manque. Lorsqu’aucune observation de test réalisée ne se trouve dans la queue définie, le taux conditionnel n’est pas défini et n’est pas nul.

Lorsque le seuil est défini, le taux d’échec conditionnel est, algébriquement, égal au taux de faux négatifs (un moins le taux de rappel) du classifieur d’événements que ce seuil définit. Cette égalité ne concerne que le rapport final. Le diagnostic complet BMR_Z inclut également le seuil utilisé uniquement pour l’entraînement, la solution de secours pour les séries à distribution peu dense, ainsi que sa place dans la conception intégrée BMR.

L’expérience

Le test empirique utilise cinq valeurs mobilières : BSIF, HTG, SSE, TLW et UKW. Chaque modèle est évalué sur un ensemble identique de 315 dates par valeur mobilière, allant du 22 avril 2024 au 18 juillet 2025. Cela donne 1 575 jours de suivi pour l’ensemble des valeurs mobilières, dont 785 présentent un rendement réalisé négatif.

Les trois modèles remplissent délibérément des rôles différents :

• Martingale : un point de référence théorique qui prédit toujours un rendement nul.
• Régression de quantile médian : une ligne de base linéaire conditionnelle au médian, ajustée au niveau de quantile 0,5.
• HuPin LSTM : un réseau orienté vers les pertes négatives, entraîné à l’aide d’une combinaison de pertes Huber et de type pinball, avec un paramètre pinball de 0,05.

Ces trois familles ont été conservées à des fins illustratives après avoir examiné leurs résultats pour les panels communs. Leurs valeurs RMSE agrégées se situent à 1,133 % du plus bas, et leurs valeurs R² hors échantillon sont toutes proches de zéro, tandis que les taux d’échec à éviter les pertes négatives distinguent beaucoup plus clairement leur comportement en cas de baisse. Il s’agit d’un choix fait pour la présentation, sans prétendre que leur précision moyenne soit statistiquement équivalente.

Deux réserves s’imposent. L’objectif additif HuPin ne fait pas de lui-même en sorte que son résultat corresponde à un quantile conditionnel calibré à 5 %. De plus, les objectifs de quantile médian et de HuPin asymétrique n’ont pas nécessairement pour cible la même fonction. La comparaison ci-dessous constitue donc une démonstration empirique de ce que révèlent les diagnostics BMR, et non un test complet d’une règle de sélection de modèle fonctionnellement identique.

Chaque modèle retenu utilise les mêmes critères d’évaluation, le même seuil de matérialité ainsi que les limites de queue dérivées des données d’entraînement. Un vérificateur numérique a recomputé les cinq métriques directement à partir des résultats du panel commun.

La première figure présente le RMSE et le R² hors échantillon pour le panel de 1 575 observations.

Résultats en termes de précision moyenne

Le modèle de quantile médian présente le RMSE le plus bas ainsi qu’un R² de test légèrement positif, avec un RMSE de 0,0603 % inférieur à celui de la référence de rendement nul. Le RMSE de HuPin est de 1,133 % supérieur à celui du modèle médian, et son R² de test devient négatif.

Résultats en cas d’échecs en période de baisse

Lorsqu’on examine la valeur BMR, les mêmes prévisions semblent différentes. Sur les 785 jours de rendement négatif, le modèle Martingale échoue à chaque fois, le modèle médian échoue 765 fois et HuPin 627 fois. En appliquant le même seuil de un point de pourcentage, ces chiffres descendent à 394, 365 et 270 respectivement. Dans cet échantillon, la valeur BMR_tol de HuPin se situe donc 12,10 points de pourcentage en dessous de celle du modèle médian.

La figure deux présente côte à côte les valeurs BMR, BMR_tol et BMR_Z, en utilisant des définitions et des dénominateurs communs.

Un BMR de 100 % est intégré pour la stratégie Martingale : il prédit toujours zéro, de sorte que tout rendement négatif réel se situe en dessous de cette valeur. Son BMR_tol de 50,2 % est plus informatif, car il indique que légèrement plus de la moitié des jours baissiers se sont déroulés avec un écart d’au moins 0,01 par rapport à la prédiction zéro en termes de rendement logarithmique.

BMR_Z ajoute un résultat négatif tout aussi utile. Le panel de test standard comprend 115 observations de queues réalisées, et selon la règle de seuil indiquée, les trois modèles échouent avec chacune d’elles. Par conséquent, le diagnostic ne peut pas classer les modèles dans ce cas. Ce qu’il enregistre, c’est une limitation commune à tous : lors des jours de queue réalisés, aucune prédiction de point n’a atteint le seuil de perte sévère défini lors de l’entraînement.

Ce que cela montre et ne montre pas

HuPin ne « gagne » pas. Dans cet exemple, il commet moins d’erreurs optimistes liées aux jours de perte tout en affichant une précision globale inférieure, et la famille BMR met en évidence cet équilibre difficile. Aucun seuil de précision acceptable n’a été défini à l’avance, et les objectifs de médiane et de HuPin peuvent viser des fonctions différentes, ce qui empêche le tableau de désigner un modèle préféré. Aucun test d’équivalence inférentielle n’a été effectué.

BMR est conçu comme un complément à la précision centrale. Un protocole de sélection futur pourrait commencer par ne retenir que les prévisions visant la même fonction cible, puis les évaluer à l’aide d’une note centrale cohérente pour cette fonction et d’un seuil de précision acceptable prédéfini. Parmi celles qui restent, une mesure BMR choisie pourrait servir de critère décisif en faveur de celles qui commettent moins d’erreurs optimistes liées aux jours de perte.

Cette séquence est importante. Abaisser toute prévision peut réduire ses taux d’échec optimistes sans fournir de nouvelles informations sur le calendrier. Elle modifie réellement le comportement des erreurs et pourrait convenir à un investisseur soucieux des risques négatifs, mais son prix doit rester visible grâce à une précision centrale, à un biais ou à une calibration adaptés à l’objectif, ainsi qu’à une limite claire au conservatisme excessif. Un BMR plus bas en soi n’est pas une preuve d’informations prédictives supplémentaires. Une étude axée sur les décisions devrait en outre chiffrer le coût des manœuvres défensives inutiles et des gains abandonnés.

Les diagnostics présentent également leurs propres limites. Comme ils se basent sur des pertes réelles, ils restent muets quant aux avertissements de baisse biaisés vers le positif, et BMR_Z aurait besoin d’une mesure de faux positif ou d’une courbe de fonctionnement avant de pouvoir permettre une évaluation complète de la détection des événements. Aucun taux pris isolément ne démontre un profit commercial, une valeur économique, une supériorité générale du modèle ou une signification statistique.

Où cela nous mène

Les erreurs moyennes restent essentielles, car elles indiquent dans quelle mesure les prévisions s’éloignent généralement des résultats réels. BMR ajoute une deuxième couche qui se demande, lorsque des pertes se produisent, si la prévision les a sous-estimées, si l’écart est significatif, et si la prévision a manqué de détecter un état de pertes sévères, défini à l’aide de statistiques résistantes aux valeurs atypiques.

L’étude sur les cinq niveaux de sécurité illustre les avantages de cette approche. Le modèle présentant la meilleure précision globale n’est pas celui qui commet le moins d’erreurs optimistes concernant les jours de perte, et le diagnostic des événements graves révèle une faille commune à tous les trois. Il s’agit de constats réels sur le comportement des prévisions, même s’ils ne suffisent pas à trancher entre les choix de modèles ou les décisions d’investissement.

Chaque composante mathématique fait référence à des objets statistiques bien connus. Les innovations sont limitées : la désignation du taux d’erreur lié aux scénarios négatifs et la formulation du problème, la conception combinant les trois diagnostics, ses spécifications opérationnelles ainsi que son application empirique.

Cela mène directement à la question suivante : pour les prévisions visant la même fonctionnalité et répondant à un critère d’exactitude centrale prédéfini, le BMR peut-il servir de critère secondaire fiable qui réduise les erreurs d’optimisme liées aux jours de perte tout en respectant une limite explicite en matière de conservatisme ?

Y répondre nécessite des données fraîches, un plan de comparaison déclaré à l’avance, une estimation de l’incertitude tenant compte des dépendances, des contrôles contre les déviations conservatrices ainsi que des comparaisons avec des alternatives cohérentes avec l’objectif visé. Ce qui existe pour l’instant, c’est la formulation du BMR, un plan intégré en trois parties, une mise en œuvre reproductible et des preuves empiriques justifiant ce prochain test.