Bear Miss Rate: Messung optimistischer Prognosefehler an Verlusttagen

Warum Optimismus an Tagen des Rückgangs wichtig ist

Stellen Sie sich jemanden vor, der eine Long-Position hält. Wenn ein Modell einen Rückgang unterschätzt, übersteigt der Verlust dieser Position das, was die Prognose ihnen hatte erwarten lassen. Wenn Prognosen die Größe der Positionen, Absicherungen, Liquiditätsreserven oder Risikogrenzen beeinflussen, führt eine zu optimistische Schätzung dazu, dass zusätzliches Kapital ungeschützt bleibt und weniger Schutz vorhanden ist. Der tatsächliche Verlust entsteht durch den Markt und nicht durch die Prognose, und hier wird weder der Gewinn noch der Verlust einer Handelsstrategie berechnet. Die Richtung des Fehlers ist dennoch von Bedeutung, denn für einen Long-Halter kann ein unterschätzter Rückgang mehr Schaden anrichten als ein ebenso großer pessimistischer Fehler. Die Wahl eines Prognosemodells bedeutet daher, zu verstehen, wie sich seine Fehler an Tagen verhalten, an denen ein Vermögenswert an Wert verliert – und nicht nur ihr Durchschnitt.

Eine Studie an fünf in Großbritannien notierten Energieanleihen verdeutlicht diesen Punkt. Ein medianbasierter Modell lag im Durchschnitt in Bezug auf die Genauigkeit knapp vor einem Referenzmodell mit Nullrendite. Ein auf negative Entwicklungen ausgerichtetes HuPin-Modell erzielte im Durchschnitt schlechtere Ergebnisse, machte jedoch bei negativen Renditen deutlich seltener optimistische Fehleinschätzungen. Beide Ergebnisse sind real und beantworten unterschiedliche Fragen.

Was die üblichen Bewertungskriterien außer Acht lassen

RMSE (Wurzel aus dem mittleren Quadrat der Fehler) und R² außerhalb des Datensatzes fassen zusammen, wie stark die Prognosen insgesamt abweichen. Keines dieser Kriterien gibt an, wie oft eine Prognose die tatsächlich eingetretene Verlusthöhe unterschätzt hat, und zwei Prognosen können insgesamt gleich bewertet werden, während sie in diesem Punkt stark voneinander abweichen. Auf dem unten verwendeten gemeinsamen Panel ist R² eine monotone Transformation von RMSE, sodass beide zusammen eine einzige Rangliste nach dem Quadratfehler liefern und nicht zwei unabhängige Bewertungen.

Dieser Berichtslücke ging der Ansatz Bear Miss Rate (BMR) voraus, der aus einer Masterarbeit hervorging. Er umfasst drei miteinander verbundene Diagnosen: optimistische Fehler an Verlustrichtungen, optimistische Fehler über einem praktischen Materialitätsgrenzwert sowie übersehene Ereignisse mit starken Renditeverlusten. Ziel ist es, eine klare negative Sichtweise neben der üblichen Genauigkeitsberichterstattung zu bieten, anstelle, sie zu ersetzen.

Ein konkretes Beispiel

Nehmen wir an, ein Wertpapier weist einen täglichen Renditeverlust von -2 % auf, während eine Modellprognose -0,5 % ergibt. Das Vorzeichen stimmt, doch der Verlust wird erheblich unterschätzt – um einen optimistischen Unterschied von 1,5 Prozentpunkten.

Eine Richtungs-Rate könnte diese Prognose als Erfolg bewerten, da beide Werte negativ sind. Der RMSE berücksichtigt zwar den Fehler, doch er berechnet ihn im Durchschnitt mit allen anderen Werten. Keiner der Ansätze beantwortet die präzisere Frage, wie oft eine Prognose bei einem Wertverfall zu optimistisch war und wie oft dieser Optimismus ausreichend groß war, um Bedeutung zu haben.

BMR bringt diese bedingte Frage ins Blickfeld. Bei einer Long-Position bedeutet „optimistisch“ einen prognostizierten Rückgang, der über dem tatsächlichen liegt. Somit bezieht sich der Indikator auf die Unterschätzung der Größe eines Verlusts, einschließlich Fällen, in denen die Prognose das negative Vorzeichen richtig erkannt hat.

Die drei Diagnosemethoden

Nehmen wir den tatsächlichen täglichen Log-Rückgang als yₜ und die punktuelle Prognose als ŷₜ.

Grundlegender BMR

Die einfachste Version misst, wie oft die Prognose an Tagen mit negativem tatsächlichem Rückgang zu hoch ausfällt:

Der Vergleich ist streng, sodass eine Prognose, die dem tatsächlichen Renditergebnis entspricht, kein Fehlschlag ist. Wenn es keine Beobachtungen mit negativem Rendite gibt, ist der Wert undefiniert und nicht null.

BMR mit Toleranz

Einige Prognoseunterschiede sind in der Praxis zu gering, um von Bedeutung zu sein. BMR_tol zählt nur die optimistischen Unterschiede, die eine gewählte Toleranz ε erreichen:

Ein gemeinsamer Wert, ε = 0,01, wird für jedes Modell und jede Wertpapiersorte angewendet. In Tageslog-Renditeeinheiten entspricht das etwa einem Prozentsatzpunkt. Er wurde als runder, leicht lesbarer Materialitätsgrad für diese Veranschaulichung ausgewählt und stellt kein universelles Optimum dar. Der Nenner ist derselbe pessimistische Wert, den BMR verwendet, und der Wert ist undefiniert, wenn dieser Nenner leer ist.

BMR für schwere Verluste

BMR_Z bezieht sich auf schwere tatsächliche Verluste. Für jedes Wertpapier wird ausschließlich auf der Grundlage von Trainingsrenditen ein gegen Ausreißer widerstandsfähiger Schwellenwert berechnet:

MAD steht für die rohe mittlere absolute Abweichung. Der Kandidat-Wert für die Schwellenwertbestimmung wird nur dann beibehalten, wenn die ausreißerresistente Skala endlich und über Null liegt und das Trainingsset mindestens fünf Werte auf oder unter diesem Kandidatwert aufweist. Fällt eine dieser Bedingungen aus, wird das Quantil Q(0,0228) unter Verwendung linearer Interpolation verwendet. Jedes Wertpapier erhält seinen eigenen Schwellenwert, die Modelle hingegen nicht; daher werden die Martingale-, mittlere-Quantil- und HuPin-Prognosen alle anhand derselben Definition eines Ereignisses bewertet.

Auch die Grenze für Fehlschläge ist wieder streng: Eine Prognose, die genau auf dem Schwellenwert liegt, gilt als Anzeichen für ein schweres Ereignis und nicht als Fehlschlag. Wenn keine tatsächlich gemessenen Testwerte in den definierten Bereich fallen, ist die bedingte Rate undefiniert und nicht null.

Sobald der Schwellenwert festgelegt ist, entspricht das bedingte Fehlerratio-Alter in algebraischer Hinsicht dem Falsch-Negativ-Ratenwert (eins minus Recall) des Ereignisklassifikators, den der Schwellenwert definiert. Diese Gleichheit gilt nur für das endgültige Verhältnis. Die vollständige BMR_Z-Diagnose beinhaltet außerdem den ausschließlich für das Training verwendeten Schwellenwert, die Fallback-Lösung für spärliche Datenmengen sowie deren Platz im integrierten BMR-Design.

Das Experiment

Der empirische Test verwendet fünf Wertpapiere: BSIF, HTG, SSE, TLW und UKW. Jedes Modell wird anhand derselben Datensammlung von 315 Tagen pro Wertpapier bewertet, und zwar vom 22. April 2024 bis zum 18. Juli 2025. Das ergibt insgesamt 1.575 Wertpapier-Tage im gemeinsamen Datensatz, von denen 785 einen negativen tatsächlichen Renditewert aufwiesen.

Die drei Modelle übernehmen bewusst unterschiedliche Rollen:

• Martingale: ein theoretischer Referenzpunkt, der stets einen Renditewert von null vorhersagt.
• Median-Quantil-Regression: eine lineare bedingte-Median-Referenzlinie, die auf dem Quantil-Niveau 0,5 angepasst wird.
• HuPin LSTM: ein auf fallende Trends ausgerichtetes Netzwerk, das mit einer Kombination aus Huber- und Pinball-Verlustfunktionen trainiert wird, wobei ein gewählter Pinball-Parameter von 0,05 verwendet wird.

Nach Prüfung der Ergebnisse für die gemeinsamen Panels wurden diese drei Ansätze zur Veranschaulichung beibehalten. Ihre zusammengefassten RMSE-Werte liegen innerhalb von 1,133 % des niedrigsten Wertes, und ihre R²-Werte außerhalb des Trainingsdatensatzes liegen alle nahe bei null. Die Fehlerquoten bei Fehlprognosen unterscheiden ihr fallendes Verhalten deutlicher voneinander. Dies ist eine für die Präsentation getroffene Entscheidung, ohne dass behauptet wird, die Genauigkeit dieser Ansätze sei statistisch gleichwertig.

Zwei Einschränkungen gelten. Das additive HuPin-Ziel macht dessen Ergebnis allein noch nicht zu einem kalibrierten 5%-bedingten Quantil. Zudem müssen das mittlere Quantil sowie das asymmetrische HuPin-Ziel nicht auf dasselbe Funktional abzielen. Der untenstehende Vergleich ist daher eine empirische Darstellung dessen, was BMR-Diagnosen aufzeigen, und keine abgeschlossene Überprüfung einer regelbasierten Modellauswahl mit identischem Funktional.

Jedes beibehaltene Modell verwendet dieselben Bewertungskriterien, denselben Materialitätsschwellenwert sowie die aus den Trainingsdaten abgeleiteten Schwanzabschnitte. Ein numerischer Überprüfer hat alle fünf Metriken direkt aus dem Ausgabeergebnis des gemeinsamen Panels neu berechnet.

Die erste Abbildung zeigt den RMSE sowie den R² außerhalb des Datensatzes für das Panel mit 1.575 Beobachtungen.

Ergebnisse zur durchschnittlichen Genauigkeit

Das Median-Quantil-Modell weist den niedrigsten RMSE sowie einen leicht positiven Test-R² auf, wobei der RMSE 0,0603 % unter dem Referenzwert für null Rendite liegt. HuPins RMSE liegt 1,133 % über dem des Median-Modells, und sein Test-R² wird negativ.

Ergebnisse bei Fehlschlägen im negativen Bereich

Bei der Betrachtung von BMR sehen die gleichen Prognosen anders aus. In den 785 Tagen mit negativer Rendite verfehlt das Martingale-Modell alle Fälle, das Median-Modell 765 und HuPin 627. Bei Anwendung des gemeinsamen Schwellenwerts von einem Prozentpunkt sinken die Zahlen auf 394, 365 und 270. In dieser Stichprobe liegt daher HuPins BMR_tol 12,10 Prozentpunkte unter dem des Median-Modells.

Abbildung zwei zeigt BMR, BMR_tol und BMR_Z nebeneinander unter Verwendung gemeinsamer Definitionen und Nenner.

Für das Martingale ist ein 100%-iger BMR integriert: Er prognostiziert stets null, sodass jeder tatsächlich erzielte negative Rendite darunter liegt. Sein BMR_tol von 50,2 % ist aussagekräftiger, da er angibt, dass etwas mehr als die Hälfte der fallenden Tage im Vergleich zur Null-Prognose in Begriffen der logarithmischen Rendite mindestens 0,01 darunter lagen.

BMR_Z liefert ein ebenso nützliches negatives Ergebnis. Das übliche Testpanel umfasst 115 tatsächlich erzielte Randbeobachtungen, und gemäß der festgelegten Schwellenwertregel verfehlen alle drei Modelle jede einzelne davon. Daher kann die Diagnose die Modelle hier nicht bewerten. Was sie festhält, ist eine gemeinsame Einschränkung aller Modelle: An den tatsächlich erzielten Randtagen erreichte keine Prognose den im Training definierten Schwellenwert für schwere Verluste.

Was dies zeigt und was nicht

HuPin „gewinnt“ nicht. In diesem Beispiel macht es weniger optimistische Fehler bezüglich der Verlusttage, weist aber insgesamt eine geringere Genauigkeit auf, wobei die BMR-Familie diesen Kompromiss sichtbar macht. Es wurde im Voraus kein akzeptabler Genauigkeitsbereich festgelegt, und die Median- sowie HuPin-Ziele können auf unterschiedliche Funktionalien abzielen, sodass die Tabelle kein bevorzugtes Modell bestimmen kann. Es wurde außerdem kein Test auf inferenzielle Äquivalenz durchgeführt.

BMR dient als Ergänzung zur zentralen Genauigkeit. Ein zukünftiges Auswahlprotokoll könnte damit beginnen, nur solche Prognosen zu berücksichtigen, die auf dieselbe Zielfunktion abzielen, und diese anschließend mit einer für diese Funktion konsistenten zentralen Bewertung sowie einem im Voraus festgelegten akzeptablen Genauigkeitsbereich zu bewerten. Unter den verbleibenden Modellen könnte eine ausgewählte BMR-Messgröße als Entscheidungskriterium dienen, das weniger optimistische Fehler bezüglich der Verlusttage bevorzugt.

Diese Abfolge ist wichtig. Das Herunterdrücken jeder Prognose kann ihre optimistischen Fehlerraten senken, ohne neue Zeitangaben zu liefern. Sie verändert das Fehlerverhalten auf echte Weise und könnte für Investoren geeignet sein, die auf mögliche Nachteile achten, doch ihr Wert muss durch zentrale Genauigkeit, auf das Ziel abgestimmte Verzerrungen oder Kalibrierung sowie eine klare Grenze für übermäßigen Konservatismus sichtbar bleiben. Ein niedrigerer BMR allein ist kein Beweis für zusätzliche prädiktive Informationen. Eine auf Entscheidungen ausgerichtete Studie müsste außerdem den Kosten für sinnlose defensivische Maßnahmen sowie aufgegebene Gewinne Rechnung tragen.

Auch die Diagnosemethoden haben ihre eigenen Grenzen. Da sie von tatsächlich eingetretenen Verlusten abhängen, schweigen sie zu falsch-positiven Warnungen vor Rückgängen, und BMR_Z bräuchte eine Messgröße für falsch-positive Fälle oder eine Betriebskurve, um eine vollständige Bewertung der Ereigniserkennung ermöglichen zu können. Kein einzelner Wert zeigt allein Handelsgewinne, wirtschaftlichen Wert, allgemeine Überlegenheit des Modells oder statistische Signifikanz.

Was davon übrig bleibt

Durchschnittliche Fehler bleiben entscheidend, da sie zeigen, wie stark Prognosen in der Regel von den tatsächlichen Ergebnissen abweichen. BMR fügt eine zweite Ebene hinzu, die prüft, ob bei eingetretenen Verlusten die Prognose diese unterschätzt hat, ob die Differenz erheblich war und ob die Prognose einen durch ausreißerresistente Statistiken definierten Zustand schwerer Verluste übersehen hat.

Die Studie mit den fünf Sicherheitsmaßnahmen zeigt den Nutzen auf. Das Modell mit der besten Gesamtgenauigkeit ist nicht unbedingt das, das die wenigsten Fehlprognosen bei optimistischen Verlusttagen macht, und die Diagnose schwerer Ereignisse weist einen gemeinsamen Fehler bei allen drei Modellen auf. Das sind echte Erkenntnisse darüber, wie Prognosen funktionieren, auch wenn sie nicht ausreichen, um eine Entscheidung bezüglich des Modells oder einer Investition zu treffen.

Jeder mathematische Bestandteil verweist auf bekannte statistische Konzepte. Die Neuerungen sind begrenzt: die Benennung der Fehlprognosesrate bei fallenden Kursen sowie die Formulierung des Problems, das kombinierte Diagnosesign mit drei Methoden, seine operationellen Anforderungen und die empirische Anwendung.

Das führt direkt zur folgenden Frage: Können bei Prognosen, die dieselbe Funktionalität haben und einen vordefinierten Anforderungswert an die zentrale Genauigkeit erfüllen, die BMR als zuverlässiges sekundäres Kriterium dienen, um optimistische Fehler bezüglich der Verlusttage zu verringern, ohne dabei eine explizite Obergrenze für den Konservatismus zu überschreiten?

Um diese Frage zu beantworten, sind aktuelle Daten, ein im Voraus festgelegtes Vergleichsdesign, unsicherheitssensibler Umgang mit Abhängigkeiten, Kontrollmaßnahmen gegen konservative Verzerrungen sowie Vergleiche mit alternativen Ansätzen, die mit den Zielen übereinstimmen, erforderlich. Bisher existiert lediglich die BMR-Formulierung, ein integriertes dreiteiliges Design, eine reproduzierbare Umsetzung sowie empirische Belege, die einen weiteren Test rechtfertigen.