Stopa nieudanych prognoz spadkowych: Pomiar błędów optymistycznych prognoz w dniach strat.

Dlaczego optymizm w trudnych czasach ma znaczenie

Wyobraźmy sobie kogoś, kto posiada długą pozycję. Gdy model nieprawidłowo oceni spadek wartości, straty wynikające z tej pozycji przekraczają to, czego ten model pozwolił mu się spodziewać. Jeśli prognozy wpływają na wielkość pozycji, mechanizmy zabezpieczające, rezerwy płynnościowe lub limity ryzyka, zbyt optymistyczne szacunki powodują, że nadmiar kapitału pozostaje bez ochrony. Realna strata pochodzi z rynku, a nie z prognozy, i nic tutaj nie oblicza zysku ani straty strategii handlowej. Kierunek błędu nadal ma znaczenie, ponieważ dla posiadacza długiej pozycji niedoszacowanie spadku może przynieść większą szkodę niż równie duży pesymistyczny błąd. Dlatego wybór modelu prognozowania oznacza zrozumienie, jak jego błędy zachowują się w dniach, gdy aktywo traci na wartości, a nie tylko ich średnią wartość.

Badanie pięciu papierów wartościowych energetycznych notowanych na giełdzie brytyjskiej ilustruje ten problem. Model medianowy przewyższył średnio benchmark o zerowym zwrocie pod względem dokładności. Model HuPin skoncentrowany na negatywnych scenariuszach osiągał średnio gorsze wyniki, ale rzadziej dokonywał optymistycznych błędnych prognoz, gdy zwroty były ujemne. Obie te sytuacje są rzeczywiste i odpowiadają na różne pytania.

Co pomijają standardowe wskaźniki

RMSE (średnia kwadratowa błędu) oraz R² dla danych poza zbiorem treningowym podsumowują ogólny stopień błędności prognoz. Żaden z nich nie wskazuje, jak często prognoza nie doceniła rozmiaru rzeczywiście wystąpionej straty, a dwa różne modele mogą mieć podobne wyniki łącznie, choć znacznie się różnić w tym aspekcie. Na poniższym wspólnym panelu R² jest monotoniczną transformacją RMSE, więc razem dają one jeden wspólny ranking oparty na kwadratowym błędzie, a nie dwa niezależne podejścia.

To zapotrzebowanie na lepsze raportowanie skłoniło do opracowania podejścia Bear Miss Rate (BMR), które powstało w ramach rozprawy magisterskiej. Łączy ono trzy powiązane ze sobą metody diagnostyczne: błędy optymistyczne w dniach straty, błędy optymistyczne przekraczające praktyczną granicę istotności oraz przeoczone wydarzenia o silnym wpływie na wynik. Celem jest przedstawienie wyraźnego obrazu negatywnych skutków obok standardowych informacji o dokładności, a nie ich zastąpienie.

Przykład zastosowania

Załóżmy, że dany instrument finansowy wykazuje dzienną stopę zwrotu -2%, podczas gdy model przewiduje -0,5%. Znak jest prawidłowy, jednak strata jest znacznie niedoszacowana – o 1,5 punktu procentowego z powodu błędu optymistycznego.

Wskaźnik skuteczności predykcji w określonym kierunku mógłby uznać tę prognozę za udaną, ponieważ obie wartości są ujemne. RMSE faktycznie uwzględnia błąd, ale średniuje go z wszystkimi innymi wartościami. Żaden z tych wskaźników nie odpowiada na bardziej konkretne pytanie o to, jak często prognoza okazywała się zbyt optymistyczna, gdy cena aktywa spadała, oraz jak często ten optymizm był na tyle duży, by mieć znaczenie.

BMR umożliwia rozpatrzenie tego warunkowego pytania. W przypadku pozycji długiej „optymistyczny” oznacza przewidywany zwrot wyższy od rzeczywistego. Dlatego ten wskaźnik dotyczy niedoszacowania wielkości straty, włączając przypadki, gdy prognoza poprawnie odgadła znak ujemny.

Trzy diagnostyki

Nazwijmy rzeczywisty dzienny zwrot logarytmiczny yₜ, a jego prognozę punktową ŷₜ.

Podstawowy BMR

Najprostsza wersja tego wskaźnika mierzy, jak często prognoza jest zbyt wysoka w dniach o ujemnym rzeczywistym zwrocie:

Porównanie jest ścisłe, więc prognoza równa faktycznie osiągniętemu zwrotowi nie stanowi błędu. Jeśli nie ma obserwacji z ujemnym zwrotem, wskaźnik jest nieskończony i nie równa się zeru.

BMR z tolerancją

Część różnic w prognozach jest zbyt mała, by miała znaczenie w praktyce. BMR_tol uwzględnia jedynie te optymistyczne różnice, które przekraczają wybraną tolerancję ε:

Dla każdego modelu i instrumentu finansowego stosuje się wspólną wartość ε = 0,01. W jednostkach dziennych zwrotu to około jednego punktu procentowego. Została ona wybrana jako okrągły, łatwy do odczytania poziom istotności w tym przykładzie i nie jest przedstawiana jako uniwersalny optymalny wynik. Mianownik jest taki sam jak w przypadku BMR dla spadków, a wskaźnik jest nieskończony, jeśli ten mianownik jest pusty.

BMR dla poważnych strat

BMR_Z skupia się na poważnych faktycznie poniesionych stratach. Dla każdego instrumentu finansowego ustala się próg odporny na wyjątki, oparty wyłącznie na danych zwrotów z okresu szkoleniowego:

MAD oznacza surową medianową odchylność bezwzględną. Kandydat na próg decyzyjny jest przyjmowany tylko wtedy, gdy skalowanie odporne na wartości ekstremalne daje skończoną wartość większą od zera, a zbiór treningowy zawiera co najmniej pięć wyników równych lub niższych od tego kandydata. Gdy któreś z tych warunków nie jest spełnione, procedura wykorzystuje kwantyli treningowy Q(0.0228) z interpolacją liniową. Każdy instrument finansowy ma swój własny próg decyzyjny, natomiast modele nie – dlatego prognozy typu Martingale, medianowy kwantyli oraz HuPin są oceniane według jednej definicji zdarzenia.

Granica błędu jest ponownie ścisła: prognoza trafiająca dokładnie na próg decyzyjny jest uznawana za sygnał poważnego zdarzenia, a nie za błąd. Gdy żadna z realizowanych obserwacji testowych nie znajduje się w określonym ogonie rozkładu, warunkowa szybkość jest nieskończona i nie równa zero.

Gdy zostanie ustalona granica, stosunek błędnych negatywów jest algebraicznie równy wskaźnikowi fałszywych negatywów (jedna minus precyzja) klasyfikatora zdarzeń określonego przez tę granicę. Ta zależność dotyczy wyłącznie końcowego stosunku. Pełny diagnostyka BMR_Z obejmuje również granicę używaną wyłącznie podczas szkolenia, rozwiązanie awaryjne dla rzadkich przypadków oraz miejsce, które zajmuje w zintegrowanym projekcie BMR.

Eksperyment

Test empiryczny wykorzystuje pięć papierów wartościowych: BSIF, HTG, SSE, TLW i UKW. Każdy model jest oceniany na identycznym zestawie 315 dat dla każdego papieru wartościowego, od 22 kwietnia 2024 roku do 18 lipca 2025 roku. Daje to 1 575 dni obserwacji dla wszystkich papierów wartościowych, z których 785 miało ujemną rzeczywistą stopę zwrotu.

Trzy modele pełnią celowo różne role:

• Martingala: teoretyczny punkt odniesienia, który zawsze przewiduje zerową stopę zwrotu.
• Regresja kwantylowa medianowa: liniowa baza odniesienia oparta na medianie warunkowej, dostosowana na poziomie kwantylu 0,5.
• HuPin LSTM: sieć skierowana na sytuacje spadkowe, szkolena na połączeniu strat typu Huber i pinball, przy wybranym parametrze pinball równym 0,05.

Te trzy rodzaje modeli zostały zachowane w celach ilustracyjnych po przeanalizowaniu ich wyników dla tych samych zestawień. Ich łączne wartości RMSE znajdują się w przedziale 1,133% poniżej najniższej wartości, a wartości R² dla danych poza zbiorem treningowym są bliskie zera; natomiast wskaźniki nieudanych prognoz znacznie wyraźniej różnicują ich zachowanie w sytuacjach spadkowych. Jest to wybór dokonany ze względów prezentacyjnych, bez twierdzenia, że dokładność tych modeli jest statystycznie równoważna.

Obowiązują dwa zastrzeżenia. Dodatkowy cel HuPin sam w sobie nie sprawia, że jego wynik stanowi skalibrowany 5% kwantyl warunkowy. Ponadto cel kwantylu medianowego oraz asymetrycznego HuPin nie muszą odnosić się do tej samej funkcji. Dlatego poniższe porównanie jest jedynie empirycznym pokazem tego, co ujawniają diagnostyki BMR, a nie ukończoną próbą reguły wyboru modelu opartej na tej samej funkcji.

Każdy zachowany model wykorzystuje te same kryteria oceny, ten sam próg istotności oraz wartości ograniczające „ogon” wyliczone na podstawie danych treningowych. Narzędzie weryfikacyjne obliczyło wszystkie pięć metryk bezpośrednio z wyników uzyskanych z wspólnego panelu.

Pierwszy wykres przedstawia RMSE oraz R² poza zbiorem treningowym dla panelu zawierającego 1 575 obserwacji.

Wyniki dotyczące średniej dokładności

Model kwantyli medianowy wykazuje najniższe RMSE oraz nieco dodatnie R² testowe, przy RMSE na poziomie 0,0603% poniżej standardu zerowego zwrotu. RMSE modelu HuPin wynosi 1,133% powyżej wartości modelu medianowego, a jego R² testowe staje się ujemne.

Wyniki w przypadku nieudanych prognoz spadkowych

Przy analizie wskaźnika BMR te same prognozy wyglądają inaczej. W ciągu 785 dni z negatywnym zwrotem model Martingale nie udaje się w żadnym z nich, model medianowy – w 765, a HuPin – w 627. Po zastosowaniu wspólnego progu w wysokości jednego punktu procentowego liczby te spadają do 394, 365 i 270. W tym przykładzie wartość BMR_tol modelu HuPin jest więc o 12,10 punktu procentowego niższa od wartości modelu medianowego.

Rysunek drugi przedstawia BMR, BMR_tol i BMR_Z obok siebie, przy użyciu wspólnych definicji i mianowników.

W przypadku strategii Martingale wbudowana jest wartość BMR na poziomie 100%: zawsze przewiduje ona wartość zero, więc każdy ujemny rzeczywisty zwrot znajduje się poniżej tej wartości. Bardziej informacyjna jest wartość BMR_tol wynosząca 50,2%, ponieważ wskazuje, że nieco ponad połowa dni spadkowych przyniosła zwrot o co najmniej 0,01 poniżej prognozy zero w ujęciu logarytmicznym.

BMR_Z uwzględnia również ujemny wynik, który jest równie przydatny. W standardowym zestawie testowym znajduje się 115 obserwacji z końcówką rozkładu, a zgodnie z podaną zasadą progu wszystkie trzy modele nie trafiają w żadną z nich. Dlatego narzędzie diagnostyczne nie może tu sklasyfikować modeli. Rejestruje natomiast wspólną dla nich ograniczenie: w dniach z końcówką rozkładu żadna z prognoz nie osiągnęła ustalonego podczas treningu progu poważnych strat.

Co to pokazuje, a czego nie

HuPin nie „wygrywa”. W tym przykładzie popełnia mniej błędów optymistycznych dotyczących dni strat, ale ma gorsze wyniki pod względem ogólnej dokładności, a rodzina BMR uwidacznia tę kompromisową relację. Nie określono z góry akceptowalnego marginesu dokładności, a cele mediany i HuPin mogą odnosić się do różnych funkcji, więc tabela nie może wskazać modelu preferowanego. Nie przeprowadzono żadnego testu równoważności inferencyjnej.

BMR ma służyć jako uzupełnienie centralnej dokładności. Przyszły protokół selekcji mógłby zacząć się od zachowania tylko tych prognoz, które są skierowane do tej samej funkcji docelowej, a następnie oceny ich za pomocą punktacji centralnej, która jest spójna dla tej funkcji, wraz z z góry określonym akceptowalnym marginesem dokładności. Wśród tych, które przetrwają, wybrana miara BMR mogłaby pełnić rolę rozstrzygacza, faworyzującgo te prognozy, które popełniają mniej błędów optymistycznych dotyczących dni strat.

Ta sekwencja jest ważna. Obniżanie jakiejkolwiek prognozy może zmniejszyć jej poziom optymistycznych błędów bez dostarczania żadnych nowych informacji dotyczących terminów. Rzeczywiście wpływa to na zachowanie błędów w istotny sposób i może odpowiadać inwestorowi, który obawia się negatywnych skutków, jednak jej efektywność musi być widoczna dzięki centralnej dokładności, dopasowanemu do celu uprzedzeniu lub kalibracji oraz jasnej granicy nadmiernego konserwatyzmu. Samo niższe BMR nie jest dowodem na dodatkowe informacje predykcyjne. Badanie skupione na decyzjach musiałoby ponadto określić koszt bezsensownych działań obronnych oraz utraconych zysków.

Diagnostyka również ma swoje ograniczenia. Ponieważ opiera się na faktycznie wystąpionych stratach, milczy na temat fałszywie pozytywnych ostrzeżeń o spadkach, a BMR_Z wymaga wskaźnika fałszywie pozytywnych wyników lub krzywej operacyjnej, aby móc służyć do pełnej oceny wykrywania zdarzeń. Żaden sam w sobie wskaźnik nie pokazuje zysków z handlu, wartości ekonomicznej, ogólnej przewagi modelu ani istotności statystycznej.

Jak to wygląda w praktyce

Serowe błędy pozostają kluczowe, ponieważ pokazują, o ile prognozy zazwyczaj odbiegają od rzeczywistych wyników. BMR dodaje drugi poziom analizy, który pyta: gdy wystąpiły straty, czy prognoza je niedoszacowała, czy różnica była znacząca oraz czy prognoza przeoczyła stan poważnych strat, określony za pomocą statystyk odpornych na wyjątki.

Badanie dotyczące pięciu poziomów bezpieczeństwa ilustruje te korzyści. Model o najlepszej ogólnej dokładności to nie koniecznie ten, który popełnia najmniej błędów w prognozowaniu dni strat, a diagnostyka poważnych zdarzeń ujawnia wspólną wadę wszystkich trzech modeli. Są to rzeczywiste ustalenia dotyczące zachowania prognoz, chociaż nie wystarczają one do podjęcia decyzji co do wyboru modelu czy inwestycji.

Każdy element matematyczny odnosi się do dobrze znanych obiektów statystycznych. Nowości są ograniczone: nazewnictwo wskaźnika błędów Bear Miss Rate oraz sformułowanie problemu, połączony układ trzech diagnostyk, jego specyfikacja operacyjna oraz zastosowanie empiryczne.

To prowadzi bezpośrednio do następnego pytania. Czy w przypadku prognoz, które mają ten sam charakter funkcjonalny i spełniają z góry określony wymóg dokładności centralnej, BMR może pełnić rolę niezawodnego kryterium pomocniczego, które zmniejsza błędy związane z zbyt optymistycznymi ocenami, jednocześnie przestrzegając wyraźnego limitu konserwatyzmu?

Odpowiedź na to pytanie wymaga nowych danych, uprzednio określonego schematu porównawczego, uwzględnienia zależności w ocenie niepewności, mechanizmów kontrolnych przeciwko skłonnościom do konserwatyzmu oraz porównań z alternatywami zgodnymi z założeniami projektu. Do tej pory istnieje jedynie sformułowanie BMR, zintegrowany trójdzielny schemat badawczy, możliwość powtarzalnej implementacji oraz dowody empiryczne uzasadniające konieczność kolejnych testów.

Literatura pokrewna

• Co poszło nie tak w pipeline’u korygującym RAG do YouTube Q&A z użyciem LangGraph — dzielenie na fragmenty, ograniczenia embeddingów, stan LangGraph, pułapki asynchronicznego działania oraz szybkość transkrypcji: błędy znalezione podczas tworzenia bota do YouTube Q&A i sposoby ich naprawy.
• Od demonstracji do wdrożenia RAG: dzielenie na fragmenty, pgvector, ponowne sortowanie i FastAPI — co faktycznie zawiera backend RAG w produkcji: procesy ETL i dzielenie na fragmenty, embeddingi w pgvector, indeksy HNSW, ponowne sortowanie za pomocą cross-encodera oraz orkiestrator FastAPI.