Рівень неправильних прогнозів у спадний період: вимірювання оптимістичних похибок прогнозування у дні збитків

Чому оптимізм у складні часи має значення

Уявіть собі людину, яка тримає довгу позицію. Коли модель недооцінює спад, збитки від цієї позиції перевищують ті, яких вона очікувала на основі прогнозу. Якщо прогнози впливають на розмір позиції, захисні заходи, резерви ліквідності чи ліміти ризику, оптимістична оцінка призводить до того, що додатковий капітал залишається без захисту. Фактичні збитки походять від ринку, а не від прогнозу, і тут ніщо не розраховує прибуток чи збитки торговельної стратегії. Напрямок похибки все одно має значення, адже для того, хто тримає довгу позицію, недооцінка спаду може завдати більшої шкоди, ніж однаково велика песимістична помилка. Тож вибір моделі прогнозування означає розуміння того, як її похибки проявляються у дні, коли актив втрачає вартість, а не лише їхнього середнього значення.

Дослідження п’яти енергетичних цінних паперів, котрі торгуються на біржах Великої Британії, ілюструє це. Модель середнього рівня з незначною перевагою перевершила контрольний показник з нульовою дохідністю за середньою точністю. Модель HuPin, орієнтована на негативні сценарії, у середньому показала гірші результати, проте значно рідше робила оптимістичні прогнози у випадках, коли дохідність була негативною. Обидва результати є реальними та відповідають на різні запитання.

Що не враховують звичайні показники

RMSE (квадратична середня похибка) та R² для даних поза діапазоном навчання підсумовують загальну відстань між прогнозами та фактами. Жоден з цих показників не вказує, наскільки часто прогнози занижували розмір фактичних збитків, і два прогнози можуть мати однакові загальні оцінки, при цьому суттєво відрізнятися саме в цьому аспекті. На загальній таблиці, наведеній нижче, R² є монотонною трансформацією RMSE, тому разом вони дають один центральний рейтинг квадратичної похибки, а не два незалежні показники.

Ця прогалина у звітності стала причиною появи підходу Bear Miss Rate (BMR), який був розроблений у межах дисертації на здобуття ступеня магістра. Він об’єднує три пов’язані між собою діагностики: будь-які оптимістичні помилки у дні збитків, оптимістичні помилки, що перевищують практичний поріг значущості, та пропущені випадки сильних змін дохідності. Ідея полягає у тому, щоб додати чіткий аналіз негативних аспектів поруч із звичайною звітністю про точність, а не замінити її.

Приклад

Припустимо, що цінний папір має щоденну дохідність -2%, а прогноз моделі — -0,5%. Знак є правильним, проте розмір збитків сильно занижений через оптимістичну різницю у 1,5 відсоткових пунктів.

Коефіцієнт точності прогнозування за напрямком може вважати такий прогноз успішним, оскільки обидві величини є від’ємними. RMSE дійсно враховує похибку, але усереднює її з усіма іншими значеннями. Жоден з цих показників не відповідає на більш конкретне запитання про те, як часто прогноз виявлявся занадто оптимістичним, коли ціна активу падала, та як часто цей оптимізм був достатньо великим, щоб мати значення.

BMR дозволяє розглянути це умовне запитання. Для довгої позиції „оптимістичним“ вважається прогнозований дохід, який перевищує фактичний. Отже, цей показник стосується недооцінки розміру збитків, включаючи випадки, коли прогноз правильно визначає від’ємний знак.

Три діагностичні показники

Нехай yₜ — це фактичний щоденний логарифмічний дохід, а ŷₜ — його точковий прогноз.

Базовий BMR

Найпростіша версія вимірює ту частоту, коли прогноз є занадто високим у дні з від’ємним фактичним доходом:

Порівняння є суворим, тому прогноз, який дорівнює фактичному доходу, не вважається невдалим. Якщо не існує спостережень за негативним доходом, коефіцієнт є невизначеним та не дорівнює нулю.

BMR з толерантністю

Деякі розбіжності у прогнозах є настільки малими, що на практиці не мають значення. BMR_tol враховує лише оптимістичні розбіжності, які досягають обраної толерантності ε:

Для кожної моделі та цінного паперу використовується спільне значення ε = 0,01. У одиницях щоденного логарифмічного доходу це приблизно одна відсоткова позиція. Це значення було обрано як округлений, легко читаний рівень значущості для цього прикладу та не є універсальним оптимумом. Знаменник залишається тим самим, що використовується у BMR для негативних сценаріїв, і коефіцієнт є невизначеним, якщо цей знаменник порожній.

BMR для серйозних втрат

BMR_Z орієнтований на серйозні фактичні втрати. Для кожного цінного паперу на основі даних про дохід під час навчання будується поріг, стійкий до винятків:

MAD — це необроблена медіанна абсолютна відхилення. Кандидатський поріг зберігається лише тоді, коли шкала, стійка до відхилень, має скінченне значення та є більшим за нуль, а у навчальному наборі є принаймні п’ять даних, які дорівнюють або є нижчими за цей кандидатський поріг. Якщо будь-яка з цих умов не виконується, процедура використовує квантиль навчальних даних Q(0.0228) з лінійною інтерполяцією. Кожен актив має свій власний поріг, але моделі — ні, тому прогнози методом Мартінгейла, медіанного квантиля та HuPin оцінюються за однією й тією самою визначенням події.

Межа невдачі знову є суворою: прогноз, який точно збігається з порогом, вважається ознакою серйозної події, а не невдачею. Якщо жоден з реальних тестових даних не потрапляє у визначений діапазон, умовна швидкість залишається невизначеною та не дорівнює нулю.

Як тільки встановлюється поріг, відношення умовних невдалих прогнозів алгебраїчно дорівнює частці хибно негативних результатів (один мінус точність) класифікатора подій, який визначається цим порогом. Ця згода стосується лише кінцевого відношення. Повна діагностика BMR_Z також включає поріг, що використовується лише під час навчання, альтернативний варіант для рідкісних ситуацій та місце, яке він займає в інтегрованій структурі BMR.

Експеримент

Емпіричний тест використовує п’ять цінних паперів: BSIF, HTG, SSE, TLW та UKW. Кожну модель оцінюють за однаковим набором з 315 дат для кожного цінного папера, з 22 квітня 2024 року до 18 липня 2025 року. Це дає 1 575 днів спостережень за цінними паперами в загальній групі, з яких 785 мали негативний фактичний дохід.

Три моделі виконують цілеспрямовано різні функції:

• Мартингал: теоретична основа, яка завжди прогнозує нульовий дохід.
• Регресія за медіанним квантилем: лінійна базова модель умовної медіани, налаштована на рівні квантиля 0.5.
• HuPin LSTM: мережа, орієнтована на спади, навчена за допомогою поєднання функцій втрат Huber та pinball із параметром pinball 0.05.

Ці три групи були обрані для ілюстрації після аналізу їхніх результатів для спільних наборів даних. Їхні сумарні значення RMSE знаходяться на рівні 1.133% від найнижчого значення, а значення R² для даних поза набором значно наближені до нуля; крім того, показники помилок типу „bear-miss“ значно чіткіше відрізняють їхню поведінку під час спадів. Це був вибір для презентації, без тверджень про статистичну еквівалентність у точності.

Існують два застереження. Додаткова метрика HuPin сама по собі не робить її результат каліброваним умовним квантилем 5%. Крім того, метрики середнього квантиля та асиметричної HuPin не обов’язково мають спрямовуватися на одну й ту саму функцію. Тож наведене нижче порівняння є емпіричною демонстрацією того, що розкривають діагностичні інструменти BMR, а не завершеним тестом правила вибору моделі з однаковою функцією.

Кожна збережена модель використовує однакові критерії оцінки, однаковий поріг значущості та значення обрізки хвоста, отримані з даних навчання. Числовий верифікатор перерахував усі п’ять показників безпосередньо з результатів спільної панелі.

На першій діаграмі показано RMSE та R² поза даними на панелі з 1 575 спостережень.

Результати щодо середньої точності

Модель середнього квантиля показує найнижче значення RMSE та трохи позитивне значення R² у тесті, причому її RMSE на 0,0603% нижчий за показник базової моделі з нульовою дохідністю. RMSE моделі HuPin на 1,133% вищий за показник моделі середнього квантиля, а її R² у тесті стає від’ємним.

Результати щодо невдалих прогнозів у періоди зниження дохідності

Якщо розглянути показник BMR, ті самі прогнози виглядають інакше. Протягом 785 днів з негативною дохідністю модель Martingale не вгадала жодного випадку, модель середнього квантиля — 765, а HuPin — 627. З застосуванням спільного порогу в один відсотковий пункт ці кількості зменшуються до 394, 365 та 270 відповідно. У цій вибірці показник BMR_tol моделі HuPin виявляється на 12,10 відсоткових пунктів нижчим за показник моделі середнього квантиля.

На рисунку два показники BMR, BMR_tol та BMR_Z наведені поруч із використанням спільних визначень та знаменників.

Для методу Мартінгейл вбудовано показник BMR на рівні 100%: він завжди прогнозує значення нуля, тож будь-який отриманий негативний результат знаходиться нижче цього рівня. Показник BMR_tol у розмірі 50,2% є більш інформативним, адже він свідчить про те, що трохи більше половини днів з негативними тенденціями призвели до зниження прогнозованого значення щонайменше на 0,01 у масштабах логарифмічних доходів.

Pоказник BMR_Z також враховує негативні результати, які є такими ж корисними. У стандартній групі тестування міститься 115 спостережень за крайніми значеннями, і за правилом встановленого порогу всі три моделі не враховують жодного з них. Тому діагностичний аналіз не може ранжувати моделі в цьому випадку. Він фіксує спільну обмеженість усіх моделей: у дні з крайніми значеннями жоден з прогнозованих показників не досягав встановленого під час навчання порогу серйозних втрат.

Що це показує та чого не показує

HuPin не „виграє“. У цьому прикладі він робить менше оптимістичних помилок щодо днів збитків, але має гірші показники загальної точності, причому сімейство BMR ускладнює цей компроміс. Заздалегідь не було визначено прийнятного діапазону точності, а цілі медіани та HuPin можуть спрямовуватися на різні функціонали, тому таблиця не може визначити перевагу певної моделі. Тест на еквівалентність не проводився.

BMR призначений як доповнення до центральної точності. Майбутній протокол відбору може починатися з того, що будуть розглядатися лише прогнози, спрямовані на один і той самий цільовий функціонал, а потім вони оцінюватимуться за допомогою центрального балу, який є послідовним для цього функціонала, та заздалегідь визначеного діапазону прийнятної точності. Серед тих, хто пройшов відбір, обраний показник BMR може слугувати критерієм для вирішення ситуацій з рівними показниками, надаючи перевагу моделям із меншою кількістю оптимістичних помилок щодо днів збитків.

Ця послідовність є важливою. Зниження будь-якого прогнозу може скоротити рівень оптимістичних помилок без надання нової інформації про час. Це справді змінює характер помилок та може підійти інвестору, якому важливий негативний сценарій, проте його ціна має залишатися очевидною завдяки центральній точності, відповідній цілі смути або калібруванню, а також чіткому обмеженню надмірного консерватизму. Сама по собі нижча BMR не є доказом наявності додаткової прогностичної інформації. Дослідження, зосереджене на прийнятті рішень, також мало б оцінити витрати від марних оборонних дій та втрачених прибутків.

Діагностика також має свої обмеження. Оскільки вона ґрунтується на фактично насталих збитках, вона не враховує попередження про хибно позитивні негативні сценарії, а BMR_Z потребує показника хибно позитивних результатів або кривої роботи, щоб можна було провести повну оцінку виявлення подій. Жоден окремий показник тут не свідчить про прибуток від торгівлі, економічну цінність, загальну перевагу моделі чи статистичну значущість.

Яке це дає результат

Середні похибки залишаються важливими, оскільки вони показують, наскільки прогнози зазвичай відрізняються від фактичних результатів. BMR додає ще один рівень аналізу, який визначає, чи прогноз недооцінив збитки, чи була різниця суттєвою, та чи прогноз не врахував стан серйозних збитків за допомогою статистики, стійкої до винятків.

Дослідження з п’ятьма рівнями безпеки ілюструє цю користь. Модель із найкращою загальною точністю — це не та, яка робить найменшу кількість помилок у прогнозуванні днів збитків, а діагностика серйозних подій виявляє спільну проблему, яка є у всіх трьох моделях. Це справжні висновки щодо поведінки прогнозів, хоча вони й не дозволяють остаточно визначитися з вибором моделі чи рішенням щодо інвестицій.

Кожен математичний компонент пов’язаний із відомими статистичними об’єктами. Новизна є обмеженою: це назва показника „Коефіцієнт помилок Bear Miss Rate“ та формулювання проблеми, поєднаний дизайн трьох діагностик, їхні операційні характеристики та емпіричне застосування.

Це безпосередньо веде до наступного запитання. Чи може BMR слугувати надійним додатковим критерієм для прогнозів, які мають однакові функціональні характеристики та відповідають заздалегідь визначеній вимозі до центральної точності, щоб зменшити кількість помилок, пов’язаних з занадто оптимістичними оцінками, при одночасному дотриманні чіткого ліміту консерватизму?

Щоб відповісти на це запитання, потрібні свіжі дані, заздалегідь оголошена схема порівняння, урахування невизначеності, контроль за консервативними змінами та порівняння з альтернативами, що відповідають поставленим критеріям. Наразі існує формула BMR, інтегрована трьохчастинна схема, відтворювана реалізація та емпіричні докази, які обґрунтовують необхідність наступних тестів.