Уровень промахов в прогнозах падения: оценка оптимистичных ошибок прогнозирования в дни убытков

Почему оптимизм в дни падения рынка имеет значение

Представьте человека, держащего длинную позицию. Когда модель недооценивает падение, убытки от этой позиции превышают те, которые она предсказывала. Если прогнозы влияют на размер позиции, механизмы хеджирования, резервы ликвидности или лимиты риска, завышенные оценки приводят к тому, что дополнительный капитал остается без защиты. Фактические убытки возникают из-за рынка, а не из-за прогноза, и здесь ничто не рассчитывает прибыль или убыток торговой стратегии. Направление ошибки также имеет значение, поскольку для владельца длинной позиции недооценка падения может причинить больший ущерб, чем столь же значительная пессимистичная ошибка. Поэтому выбор модели прогнозирования подразумевает понимание того, как ведут себя её ошибки в дни снижения стоимости актива, а не только их среднего значения.

Исследование пяти энергетических ценных бумаг, котирующихся на бирже Великобритании, наглядно это демонстрирует. Модель с медианными параметрами в среднем незначительно превосходила эталон с нулевой доходностью по показателю точности. Модель HuPin, ориентированная на оценку негативных сценариев, в среднем показывала худшие результаты, однако в случаях отрицательных доходов допускала гораздо меньше оптимистичных ошибок. Оба результата реальны и отвечают на разные вопросы.

Что упускают обычные показатели

RMSE (квадратичная средняя квадратичная ошибка) и R² для данных вне выборки позволяют оценить общую степень отклонения прогнозов. Однако ни один из этих показателей не указывает, как часто прогноз занижал размер фактически возникшей потери; два прогноза могут иметь одинаковые общие показатели, при этом сильно отличаясь в этом аспекте. На приведённой ниже таблице R² является монотонной трансформацией RMSE, поэтому вместе они дают единый рейтинг на основе квадратичной ошибки, а не два независимых показателя.

Эта пробела в отчетности стала причиной появления подхода Bear Miss Rate (BMR), разработанного в рамках диссертации на уровне магистра. Он объединяет три связанных показателя диагностики: любые оптимистичные ошибки в дни убытков, оптимистичные ошибки, превышающие практический порог значимости, и упущенные события с сильными отклонениями рынка. Суть заключается в том, чтобы предоставить четкую картину негативных тенденций наряду с обычной отчетностью о точности, а не заменять ее.

Пример из практики

Предположим, что актив показывает ежедневную доходность -2%, тогда как прогноз модели — -0,5%. Знак совпадает, однако размер убытка сильно занижен из-за оптимистичной ошибки в 1,5 процентных пункта.

Коэффициент точности прогноза в зависимости от направления может считать такой прогноз успешным, поскольку оба значения отрицательны. RMSE учитывает ошибку, но суммирует её со всеми остальными значениями. Ни один из этих показателей не отвечает на более конкретный вопрос о том, как часто прогноз оказывается слишком оптимистичным при падении стоимости актива, и насколько часто этот оптимизм бывает достаточно значительным, чтобы иметь значение.

BMR позволяет рассмотреть этот условный вопрос. Для длинной позиции «оптимистичный» прогноз означает прогнозируемую доходность, превышающую фактическую. Следовательно, этот показатель касается занижения размера убытков, включая случаи, когда прогноз правильно определяет отрицательный знак.

Три диагностических показателя

Пусть yₜ — фактическая ежедневная логарифмическая доходность, а ŷₜ — её точечный прогноз.

Базовый BMR

Самая простая версия этого показателя измеряет частоту слишком высоких прогнозов в дни с отрицательной фактической доходностью:

Сравнение проводится строго, поэтому прогноз, совпадающий с фактической доходностью, не считается ошибкой. Если отсутствуют данные о отрицательной доходности, показатель не определен и не равен нулю.

BMR с допуском

Некоторые различия в прогнозах настолько малы, что на практике не имеют значения. BMR_tol учитывает только оптимистичные отклонения, превышающие выбранный допуск ε:

Для каждой модели и актива используется одинаковое значение ε = 0,01. В единицах ежедневной логарифмической доходности это примерно один процентный пункт. Это значение было выбрано как целое, легко читаемое значение значимости для иллюстрации и не рассматривается как универсальный оптимум. Знаменатель такой же, как у BMR для негативных сценариев, и показатель не определен, если этот знаменатель пуст.

BMR для серьезных убытков

BMR_Z ориентирован на серьезные фактические убытки. Для каждого актива на основе данных об обучающих периодах определяется порог, устойчивый к изоляциям:

MAD — это сырой медианный абсолютный отклонение. Кандидатский порог сохраняется только в том случае, если шкала, устойчивая к аутлайерам, имеет конечное значение, большее нуля, и в наборе данных для обучения есть как минимум пять значений, равных или меньших этого кандидатского порога. Если любое из этих условий не выполняется, в процедуре используется квантиль обучающих данных Q(0.0228) с линейной интерполяцией. Каждый актив имеет свой собственный порог, но модели — нет, поэтому прогнозы методов Мартингала, медианный квантиль и HuPin оцениваются по одному и тому же определению события.

Граница неверного прогноза снова является строгой: прогноз, совпадающий точно с порогом, считается указанием на серьезное событие, а не ошибкой прогнозирования. Если ни одно из реальных тестовых значений не попадает в определенный диапазон, условная вероятность считается неопределенной и не равна нулю.

Как только установлен порог, отношение условных промахов алгебраически равно частоте ложноотрицательных результатов (один минус точность) классификатора событий, определяемого этим порогом. Это соотношение касается только итогового показателя. Полная диагностика BMR_Z также включает порог, используемый исключительно в процессе обучения, метод резервного варианта для редких случаев, а также место, которое он занимает в интегрированной структуре BMR.

Эксперимент

В эмпирических тестах используются пять ценных бумаг: BSIF, HTG, SSE, TLW и UKW. Каждая модель оценивается по одинаковому набору из 315 дат для каждой бумаги, начиная с 22 апреля 2024 года и заканчивая 18 июля 2025 года. Всего на общей выборке получается 1 575 дней наблюдения за ценными бумагами, из которых 785 дней сопровождались отрицательной реализованной доходностью.

Три модели выполняют сознательно разные функции:

• Мартингал: теоретический ориентир, который всегда прогнозирует нулевую доходность.
• Регрессия по медианному квантилю: линейная базовая модель условной медианы, подгоняемая на уровне квантиля 0.5.
• HuPin LSTM: сеть, ориентированная на выявление негативных тенденций, обучаемая с использованием комбинации функций потерь Huber и pinball при значении параметра pinball, равном 0.05.

Эти три подхода были сохранены в примерах для наглядности после анализа их результатов для одинаковых наборов данных. Их совокупные значения RMSE находятся в пределах 1.133% от самого низкого значения, а значения R² для данных вне обучающего набора практически равны нулю; при этом показатели частоты неверных прогнозов гораздо четче отражают их негативное поведение. Этот выбор сделан ради наглядности, и не делается утверждение о статистической эквивалентности точности этих методов.

Существуют два важных замечания. Добавочная цель HuPin сама по себе не превращает её результат в калиброванный условный квантиль 5%. Кроме того, цели медианного квантиля и асимметричного HuPin не обязаны ориентироваться на одну и ту же функцию. Поэтому приведённое ниже сравнение является эмпирическим демонстрацией того, что показывает диагностика BMR, а не завершённым тестом правила выбора модели с одинаковой функцией.

Каждая сохранённая модель использует одни и те же критерии оценки, один и тот же порог значимости и значения обрезки хвоста, полученные на основе обучающих данных. Числовой верификатор пересчитал все пять показателей непосредственно из результатов общей группы данных.

На первой диаграмме показаны показатели RMSE и R² вне выборки для группы данных из 1 575 наблюдений.

Результаты по средней точности

Модель с медианным квантилем показывает наименьшее значение RMSE и слегка положительное значение R² при тестировании; её RMSE на 0,0603% ниже, чем у эталонной модели с нулевой доходностью. RMSE модели HuPin на 1,133% выше, чем у модели с медианным значением, а её значение R² при тестировании становится отрицательным.

Результаты при негативных сценариях

Если рассмотреть показатель BMR, одинаковые прогнозы выглядят иначе. За 785 дней с негативной доходностью модель Martingale не смогла предсказать ни одного случая, модель с медианным значением — 765 случаев, а модель HuPin — 627 случаев. При применении общего порога в один процентный пункт эти цифры снижаются до 394, 365 и 270 соответственно. В этом примере значение BMR_tol для модели HuPin оказывается на 12,10 процентных пунктов ниже, чем у модели с медианным значением.

На рисунке два показатели BMR, BMR_tol и BMR_Z представлены рядом с использованием общих определений и знаменателей.

Для метода Мартингейл встроен показатель BMR на уровне 100%: он всегда прогнозирует значение ноль, поэтому любой отрицательный фактический доход оказывается ниже этого значения. Более информативным является показатель BMR_tol в размере 50,2%, поскольку он показывает, что чуть более половины дней с негативным трендом приносили доход, на 0,01 меньший по сравнению с прогнозируемым значением ноль в единицах логарифмического дохода.

Показатель BMR_Z также учитывает отрицательные результаты, которые не менее полезны. В стандартном наборе тестов содержится 115 примеров фактических значений в крайних случаях, и согласно установленным критериям все три модели не справляются ни с одним из них. Поэтому диагностический инструмент не может оценить модели по этому показателю. Он лишь фиксирует общую проблему всех моделей: в дни с крайними значениями ни один из прогнозируемых показателей не достигал установленного во время обучения порога серьезных потерь.

Что показывает и чего не показывает этот инструмент

HuPin не «побеждает». В данном примере он допускает меньше оптимистичных ошибок, связанных с днями потерь, но показывает худшие показатели по общей точности, причем семейство BMR делает этот компромисс очевидным. Заранее не была установлена допустимая граница точности, а цели, связанные с медианой и HuPin, могут быть направлены на разные функционалы, поэтому таблица не позволяет определить предпочтительную модель. Тестов на эквивалентность не проводилось.

BMR предназначен в качестве дополнения к показателю центральной точности. В будущем протоколе отбора можно будет сначала оставить только те прогнозы, которые направлены на достижение одного и того же целевого функционала, затем оценить их с использованием центрального балла, согласованного для данного функционала, и заранее определенной допустимой границы точности. Среди оставшихся вариантов выбранный показатель BMR может служить критерием для решения в случае равенства показателей, отдавая предпочтение вариантам с меньшим количеством оптимистичных ошибок, связанных с днями потерь.

Эта последовательность имеет большое значение. Снижение любого прогноза может уменьшить его уровень оптимистичных ошибок без добавления новой информации о сроках. Это действительно влияет на характер ошибок и может подойти инвестору, которого волнуют риски падения цен, однако его эффективность должна проявляться через центральную точность, соответствующую цели смещение или калибровку, а также четкие ограничения на чрезмерный консерватизм. Само по себе снижение показателя BMR не является доказательством наличия дополнительной прогностической информации. Исследование, сосредоточенное на принятии решений, также должно оценить стоимость бесполезных защитных мер и упущенных выгод.

У диагностических методов тоже есть свои ограничения. Поскольку они основаны на фактически понесенных убытках, они не учитывают предупреждения о ложно-положительных сигналах риска, и BMR_Z потребует критерия определения ложно-положительных сигналов или кривой работы, прежде чем сможет обеспечить полную оценку обнаружения событий. Один лишь коэффициент не может показать прибыль от торговли, экономическую ценность, превосходство модели в целом или статистическую значимость.

Каковы выводы

Средние погрешности по-прежнему имеют важное значение, поскольку они показывают, насколько прогнозы обычно отклоняются от фактических результатов. BMR добавляет второй уровень анализа, который позволяет определить, когда происходили убытки, преуменьшил ли прогноз их размер, была ли эта разница значительной, а также не учел ли прогноз состояние серьезных убытков, определенное с использованием статистики, устойчивой к аутлайерам.

Исследование, охватывающее пять уровней безопасности, демонстрирует преимущества такого подхода. Модель с наивысшей общей точностью — это не та, которая допускает наименьшее количество ошибок в прогнозировании дней с потерями, а диагностика серьезных событий выявляет общую проблему, присущую всем трем моделям. Это реальные выводы о поведении прогнозов, хотя они и не позволяют окончательно определиться с выбором модели или принять инвестиционное решение.

Каждый математический компонент связан с известными статистическими объектами. Новшества ограничены: это наименование показателя «Bear Miss Rate» и формулировка задачи, совместная структура трех диагностик, их операционные характеристики и эмпирическое применение.

Это напрямую ведет к следующему вопросу: для прогнозов, имеющих одинаковые функциональные характеристики и соответствующих заранее определённому требованию к центральной точности, может ли BMR служить надёжным вспомогательным критерием, снижающим количество ошибок, связанных с чрезмерно оптимистичными оценками, при одновременном соблюдении чёткого лимита консерватизма?

Чтобы ответить на него, необходимы новые данные, заранее определённая структура сравнения, учёт неопределённости, связанной с зависимостями, меры контроля за консервативными смещениями, а также сравнения с альтернативами, соответствующими целевым параметрам. На данный момент существуют формулировка BMR, интегрированная трёхчастная структура, воспроизводимая реализация и эмпирические данные, обосновывающие необходимость следующего тестирования.