Bear miss rate: вымяраем аптымістычныя памылкі прагнозу ў дні страт

Чаму важны оптымізм у дні спаду

Уявіце чалавека, які трэць довгі позыцыю. Калі мадэль недаўна оцінюе спад, збыты з гэтай позыцыі перасягаюць тое, чаго ён спакоўваўся на падставе прагнозу. Калі прагнозы вплываюць на розмер позыцыі, західны меры, рэзервы ліквіднасці чы рызыковыя ліміты, оптымістычная оцінка заставляе застаўляць дадатковы капітал без адпатрэбных захоўнікаў. Фактычны збыт выходзіць з самага рынку, а не з прагнозу, і тут нічога не вырахоўвае прыбыць чы збыты традынговай стратэгіі. Напрамак памылкі таксама мае значэнне, адтолькі для таго, хто трэць довгі пазыцыю, недаўна оцінка спаду можа завдаць больш шкоды, чым аднакова веліка пасымістычная памылка. Таму выбір модэлі прагназавання значыць разумець, як яе памылкі праявляюця ў дні, калі актыў вяршыць у цэне, а не толькі якія ўсерэдненыя ў яе рэзультатах.

Даследжэнне пяці энергетычных цэнтрыфудзоў, котрыя купіруюцца на біржах Вэльсу, паказвае гэты факт. Мадэль, вырахоўваная на адной сярэдней вялічыне, у сярэжнай точнасці ледзве перамагала контрольны показнік з нулявым рэнтам. Мадэль HuPin, спрамованая на аналіз негатыўных наследків, у сярэжнай точнасці паспялала гірш, але калі рэнты былі негатыўныя, ў яе выпадках оптымістычных працягаў было значна менш. Оба рэзультата ўсамітнены, і яны адпавядаюць на разныя запытанні.

Што не ўрахоўваюць звычайныя показнікі

RMSE (корэнь сярэжнага квадратаванага абэктыва) і R² для дадзеных параганне падсумоўваюць, насколькі значна адхоўляюцца прогнозы вялікімі мерамі. Ні адны з іх не паказвае, як часта прогнозы заніжвалі велічыну падтрыманага узбіця, і два прогнозы можа матыць аднаковыя загальныя балы, пры тым сутэльна разліквацца ў гэтым аспекце. На звычнай табліцы, якая выкарыстоўваецца ніжэй, R² ёсць монотонная трансфармацыя RMSE, таму разам яны даюць адну центральную рангаванняе на адной основе квадратаванага абэктыва, а не два незалежныя падходы.

Гэты прынт празьбы ў аблікуванні інфармацыі стала падставай для стварэння падходу Bear Miss Rate (BMR), які выйшаў з дысертацыі магістра. Ён аб’еднвае тры скарыстыя дыягнозы: любыя оптымістычныя паклёсткі ў дзень збыткаў, оптымістычныя паклёсткі, якія перасягаюць практычны порог значымасці, а таксама пропуск серьёзных падзеяў з вялікімі рынковымі наследкамі. Ідэя заключаецца у тым, каб разам з звычным аблікуваннем точнасці прадставіць чыстаю картыну негатыўных наследкаў, а не заменіць яе.

Прыклад

Падазроўваючы, што акцыя фіксуе ўсёдневны рынковы рыст на рэвэрсе -2% адночасна з прогназам модэлю у розмерэ -0.5%. Знак правы, але збыткі сільна заніжаны ў аптымістычным спосабе на 1,5 процэнтных пунктав.

Коефіціѐнт направленасці успеху можа прызначыць такі прогназ як успех, таму што оба значэнні ўжо ёсць аб’ектыўнымі. RMSE адбівае паклёнку, але сумавае яго з усімі іншымі значэннямі. Жадны з іх не адпавядае на болей адрысаваныя пытанні: як часта прогназ быў занадта оптымістычны, калі цэнная валюта падвяшвалася, і як часта оптымізм быў дастаткова вялікі, каб мела значэнне.

BMR выяўляе гэта умовнае пытанне. Для позыцыі «на падышку» «оптымістычны» значыць прыбутак, прагназаваны вышэй, чым фактычны. Такім чынам, гэты показнік стосуецца заніжэння велічыны збытку, уключаючы случаі, калі прогназ правільна вказвае аб’ектыўны знак.

Тры дыягнастыкі

Нехай фактычны ўсёдневны лог-прыбутак будзе yₜ, а яго точны прогназ — ŷₜ.

Базавы BMR

Найпростэйшая версія мерыць, як часта прогназ ўскладнюеся на дзёнамі з аб’ектыўным негатыўным прыбуткам:

Порэванаўленне ўжоць строгае, таму прагноз, які збігаецца з фактычным рынкавым рынкам, не ўважаецца невялікім блэку. Калі не існуе падазроўнасцей на негатыўны рынкавы рынк, то коефіцыент не ўзначаны і не доравнае нулю.

BMR з толеранцыяй

Дзеяныя разлікі прагноза ў практыцы занадта малыя, каб мелі значэнне. BMR_tol лічыць толькі оптымістычныя разлікі, якія досягаюць выбранай толеранцыі ε:

Для кожнага модэлю і акцыі выкарыстоўваецца адна спакойная значэнне, ε = 0,01, якая ў едыніцах ўседзённага лог-рынкавага рынка доравнае прыблізна аднаму відсотку. Яна была выбрана як закруглены, лёгкі да чытання рэвалюцыйны рынк для гэтага ілюстрацыйнага прыкладу і не прызначана як універсальны оптымум. Знаменнік застаецца тым самым, які выкарыстоўваецца BMR для негатыўных рынкаў, і коефіцыент не ўзначаны, калі гэты знаменнік ў порожнім стане.

BMR для серьёзных збыткаў

BMR_Z нацэлена на серьёзныя фактычныя збыткі. Для кожнай акцыі на адной падставе толькі трэнінгавых рынкаў ствараецца праграда, якая захоўваецца ад аўтасампляўнення:

MAD — гэта неапранутая медыянная абсалютная дэвіяцыя. Кандыдатскі практычны рубік прыменяецца толькі тады, калі шкала, стойкая да аўтасамплівання, дае сконечнае значэнне, большае за ноль, і ў навучальнай выборцы ёсць прынеймна пяць рэзультатаў, равных або ніжэйшых за гэты кандыдат. Калі адна з гэтых умоў не выпало, у процэсе выкарыстоўваецца навучальны квантыль Q(0.0228) з лінейным інтэрполяванням. Кожны актыўны мае свой сае рубік, але мадэлі — няма, таму прогнозы на адной Мартынгэльскай, медыяннай квантыльной і HuPin-мадэлях ацэнююцца за адной і той жа дэфініцыяй падзеі.

Граніца няправільнага прогнозу зноў ўскладненая: прогноз, які точна падпадае пад рубік, лічыцца як пазначэнне сур’ёзнай падзеі, а не як неправільны прогноз. Калі жадна з рэальных тэстовых спазыраўкаў не падпадае пад заданы дзеякт, умовныя частоты застаюцца незначэннымі і не доравнаюць нулю.

Калі часовыя межы ўстановлены, ступэнь умовных неправільных прызначэнняў алгебраічна доравнае шчылу неправільна-негатыўных рэзультатаў (адзін за вырахунак памятання) класіфікатора падзей, якій вялі калі межы. Гэта айдэнтычнасць стосуецца толькі фінальнага співвядамлення. Полны дыягнастычны прыем BMR_Z таксама включае калі межы, якія выкарыстоўваюцца толькі пад час навчання, альтэрнатыўны варыант для рэдкага распаду даных, а таксама месца, якое ён займае ў інтэграваным дызайне BMR.

Эксперымент

Эмпірычны тэст выкарыстоўвае пяць цэнных папероў: BSIF, HTG, SSE, TLW і UKW. Кожны модэль оцінюецца на ідэнтычным наборы з 315 дат для кожнага цэннага папера, ад 22 кастрычніка 2024 года да 18 ліпня 2025 года. Гэта дае 1,575 дзён цэнных папераў у спільнай групе, з якіх 785 мелі негатыўны рэальны дохад.

Тры модэлі выконваюць яшчэ болей разныя ролі:

• Мартынгэль: тэарэтычны анкер, які завжды прагнозуе нулявы дохад.
• Рэгрэсія медыяннага квантыля: лінейны базовы мадэль, прыладжаны на рэгліі квантыля 0.5.
• HuPin LSTM: сетка, спрамованая на выяўленне негатыўных тэндэнцый, трэнаваная на сумешанні патырэй Huber і pinball, пры чым параметр pinball выбраны як 0.05.

Пасля анаізу рэзультатаў для ўсіх груп былі выбраны гэтыя тры методы для ілюстрацыі. Іх сумарныя значэнні RMSE знаходзяцца на адстані 1.133% ад найменшага, а значэнні R² для дадзеных парадульна блізкія да нуля; пры тым ступеня неправільных прыпускаў яшчэ ясней адзначаюць ўзнізкуючую поведзенне гэтых методаў. Гэты выбор зроблены для прыкладу, без прэтэнзій на статыстычнае равенства ў цэнтрычной точнасі.

Існуюць два застэрэжэнні. Аддытыўны цэль HuPin сама па сабе не прымушвае яго рэзультат стаць калібруемым умовным квантылем 5%. А цэль медыяннага квантыля і асіметрычнага HuPin не павінны націляцца на аднаковую функцыю. Таму наведаная ніжэй парада ёсць эмпірычным падтверджэнням таго, што апавядомляе дыягнастыка BMR, а не завершаным тэстам правіла выбору модэля з аднаковай функцыяй.

Кожны застаўлены модэль выкарыстоўвае тыя ж крытэрыяы ацэнкі, той жа порог значымасці і граніцы для хвоста, якія былі выведаны з дадзеных навчання. Чыслаўскі верыфікатор перасчытаў усе пяць показнікаў безпосерэдна з рэзультатаў спільнай панелі.

На першай дыяграме паказаны RMSE і R² для дадзеных з панелі з 1,575 спазыраў.

Рэзультаты па сярэжнай точнасці

Мадэль медыяннага квантыля паказвае найменшыя значэнні RMSE і адносна пазітыўныя значэнні R², пры чым RMSE станавіцца на 0,0603% ніжэй за показнік базовага мадэлявання з нулявым рэнтабельнасцю. RMSE мадэлі HuPin на 1,133% вышэй за медыянную мадэль, а яе значэнне R² станавіцца негатыўным.

Рэзультаты ў разы ўзгубленняў пад час спаду рэнтабельнасці

Якшча аналізаваць показнік BMR, тыя ж прогнозы выглядаюць інакш. За 785 дзён з негатыўным рэнтабельнасцю мадэль Martingale не прабачыла жаднага спаду, медыянная мадэль — 765, а HuPin — 627. Пры застосаванні спакойнага порога ў адны прыцэнт, гэтыя цыфры зніжваюцца да 394, 365 і 270. У гэтым прыкладзе показнік BMR_tol мадэлі HuPin станавіцца на 12,10 прыцэнтоў ніжэй за показнік медыянной мадэлі.

На другай дыяграме паказаны показнікі BMR, BMR_tol і BMR_Z паўнасупрацоўна, з выкарыстоўваннем спакойных ваказаў і знаменавачаў.

Для методу Мартынгэля ўжо ўключаны 100% показнік BMR: ён завжды прыбліжаецца да нуля, таму будзь-які абярнуты падыходжыць ніжэй за яго. Показнік BMR_tol у розмерэ 50,2% ёсць болей інформатывым, адколькі паказвае, што трохі больш за палову колькасць днёў з негатыўным рынкам падыходжыць прынеймні на 0,01 ніжэй за прогноз нуля, выражаны ў тэрмінах логарыфмічнага падыходжу.

Показнік BMR_Z дадае негатыўны рэзультат, які таксама ўжыткавы. У стандартным наборы тэстаў ёсць 115 спостарэнняў аб абярнутых рынках, і па зазначаным крытэрыю всі тры мадэлі не можу правільна працаваць з кожным з іх. Таму дыягностыка не можа рангаваць мадэлі ў гэтым аспекце. Што ён фіксуе, так гэта ўзаемную прыганачку модэлей: у дні абярнутых рынкаў жадны з прогнозаваных показнікаў не досяг узначанага па часе навчання рубежа сур’ёзных втыратаў.

Што гэта паказвае, а што — ні

HuPin не „зяўляе“. У гэтым прыкладзе ён дзеяў з меньшым колікствам оптымістычных памылак у дні збыткаў, але паказаў горшыя рэзультаты па загальной точнасці, пры чым сям’я BMR паказвае гэты компроміс. Нямаў прадзеяванага праграмы прыемной точнасці, а цялевыя показнікі медыяну і HuPin можаць спрамоўвацца на разныя функцыяны, таму ў табліцы нельга вылучыць прыямоўлены мадэль. Не была адбыта жадная прыметная перапытка эквівалентнасці.

BMR прызначаны як дапамога для ацэнкі цэнтральнай тачнасці. Можлівы прыемны протакол выбору мог бы спачатку застаўляць толькі прогнозы, спрамоўваныя на тую ж функцыяну-цэль, а потым ацэніваць іх за дапамогою цэнтральнага балу, які ўзгодзіцца з гэтай функцыяной, і прадзеяванага праграма прыемной тачнасці. Сярод тых, якія перажылі, выбраны показнік BMR мог бы служыць крытэрыям для вылучэння варыянту, які мае меньшыя оптымістычныя памылакі у дні збыткаў.

Гэтыя парадыгі ўсё ж такі важныя. Зніжэнне будзь-яяго прагнозу можа зменшыць рэгулярнасць яго оптымістычных непарадоксаў без дадзення новых інформацыяў пра час. Ён дзейсна змінія повадку паклённяў і можа падходзіць інвестору, якому важнае мінусавое аспект, але яго цэна павінна застацца відной праз цэнтральную тачнасць, справядлівую спрамованасць чы адкалібраванне, а таксама чысты ліміт для чрэзмернага консерватызму. Сама по сабе ніжэйшая BMR не ўтварае доказа наявнасці дадатковых прагнозных даных. Даследжэнне, спрамаванае на прыняцце рашэнняў, таксама павінна ацэніць косць беспраганых захоўніх дзеянняў і втрачаных выгод.

Дыягнастыкі таксама маюць сваія меры. Пакалькі яны базуюцца на фактычнаях збытках, яны не адказваюць на паведамленні пра хыбна пазітыўныя паведамленні пра негатыўныя наследкі, а BMR_Z патрэбна мера хыбна пазітыўных рэзультатаў або крывая працы, каб ён мог узрэшаць цэлыя ацэнкі ў выяўленні здарэнняў. Жаданы коефіцыент сам по сабе не паказвае практычную выгоду ад традынгу, эканамічную цэнна, перавагу модэлю чы статыстычную значымасць.

Які ўжо стан рэчаў

Серэднія памылкі застаюцца важлівымі, адколькі яны паказваюць, насколькі часта прогназы не спадзяюцца з рэальнымі рэзультатамі. BMR даўае ўтварэнне другаму слою, які спытаецца: калі выйшлі збыткі, чы прогназ іх занізіў, чы разлік быў значны, чы прогназ не зафіксаваў стан серьёзных збыткаў, выкліканых аўтасамостойнымі статыстыкамі.

Даследжэнне па пяцьх параметрах безпекі паказвае яго прынадзі. Мадэль з найлепейшай абсалютной точнасцю — гэта не тая, якая дае наіменша колькасць неправільных прыказаў ў дні высокай небяспекі, а дыягностыка сур’ёзных з’явоў адкрывае адзіну прычыну неудач усіх трох. Гэта рэальныя нарадкі пра тое, як паводзяцца прыказы, хоць яны і не дапамагаюць выбраць конкрэтную мадэль чы прыняць рашэнне пра інвестыцыю.

Кожны матэматычны элемент з’яўляецца ў зв’язку з вядомымі статыстычнымі об’ектамі. Новага ў гэтым мало: назва «Коэффіцыент неправільных прыказаў у сітуацыі спаду» і формулюванне задачы, саюзная структура трох дыягностык, ўсе ўмовы ўпрацоўкі і практычная прымененне.

Гэта прыводзіць да наступнага пытання. Для прагнозаў, якія спрамованы на адночаснае выпанаванне тых сэрвісных функцыяй і задовольняюць загадзя заданыя тэрміны центральной точнасці, чы можа BMR служыць надзеяным дадзеннем-крэтэрыям, які зменшае колькасць оптымістычных пакрыцьяў днёў з боку матэрыялу, адночасна дазваляючы даглядаць за часткай консерватызму?

Каб даўці на яго адказ, патрэбны свежыя даны, загадзя адзначаныя методы порэвання, урахоўванне неяснасцяў, залежных ад падаўленняў, а таксама порэванні з альтэрнатывамі, якія падтрымліваюць тыя ж цілі. У настоячы час існуе толькі формулаванне BMR, інтэграваны трывыпадовы дызайн, можлівасць воспамінання рэзультатаў і эмпірычныя доказы, якія падкрэпляюць неабходнасць наступных тэстаў.