Цэна прыстрою для выбора рашэння на адказ на запыткі LLM Frontier

Значны частак трафіку LLM у працэйскай суперблоке не патрабуе адпаведнага адказу. Выбір маршруту, пазначэнне катагорыі правіл або прыметка, чы рэквезыт заслугвае на глыбокія размышленні, — гэта задачы з абмежанымі параметрамі, протыма багато сістэм адпавядаюць на яны, запрашваючы у мадэлі-фронтэйру дэкадаванне тэксту. У гэтым кялічыку показана, як вярнуцца, чы такі шар прыметак, як Jev ад TypeSafe, павінен стаць частынай такіх запрашэнняў, як стварыць чысты мадэль адказовага косту для яго і як пераканацца, што дышэўнейшы маршрут не стане таямна гorszym.

Цікавая парадыгма спэвароў ніколі не ёст меры «дышэўскі мадэль проты дорогай мадэлі» адособлена. Гэта ўсёяго адно цэлае выкананне запытку працоўнае адносна іншай, пры чым обе падлягаюць той самай стандарту якасці. Калі вы хочаце дакладнейшых ведамася пра тое, што такое Jev і як працуюць яго базавыя элементы, пераглянуце нашы аптак у фармаце Jev як мадэль без чату для прымэтных рашэнняў; тут акцэнт ставіцца на эканаміку і інжынерныя аспекты, якія з’яўляюцца ў процэсе.

Калі для генеравання тэксту непаслужыць правільны проміжны фармат

Уявіце сабе запыт на падтрымку, які прыходзіць у сістэму з калькама можлівых пунктав прызначэння. Калькама запытаў практычна трэбуецца дзялёг, обоснаваны адказ ад перэдовай мадэлі. Большая частка іншых запытаў выклікае патрэбу ў дэтэрміністычным алгорытме, кароткай пераследжванні інформацыі або ж узагалі без генеравання чога-небудзь.

У дыяграме з аднам модэлем кожны запіт праходзіць да галоўнага модэля, якому прасіцца выявіць, што трэба зрабіць, зазвычай працягваючы структураваны адказ. Штырэнт гэтага модэля чытае вхідны даныя, дэкадуе выходныя токены адна за іншай і вяртае ўтварэнне, якое прыкладная програма можа выкарыстоўваць. Такі дыяграма ёсць гнучкім, але выкарыстоўвае працэс дэкадавання для задач, якія на самай працэ ёсць простымі выборамі.

API з структураваным выходам зробілі гэта набагато безпечнейшым: яны усунулі большасць некорэктных фарматавання JSON і нарушэння схемы. Тверджэнне Ева ўжо іншае і болей архітэктурнае. Яго натыўны выход — гэта часткава адлічаная рашынка, а не вольны тэкст, прымусова падпісваны схемай праз строгае дэкадавання.

Дыяграма з контролем дадае крок адлічання рашынкі прытаму, перш чым запускаецца ўскладнены працэс:

1. З’ясаваць, чы рэальна запіт выклікае неабходнасць складнага аналізу.
2. Прыняць значэнне верыгоднасці або выбраць варыянт з фіксаванага набору.

Адрэсавайце кейсы з высокім рэгламентам прымусова на пасоўнае месца.

Кейсы з незначным рэгламентам перадавайце на болей безпечны альтэрнатыўны варыант.

Самэ гэтае рашэнне ёсць там, дзе такі мадэль як Jev можа здобыць сваё месца. Дакументацыя продукту TypeSafe опісвае яго як інструмент, створаны для програмных рашэнняў, а не для генеравання тэксту. Памятайце, што гэтае рашэнне не ў бесплатнасці: яно прыносіць сабе свою затрымку, косты, залежнасці і можлівасці апылень, нават калі яно захоўвае вызовы на першай стадзіі.

Рутэр, які ўяўляе сабою нізькі косцт на вызов, становіцца вельмі дорогім, калі ён прымусова надае запіты не на тое месца.

Пачніце з обсягу работы, а не з табелі цэнаў

Цены за кожны токен ёсць вхіднымі данымі для модэлі костаў; яны не ёсць самай модэллю. Тое, пра што насправды трэба думаць, — гэта распад вашага трафіку.

Для кожнай катэгорыі запітоў неабходна зафіксаваць прынеймна наступныя даны:

• токены-вхідныя даны, які надаюцца роутэру і будзь-якай генератывальнай модэлі;
• токены-выходныя даны, якія вы спакуўваеце ад генератывальнай модэлі;
• частка трафіку, якая праходзіць па кожнай з маршрутаў;
• частка, якая пераходзіць на альтэрнатыўны маршрут, прабуецца знову або потрапляе на пераглед чалавека;
• зніжкі за кэшаваныя вхідныя даны, але толькі тыя, якія практычна прызначаны для вашых запітоў;
• прага якосці, яку трэба падтрымваць сістэме; і
• скількі коштае помылка маршрутызацыі, па-за сумай API.

За дапамою гэтых цыфр можна вырачыць прыбліжную вартасць аднаго запіту:

E[cost] = C_router + P_frontier × C_frontier + P_fallback × C_fallback + C_ops (операцыі і пераглед чалавека)

А кожны вызов, які лічыцца па токанах, розбіваецца на:

C_call = (tokens_in × rate_in + tokens_out × rate_out) ÷ 1,000,000, пры чым стаўкі вказываюцца на мільйон токанаў

Адзін элемент бухгалтэрскага улікавання мае большое значэнне, чым можа здавацца. Калі простаўна сумаваць этыя показнікі, кожная верыятнасць должна быць безусловной, тое есць часткай усіх запытоў. Якшча ваша стоп-шчотка вылічваецца толькі сярод запытоў, якія праехалі пэўны маршрут, павышайце яе на верыятнасць выбору гэтага маршрута першым. Спалучэнне гэтых двух показнікаў — гэта просты спосаб пералячыць той самы стоп-шчотка два разы.

Таксама важна точна апісаць цэльную метрыку. Мінімізацыя косту за адзін запыт не ёсьць метай. Вы хочаце найменшага загальнага косту за адзін прыняты рэзультат, пад кантролем чыста выражанай прымусовай нормы якасці. Працэс, які ў дробе коштае недарма за кожны запыт, але даўа больш адмовленых чы рэабілітаваных рэзультатаў, можа празыць у гэтым показніку.

Як выглядае межа негенератыўнага выходу

Архітэктуру легча разумець, калі точна ўсвядомлены тое, што вяртае раутэр. TypeSafe апісвае тры відменнасці запытанняў:

• Noul вяртае верагатнасць з дыяпазону 0 і 1 пра тое, чы рэчанне ўсё-такі правядзяцца.
• Choice выбірае адну з можлівасцяў з заданага набору і паводзіць ся з верагатнасцямі і значэнням доверы.
• Score распакоўвае вхідны даны па заданай шкале, таксама з верагатнасцямі і доверым.

Точныя поля адпаведзей і рэкамендаваныя способы ўжывання апісаны ў даследчыку прымітыў. TypeSafe адносі калібраванне верагатнасцяў модэлю да методу адучання, які ён называе RLCD – Reinforcement Learning for Calibrated Decisions.

Спрэцявіце гэтую калібрацыю як гіпатэзу, яку трэба перапрацаваць на вашых даных. У самай дакументацыі System One ад віробніка чытальна зазначаецца, што калібрацыя — гэта власць, якая вылічваецца на адной час многіх прыказаў; там ніч не сказана пра тое, чы роўная якая-небудзь адпаведны ёсць. Мадэль можа быць добра калібруваная ў сярэжнем значэнні, але ўсё равна крытычна памыляцца ў конкрэтным запіце, які у вас ёсць.

Гэта шырэйшы урок пра безпеку тыпаў у сістэмах ШЫ: ён адключае толькі адну катэгорыю памылак, а не ўсе. Расходнае выхіднае можа ідэальна падпадаць пад заявлены тып, але ўсё равна містыць некорэктную рашэнне.

Корыстным крокам ёсць заданне саваго, нейтральнага да прадастоўца, тыпу рэзультата на межы аплікацыі, такім чынам калішняя частка коду ніколі не будзе залежаць ад фармату адпаведзення конкрэтнага прадастоўца. Наведзены выкладак — гэта разлікованы альянс з чатырма рэзультатамі: прыняты траектар з узлём доверы, альтэрнатыва для задач з нізкім узлём доверы або не падтрымваных задач, явны статус перагляду для сітуацый з вялікім уражэнням і тэхнічная памылка. Заўважыце, што «перагляд» і «альтэрнатыва» — гэта разлічныя кейсы; яны зазвычай прыводзяць да вельмі разлічных выкарыстанняў рэсурсоў і адпаведальных асоб.

DecisionResult =
  | { kind: "accepted"; route: KnownRoute; confidence: Score }
  | { kind: "fallback"; reason: LowConfidence | UnsupportedTask }
  | { kind: "review"; reason: HighImpactAmbiguity }
  | { kind: "error"; reason: TechnicalFailure }

Усё, што несе рэальную адпаведальнасць, яшчэ застаецца ў вашам кодзе: схема, прагрызы, перакананні ў правах, альтэрнатывы, можлівасць назірання і караўанне наследкав пакінутага траектара. Тыпаваны рутэр дае гэтым элементам чыстыя умовы вводу. Ён не прымае рашэнняў заместа вас.

Паралельная адзінакоўка проты дэкодавання токен за токенам

Мадэлі-генератары ствараюць выходны тэкст пашагоўна. Незалежна ад таго, насколькі оптымізавана сістэма аддачы, прыкладнэе праграма отрымае струмянь токенав, і дужына гэтага струмяння вплывае як на час завершэння, так і на вартасць выходным дадзенням.

TypeSafe стварае, што Jev усё-такі вікорыстоўвае паралельны сэмплер, які ведае пра апаратную частыню і можа адпаведзець на калькі структураваных запытанняў у аднам паралельным запытанні. За адказамі TypeSafe пра гэтыю мадэль, цэлы цыкл выканання займае ад 70 да 500 мілісекундаў, пры чым швальнасць зростае на 40-200 разоў для запытанняў таго тыпу, якія ён называе „System One“. Гэтыя цыфры публікуюцца вядчым; яны не былі перапрацаваны незалежна тут.

Разглядзім праблему модэравання, якая трэба пераканаліць па дзесяць катагорыяў правілаў. Два спосабы выканання разніцяюцца так:

• Паралельны пацек прыямоўкі: вы надаеце спакушаны кантэкст разам з дзесяццю абмежанымі запытаннямі і атрымляеце дзесяць запісаных значэнняў, кожна з якіх супакоўвана інформацыяй пра верагатнасць.
• Генератыўны пацек: вы надаеце кантэкст і чакаеце, пакуль серыязаваная адпаведзь будзе дэкадавана токен за токенам; тое, што вяртаецца, — гэта структураваны выхід, які ўсё ж трэба семантычна прабавіць.

Паралельны пацек ніколі не чакае на адказ чы серыязаваны тэкст, што дае перавагу па часу адпаведзі і рэчынкуўванню для абмежаных ацэнкаў. Гэта нічога не дазваляе сказаць пра роўную точнасць, глыбіню разумовых працэсаў чы надзеямнасць. Форма выканання і якасць задання — гэта два разныя пытанні, і кожна з іх трэбуе свайго мерылля.

Праектаванне політыкы маршрутацыі: прагі і альтэрнатывы

Слой маршрутацыя — гэта не проста вызов мадэлі, які абгорнуты ў if. Яму патрэбна чыста вызначаная політыка адпрацоўкі, якая пакрывае кожны можлівы рэзультат.

У наведанам выкладку псевдакодзе запрашваецца мадэль прыняцця рашэння з пазначаннем тыпу, каб тая выбрала аднойчы з трох цэлей: локальны працэс працы, мадэль „фронтыяр“ або перагляд чалавекам. Тэхнічныя несправы пераходзяць у безпечную альтэрнатыву, рашэння з недастатковым рывеньма доверлівасці — на перагляд чалавекам або да мадэлі „фронтыяр“, а толькі рашэння з высокым рывеньма доверлівасці вжываецца без змян. Кожна рашэнне фіксуецца разам з ідэнтыфікатаром запіту, маршрутом, рывеньм доверлівасці, версіяй мадэлі і часам адпрацоўкі пры ўсылці. Ён спецыяльна створаны як універсальны і не прэтэндуе на тое, што ён являецца Jev SDK.

decision = typed_decision_model.evaluate(
    context=request,
    schema=Choice(["local_workflow", "frontier_model", "human_review"])
)

if decision.failed:
    route = safe_technical_fallback
elif decision.confidence < REVIEW_THRESHOLD:
    route = human_review_or_frontier_fallback
else:
    route = decision.value

log(request_id, route, decision.confidence, model_version, latency_ms)
dispatch(route, request)

Тры інварыянты робяць адпрацоўку безпечной:

1. Кожны можлівы рэзультат адпавядае тыпу, які ўжо вядомы прыкладнаму програмнаму забезпечэнню.
2. Кожны стан з нізкім рывеньма доверлівасці або неудача маюць вызначаную цэль.

Кожна рашынка працэвадзення маршрутаў ёсць спазірама і пазней можа быць сустрэчаная з яе рэальным рынкам.

Трэці пункт — гэты, які команды частаясць прахіджваць. Без сустрэчання рашынак з рынкамі нельга з’ясавіць, чы рутэр заўсёды эканоміць грошы, чы проста таямна паслабляе якосць.

Выбір прагу

Праг устанавлівае вашу пазыцыю на крывай компрэса між якосцю і каштоўнасцю. Канзерватывны праг направляе больш трафіку да дорогага альтэрнатыўнага рашэння і зменшвае эканомію. Агрэсыўны праг автаматызуе больш рашынак і падвышае рызык „хутаро-простых“ адказак, калі запыт прызначаецца як звычайны, хоць для яго была патрэбна глыбокая аналіза.

Гэта робіць выбір прагу прыемлемай як задачу аналізу, а не ўсё тое, што можна налаштаваць інтуўіцыяй. Выберыце яго на адзее рэзультатаў для вашай справы, вазуючы тое, што два тыпы памылак рэдка калі маюць аднаковыя наследкі. Для рашэнняў з серьязнымі наследкамі варыянт з людскім пераглядам можа быць правым рашэнням, нават калі ён ўсё ж такі ёсць найдорожэйшым элементам у модэлі.

Нормалізацыя порэвання вартасцей

Ціны, паказаныя ў гэтым порэванні, былі перакантролаваны з адпаведнымі стороннімі сайтамі 17 сябрня 2026 года, і яны можа зменіцца. Спрыймайце кожную цыфру тут як момантальны фота, і перакантролюйце яе з адпаведнымі стороннімі сайтамі, такімі як сторынка модэлі OpenAI, сторынка Opus ад Anthropic і цены API Gemini ад Google, прытым як будзеце на ёй спалагацца.

Некалькі умов сутэйна зменяюць цыфры:

• Стандартныя тарыфы GPT-6 Astra дапускаюцца толькі для 272K токенав уводу; длейнейшыя запіты оплачваюцца за вышэйшымі тарыфамі.

У версіі Gemini 3.1 Pro Preview паказваныя цены прызначаны для запросаў да 200 тысяч токенаў; паляглей, стандартныя цены вырастаюць да 4 долераў за мільйон токенаў уваходу і 18 долераў за мільйон токенаў выходу.

Anthropic паказвае указаныя цены для Claude Opus 5 як начальныя цены.

Апроцэсаванне пакетам, кэшаванне, прыорытэтныя або швыракія рывні, а таксама рэгіональныя цены можу зменіць рэзультаты паравання.

Нават з усімі гэтымі застэрэжаннямі, чыстая табліца ценаў ёсць выразна прывабная, але водночас і падводная. Jev і генератыўныя мадэлі не продаюць аднаковага продукту. У Jev практычна няма цены выходу, адтолькі ў яго задокументаваных межах няма генераванага тэксту. Мадэлі тыпу Frontier вырабляюць адказы, падсумкі, код і розгледы без чыярых меж, чаго Jev не прастаўляе.

Якшча глядзець толькі на цэну вхідных дадзеных, узгаданая Jev цэна ўсьмохаецца прыблізна у 119 разоў ніжэй, чым стандартная цэна вхідных дадзеных для Claude Opus 5. Таму выраз «прыблізна у 100 разоў дышэўшы» ёсць адпаведным скрацаннем для пазначэння цены вхідных дадзеных. Гэта не значыць, што Jev можа выконваць працу Claude за адны прыцэп часткі абоўсюднага косту.

Практычны, навмесна непূরны прыклад

Узьмім 10 000 запыткаў. Кожны з іх адправляе 800 токенав у маршрутазатор. 30 працэнтам запыткаў надаецца маршрут да модэля frontier: на кожны такі запыт выдаваецца 1 200 токенав вхідных дадзеных і 500 токенав выходных дадзеных. Кроме таго, 5% усіх запыткаў без аднаковых умоў спрычынаюць дадатковы запыт. Не лічыце кэшавання, затраты на працу, праказы і косты якосці.

Калі падзіць гэта ў формулы, то вплыв лініі роутэра ёсць занедбаным, тады як вартасць вызоваў праз мадэльы тыпу „фронтэйр“ домінюе ў суме рахунку. Гэта і ёсць адначак прынятным рэзультатам, і самэ гэта прычына таго, што гэты прыклад нічога не доказвае ў паводзе з эконаміяй. У ям няма базовага модэлю з вімераным калітэтам, няма аналізу распаду маршрутаў у рэальным трафіце, а такса за памылкі маршрутызацыі таксаваныя не ўрахоўваныя.

Значны вопыт не ў тым, чы розцэнка роутэра за кожны токен меньшая, чым у модэлю тыпу „фронтэйр“; яе, адзвічайна, меньшая. Вопыт у тым, чы рашэнне, прынятыя на пачатку працэсу апрацоўкі, дазволяе ухіліцца ад достатньяй колькасці непатрэбных операцый, каб гэта мела значэнне, не паслабляючы пры тым стандарт калітэту. Чыба прачытаць болей дакладнае аб тым, дзе на самай працоўкі LLM фактычна накапліваецца вартасць, пазірце наш модэль вартасці, заснованую на архітэктуры, для агентных AI.

Паўтарэнне калітэту маршрутызацыі і абшчай вартасці

У момент напісання матэрыялы, доступны для грамадскага вжытку, падтрымляюць задокументаваны інтэрфейс Jev, яго механізм, зазначаную цэну, а таксама інформацыю пра затрымкі, апаведануюяя TypeSafe. У іх яшчэ немае незалежных, масштабных доказаў якосці калібравання, надзеямоўнасці працы аб’екта чы ўстойчывасці цэн. TypeSafe таксама публікуе своія власныя ацэнкі робочага працэсу, а таксама рэкамендаціі ў чыстку доверлівасці і крэтароў, якія ёсць корыстнымі вачэйкамі, але залішаюцца пераказамі з первых джэрэл.

У аднойчы выданай ранней практычной разглядзе, якую апублікуя Every, швычайна была оцэнена высока швальдасць і цэна, хоча якосць загаловай задачы застала без адказу. Яе трэба спрыяваць як ранні сігнал, а не як стандарт для практычнай працы.

Практычны цыкл атверджэння выглядае так:

• Взяць пазначаны фрагмент рэальнага трафіку.
• Пройсці яго праз чынны тракт працы, а таксама чэрз потэнцыйны тракт працы.

Пораўняйце якасць, косць, час адпаведзі і ступеня альтэрнатыўных рашэнняў і пераглядоў кожнага з варыянтав.

Версіюйце модэль, схему, прагрызы і набор для ацэнкі разам, так каб рэзультат завжды быў прыязначаны да конкрэтной настройкі.

Раздзеліце аберанні па маршрутах, а не проста сакрэтываце ўвесь показнік точнасці.

Гэты последні крок мае значэнне, таму што адзін показнік точнасці можа сховаць найбольш шкодзячую проблему: складны запіт адмовіўся ўпэўнена па маршруту, які яму быў неабходны.

Дызайн на адной маршрутазначэнні ўспявае толькі тады, калі ён параджае неабходную якасць і адночасна павышае тое, што вы насправдзе оптымізаваеце — чы то косць, час адпаведзі, ўместнасць чы якая-небудзь іншая комбінацыя. Калі ён зменшыў вартасць токенаў, але павысіў колькасць перапрыбуткаў чы ручных пераглядоў, косць проста змінілася, а не знікла.

Калі модэль тыпу «фронтыер» застаецца лепшым дзяленнем

Слой маршрутацыя додае залежнасць, паверхню політык і новы спосаб працэйных адказоў. Адправка всего ў адны мадэль фронтыэра часта являецца лепшым выборам, калі:

• большасць запыткаў у будзь-якім случае патрабуе створанага тэксту;
• рашэнне не можа быць выражана як обмежаныя атрыбуты чы балы;
• неодназначнасць выклікае неабяжаныя размышленні пры выборэ маршруту;
• обсяг трафіку занадта малы, ўжо не дазволяючы заўданням маршрутацыі компенсаваць дадзеныю аперацыйную складнасць; чы
• команда ўсё яшчэ не можа ацэніць і сочыць за памылкамі маршрутацыі.

Тыпавы маршрутазатор становіцься прывабным, калі рашэнні ўзаўсёды павтараюцца, являюцца обмежанымі, вімернымі і выконваюцца у вялікіх колькасцях, калі прыложэнне мае надзею на безпечныя альтэрнатывы для кожнага рэзультата, і калі перавераны маршрутазатор значна зменшае колькасць генераванага тэксту.

Ключовыя выводы

• Пораўняйце цэлыя шляхі запітоў пад аднаковым показнікам якосці, а не цены модэляў окрэма.
• Расчытайце прыбліжную цэну модэля з узьвычайанням безусловных верыятнасцей і оптымізуйце цэну за кожны прыйняты рэзультат.
• Абгорніце любы рутэр паза своім тыпам рэзультата з чысткім падступам, станамі перагляду і адзінакоў.
• Выберайце прагі на адной з мяткаваных дадзеных і асіметрычных цэнах адзінакоў, і фіксуйце кожную рашэнне, ўпрымкнуўшы яе да адпаведнага рэзультата.
• Спрыяйце затрымкам прадавца, калібрацыі і тверджэнням пра цены як гіпатэзам; перапрацавайце іх, калі змянююцца цены, запотокі дадзеных або цены адзінакоў.
• Пачніце з малага: выберыце аднойчы існуючы маршрут, запісайце яго схему і праг якосці, а таксама запрацавайце самы маленькі эксперымент, які мог бы падтвердзіць неправільнасць дызайну.