Модэлі рашэння, створаныя за дапамою клавіатуры, протык узываў LLM: зволненне і стабільнасць на межы

Сучасныя коды агента запоўненыя множліцай невеликіх рашэнняў типу «так» чы «нет»: чы ёсць гэты заявкі трыбутны, чы даны інструмент падходзіць да запиту, чы варта адзначка дасягнуць. Звычайна практыка — адпавядаць на кожнае з гэтых рашэнняў ўсё новым вызовам генератывальнага LLM і аналізаваць структураваныя адпаведзі, што працюе, але займае секунды за кожны крок і дае цифры з неясным значэнням. У гэтым кераванні тое ж сама обмежаная дыялегія праходзіць через спецыяльна створаную модэлю дыялегій і через звычайны LLM аж 240 разоў, пасля чаго рэзультуючая верыгоднасць падаецца ў маршрутазёр LangChain. У канцы вы зразумеете, як справядліва адмэтаваць такія порыванні, як выглядаюць разлікі ў затрымках і стабільнасці, а таксама як падтрымваць політыку маршрутазавання ў чыстам коде, а не ўнутрь прампта.

Обмежаныя рашэння — гэта не задачы генеравання

Паглядзіце на рашынкі, якія з’яўляюцца ў типовым прыкладзе выкарыстоўвання LLM, і багаты з іх на самай працэ паводзяцца не з стварэнням мовы:

• Чы гэты заявкі на падтрымку трэба адносіць да тых, якія ўскораныя?
• Чы пропонуемы інструмент дэйсна падходзіць таму, пра што запытаў корыстнік?
• Чы дакумент падпадае пад адзін конкрэтны критэрыя?
• Чы адзін з выкарыстоўваных фрагментаў є достатньна релевантным, каб яго включыць у контэкст?

Звычная реалізацыя перадае нынешні стан LLM, просіць структураванае адпаведзенне і ператварае гэта адпаведзенне на ветку ў кодзе. У прынцыпе тут няма ніч парадоксальнага. Але застаёцца вопыт: чы кожна з гэтых ветак справды патрабуе цэлага автарегрэсівнага моделю.

Jev — гэты першы модель TypeSafe AI у таму, калі компанія называе свойя раштрыкі "System One", і ён выкарбавае працоўны падход, протыпарадны іншым. Ён ніколі не стварае вольнага тексту. Вы даёте яму певны стан адносна набора обмежаных запытанняў, а ён адпавядае за дапамогай узороўваных рашэнняў і верыгоднасцей. Выпускчык прастаўляе яго як элемент для стварэння програмнага забавляння, а не як замену модэлю для чату чы разумавання. LangChain выпусціў інтеграцыю, якая викорыстоўвае Jev у інструментах-агентах для такіх задач, як выбір модэля чы пераглед вызоў інструментаў. Оба продукты былі новымі на момент напісання статты, таму пераканайцеся ў актуальных API-ях пры ўжыванні іх. Якщо вас больш заўсёды цікавіць кантэкст вартасці гэтага падходу, стаття на цэнах узороўванага рашэння-керавальніка пад час вызоў frontier LLM розглядае гэты аспект; тут акцэнт ставіцца на прыменшэнне затрымкаў і характарыстыкі працы.

Падчырэйванне параболы

Обом системам была дана роўна адна запытка, якую трэба было адпаведзець; яна пераказана так: чы рошчынка выклікае праблему багаташаговай логіки, чы ёй трэба простае рашэнне, такое як прымітны пошук, выявленне значэння, базавы расчыт, перапісваў або невялікі локальны праверк?

Набор парабол быў намерна створаны з увагай да неодназначных кейсаў. Вочныя экстремумы даюць мало інфармацыі; цікавая працэздатнась рутэра прояўляецца прыбліжна там, дзе падход "проста адпаведзь" ператвараецца на "хорашчэ прыгледзіць". Было выкарыстана васьме запыткі ад разработчыкаў:

1. Пошук у словніку: чаму пошук ключа ў Python-словніку зазвычай выконваецца за час O(1).
2. Спіс проты множыны: каторая з гэтых структураў падходзіць для скупкі унікальных ID-ў корыстнікаў.

Дзеянне REST API: анаіз канцэнтра POST /users/{id}/delete і падзеячыцца, чы гэты формат можа быць спрощаны ў стылі REST.

Redis проты PostgreSQL: падзеячыцца, чы існуючы кэш Redis трэба заменіць на PostgreSQL.

Асінхронны Python: падзеячыцца, чы пераход на асінхронную версію для веб-скрапера дапаможа.

Очакванне проты публікацыя/прыема: каторы з гэтых методаў лепей выкорыстоўваць для паведамленняў пра стан замовлень.

Індексаванне SQL: анаіз запытку і выявленне, чы індэкс можа прышвыдзіць ўжоўтварэнне рэзультатаў.

Мікросервісы проты моноліта: падзеячыцца, чы Python-сервіс трэба разбіць на мікросервісы чы залічыць цэлым.

Кожны запит быў выкананы дзесяць разоў у кожнай з трох настаўк:

• Jev — вычысляецца за дапамогою Noul, які вяртае верыгоднасць таго, што запыт выклікае значныя вычысленні.

GPT-5.6 Sol з верыгатэю — выклікаець праз LangChain структураваны выхад і трэбуе вярнуць булева значэнне плюс самастаўленую верыгатэю.

GPT-5.6 Sol, толькі бінарны — той самы модэль прасіць толькі True або False, без жадных прамянэў пра ступень абданосці.

Бюджет выклікаў складаецца так:

8 prompts
× 10 repetitions
× 3 conditions
= 240 calls

Кожны выклік фіксаваў свае рашэнне, верыгатэю, якщо ёна існавала, назву модэля і час на перадачу-прыему даных. Важна чыткая адзначыць, чаго эксперымент не прабуе зробіць: няма аб’ектыўных паметак пра тое, сколькі разумоўкі „працыявалі“ для пэўнага запиту, таму правильнасць не ёст крэатывным пунктам. У замен эксперымент нацэлёваны на тры болей вузкія пытанні:

1. Чы рашэнчыкавы модэль і генератывны модэль дасягаюць падобных вынікаў у прынятцы рашэння?

Наскільки стабільны ўсе варыянты, калі ідэнтычны запит павторюецца?

Які ў розрахунку на затрымку коштуе семантычныя рашэння з межамі, калі яго выдае спецыялізаваны модель у працу, і як гэта выглядае з моделью-генератаром?

Найважлівейшыя нарадкі былі атрыманы з запытаў на межы, а не з явна складных.

Тры способы рэалізацыі аднаго рашэння

Усе тры варыянты былі напісаны на Python з викорыстанням LangChain.

Jev з адним Noul

Модель Noul адпрацоўвае бінарную прэтазу, але замест таго, каб адразу вярнуць True чы False, яна вяртае верагатнасць. Jev прымеў запыт разработчыка як свой стан і аднаго Noul, який несе запыт. У загальных рысах ваказанне запыту выглядае так:

Noul(
    instructions="""
    Does this request require substantial multi-step reasoning
    rather than a direct lookup, extraction, simple calculation,
    rewriting task, or small localized edit?
    """
)

Адпаведны адказ — проста цячка, напрыклад:

0.86

Гэтае значэнне ўосмысляецца як верагатнасць таго, што тэза ўтрымваецца:

P(requires substantial reasoning) = 0.86

Ёнколькі пораўняць Jev з бінарным распалохам LLM, верыгоднасць 0.5 або большая лічыцца як True.

GPT-5.6 Sol адмаўляе сваю сабственную верыгоднасць

У якості базовага рэжыму генеравання быў выкарыстоўваны ChatOpenAI через LangChain, пры чым модэль Pydantic контролювала формат выходных даных. Пяраблікі Field(ge=0.0, le=1.0) гарантуюць, што значэнне знаходзіцца ў заданым дыапазоне; аднак яны нічога не сказваюць пра тое, чыі ён мае значэнне.

class ReasoningProbability(BaseModel):
    requires_reasoning: bool
    probability: float = Field(ge=0.0, le=1.0)

Хутчэй модэль павінна была даставіць як вынік, так і адказ пра тое, насколькі верагодна ўтварэнне „так“. Гэта разлік заслуговае на увагу. Вынік Jev – гэта тое, што модэль была створана для стварэння. Чысло LLM – гэта тэкст, які ён генеруе, каліколькі схема выкарыстоўвае число з паводлівай прызначэнням, і няма гаранцый, што ён відбівае якую-лібо внутранюю верагоднасць. Адносаванне гэтых двух чыслеў да аднаго і таго ж типу кантэнта – гэта прыпуск, а не факт.

GPT-5.6 Sol быў прымусова перакананы выкарыстоваць логічныя значэння

У троцьму варыянте наладкі былі адключаны ўсе апісы пра верагатыбнасць, і ад таго ж модэлю была запрасана інформацыя толькі па аднам полю:

class ReasoningBinary(BaseModel):
    requires_reasoning: bool

Это дае тры разныя сігналы: адну натычную верагатыбнасць і два варіянты, створаныя модэлем.

Jev
    → native probabilistic decision

GPT-5.6 Sol
    → generated probability + decisionGPT-5.6 Sol
    → forced binary decision

Што паказалі 240 вызоў

Выявіліся тры патэрны:

1. Jev дасягаў заканчальнага рашэння значна быстрей.
2. Па запитам, якія явна выкалікалі патрэбу ў логічных размышленнях, системы здэйснілі большасцю разоў адностайнае рашэння; яны розходзіліся ближы да межы.
3. Па аднам гранічным запиту сама верагатыбнасць, адзначаная LLM, сильна мянілася межы ідэентычных вызоў.

Затрымка: дзесяткі мілісекунд проты секундаў

Як сярэгожа вартас паўтаральнага часу, Jev адпавядаў за 128,8 мс на адну рашэнне. GPT-5,6 Sol патрабаваў 2 828,1 мс, калі вяртаў верыгатнасць, і 4 072,1 мс у режыме з выключаным бінарным форматам. Это працоўна майже у 22 разы медленней для варіанта з верыгатнасцю і у 32 разы медленней для булевага варіанта.

Спрыймайце гэтыя колькібеты як момантальныя показнікі, а не стандарты карэнтажу. Час адпаведзення API залежыць ад навантажэння прадаўца, версіі моделі, регіону і сетевага шляху. Важлівы ўсё-такі масштаб: калі задача — адна простая рашэнне, запуск загальнай генератыўной моделі вымагае значна большых ресурсоў, чым трэба для адпаведзення на запит.

Рэзультат, які складаецца толькі з бінарных дадзеных, — гэта цікавасць, яку варта запамятаць. Запрос пра меншы колькісць полей выходных дадзеных не прывёл да шырэйшага часу адпаведзьбы; более таго, ў дзеяннях была спадчына. Одной маленькай працы недасткова, каб з’ясавіць прычыну, але гэта нагадвае, што час адпаведзьбы LLM з канца ў канец зависіць ад іншых фактароў, кроме колькасці видных токенав выходных дадзеных, такіх як очакванне у рэях, падготавка дадзеных і будь-яе скрытая логіка, якую модель выконвае перад тым, як даць адпаведзьбу.

Адпаведнасць у крайніх случаях, розбіжнасць на перыходзе

Па явна сложных запросах, дзе была замена Redis і разделенне на мікросервісы, два системы падтрымалі аднаковую думку і прызначылі высокую значыну неабходнасці логічных размышленняў. Разлік з’явіўся па простэйшых запросах. Для запитоў у словніку, пытанняў пра розныя форматы дадзеных (спіс проты множыны) і пытанняў дизайна REST, GPT-5.6 Sol прадставіў верыгоднасці, близкія да нуля, тады як Jev прадставіў іх значна ближэй да середзіны дыапазона.

Найболей выразным прыкладам была перагляд REST:

У запытку просіма аналіз POST /users/{id}/delete і кращую альтэрнатыўу на прыемлівайшых прынцыпах REST.

Серэдняя верагатывальнае значэнне Jev склалася 0.551, што легка перавышае прагу 0.5. У GPT-5.6 Sol серэдняя значэнне склалася 0.071. Гэта не было шумамі, якія знаходзіліся на межы праг: у всіх дзесяць працоў Jev класіфікаваў запытка як такія, якія выказваюць вялікую колькасць разумовых дзеянняў, а ў всіх дзесяць працоў обох версый LLM Sol класіфікаваў іх як такія, якія гэтага не выказваюць.

Гэта не значыць, што Jev правы. Без пазначанай адповіднай базы дадзенняяў нельга сказаць, які варыянт адгуквання лепшы. Гэта ж паказвае, што гэтыя два сигналы не ўзаемназаменны, і што яны разлічаюцца самэ ў той зоне, дзе маршрутазатор наіболей чулы да таго, як визначаецца його межа. Якщо заменіце аднаго джерела прынятка рашэння на іншае, можна спакою чакаць, што маршрутазаванне змяніцца самэ ў тых запытках, па якім вы найменш впевнены.

Два числа між нулем і адзём, якія паведаюцься разна

Павтарэнне кожнага запиту дзесяць разоў памогла адкрыць стабільнасць. Большасць запитоў даў досыта аднаковыя рэзультаты як з адной, так і з другой системы. Аўтаматам было выключэнне ў запитах пра выбір между кею і системай pub/sub для паведамленняў пра замовы.

У дзесяці ідэнтычных запытаў верагатнасць, якую сам GPT-5.6 Sol адзвярнуў, колічылася працоўна ад 0.28 да 0.90, тады як значэнні Jev засталіся досыта збліжаныя. Установка бінарнага LLM адпаведзела True у дзевяці з дзесяці працоў, таму вердыкты былі досыта стабільныя, нават якщо заявленае выражэнне аптымаласці не было стабільным.

Адказчына ў структурнай форме. І два системы выдаюць значэння, якія можна запісаць у дыапазоне [0, 1], але процесы, якія стояць за імі, разныя. Для Jev верыятнасць — это фатальны выхад модэлю для прыметкавання рашэння. Для LLM это последовасць токенаў, якія ствараюцца таму, што запит прасіў аб оцэнцы, і практыка выбору можа даваць адзінаковыя цифры ў розныя разы. У гэтым заведанні сама адзначаная верыятнасць LLM не практычна падобалася выхаду модэлю, створанага для прыметкавання рашэння. Якщо вы плануеце викорыстаць такую цифру як прагу, перад тым, калі ўпэўніцеся ў яе, змерыце ея дывергэнцію праз паўтарныя вызовы.

Ператворэнне верыятнасці ў маршрутазатор LangChain

Гэтыя паўстановы спрыялі практычнам тэсту: викорыстаць верыятнасць Jev для маршрутавання рэальных запытаў між двума моделямі OpenAI.

• GPT-5.6 Luna обрабоцвае запыты, якія, на думку модэлю, не выкалікаюць значных размышленняў.

GPT-5.6 Sol адмініструе тыя кейсы, якія, за адмешчаннем, патрабуюць яго выкарыстоўвання.

Jev ніколі не выбірае модель безпосередзя. Ён адпавядае на тое ж Noul запытанне з эксперымента, чы рошчынка патрабуе складных багацыхэтапных разумоў, і вяртае верыгоднасць, напрыклад 0.54, што чытаецца як P(requires substantial reasoning) = 0.54.

Пасля таго код прыкладнення пераканальвае гэю значэнню з прыемкай, заданай у стандартным Python:

REASONING_THRESHOLD = 0.65

Сама гілка таксама ўсё проста:

if reasoning_probability >= REASONING_THRESHOLD:
    model = powerful_model
else:
    model = fast_model

Сутна частка працы — у падзеле ўбоў. Jev задаёт верыгоднасць; прыкладнасць вяршыць, што з нею рабіць. З порогам 0.65 значэнне 0.54 направляеся да Luna, а значэнне 0.86 — да Sol. Палітыка є ясной, дэтерміністычной і можа быць пераглянутая ў кодовым разліку, тады калі сэмантычныя вынікі застаюцца у модэле.

Полны алгорытм выглядае так:

User request
     ↓
    Jev
     ↓
P(requires substantial reasoning)
     ↓
Python threshold = 0.65
   ↙                  ↘
Luna                  Sol

Прыметка пра гэты праг: 0.65 ўжо толькі ілюстратыўны, а не настраўваны. Ён быў выбран толькі для таго, каб у маленькай дэманстрацыі явна простыя запиты патраплялі на адну сторону, а запиты, якія стосаваліся дизайну і архітектуры і мелі вышэйскія балы, — на другую. У рэальных умовах яго трэба быў бы выбраць на падставе емпірычных даных, выкарыстоўваючы большы набор пазначаных запитоў, і взяць у ўвагу два разныя рызыка: неабходнасць викорыстоўвання дорогія модэлі для простага запиту і адправка сапраўдна складнага запиту да менш эфектывнай модэлі. Гэтыя затраты рэдка бываюць сіметрычныя, таму найкращы праг рэдка доравнае 0.5.

Як паводзіўся рутэр

Чырвець запитоў праходзілі через рутэр — ад простых вычыслаў да задач, якія стосаваліся архітектуры кальмінацыі. Большасць рэзультатаў падтрымала інтуіцыю. Задачы на вычыслення і перапісвоўванне мелі дужа низкія балы і патрапілі да Luna; значныя запиты, якія стосаваліся архітектуры, мелі вышэйскія балы і патрапілі да Sol.

Інформатыўныя прыклады знаходзіліся межу:

• Адказ на запыт пра значэнне слова ў слоўніку мела бал 0.46
• Адказ на запыт пра REST API мела бал 0.54
• Запыт пра разлік межу кялеў і публікацый/падпісаў мела бал 0.86

Паколькі Jev вяртае непаўнаважны бал, а не фіксаваную атрыбутацыю easy чы hard, ступень агрэсіўнасці маршрутацыі стае самастоятельным, налагоджуемым параметрам. Пры бале 0.65 адказ на запыт пра REST API быў направлены да Luna, а запыт пра кялі і публікацыі/падпісаў — да Sol. Падвышэнне порога прыведзе да таго, што менш запытанняй будуць направлены да большага модэлю, і такім чынам заўсцяжуцься витраты; падвышэнне ж порога зменшыць рызык недастатковага адказу на складны запыт. Рашэнне модэлю не зміняецца, калі налагоджуецца гэты параметр, тое значыць, што можна налагоджваць правіла, нават дынамічна, без падтрымкі новых запытанняў.

Меры гэтага эксперымента

Зберагацеце твэрджэнія ў прапорцыях:

• Васьме запита не можу характэрызаваць жадны з модэляў у цаласі, а сама пытанне прызначэння ўпорядкування є суб’ектываўскім.
• Точнасць і калібраванне не былі вымераны. Эксперымент паўтараець аналіз поведэння, адпаведнасці і часу адпаведзення, а не правильнасці.
• Правападобнасці Jevа і самастаўленыя значэння LLM не трэба супадзець за статыстычным значэнням.
• Значэнні часу адпаведзення залежаць ад прадаўцы і умов у момент адпаведзення.

Болей эфектывны падход выкорыстаў бы большы набір дадзеных з упорядкуванням і ацэніў бы роутар з самага початку да канца: точнасць маршрутацыі, калібраванне, якасць адпаведзення, кост і чутлівасць да разных праг.

Калі вартая ўвагі адзельная модэль прыняцьця рашэння

Для невялкага прыемніка частае выкарыстоўванне LLM для рутавання часта ёсць абсалютна дапаможным; адно дадаткова запытанне рэдка калі мае значэння. Ситуацыя змінюецца, калі агент начынае выканаўваць шагі рутавання, запошуку, паўнайстанавлення і пераканальвання засобамі. Большая частка гэтых шагоў ёсць абмежаныя суджэння, і якщо кожны з іх стане ўласнае мнагасекундовае генератыўнае запытанне, цыкл агента становіцца медленным і дорогім з прычын, неякія не стосуюцца самай роботы.

Чыстая раздзеленасць абавясцей выглядае так:

• Модель прыняцтва рашэння адмаўляецца абмежаныя семантычныя суджэння і вяртае верыгоднасць.
• Код прыемніка керуе прагамі, правіламі і розгалужэннямі.
• LLM выканаўвае неабмежаныя процесы раздумоў і напісання.

Спроможны ЛЛМ моглі б справіцца з усімі цымі, але гэта не выклекчвае, каб усі часткі системы викорыстоўвалі той самы тип модэлю, особліва калі важна затрымка. Болей шырокія аргументы за падбор розмеру модэляў па заданню прыведзеныя ў правільным падбору розмеру ЛЛМ для маршрутацыі, запошуку і ацэнкі.

Ключовыя выводы

• У гэтым теставанні модэль прыняцтва рашэння даў усереднена 129 мс на кожнае рашэнне, протыкуючы кількам секундам у генератывальных наладках.
• Працуючы з майже неодназначнымі данымі, два системы сталоўна не пагадваліся, а не вялікай меры наэнтыпна, таму замена адного сігналу іншым зменіць маршрутацыю там, дзе яна найболей чуліва.
• Сама адметная верыгоднасць ЛЛМ можа сильна разніцца ў адной і той жа выкліканні (прыблізна з 0,28 да 0,90 па аднам запиту); пераканайцеся ў яе варіябельнасці пры выкананні перакрытка.

Зберагаюце прагу ў кодзе, выбіраючы яе на аднойчынных данных і асиметрычныя затраты за кожную памылку, і спрэчвайце спецыялізаваную модель прынятнага рашэння як дапамогу для LLM, а не як шырэйшую ўяву пра яго.