Jev від TypeSafe AI: модель без чатування для прийняття типованих рішень
У цій статті пояснюється, як модель Jev від TypeSafe AI повністю уникає генерації тексту, надаючи замість цього налаштовані типовані відповіді, та де саме такий компроміс справді є корисним.
Jev — це перший модель від TypeSafe AI, стартапу з Сан-Франциско, який вийшов із режиму прихованості 15 вересня 2026 року за підтримки фінансування у розмірі 40 мільйонів доларів, залучених компанією DCVC.
На відміну від більшості ШІ-систем, які потрапляють у заголовки новин, Jev не є моделлю великої мови. Він не може створювати речення, генерувати код чи складати пояснення. Натомість ви надаєте йому інформацію про поточний стан, наприклад заявку на підтримку клієнтів чи опис продукту, разом із набором структурованих запитань. У відповідь він надає структуровані відповіді, кожна з яких супроводжується розподілом ймовірностей та показником впевненості. Не потрібно інтерпретувати прозовий текст чи коригувати JSON-структуру згодом.
TypeSafe описує цей підхід як модель „System One“, яка навчається за допомогою методу, що називається Reinforcement Learning for Calibrated Decisions, або RLCD. За даними компанії, час відповіді становить від 70 до 500 мілісекунд, а вартість складає 0,042 долара за мільйон вхідних токенів; вихідні токени не коштують нічого.
Ця деталь щодо цін не є помилкою. Вихідні дані безкоштовні просто тому, що їх практично немає.
Хто заснував TypeSafe AI
Засновник та генеральний директор компанії, Діого Алмейда, раніше працював дослідником у OpenAI, вносячи внесок у розвиток методів посиленого навчання на основі людських відгуків, InstructGPT, ChatGPT та GPT-4. Його вважають одним із співтворців технології RLHF, яка перетворила первинні мовні моделі на придатних для використання асистентів у розмовах.
До керівного складу також входять Ерік Гафні на посаді CTO та Саша Шенг на посаді COO. Компанія TypeSafe була заснована у 2024 році та працювала в таємниці майже два роки, перш ніж стати публічною. За даними Forbes, після цького раунду фінансування оцінка компанії становить приблизно 200 мільйонів доларів.
Цікаво те, що Алмейда брав участь у розробці саме того підходу, який дозволив створити моделі, здатні задовольняти людські побажання, проте тепер він стверджує, що задоволення потреб людей насправді ніколи не було такою ж складною задачею, як створення надійного програмного забезпечення. Коли хтось заперечує те, що зробило його відомим, це зазвичай ознака того, що він приділив чимало часу переосмисленню проблеми.
Назва компанії натякає на Вільяма Стенлі Джевонса, економіста XIX століття, відомого за парадоксом Джевонса — спостереженням про те, що коли технологія стає ефективнішою, загальне її споживання схильне до зростання, а не до зниження. Основна ідея тут проста: якщо зробити інтелект достатньо дешевим, його використання значно зросте.
Аспект
Кожен, хто розробляв функції ШІ для електронної комерції, ймовірно, стикався з тим самим постійним проблемним моментом.
Розгляньмо типи рішень, які вимагаються від цих систем: Чи стосується цей запит пошуку бренду чи категорії? Чи підходить це фото продукту для головної сторінки? Чи скаржиться цей відгук на затримку доставки чи якість продукту? Це дрібні рішення, які компетентний менеджер категорії може ухвалити за кілька секунд.
Проте стандартним рішенням є направлення цих запитань через мовну модель. Вона генерує абзац тексту, який потім примушують вписати у структуру JSON. Для цього потрібно створити парсер, додати логіку перевірки, написати механізм повторних спроб та створити альтернативний шлях на випадок, якщо навіть повторні спроби зазнають невдачі. І в кінцевому підсумку, у продакшені, часто посеред ночі, модель повертає значення категорії, якого немає у вашій таксономії, що тихо пошкоджує таблицю з комерційними даними.
Вузьким місцем ніколи не була сама інтелектуальна здатність. Це був інтерфейс, який її оточував.
Саме цю прогалину призначений заповнити Jev.
Основна теза полягає не в тому, що ця модель міркує краще за інші, а в тому, що форма її результату нарешті відповідає тому, що дійсно потребують додатки.
Як насправді працює Jev
Уся інтерфейс API складається лише з трьох типів запитань.
Запитання з вибором дозволяє моделі обрати один варіант з наданого вами списку, і ви отримуєте обраний елемент разом із ймовірністю кожного варіанту та загальною оцінкою надійності. У одному списку можна вказати до 255 варіантів відповідей.
Запитання з оцінкою передбачає, що модель оцінює вхідні дані за шкалою визначених вами рівнів, таких як серйозність помилки, ступінь роздратування клієнта чи ступінь готовності опису продукту. Отримане число може знаходитися між двома сусідніми рівнями, а не точно на одному, причому у відповіді також наводиться повна структура цієї оцінки.
Запитання типу «Так/Ні» представляє собою бінарне твердження. Відповіддю є одне число в межах від 0 до 1, яке показує ймовірність того, що відповідь буде «так».
Ці три типи можна вільно поєднувати в один запит. Кожне запитання оцінюється на основі одного й того самого стану вхідних даних, кожне з них розглядається окремо, і всі вони виконуються одночасно. Завдяки такій паралельній обробці додавання більшої кількості запитань до запиту майже не впливає на час відповіді. Кожен запит працює в межах спільного ліміту приблизно 32 000 токенів, який враховує як стан, так і запитання.
Ця деталь щодо бюджету токенів змінює підхід до проектування системи на основі Jev. Оскільки додаткові запитання коштують майже нічого, рекомендованою стратегією є поставлення всіх можливих запитань, навіть тих, відповіді на які актуальні лише для певних вхідних даних, а потім просто ігнорування того, що не використовується вашим додатком. TypeSafe називає цю модель «спекулятивним розгалуженням». Для тих, хто звик до ситуації, коли кожен додатковий виклик моделі призводить до збільшення витрат та затримок, ця зміна мотивацій потребує часу, щоб повністю усвідомитися.
У чому Jev відрізняється від LLM
Чотири унікальні особливості відрізняють його від мовної моделі, оформленої у структурованому форматі вихідних даних.
По-перше, сама мета навчання відрізняється. RLHF оптимізує модель для отримання відповідей, які люди оцінюють позитивно. RLVR оптимізує модель для відповідей, які може перевірити верифікатор – це технологія, що лежить в основі моделей міркувань. Jev натомість використовує метод під назвою RLCD, який навчає модель формувати рішення разом із чесними оцінками ймовірності. Якщо Jev виводить 0,8 як показник впевненості, це неявна обіцянка, що серед великої кількості схожих відповідей приблизно 80 відсотків будуть правильними. Калібрування тут не є побічним ефектом – це сама суть системи.
По-друге, відбір зразків відбувається паралельно, а не послідовно. Типова модель мови генерує текст токен за токеном, причому кожен новий токен залежить від усього, що було створено раніше. Jev натомість генерує повну відповідь за один прохід. У цьому й полягає причина його швидкості, а також те, чому генерація результату не коштує додатково — немає довгої послідовності токенів, які б оплачувалися по одному.
По-третє, формат виводу не лише рекомендується, а й гарантується. Jev фізично обмежений у можливостях повертати значення з заздалегідь визначеного набору, який ви вказуєте заздалегідь. Це не є „зазвичай відповідною“ поведінкою — за конструкцією неможливо повернути щось поза цим набором. Галюцинаційна категорія є не просто рідкісною, вона структурно виключена з простору можливих результатів. TypeSafe обіцяє 0 відсотків рівня помилок для неправильно сформованого структурованого виводу, і на відміну від більшості показників тестування, цей показник є прямою наслідком архітектури, а не чимось, що вимірюється емпірично.
По-четверте, сама невизначеність розглядається як справжній результат, а не щось, що додається пізніше. Будь-яка відповідь у вигляді вибору чи оцінки супроводжується значенням впевненості, яке обчислюється на основі ступеня гостроти піку в основному розподілі ймовірностей. Розподіл, який є рівномірним, вказує на справжню невизначеність моделі. Це дозволяє логіці вашого застосунку безпосередньо реагувати на рівень впевненості — автоматично діяти, коли він перевищує певний поріг, переходити до людини, коли він опускається нижче іншого порогу, та встановлювати більш суворі вимоги для дій з високою ставкою, ніж для дій із низьким ризиком.
Ця остання можливість, мабуть, є найціннішою. Те, що помилки трапляються у 5 відсотків випадків, рідко є справжньою перешкодою у цих системах. Постійною проблемою була неможливість визначити, які саме 5 відсотків.
Що насправді говорять показники бенчмарку
Це та частина, де є підстави для скептицизму, адже маркетингові матеріали сильно впливають на сприйняття, а більшість онлайн-публікацій просто повторюють основну цифру, не заглиблюючись у деталі.
TypeSafe провела власні тестування, охопивши чотири сценарії використання: реагування на інциденти з безпекою, можливість відстеження дій агентів, обробка рахунків-фактур та підтримка клієнтів, що в сумі становить приблизно 711 тестових випадків. Замість того, щоб покладатися на перевірені людьми правильні відповіді, базові рішення були отримані шляхом усереднення оцінок моделей GPT 6 Astra та Claude Fable 5.1.
За цими базовими показниками Jev досягав очікуваної відповіді у 67,8 відсотка випадків. GPT 5.6 Terra показав майже такий самий результат — 67,9 відсотка, що на перший погляд є чудовим результатом для TypeSafe.
Але якщо переглянути таблицю результатів далі, картина змінюється. GPT 5.6 Sol досяг точності 74,1 відсотка, а Claude Opus 5 — 73,1 відсотка. Якщо зосередитися конкретно на завданнях обробки рахунків-фактур, Jev показав результат 61,8 відсотка проти 79,1 відсотка у Sol — різниця у сімнадцять пунктів, що є значною, саме у тому типі структурованих завдань на вилучення інформації, у яких багато потенційних користувачів очікують відмінних результатів від цієї моделі.
У чому Jev явно має перевагу, так це у вартості та швидкості. Він працює приблизно за ціною 0,0004 долара за завдання з відставанням у часі 0,4 секунди, на відміну від Terra, де ціна становить близько трьох центів та відставання — десять секунд; це різниця приблизно у два порядки як за вартістю, так і за швидкістю.
Якщо говорити чесно, Jev досягає рівня точності, схожого на моделі середнього класу, причому коштує від однієї сорокової до однієї чотирьохсотої вартості подібних моделей, а час реакції становить кілька долей секунди. Чи є такий компроміс доцільним, залежить повністю від наслідків неправильної відповіді. При класифікації мільйона запитів цей компроміс виглядає чудово. Однак при автоматичному схваленні повернення грошей потрібен механізм контролю надовірності, який би здійснював справжнє, значуще фільтрування.
Варто пам’ятати про два моменти. Це цифри, надані самим постачальником, і поки що не було жодних незалежних великомасштабних тестів. Крім того, оскільки базові відповіді були створені моделями OpenAI та Anthropic, вся порівняльна оцінка неявно спрямована на визнання правильних відповідей саме цих двох сімей моделей.
Де я б його використовував
Розгляньмо можливість створення функцій для аналізу потреб клієнтів та маркетингу товарів для електронної торговельної платформи з продуктів харчування та загальних товарів, яка працює на кількох ринках Перської затоки. Ось приблизно як така команда може визначити пріоритети для Jev у своєму списку завдань.
Спочатку, ймовірно, буде розв’язано проблему розуміння запитів у масштабах каталогу. Платформа, яка охоплює кілька ринків та мов, стикається з величезною кількістю пошукових запитів. Завдання, такі як класифікація наміру користувача, розділення назв брендів від термінів категорій та атрибутів, а також позначення запитів, які, ймовірно, не дадуть результатів, наразі вирішуються за допомогою низки правил, які з часом втрачають ефективність, а також періодичних викликів ШІ, які є занадто дорогими для обробки такої великої кількості даних. За ціною приблизно 42 долари за мільярд токенів вхідних даних, така класифікація кожного запиту щодня стає фінансово доцільною.
Оцінка якості контенту — ще один перспективний варіант. Кожен опис продукту можна оцінювати за чіткістю назви, якістю зображень та повнотою характеристик, а продукти з найнижчими балами направляються до команди каталогу для виправлень. По суті це одне повторюване запитання типу оцінки, застосоване у масштабах мільйонів — робота, яка традиційно є занадто дорогою для обробки за допомогою ШІ та занадто складною для формулювання у вигляді суворих правил.
Оцінка релевантності для налаштування пошуку є третім варіантом застосування. Замість купівлі даних релевантності з позначками від людей чи оплати дорогого моделювання для їх створення, можна масово оцінювати пари запитів та продуктів для формування незалежного набору даних релевантності. У власній документації TypeSafe щодо переранжування наводиться зростання точності першого результату з 5 відсотків до 18 відсотків у тестах пошуку юридичних документів — це обнадійливий сигнал, хоча ця галузь майже не має спільного з пошуком у е-комерції.
Нарешті, механізми контролю для існуючих функцій, що працюють на основі LLM, є цілком доцільними. Для перевірки вхідних та вихідних даних будь-якої функції для спілкування на наявність спроб обхіду захисту та порушень правил потрібна швидка та недорога перевірка, яка сама не стане вузьким місцем, що саме відповідає характеристикам Jev.
Де я б його не використовував
Будь-яка ситуація, яка вимагає пояснення, не підходить. Jev ніколи не надає обґрунтувань, крапка. Коли продавець запитує, чому його оголошення опустилося в рейтингу, відповідь «модель поставила оцінку 2,1 з 4» нікого не задовольняє.
Завдання, які вимагають послідовного обґрунтування на кількох етапах, також є поганим вибором. TypeSafe прямо зазначає це у власній документації: розділіть свою проблему на окремі запитання або скористайтеся іншим інструментом, оскільки елементи, об’єднані в одне запитання, не мають можливості бачити відповіді один одного.
Там, де точність має перевагу над швидкістю обробки, будьте обережні. Ця слабкість у обробці рахунків-фактур — це не дрібна проблема, а справжній попереджувальний знак.
І ви не повинні впроваджувати його там, де не зможете спочатку перевірити його на власних даних. 67,8 відсотка середнього балу за чотири тестові завдання іншої особи майже нічого не говорять про те, як модель впорається з арабськими назвами продуктів чи про способи класифікації продуктів харчування на ринках Перської затоки.
Головна ідея
Якщо не брати до уваги показники дня запуску, існує основна теза, яка залишається актуальною незалежно від того, чи стане Jev конкретно переможцем у цій галузі.
Текст ніколи не був ідеальним інтерфейсом між моделлю та програмним забезпеченням, призначеним для обробки її результатів. Ми почали використовувати його просто тому, що це був доступний формат, а потім роками створювали парсери, валідатори, логіку повторних спроб та перевірювачі схем лише для того, щоб компенсувати це. Кожен з цих шарів існує виключно для того, щоб перетворити щось, створене для читання людьми, на щось, що машина може безпечно обробити.
Якщо більша частина використання ШІ зрештою буде відбуватися всередині програмних пайплайнів, а не в інтерфейсах чату — а це здається ймовірним напрямком розвитку — тоді система, яка виконує цю роботу, ймовірно, взагалі не повинна оптимізуватися під створення зрозумілих речень. Сама TypeSafe оцінює, що автоматизація у великих масштабах зводиться приблизно до 99 відсотків до комунікації між машинами. Точна цифра є предметом дискусій. Однак загальний напрямок розвитку важко заперечувати.
Jev, можливо, не стане тим моделлю, яка допоможе галузі досягти бажаних результатів. Він має вузький діапазон застосування, ще є новим, ґрунтується на самостійно наданих даних та поступається топовим моделям за первинною точністю. Проте йому вдалося сформулювати конкретне, перевірюване твердження щодо точного місця проблеми в наших поточних системах.
Ця проблема є тим фактором, навколо якого команди постійно розробляють функції з використанням ШІ. Було б приємно, якби вона нарешті зникла.
Пов’язана література
- Розуміння пам’яті ШІ: пояснення контексту, ембеддингів, технологій RAG та параметрів моделей — У цій статті детально розглядається, як системи ШІ насправді зберігають інформацію, включаючи концепції контекстних вікон, ембеддингів, векторних баз даних, технології RAG та параметрів моделей.
- Temperature, Top-K та Top-P: практичний посібник з вибору параметрів для генерації тексту ШІ — Дізнайтеся, як параметри temperature, top-k та top-p впливають на результати роботи ШІ, з практичними порадами та прикладами помилок під час налаштування чат-ботів, асистентів для програмування та систем типу RAG.