Безпечная замена модэляў LLM: людзкія атрыбуты, паказнікі на кожны крок, настройкі зусілляў
Як перайсці з багатаэтапнага прайсупуту LLM на новыя модэлі без рызыку неспаду якасці: антропіячныя стандарты, паказателі за кожны этап, застарэлыя запросы і зусілля для логічных выводам.
Крыніцы: Migrating off gpt-5: the models were fine, my measurements were not
Змена назвы модэлі ў файле налашоўкаў выглядае як задача, якая займае пяць хвілін. У багатаэтапным процесе працы з LLM гэта рэдка, і прычына часта не ў самай новай модэлі, а ў методах ацэнкі яе карыстоўчыка. Выкорыстаўшы рэалістычную міграцыю процеса фільтрацыі з старэй групы модэляў, вы пазнаеце, як стварыць надзейныя базовыя даны, прызначыць втраты кожнаму з етапаў, адзначыць застарэлы запит вялікай модэлі та спрыймачы зусілля на рошэнне як параметр, прызначаны для кожнага конкрэтнага завдання, а не як глобальную настройку.
Конкрэтным факторам, які спрыяюць гэтам сценарыю, ёсць завершэнне падтрымкі. OpenAI аанунсава 11 грудзября 2026 года як дату завершэння падтрымкі чатырох модэляў: gpt-5, яго версіяў mini і nano, а таксама gpt-5-pro. Гэта план на момент напісання, таму пераканайцеся ў яму на афіцыяльной сторонцы з інформацыяй пра завершэнне падтрымкі. У дакладзе расследування выкарыстоўваліся два самыя маленькія з гэтых модэляў, таму перайшочы на іншыя было неабходна. Існавалі два варыянты замены: gpt-5.4 у розных размерах і gpt-5.6-luna. Назвы модэляў, стандартныя настройкі і цены часта змінююцца, таму расследаваныя нижэй деталі трэба спрыяглядаць як момантальную інформацыю, а метод – як стабільны прыем.
Практыка, якая пераводзіцца
Сістэма прыймает апоўнаж 2,600 статэйкаў ў месяц і скарочвае іх да апоўнаж 120 кандыдатаў, якія пасля таго чалавек перагледвае ручна. Гэта скарочэнне не ўсунуцца адзіным запросам. Це агент, створаны з LangGraph, з апоўнаж дзесяць галоў у графе, з якіх дзесяць — это разныя вызовы модэлю. Тры з гэтых вызоў несу большую частку інфармацыі: бар’ер адпаведнасці на входзе, пасля чаго два класыфікаторы — аднам для типу контэнту, другім для тэмы. Пасля іх знаходзяцца пераглед на новасць, крок аблікавання балоў і крок стварэння апусцтка.
Адна з характерыстык дизайну вплывае на кожную наступную рашэнне. Першы галоў створаны для адзелення шуму, а не для ацэнкі якосці, і яго два типы памылак маюць вельмі разныя наследкі:
- Ёнтаковая адмова ў залічэнні є дышачая. Сильнейшы модэль пасля ўздоўж ланцуга, або чалавек-перагледчык у канцы, знайдзе гэта.
Будзь-яка аналіз, який ставіцца да гэтых двух адмешканняў сіметрычна, памылка будзе вадзіць вас ў адносах да працэйнага ланцюга.
Конфігурацыя, якая была адправлена
Канечны стан быў неравнаправлены ўмышлена. Дзевяць з дзесяці запытанняў было пераказана на gpt-5.6-luna, які паразна сабе паўтарылася. Механізм адбору релевантнасці застаўся на gpt-5.4-nano; адгукі ўсю гэтую расследаванню пасвяцілі саме гэтаму адступленню. І тепер кожны запытанне ясна задае розмір зусіль для аналізу, узамест таго каб наследаваць стандартны параметр модэлю, і гэты выбор у паўнай меры важыць больш, чым сам выбор модэлю.
Цена павяліла спіс кандыдатаў яшчэ до таго, как была ацэнена яго якосць, але не за счытам цэн у каталозе. Практычна весь трафік выкаліцуецца за меркамі програмы аднароднай раздачы дадзэйна OpenAI, і Luna выкарыстоўвае той жа, большы дзённы ліміт, што і найдешавейшыя ўжо викорыстоўваныя моделі. Таму месячны рахунак застаецца на роўні кальколька цэнтав у будзь-яму случае. Моцнейшыя моделі таго ж паколення належаць да значна меньшага ліміту, які пад такым навантажэнням быў бы выкараны ўжо да полудня, таму яны адхіліліся, незалежна ад якосці.
Далей прыведзены чатыры неспадзянкі, па таму порядку, якія з’явіліся. Гэты ж порядак таксама ўзяўшыся падходзіць як разумны чарт для вашай сабе міграцыі.
Урок 1: не вжывайце старую модель як базовую
Першая адзінка параболіла кожную з кандыдацкіх конфігурацыйяў з узельнам рэзультатам застарэлага модэлю: насколькі з паказаных раней рэзультата воспродвае новая наладка? Што гэтая адзінка параболіла паказала — регрэсію на 31 статтю, і гэта спрыяла пошуку дыфекта модэлю, якога ніколі не было.
Якща адмаўляцца, проблема ўсё ж зрозумелая. Першы этап працы канвею стварае кандыдацкія варыянты, а 40–60 процэнтамі з іх пазней распрацоўвае чалавек-рэвізор. Адметрабацыя падабенства з гэтым узельнам рэзультатам значыць адметрабацыю падабенства з фільтрам, які вже вядомы як сяродні. Кандыдацу даёмае награду за тое, што ён копіюе адмылкі старога модэлю, і карае за тое, што яны лагчывае.
Чалавечыя рашэнні ўжо являюцца базовай правдой
У системе кантролю версій знаходзілася значна лепшая група атрыбутаў. Этап людзкага перагляду вычыраейць элементы зі спіса кандыдатаў, і кожна такая вычыркі ўтварае коміт. У месцы, выкарыстоўванам для тэставання, пасля першага перагляду колькісць кандыдатаў зменілася з 122 на 72, а пасля наступных пераглядоў было вычыркнуто ўсё больш. Порэванаваўшы гэты коміт з яго праблемным варыянтом, можна выделіць две групы: статті, якія чалавек застаўіў, і статті, якія чалавек адхіліў.
Перерахунак 31 статэкі, якія былі прызнаны «втрачанымі», па тых атрыбутах цалкам змяніў ситуацыю. 43 працэнты з іх былі статэкамі, якія рэвюер усё рава паспрабаваў выдаліць. Па стандартам людскага суджэння, фактычная втрата складала 15 хорашых статэкаў, што прыблізна напалова меней, чым здавалася спачатку. І ўсё краща таму, што атрыбуты можна супяроўняваць з рашэннямі на кожны крок, таму вони паказваюць, які самэль упусціў кожны з тых 15 статэкаў. (Этыя пазначаныя даныя атрыбутаў прыйшлі з налашоўкамі gpt-5.4-mini, а не з налашоўкамі Luna, якія былі выданы, таму што робота з Luna была завернутая раней.) Адны самэль вызваў гэтыя змены; жаданы іншы крок не паўзіў болей чым адну статэку. Локалізаваная проблема з 15 статэкамі ў аднай запрасе набагато лёгкая да рашэння, чым неясная втрата 31 статэку.
Загальны ўрок: калі хтось здзейснюе заканчыцковы вызов у вашай системе, яго вызов ёстся абсолютным правдападобным даннем, і зазвычай адноўсі ўжо існуе яго запис. Паглядзіце на чергі затверджэння, перакрыцця правіл модерацыі, патронты падтрымкі з перекласыфікацыяй або змены, якія люди вносяць у створаныя чернавіки. Існуючая стаття па прыметам стадіі абякання для ацэнкі систем RAG таксама практыкуе апраноўкі прычын бякаў да таго компонента, які іх спрычыніў.
Замеры па кожным кроку таксама адкрываюць бягі, якія не стосуюцца міграцыі. У гэтым случае было выявлена, што пры проверцы новасці ствараюцца назвы тэм, якія не з’являюцца нідзе ў списку, які ён отрымае; для кожнага з 24 адхіленняў выкарыстоўваецца іншая вымышлена назва, і гэта дзеянне відбываецца як з старымі, так і з новымі моделямі.
Урок 2: строгейшы модэль можа правільна чытаць ваш запрос
Калі прычыну некалькання было паставіць на фільтр тэм, прываблівым выглядаў варыянт – налаштаць його запрошэнне (prompt), пакуль новы модель не будзе правільна працаваць. У даным случае гэта могла бы завесті да серьёзных наследкаў, адколькі болей сильны модель, які працуе на вышэйшых ўровнях, завантажае саме тыя файлы з запрошэннямі. Павялікванне правіла, каб модель першага ўровня могла спакойна працаваць з большай колькасцю статэйкаў, адбівае силу таго ўровня, які выкарыстоўваецца для серьёзнай адгукі, і нічога з таго, што вимерваецца на першым ўровні, ніколі не будзе гэта паказваць.
Таму, замест таго, каб рэдагаваць запрошэнне, у рамках расследавання было прабаванне папросіць модель саму сабе адказаць. Для кожной статэйкі, яку адхіліў фільтр тэм, была зафіксавана заявленая прычына ад GPT-5.4-mini; ўсьго было здзейснена апошнія дваццаць запыткаў.
Адказы былі логічныя. У яных былі названы конкрэтныя правіла, а таксама было верна цитаванне запытку. У аднам случае модель практычна слова за словам пераказала правіло, якое забараняла оптымізацыю виткоў ШІ „нават калі яна рэалізуецца через API-шлюз“, і выкорыстала яго, каб адхілічыць статтю, яку рэвізор на самай працоўцы залеў.
Стары gpt-5-mini проста ніколі не застосоўваў гэтае правіла. Пасля перагледу выявілася, што два з правілаў, якія ён ігнораваў, дыйсна былі застарэлыя. У аднаго не было выключэння для шаблонав пашырання паведамленняў, створаных унутры прыкладніка; іншы быў напісаны раней, чым API-шлюзы сталі інфраструктурой, якая заслуговала на адзінольны розгляд. Гэтыя два правіла былі выправлены, іншыя засталі без змян, а выправлення было паказвана ў самастойным коміте, аддзельна ад змян у самай модэлі, ўсёлякія з якіх маглі быць адзінакова працаваны.
Дешавы тэст, які разлучае два протыяўныя дыагназы
Это той перагляд, які трэба адначасна выконваць пад час будзь-якай міграцыі. Калі новейшая модель адхронівае больш пунктав у кроке вынікнення рашэння, прычыной частае лепшая адпаведнасць да інструкцый з праграмам, якія змениліся за годзіну. Прачытайце прыклад яе наведзеных прычын:
- Калі адказы правильна цитуюць вашы рэальныя правілы, праграма стала застарелай, і яе корэкцыя дапамагае кожнам этапам, якія яе выкарыстоўваюць.
- Калі модель прыменяе правілы, якія явна не падходзяць да пунктава, ваша праграма правильная, а прычына ў самай модэлі.
Этыя выводы накіраваны ў працупакоўныя напрамкі, і простая колькасць адхроніваў не можа іх разлучыць.
Урок 3: строгэйшае рашэння не значыць автаматычна гorsага
Система адаптавання паказала падобную картыну, але з іншага канту. У тым пункце Luna адхрэсавала удвое большыя колькасці статэйк, чым GPT-5.4-Nano. Выразны вывод быў такі, што Luna проста гэтую задачу выканае горш, і гэта практычна стала адпаведным рашэннем.
Аднак на самай працы система фактычна адпавядае на тры окремыя запитанні: чы ў матэрыяле достатня актуальнасць, чы мова — англійскі, і чы тэма падпадае пад сферу дзейнасці. Была расследавана толькі сумарная дапаможнае рашэнне.
Раздзелэнне дапаможнае рашэнне на частыны паказала важлівыя разлікі. Частка запитання пра мову: моделі абоўсумна збігліся, пазначыўшы тыя ж чатыры статэйкі. Усе разлікі былі у частцы запитання пра тэму — Luna адхрэсавала 64 статэйкі, а GPT-5.4-Nano — 32.
Чытанне прычын Луны паказало логічныя, у большайшай меры адказныя выводы: сярод таго, што было адхілена, — бібліятэка для пулаў працоўнікаў на мове Go, платформа для стварэння голасавых агентаў і матэрыялы пра міграцыю баз дадзеных у хмару. Нічога не было зламана. Луна тлумачыць „прыглавны акцэнт“ шчырэй, чым планаваў авар гучнага запросу.
Это выклікае патрэбу іншага рашэння. Зламаны чак должен быць вылечаны. Адказны, але строгейшы спосаб тлумачэння нечыстага запросу, які знаходзіцца ў едынам воратах, якіе падаюць усё да наступных элементаў, дзе хыбныя рашэння становяцца перманентнымі, краща абійсці. Самэльга тое, што гэты запрос застаўся на gpt-5.4-nano. У загальным сэнсе, сумарная оцэнка паказвае толькі тое, што ў чымсь змянілася. Якщо адзін крок адпаведае на калькі пытанняў, трэба зазначыць кожную адпаведь окрема, перш чым ствараць якую-лібо тэорыю пра модель.
Урок 4: зусілля ў логічным мышленні не пераходзяць з адной модэлі на іншую чы не па разным заданням
Калі гэтап быў выбран gpt-5.4-nano, засталаючыся пытаннем было тое, сколькі часу ён должен думаць. Моделі для аналізу выкладваюць параметр зусіль, який прыблізна кантролюе, сколькі внутраніх розглядаў праходзіць перад дачай адпаведнай адказы. Працоўная гіпотэза была такой, што параметр зусіль дзейнае як регулятор якосці, який завжды працюе адносна тое ж, пры чым кожная модель рэагуе сваім унікальным спосабам.
Разлічыць паказвалі два абоўсумна разныя шаблоны:
- У режыме пераканаўчасці падвоўкі параметра зусіль практычна удвое збільшыла колькість адмоваў ад gpt-5.4-nano, тады як luna зовсім не рэагавала на гэты налажоўкі.
- У фільтре па тэме тая ж модель luna зменшыла колькість артыкулов на 49 екземпляраў у межах дыапазона параметра зусіль, але пры найвышэйшай налажоўцы продавяла адмовляць.
- Модель gpt-5-nano, якая была выведзена з эксплуатацыі, мела найбольш прагаматычную налажоўку з усіх.
Такі твэрджэнькі, як «Luna патрабуе вялікіх зусёў», не ўтвараюць факта, які можна викорыстоўваць парадульна. Яны былі правдзівыя для Luna па аднам заданні, але не мелі значэння для яго па іншам. Зусьці — гуменная характэрыстыка конкрэтнага модэлю па конкрэтным заданні, і кожная такая пара патрабуе свайго сабэйскага вылічэння.
Большы модэль не можа заменіць гэтае вылічэння. Аднаэтажны тэст з 80 статэйкамі, пры яком усе модэлі працавалі з сярэднімі зусьцямі, даў 31 адхіленне ад GPT-5.4-mini, 34 ад Luna і 30 ад GPT-5.4-nano. Большы модэль ледзь змяніў рэзултаты; адключэнне механізма разумовага аналізу у GPT-5.4-nano значна паўлічыла колькасць адхіленняў.
Зусьці таксама маюць узор витак, не падобны нічаму іншаму, таму што яны можаўць раслівацца без чыстай межы. Падняць фільтр па тэме на адны ранг зусёў дапамогла захаваць 10 адхіленняў, пры тым вартасць токэнаў была приблізна у трох разоў вышэй, і гэты варыянт быў адхілены.
Што не было вылічана
Чыста адказчыцтва пра недасткі ўскладненняў яе ёсць частью гэтага методу.
- Конфігурацыя Luna, якая была адправлена, ніколі не пераканалвалася па стандартам людзкіх атрыбутаў; гэты эксперымент быў зупінены рана. Яна працавала ў практычных умовах без жаднага нявыпанога вызову модэлю, што нічога не сказвае пра падышэнне якосці.
- Адзін пункт дадзеных натыкаецца на тое, што Luna працуе гэрш за gpt-5.4-mini у класыфікацыі типа кантэнту: яна адхіліла 9 хорашых статэйкаў, тады калі gpt-5.4-mini — 5, пры чым рэгламент зусіль не быў задаўжаны. Якщо колькасць выходных дадзеных зменшыцца, гэта першы элемент, які трэба пераглядзець.
Падробныя даны з мераванняў
Былі выкарыстоўваны два наборы праектаў. У эксперыментах з аддачай усе 198 артыкулаў, якія былі збераганы у кэшы, былі надаслены безпосередна ў адну вузел, таму нічы не магла змяніцца ў вышэйшых роўнах. У эксперыментах «з канца ў канец» праект з 200 рядоў пройшоў чераз кожны вузел; ён складаўся з 72 артыкулаў, санкціонаваных людьмі, і 49 артыкулаў, адхілёных людьмі.
Рэйтынг выкананы на адной з гэтых людскіх класафікацый:
- Сконфігурацыя «Retired» (gpt-5-mini плюс gpt-5-nano): з 72 артыкулаў засталося 48 хорашых; з 49 пакіяных працэс праўільна праходзіў 27 артыкулаў.
- gpt-5.4-mini, які керуе вузламі адгукнення, з прынятымі паспакойкамі да запрошэння: з 72 засталося 33; з 49 працэс праўільна праходзіў 18 артыкулаў.
- Сконфігурацыя «Shipped» (luna у дзесяці з дзесяці вызоў): яшчэ не мала рэйтынгу ні па аднаму з набораў.
Гэты пасляпярэдній пункт застаецца порожнім да часу месячнага адзору, таму што класафікацыі існуюць толькі пасля апвярджэння каміту з выдалення, а ў верасні на момент аналізу яшчэ не было зданае выдалення.
Сігнал ранней працездатнасці
Даныя працэксплуатацыі ўтвараюць частковую замену. Luna пачала працаваць 30 серпня. Рэшткі падключэнняў за адпоўна падобныя періяды выглядаюць так:
- Пакануннія модэлі з 1 па 29 серпня: 4,55 працэтака (121 падключанне з 2,658).
- Пакануннія модэлі за апошнія восемь дзён пры пераходзе: 4,86 працэтака (32 падключання з 658).
- Luna з 30 серпня па 6 сябрэля: 4,08 працэтака (26 падключання з 638).
Пораўнанне двух падобных восьмідзённых періяў за дапамою тесту z з двума прыдзеламі дае 0,69, што ў значным меры належыць да розпакоў. Для парадкану, у папершнім варыянце за першыя восьмы дні ліпеня показначык складаў 3,98 процэнта — гэта была большая змяна ў яго саўестве, чым тая, яку прынесла луна. Вёсем дзён і ўсьмі дні — це короткі періяд, а практычны прыдзел не ўказвае на якасць, але найбольш баямы вынік, калі луна таямна паражае працэс обробкі, так і не выйшаў на паверхню.
У перыядзе роботы Luna таксама быў створены першы паводле кожнага вузла апісанне прычын адхоўлення статэйк. У тым перыядзе Luna адхоўліла 603 статэйкі. 42 процента з іх было адхоўлена через критэрый релевантнасці, 38 процента — через фільтр типу контэнту, 16 процента — через фільтр тэмы, а 3 процента — через перакананне ў новасці. На адміну, у пакойшчыце працавалі 2,526 статэйкі з 1 по 29 серпня без зафіксавання жадной прычыны, таму для восстановлення даных за серпень было неабходна перзапусціць обробку статэйк, а не проста запытаць даныя з системы. Якщо ваша практыка сёння не фіксуе прычыны адхоўлення па кожнам кроку, яе адключэнне ёсць найякшым спосабам падборкі перед міграцыяй.
Меры праўдзівых данаяў і адносна короткага запуску
У людзях-ацэнаваў ёсць два вбудованыя ліміты. Яны паводзяцца толькі пра статті, якія праяшчылі через старую систему, таму новая настройка ніколі не можа заслужыць пракрыття за тое, што адна з старых систем неправа прымітала. А ў вялікай меры 79 рядоў у праекспэртызаваных 200 рядоў не маюць жадных людзкіх ацэнкаў.
Разбіжнасць між параграфамі запускаў є вялікай. Тры параграфы запускаў з аднаковым налаштаванням, працаваныя над ідэнтычнымі 200 рядамі, далі што 37, 48 і 55 працэнтав адхілення на аднам узле, што ў значна большай меры, чым можа поясніць шум выборкавання. Параграф запуска ў всіх етапах з аднаковым налаштаванням далі чатыры новыя елементы і прынёс втрату чатырох іншых. Перазапуск налаштавання, якое вже не выкарыстоўвалася, проты таго, што яно сама створыла пад час працы, вярнуў толькі 75 з 121 позначаных артыкула, тэму яно падтрымвала свою сабеўную історыю толькі пра 62 працэнты часу. У практыцы адзін параграф запуска можа выявіць разлікы прыблізна 20 пунктав на аднам узле, або прыблізна восьма елементов у всім ланцугу обробкі.
Лепшы спосаб пра верыфікацыю адзінаковых змян: пераглядаць кожную зміну толькі на тых элементах, якія ёй павінны быць выправленыя, а таксама на невеликай групе элементаў, якія ёй не павінны быць чыненыя, і паслугвацца шырокім запускам толькі як прыбліжным сигналам пра большую побачную шкоду. Аднай зміне было дастаткова, каб паказаць гэта. Яна перадвинула чатыры целевыя статті за вузол, які выправіла, але практычна не змяніла канечны рэзультат, таму што тры з гэтых чатырох пазней былі адхільнуты з несувязаных прычынаў.
Куда на самай працо падаюць токены
Мысленныя процесы спрацоўваюць токены выходу, але сам выход не ёсць тым, што спрацоўвае цю квоту. У пакойшчых моделях выход станавіў 13 процэнтаў усіх токенаў, а ў новых — меней чым 3 процэнтав; запросы ў дужо дзьяўных дазволах, таму вхід домінуе.
У момент напісання цього текста програма абонавтства пры выкорыстоўванні дадзэнняў праспектуе два ўздзеньныя пакеты. Большы пакет, які складаецца з 2,5 млн токенаў на дзень, прызначаны для моделі Luna асобліва для версый GPT-5.4 розмерам nano і mini. Меньшы пакет, які станавіць 250 тыс. токенаў на дзень, падходзіць для модэлей середньага і большога розмера. У звычны рабочы дзень система спрацоўвала прыбліжна 1,95 млн токенаў з паказванымі раней моделямі і прыбліжна 1,15 млн токенаў з новыми моделямі. Экспортаваны месяц, які включае пераважна старую конфігурацыю плюс восем дзён новай, коштаў бы або-альо 4 долары за правіламі Flex без жадных надбавак.
За тысячу запитоў модэлі сутэльна разніцяюцца:
- gpt-5-nano: $0,32
- gpt-5.4-nano: $0,52
- gpt-5.6-luna: $0,65
- gpt-5-mini: $1,49
- gpt-5.4-mini: $3,29 (малая праўка)
Luna не выграўае за цэнай за адзін запит, і гэта ўзяць можна. Яе вартасць за запит значна нижэй, чым у будзь-кага з міні-модэляў, і яна выкарыстоўвае той жа ресурс, што і нано-модэлі.
Доплата за запіс у кеш
У списку цэнаў схована деталі, якую варта ацэніць рэштры. Серед расследаваных модэляў толькі Luna бере плату за запісы ў кеш, якая на 25 процэнтаў вышыя, чым за звычайны вхідны дадзенне без кешу. Паколькі запиты тут надходзяць пра весь дзень, а не скупляюцца, ентры кешу выгораюць між запитамі: 57 процэнтав вхідных дадзенняў Luna было оплачана як запісы ў кеш, а толькі 41 процэнт — як чытанне з кешу. Кешаванне все ж такі дапамагае, зменшычы суму за вхідныя дадзенні на 23 процэнты паўстаноўна працы без кешу, але гэта далёкая ціль у пораўнанні з 90 процэнтамі захвату, якія прыпускае знижка за чытанне. Якщо ваша робота мае періоды падвышанай навантажэння, вы побачыце большу знижку; якщо ж навантажэння стабільнае, трэба врачыць доплату за запісы.
API-яе падежы, які спрачынаюць абяроны кожнага запиту
Некалькі параметраў можа змусіць перейменаванне модэлю да абяроны. Как зазначаецца у момент напісання (пераканайцеся за дапамою актуальной дасяглібнай інформацыі):
- Ступень зусіль для обработкі запиту не ўсё часа аднаковая межы разнымі версіямі: середняя для gpt-5, нульовая для семейства 5.4, і знову середняя для 5.6. Таму проста зміна назвы модэлю таямніча зменшвае або падвайшвае колькасць зусіль, якія витрачае модэль на обработку кожнага запиту.
- Найвышэйшая ступень зусіль доступна толькі для модэляў 5.6; запит на ёе выкарыстоўванне у модэлі 5.4 спрачынае абяранне кожнага запиту.
- У тэрмінацыі для дапраўкі заповнення чату будь-якая ступень зусіль, вышэй нежы нуль, у поўнай зусіллі разам з інструментамі функцый ўсунутая; такія запиты павінны пераходзіць у тэрмінацыю для адпаведных адпаведзей. Паколькі стандартная настройка Luna — середняя, выкарыстоўванне інструментаў у режыме Luna для заповнення чату немагчыма, якщо толькі не зменшыць ступень зусіль явна.
Нічога з гэтаго не можна вярнуць пад час выканання. Тыповая логіка перапрыбутку караеся з боку сервера, тайма-аўтаматав і лімітаў частоты, але не некоректных запитоў; таму паспялы супарожнік модэлю і зусібаў не функцыонуе для кожнай строкі выканання, а не толькі раз. Пераканайцеся ў правільнасці супарожніка модэлю і зусібаў калі запускаецца процес, перш чым будзе обработана першая строка. Чыбаў пра гэтыя два канцэнтры, адзірніце вялікія статыі на items versus messages in OpenAI's Responses API.
Ключовыя выводы
- Ніколі не оцэнюйце заменную модэль па ўзмоўленасці яе з модэллю, яку яна заменяе; вядомыя людскія рашэнні служыць абмовай правды.
- Працягніце кожную втрату да конкрэтнага крока пайплайна, а крокі з калькама пытанняў раздзеліце на аднальныя, задокументаваныя вердыкты.