Практычныя прытамулі: Чаму не кожная задача AI заслуговае на самы большы модель: 3-ярусная структура

Існавайце гэта як перапрацоўаны варыянт ідэй з статті «Чаму не кожная задача AI заслуговае на самы большы модель: 3-ярусная гібрыдная архітектура з калькамі» для працаваючых з апаратам: чыстыя этапы, аранжаваныя блакіты коду і прыметкі па вяснаванню, якія застаюцца пасля перадачы. Этап Аналізу работае найкраща, калі яго спрыяваць як вимерную плошчу. Запісаўце адна ідеальная транскрыпцыю, адзін прыклад неудачы і прыметкі па адвярнуццю перад тым, як расшырваць масштаб. Дакументаваўце як шлях успеху, так і шлях вяснавання разам. Перапрыбуткі, людзкія контралі і обработка некоректных паведамленняў є частью продукту, а не наступным етапам дапрацоўкі.

«Правы» модель — гэта пытанне системы

Для правильнага модэлю неабяжнае ўзначыць вхідныя даны, адпаведальнага за крок і критэрыя завершэння пры зміне коду. Аперацыйныя працавнікі должны магчыма ўвайсці крок з вядомага пункта контролю, не спрабоўваючы здагадвацца пра схованы стан. Лепш выбіраць маленькія, тэставаныя елементы замест большых скрыптов. Калі крок не выйшоў, прычына неудачы должна вказываць на адну конкрэтную адпаведальнасць, а не на заплутаны процес. Калі наступны крок — це код або вызов інструмента, лепш выкарыстоўваць структураваныя выходны даны з перакананнем схэмы, а не вольнае пісьменне выражэння.

Калі спецыялізацыя можа конкуруваць з масштабам

Для стадіі, калі спецыялізацыя «Калі» можа конкуруваць, паказвайце вхідныя даны, адпаведнага власніка крока і крэтырыя выходу пры перадзеіснаванні коду. Аператары должны магчымаць перзапуск крока з вядомай точкі контролю, не падозрываючы схованы стан. Спрыяйце цій стадіі як кантракту межа вхіднымі данымі і падтвердзенымі выходамі. Даўце назвы артыфактам, паказвайце крэтырыя успеху і адмовіцеся ад тых падзеяў, калі выпанаванне адбываецца часткова без падтверджэння. Калі наступны крок — гэта код або вызов інструмента, валідавайце структураваныя выходы за дапамою схемы, а не простае тэкстовае выражэнне.

Іноды правільны модэль — гэта ўсё-такі жаданы модэль

Інодзе, пры выборы правага ўровня модэлю, пярш чым зменіць код, неабходна адзначыць вхідныя даны, адпаведальнага за крок і критэрыя завершэння. Аператары должны магчымаць перзапуск кроку з вядомай точкі контролю, не падозрываючы прыхованы стан. Запісваць час выконання і вартасць токенаў або запытак праза функцыйнальныя рэзултаты. Відразлівая вартасці з самага пачатку запобегае неспакоўным рахункам, калі процес пераходзіць з дэмовай среды ў спяльную. Калі наступны крок — це код або вызов інструмента, лепш выкарыстоўваць структураваныя выходныя даны з перакананнем схэмы, чым вольныя тэкстовыя форматы. Інодзе, пры выборы правага ўровня модэлю, пярш чым зменіць код, неабходна адзначыць вхідныя даны, адпаведальнага за крок і критэрыя завершэння. Аператары должны магчымаць перзапуск кроку з вядомай точкі контролю, не падозрываючы прыхованы стан. Адзначаць як шлях успеху, так і шлях вярнення ў нормальны стан. Перапрыбуткі, людзкія контрольны пункты і обработка некоректных запытак є частью продукту, а не пасляднім дапрацоўкам.

Большая колькасць агентаў не павінна автаматычна ствараць лепейкую систему

Калі працуеце над проектам, дзе викорыстоўваецца большая колькасць агентаў, спачатку запісайце умовы контракту: неабходныя даны, сігнал успеху і тое, што выканаецца у разе частковага невыпання. Такі список контроля дапамагае заліцьваты змяны ў кодзе. Валічыце маленькія, тэставаныя елементы замест большых скрыптаў. Калі якісьць крок не выйшла, невыпанне павінна вказваць на адну конкрэтную адпаведальнасць, а не на заплутаны ланцюг задач. Зберагаеце у кэшы стабільныя інструкцыі системы і схемы інструментаў. Перадзял у той жа прамэр ёсць частым выклікам ресурсоў.

Таксама важнае — дзе выканаюцца вычыслення

Калі працюеце над этапам, дзе важліва меса вычыслаў, спачатку запішыце кантракт: неабходныя вхідныя даны, сігнал успеху і тое, што выходзіць у случае частковай нявыполненасці. Такі список контроля дапамагае залічыць змены коду пазнейша. Спрэтавайцеся да гэтага этапу як да кантракта межа вхіднымі данымі і перакананымі выходнымі рэзультатамі. Дайце назвы элементам, задаце критэрыя успеху і не падтрымайце частковую завершэннае без паведамлення. Зберагаюце у кэшы стабільныя інструкцыі системы і схемы інструментаў. Перадзесланне ідэнтычных прамаўляючых частак — частая прычына зношэння ресурсаў.

NO.SCAM.AI: прыменэнне гэтага прынцыпу да архітектуры кібербезяйнасці

Калі працюеце над стадзіяй прыемкі NO SCAM AI, спачатку запісайце угоду: неабяжлівыя даны, сигнал успеху і тое, што выходзіць у разе частковага нявыпання. Такі список контроля дапамагае заліцьварыць пазнейшыя змены ў кодзе. Запісвайце часы выканання і кост токенаў або запытаў разам з функцыйнальнымі рэзултатамі. Відразы костаў з самага пачатку запобегае неспакойным рахункам, калі працэс пераходзіць з дэмаверсіі ў спяльныя среды. Зберагаеце у кэшы стабільныя інструкцыі системы і схемы інструментаў. Перасылка ідэнтычных прамуслов ёсць частым выклікам для ресурсаў. Калі працюеце над стадзіяй прыемкі NO SCAM AI, спачатку запісайце угоду: неабяжлівыя даны, сигнал успеху і тое, што выходзіць у разе частковага нявыпання. Такі список контроля дапамагае заліцьварыць пазнейшыя змены ў кодзе. Дакументавайце як шлях успеху, так і шлях вяснавання. Перапрыбуткі, людзкія контралі і обработка некоректных паведамленняў ёсць часткай продукту, а не пазнейшым дапрацоўкам.

Што на самай працэ ПоК паказала

Фаза What the PoC на самай лепшы спосаб працюе, калі яе розглядаць як вимерную паверхню. Запісаце адна ідеальная версія роботы, адзін прыклад неудачы і прыметкі па поверненню да пачатковага стану пры расширэнні масштаба. Валіце маленькія, тэставаныя елементы замест большых скрыптов. Калі якісь крок не выйшае, прычына неудачы павінна вказываць на адну конкрэтную адпаведальнасць, а не на заплутаны ланцюг задач. Задаце ліміт токенав на кожны рунг і на кожную сесію. Інструменты з агентным падчыненням агрэсіўна расширваюць контекст; строгі ліміты не дазволяюць дэмам ператварыцца на неспакоўныя рахункі.

Складнасць мае свой кост

Складна стадія роботы дае найкращыя результаты, калі яе спрыяваць як меравальную плошчу. Запісаўце адна ідеальная версія рэзультата, адзін прыклад неудачы і прыметкі па поверненню да пярвоначальнага стану пры расшырэнні масштаба. Спрыявайце гэтай стадіі як даговор межа вхіднымі данымі і перакананымі выходнымі рэзультатамі. Даўце назвы артыфактам, задаце критэрыя успеху і не падзеўляйцеся частым, некомплектным выкананнем задач. Задаце бюджет на кожны раунд і кожную сесію. Інструменты-агенты агрэсывна расширваюць контекст; строгі ліміты не дазволяюць дэмам ператварыцца на неспакоўныя рахункі.

Пачніце з обсягу работы, а не з моделі

Этап «Пачатак з рабочай навантажэнням» працюе наявнасць калі яго спрыяваць як да меры. Зберагчыце адны ідеальны прыклад роботы, адзін прыклад неудачы і запіс пра вярнэнне да пачатковага стану, перш чым расширваць масштабы. Запісвайце час выканання і кост токеноў або запытаў па боку ад рэзультатаў функцыяналізму. Відразлівае паказанне костаў з’являецца неспадзейкі па канцэ сум у момент, калі праця пераходзіць з дэмаверсіі ў спакульнаныя сераўысы. Задаце бюджет токеноў на кожны раунд і на кожную сесію. Інструменты-агенты агрэсывна расширваюць контекст; строгі ліміты не дазволяюць дэмаверсіям ператварыцца на неспадзейкі па канцэ сум. Этап «Пачатак з рабочай навантажэнням» працюе наявнасць калі яго спрыяваць як да меры. Зберагчыце адны ідеальны прыклад роботы, адзін прыклад неудачы і запіс пра вярнэнне да пачатковага стану, перш чым расширваць масштабы. Дакументавайце як шлях успеху, так і шлях вярнэння да нормальнага стану. Перапрыбуткі, людзкія контрольны пункты і обработка некоректных запытаў є часткай продукту, а не пасляднім дапрацоўкам.

Бібліяграфія

У стадії бібліяграфіі неабяжна практычна вызначыць усі неабяжны элементы, адпаведальнага за даны крок і крытэрыі завершэння працы, перш чым змяніць код. Аператары должны магчымаюць перзапуск кроку з вядомай точкі контролю, не прабуючы спадарваць схованы стан. Лепш выбіраць маленькія, тэставаныя елементы замест большых скрыптов. Калі крок не выйшоў, прычына неудачы павінна вказываць на адзін конкрэтны элемент, а не на заплутаны ланцужок задач. Калі наступны крок — це код або вызов інструмента, лепш выкарыстоўваць структураваныя выходны данні з пераканальванням схемы, замест вольнага формата тэксту.

Чек-ліст для эксплуатацыі

Працюючы над чек-лістам для эксплуатацыі, спачатку запісайте умовы працы: неабяжны элементы, сігнал успеху і тое, што выходзіць у разе частковай неудачы. Такі чек-ліст дапамагае заставіць пасляэйшыя змены коду быць чыстымі і прозрачнымі.

Зберагаюце канфігурацыю пазначкай за межамі коду прыемліка. Файлы сераўнавання сяродовысці, храненні секрэтных дадзенаў і флагі функцияй павінны знаходзіцца ў адном месцы, куды аператары можаюць адбавіць аудыт без неабяжнага чытання всей структуры.

Зберагаюце у кэшы стабільныя інструкцыі системы і схемы адзінакоў. Павторна адправка ідэнтычных дадзенаў ёсць частым выклікам зношэння ресурсаў.

Зберагаюце стан структуры у простам і типаваным формате. Вярнутыя структуры з вложанымі элементамі маскуюць інфармацыю пра тое, який вузел запісаў кожны поле, і спакоююць працэс пасля перарываў.

Калі дозволяе бюджет, адбывайце тэсты на працэс выканання критычных шляхоў у системе CI з викорыстаннем фіксатываў, а не рэальных платных API.

Спрыяйце цім этапу як дагавору межаў вхідных дадзенаў і перакананых выходных рэзультатаў. Даўце назвы артыфактам, задайце критэрыя успеху і адмовіцеся ад мовчанкавага частковага завершэння.

Перш чым запускать стак, заморозьце версіі, зафіксавайце «золаты» транскрыпты для критичнага шляху і паказвайце спосабы абяроны. У спільных средах неабходны ліміты частоты запыткаў, пераканання ў належнасці ресурсаў і чысткі власнік для змены секрэтных даных. Лепш выбіраць простую надзею на надзейнасць, чым хітрыя експерыментальныя дэманстрацыі.

Прыметка для пакета b387a1fd2d53: не кладзіце ключы прадаўцаў у репазітарый, задаце верхнюю межу токенав на сесію і зберагачыце транскрыпты празаўсёды з фікстурамі для ацэнкі, каб пазнейшыя замены моделяў заставаліся порównаннімы.

Калі працуеце над пунктам 0 з абяроны, спачатку запісайце умовы: неабходныя даннэ, сігнал успеху і што выканаецца пад час частковага абяроны. Такі список дапамагае заставаць пазнейшыя змены коду чыстымі. Запісвайце час выканання і косць токенав або запыткаў празаўсёды з функцыйнальнымі рэзултатамі. Відразувыя данні пра косць запобегаюць неспадзяваным рачункам, калі шлях пераходзіць з дэманстрацыі ў спільныя среды.

Дзеянне паўжасткі 0/862: звярніце увагу на час выканання, клас памылкі і колькасць выкарыстоўваных токенаў для гэтага запісу, а пасля, на аднойчынай базе паказаных пытанняў, а не на асобістых спазыраннях, выявіце, чы хацяце застаўіць змену.

Этап 1 паўжасткі працюе найэфектывней, калі яго розглядаць як меравальную плошчу. Зафіксаваць адну ідеальную транскрыпцыю, адзін прыклад памылкі і запіс пра адвярненне змены перш чым расширваць сферу дзеяння. Адначасова задокументаваць успішны і восстанавліваючыся шляхі. Перапрыбуткі, людзкія контралі і обработка некоректных паведамленняў є частью продукту, а не чымсь, што дадаецца пазней.

Дзеянне паўжасткі 1/862: звярніце увагу на час выканання, клас памылкі і колькасць выкарыстоўваных токенаў для гэтага запісу, а пасля, на аднойчынай базе паказаных пытанняў, а не на асобістых спазыраннях, выявіце, чы хацяце застаўіць змену.

Для другага этапа прыцелення на змягчэнне ризыкавання неабяжна практычна ваказка: перад змінайом код неабяжна адначасна вызначыць параметры вхідных дадзеных, адпаведнага власніка крока і критэрыя завершэння. Аператары павінны магчымаецца перазапускаць крок з вядомай точкі контролю, не падозрываючы прыхованы стан системы. Цей этап трэба спрыяць як кантракту межа вхіднымі дадзенымі і перакананымі выходнымі рэзультатамі. Неабяжна даць назвы всім элементам, вызначыць критэрыя успеху і адмовіцца ад беззвучнага частковага завершэння крока.

Дзеянне прыцелення на змягчэнне 2/862: неабяжна зважыць час выканання, класі каштоўкаў і колькасць выкарыстоўваных токенав для гэтай ваказкі, а пасля, на аднойчынных критэрыях, а не на індывідуальных спостарожэннях, вырашыць, чы робіцца зміна.

Калі працуеце над 3-й стадзіяю прыемкі з паўнейшага захавання, спачатку запісайце умовы кантракту: неабходныя даны, сігнал успеху і тое, што выходзіць на частым неудачам. Такі список контроля дапамагае залишыць пазнейшыя змены коду чыстымі. Зберагайце настройкі параду ўнутры коду прыемкі. Файлы сераўіса, хранільнікі секрэтных дадзеных і флагі функцыйяў должны знаходзіцца ў аднам месцы, куды аператары можаць адбавіць аудыт без неабяжнага чытання всіх элементаў.

Дзялей 3/862 прыемкі з паўнейшага захавання: вы мерыце час выконання, класію каштоўкаў і выкарыстоўванне токенав для гэтай прыемкі, а пасля выявляеце, чы хацяце застаўіць змену на адной фіксаванай сэтке пытанняў, а не на адзінственных прыкладах.

3-я стадзія прыемкі з паўнейшага захавання работае лепей, калі яе спрыямаць як мерыемую паверхню. Запісайце адны ідеальны прыклад работы, адзін кейс неудачы і прыемку для вярнення да пачатковага стану, прычаму расширяючы сферу дзеяння. Валіце маленькія, тэставаныя елементы замест большых скрыптав. Калі якісь крок не выйшае, неудача должна вказываць на адну конкрэтную адпаведальнасць, а не на заплутаны ланцюг дзеяння.

Дзеянне паўжчання 4/862: звярніце увагу на час выканання, клас памылак і колькасць токенаў, выкорыстаных для гэтага запісу, а пасля, на аднойчынай базе фіксаванага набора пытанняў, а не на індывідуальных прыкладах, выявіце, чы рэшацца застаўляць змяну.

Для 5-го этапа паўжчання неабходна перад змянай коду чытко визначыць вхідныя даны, адпаведальнага за этап і крэтырыя завершэння. Аперацыяныя працавнікі должны магчымае перадзваначыць гэты этап з вядомага пункта контролю, не прыпускаючы стану, які застаўся нез’явным. Запісывайце час выканання і колькасць токенаў або запытак праза функцыйнае рэзультат. Відкрытая інформацыя пра витраты запобегае неспакойным рашчыткам, калі працэс пераходзіць з дэмаверсіі ў спяльныя среды.

Дзеянне паўжчання 5/862: звярніце увагу на час выканання, клас памылак і колькасць токенаў, выкорыстаных для гэтага запісу, а пасля, на аднойчынай базе фіксаванага набора пытанняў, а не на індывідуальных прыкладах, выявіце, чы рэшацца застаўляць змяну.

Калі працуеце над 6-й стадзіяю прыемкі з павышэння безпекі, спачатку запісайце угоду: неабяжлівыя данні, сігнал успеху і тое, што выходзіць пад частковы нявыплэн. Такі список контролю дапамагае заставіць пазнейшыя змены коду быць чыстымі.

Документавайце як «шчаслівы» шлях, так і шлях вяснавання. Перапрыбуткі, людзкія контралі і обработка некоректных паведамленняў ёсць частью продукту, а не пазнейшым дапрацоўкам.

Дзялей 6/862 прыемкі з павышэння безпекі: вымерайце час выканання, класыя ошибкі і витрату токенав для гэтай прыемкі, а пасля выберайце, чы робіць змены на адной пазначанай сэткі пытанняў, а не на адной толькі прымітцы.

7-я стадзія прыемкі з павышэння безпекі работае лепей, калі яе спрыяглядаць як меравальную плошчу. Запісайце адну «золатую» транскрыпцыю, адны прыклад нявыплэну і прымітку па абратанню роботы, перш чым расширваць масштаб.

Спрыяглядайце гэтую стадзію як угоду межа даннімі і перакананымі выходамі. Дайце назвы артыфактам, задаце перакананні успеху і адмовіцеся ад тыхоўскага частковага завершэння.

Дзеянне паўжырання 7/862: зважыце час выканання, класію адказаў і колькасць токенаў, выкорыстаных для гэтага запісу, а пасля, на аднойчынныя крэтыры, а не на індывідуальных прыкладах, выявіце, чы хацеце застаўіць змяну.

Для 8-го этапа паўжырання задаць неабходна вакументы, адпаведальнага за крок і крэтыры завершэння пры змяне коду. Аперацыйныя працавнікі павінны магчымае перзапускаць крок з вядомай точкі контролю, не спрабоўваючы здагадвацца пра схованы стан. Канфігурацыю трэба заставляць праза код аплікацыі. Файлы сяродавішча, хранільнікі секрэтных дадзеных і флагі функций павінны знаходзіцца ў адном месцы, якое працавнікі можуць пераглядаць, не чытаючы весь граф.

Дзеянне паўжырання 8/862: зважыце час выканання, класію адказаў і колькасць токенаў, выкорыстаных для гэтага запісу, а пасля, на аднойчынныя крэтыры, а не на індывідуальных прыкладах, выявіце, чы хацеце застаўіць змяну.

Калі працуеце над 9-м падзёлам прыемкі з ударожэння безпекі, спачатку запісайце умовы кантракту: неабяжлівыя даны, сігнал успеху і тое, што выходзіць па частым неудачам. Такі список контроля дапамагае заліцвачыць пазнейшыя змены ў кодзе. Валіце маленькія, тэставаныя елементы замест большых скрыптов. Калі якісь крок не выйшае, неудача павінна вказваць на адную адпаведальнасць, а не на заплутаны ланцюг задач.

Дзеянне прыемкі з ударожэння 9/862: вымерайце час выканання, класію каштоўкаў і витраты токенаў для гэтага падзёла, а потым выберайце, чы робіць змены на адной фіксаванай сэтке пытанняў, а не на адной толькі прымітцы.

9-й падзёл прыемкі з ударожэння работае лепей, калі яго спрыямаць як меравальную плошчу. Запісайце адну ідеальную транскрыпцыю, адны прыклад неудачы і прымітку па вярнэнню да пачатковага стану, перш чым расширваць сферу дзеяння. Запісвайце часы выканання і вартасць токенаў або запыткаў разам з функцыйнальнымі рэзултатамі. Відкрытая інформацыя пра вартасці запобегае неспакойным рашчыткам, калі процес пераходзіць з дэмаверсіі ў спяльныя сераўы.

Дэталі зміцнення 10/862: звярніце увагу на час працы, клас памялкі і колькасць токенавытрачання для гэтага запісу, а пасля, на аднойчынку з фіксаваным наборам пытанняў, а не на анекдотах, выявіце, чы хацеце застаўіць змяну.