Практычныя нататкі: паштовы агент, які ведае, калі не дзейнічаць

Існавайце гэта як перапрацоўаны варыянт ідэй з артыкула «Праектаванне асістэнта электранаў, які ведае, калі не трэба дзейваць» для аператараў: чыстыя этапы, аранжаваныя блакі коду і прыметкі па вяснаванню, якія застаюцца пасля перадачы задання. Этап Апглэву лепш працюе, калі яго розглядаць як меркаваны об’ект. Запісайце адну ідэальную транскрыпцыю, адзін прыклад неудачы і прыметкі па адвярненню перад расшырэнням масштаба. Зберагайце настройкі праза код аплікацыі. Файлы сяродавішча, хранільнікі секрэтных дадзеных і флагі функцыйяў должны знаходзіцца ў аднам месцы, якое аператары можаць пераглядаць без неабяжнай чытанняў усіх элементаў сістэмы.

Чэк-ліст для аператывай працы

Калі працуеце над этапам чэк-ліста для аператывай працы, спачатку запісайце умовы вярнага выканання: неабходныя даны, сігнал успеху і тое, што выканаецца у разе частковай неудачы. Гэты чэк-ліст дапамагае заставіць пасляўныя змены коду чыстымі.

Запісвайце часы выканання а таксу кранцоў чы розпыткаў праза функцыйнае рэзультаты. Відразлівае паказанне таксаў запобегае неспадзяваным рачункам, калі маршрут пераходзіць з дэмавай версіі ў спяльныя асяроддзя.

Зробіце контрольную точку пасля дорогіх крокаў. Продакцыйны рэжым не павінен зноў нарахоўваць тую ж самую плату за вызов LLM, калі аператар перапрыямляе працу да пазнейшага вузла.

Закрэпіце версіі залежнасцяў і запісвайце хеш адобразу, які выканаў дэмонстрацыю. Возможнасць перадарабаткі прыважней за традыцыйныя знаёмства.

Зберагачыце настройкі параду ад коду прыемлі. Файлы асяроддзя, хранільнікі секрэтных дадзенняў і флагі функцый павінны знаходзіцца ў аднам месцы, якое аператары можаць пераглядаць без неабяжнай чытанняў усіх элементаў структуры.

Зробіце контрольную точку пасля дорогіх крокаў. Продакцыйны рэжым не павінен зноў нарахоўваць тую ж самую плату за вызов LLM, калі аператар перапрыямляе працу да пазнейшага вузла.

Перш чым запускаць стэк, заморозьце версіі, зафіксавце «золаты» транскрыпты для крытычнага шляху і паказвце спосабы атрыбутавання. У спільных срэдах неабходны ліміты частоты запуска, пераконтроль стану абонента і чысткі власнік для змены секрэтных даных. Лепшая ўзаемна надзея, чым хітрыя разовыя дэманстрацыі.

Прыметка для 108cd53e2911: не кладзіце ключы прадаўцаў у рэпазітарый, задаце верхнюю межу токенав на сесію і зберагачыце транскрыпты празаўсёды з фіксатрамі eval, каб пазнейшыя замены модэляў заставаліся порównаннімі.

Для прыметкі па забезпечэнню безпекі этапы 0, перш чым зменяць код, адзначыце вхідныя даны, власніка крока і крытэрыя завершэння. Аперацыёныя сістэмы павінны магчымаць перзапуск крока з вядомай точкі контролю без адгадванняя схованага стану. Запісваце часы выканання і косты токенав або запытак празаўсёды з функцыйнальнымі рэзултатамі. Відкрытыя даныя пра косты запобегаюць неспадзеваным рачункам, калі шлях пераходзіць з дэманстрацыі ў спільныя асяроддзя.

Дзеянне паўжырання 0/762: звярніце увагу на час выканання, класыя ошыбак і колькасць вікорыстоўваных токенаў для гэтага запісу, а пасля, на аднойчынай сэтце запытанняў, а не на асобістых спазыраннях, выявіце, чы хацеце застаўіць змяну.

Калі працуеце над першым этапам запісу паўжырання, спачатку запішыце контракт: неабходныя вхідныя даны, сігнал успеху і тое, што выканаецца у разе частковага нявыпання. Такі чэк-ліст дапамагае заставаць пасляўсіяныя змяны у кодзе чыстымі.

Задокументаваць трэба як шлях успеху, так і шлях вяснавання. Перапрыбуткі, людзкія контралі і обработка некорэктных паведамленняў ёсць часткай продукту, а не пасляўсіяным дапрацоўкам.

Дзеянне паўжырання 1/762: звярніце увагу на час выканання, класыя ошыбак і колькасць вікорыстоўваных токенаў для гэтага запісу, а пасля, на аднойчынай сэтце запытанняў, а не на асобістых спазыраннях, выявіце, чы хацеце застаўіць змяну.

Этап 2 практыкы зміцнення працюе найэфектывней, калі яго розглядаць як вімерную паверхню. Зафіксавце адны ідэальны прыклад працы, адну справу з бягамі і прыметкі па варыянты адвярнення пры розшырэнні масштаба. Разглядзайце гэты этап як кантракт межа вхіднымі данымі і пераканаленымі выходнымі рэзультатамі. Даўце назвы артыфактам, задаце крытэрыя успеху і не падтрымайце безсловесна часткова завершэння задання.

Дзеянне зміцнення 2/762: вімеравайце час выканання, класы каштоўкаў і вітрату токенав для гэтай прыметкі, а пасля, на аднойчынку з фіксаваным наборам пытанняў, а не на аднойчынку з пераказамі, выберайце, чы рашыцца застаўіць змяну.

Для трэція ўрагу практыкы забезпечэння надзеі неабходна пазначыць вхідныя даны, адпаведальнага за выкананне крока і крытэрыя завершэння пры зміне коду. Аператары должны магчымаць перзапуск крока з вядомай точкі контролю, не прабуючы спадарожваць схованы стан. Конфігурацыю трэба залічыць пазнаходзяцца за межамі коду прыкладнення. Файлы сераўнавання, хранільнікі секрэтных даных і флагі функцыяй павінны знаходзіцца ў адном месцы, якое аператары можаць пераглядаць, не чытаяўшы весь код.

Дзялейны пункт 3/762 практыкі забезпечэння надзеі: вы мераваеце час выканання, класы каштоўкаў і вітрату токенав для гэтага пункту, а потым прымаеце рашэнне пра тое, чы робіць змяны, на адной пазначкай фіксаванага набора пытанняў, а не на асобістых спазырэннях.

Калі працуеце над 4-й стадзіяю практыкы забезпечэння безпекі, спачатку запісайце умовы кантракта: неабяжлівыя даныя, сігнал успеху і тое, што выходзіць на падзею частковага нявыпання. Такі спіс контроля дапамагае заліцвачыць пазнейшыя змены ў кодзе. Валіце маленькія, тэставаныя елементы замест большых скрыптов. Калі якісь крок не выйшае, прычына нявыпання павінна вказываць на адну конкрэтную адпаведальнасць, а не на заплутаны ланцюг задач.

Дзеянне 4/762 практыкы забезпечэння безпекі: замерайце час выканання, класы каштоўкаў і вітраты токенав для гэтай практыкі, а потым вырашайце, чы робіць змены на адной основе фіксаванага набору пытанняў, а не на адной лячбе.

4-я стадзія практыкы забезпечэння безпекі працуе лепей, калі яе спрыяваць як меравальную плошчу. Запісайце адны ідэальны прыклад працы, адзін кейс нявыпання і прыказку па адкатаванні, перш чым расшырваць масштаб. Запісвайце часы выканання і вартасць токенав або запыткаў разам з функцыйнальнымі рэзултатамі. Відкрытая інформацыя пра вартасці запобегае неспакойным рашчыткам, калі працэс пераходзіць з дэмаверсіі ў спяльныя асяроддзя.

Дзеянне паўжчання 5/762: звярніце увагу на час выканання, клас памылакі і колькасць выкорыстоўваных токенаў для гэтага запісу, а пасля, на аднойчынай базе фіксаванага набору пытанняў, а не на асобістых спазыраннях, выявіце, чы робіць змены.

Для 6-й стадзіі паўжчання неабходна перад змянай коду чытко візначыць вхідныя даны, адпаведальнага за крок і крытэрыя завершэння. Аперацыйныя працавнікі должны магчымае перадзвануць крок з вядомай точкі контролю, не падозрываючы прыхованы стан. Неабходна адначасна задокументаваць шлях успеху і шлях вяснавання проблем. Перапрыбуткі, людзкія контралі і обработка некорэктных паведамленняў ёсць часткай продукту, а не чымсь, што дадаецца пазней.

Дзеянне паўжчання 6/762: звярніце увагу на час выканання, клас памылакі і колькасць выкорыстоўваных токенаў для гэтага запісу, а пасля, на аднойчынай базе фіксаванага набору пытанняў, а не на асобістых спазыраннях, выявіце, чы робіць змены.

Калі працуеце над 7-й стадзіяю практыкы забезпечэння безпекі, спачатку запісайце контракт: неабяжлівыя вхідныя даны, сігнал успеху і тое, што выходзіць на частым неудачам. Такі спіс контроля дапамагае залічыць пазнейшыя змены коду чыстацкі.

Спрэчвайце гэтую стадзію як контракт межа вхіднымі данымі і перакананымі выходнымі рэзультатамі. Дайце назвы артыфактам, задаце крытэрыя успеху і адмовіцеся ад мовчанкавага частага завершэння задачы.

Дзеярлівайце дэталі 7/762 практыкы забезпечэння безпекі: вымерайце час выканання, класы каштоўкаў і вітрату токенав для гэтай практыкі, а потым выберайце, чы робіць змены на адной пазначанай базе пытанняў, а не на адной лічбе прыкладаў.

7-я стадзія практыкы забезпечэння безпекі працюе лепей, калі яе спрэчваюце як меравальную плошчу. Запісайце адну ідэальную транскрыпцыю, адзін прыклад неудачы і змест карэтквоту перад расшырэнням масштаба.

Канфігурацыю трэба залічыць праза код аплікацыі. Файлы сяродавішча, хранільнікі секрэтных даных і флагі функцый должны знаходзіцца ў аднам месцы, якое аператары можаць пераглядаць без неабяжлівага чытання всей структуры.

Дзеянне паўжчання 8/762: звярніце увагу на час выканання, клас памылакі і колькасць выкорыстоўваных токенаў для гэтага запісу, а пасля, на аднойчынай базе фіксаванага набору пытанняў, а не на асобістых спазыраннях, выявіце, чы рэшацца застаўляць змяну.

Для 9-го этапа паўжчання неабходна перад змянай коду чытко візначыць вхідныя даны, адпаведальнага за крок і крытэрыя завершэння. Аперацыяныя працавнікі павінны магчымае перадзванаць крок з вядомай точкі контролю, не падозрываючы прыхованы стан. Лепш выбіраць маленькія, тэставаныя елементы замест большых скрыптов. Калі крок не выйшоў, прычына неудачы павінна вказываць на адну конкрэтную адпаведальнасць, а не на заплутаны працэс.

Дзеянне паўжчання 9/762: звярніце увагу на час выканання, клас памылакі і колькасць выкорыстоўваных токенаў для гэтага запісу, а пасля, на аднойчынай базе фіксаванага набору пытанняў, а не на асобістых спазыраннях, выявіце, чы рэшацца застаўляць змяну.

Калі працуеце над 10-ю стадзіяй ударожэння, спачатку запісайце контракт: неабяжлівыя даны, сігнал успеху і тое, што выходзіць пад частковыя неудачы. Такі спіс контроля дапамагае заліцьварыць пазнейшыя змены коду.

Запісвайце часы выканання, а таксама вартасць токена чы роезпытку падле функцыйнальных рэзультаатаў. Відразлівасць вартасці з самага пачатку запобегае неспакойным рахункам, калі працэс пераходзіць з дэмаверсіі ў спяльныя асяроддзя.

Дзеянне 10/762 па правілам ударожэння: звярзайце вачэнне на час выканання, класію памылак і вітрату токена для гэтай стадзіі, а пасля выберыце, чы застаўляць змену на адной фіксаванай сэтке пытанняў, а не на адной лічбе прыкладаў.

11-я стадзія ударожэння працюе лепей, калі яе спрыямаць як меравальную плошчу. Запісайце адну ідэальную транскрыпцыю, адзін прыклад неудачы і запіс пра вярнэнне да пачатковага стану, перш чым расшырваць масштаб.

Дакументавайце як «вялікі» шлях выканання, так і шлях вярнэння. Перапрыбуткі, людзкія контролы і обработка некорэктных паведамленняў ёсць часткай продукту, а не чымсь, што дадаецца пазней.

Дзеянне паўжырання 11/762: звярніце увагу на час выканання, класыя ошыбак і колькасць токенаў, выкорыстаных для гэтага запісу, а пасля, на аднойчынай базе фіксаванага набору пытанняў, а не на індывідуальных прыкладах, выявіце, чы рашыцца застаўіць змяну.

Для 12-го этапа паўжырання неабходна перад змянай коду чытко апісаць вхідныя даны, адпаведальнага за выкананне крока і крытэрыяы завершэння. Аперацыйныя працавнікі должны магчыма было перазапускаць крок з вядомай точкі контролю, не падозрываючы прыхованы стан. Штодзе гэты этап трэба спрыятаць як кантрактом межа вхіднымі данымі і перакананымі выходнымі рэзультатамі. Назвіце всі неабходныя элементы, апісаце крытэрыяы успеху і не прабывайце прыймаць часткова завершаныя рэзультаты без падтверджэння.

Дзеянне паўжырання 12/762: звярніце увагу на час выканання, класыя ошыбак і колькасць токенаў, выкорыстаных для гэтага запісу, а пасля, на аднойчынай базе фіксаванага набору пытанняў, а не на індывідуальных прыкладах, выявіце, чы рашыцца застаўіць змяну.

Калі працуеце над стадзіяй 13 з адаптавання захоўнай сістэмы, спачатку запісаце кантракт: неабходныя даны, сігнал успеху і тое, што выходзіць на частыя неудачы. Такі спіс контроля дапамагае залічваць пазнейшыя змены ў кодзе чыста і адкрыта. Зберагайце настройкі паза кодам прыемліка. Файлы сераўнавання, хранільнікі секрэтных даных і флагі функцый крануцца ў аднам месцы, якое аператары можаць пераглядаць без неабходнасці чытання всей структуры.

Дакладнасць адаптавання 13/762: звярніце увагу на час выканання, класы памылак і вітрату токенав для гэтай стадзіі, а пасля выберыце, чы робіць змену на адной пазначанай базе пытанняў, а не на адной лічбе прыкладаў.

Стадзія 14 з адаптавання захоўнай сістэмы працюе лепей, калі яе спрыямаць як меравальную плошчу. Запісаце адны ідэальны прыклад працы, адзін кейс неудачы і прыказку па вярнэнню да пачатковага стану, перш чым расшырваць сферу дзеяння. Валіце маленькія, тэставаныя елементы замест большых скрыптав. Калі якісь крок не выйшае, неудача должна вказываць на адну конкрэтную адпаведальнасць, а не на заплутаны працэс.

Дзеянні з паўжасткі 14/762: звярніце увагу на час выканання, клас памылак і колькасць вікорыстоўваных токенав для гэтага зьязку, а пасля, на аднойчынай базе фіксаванага набору пытанняў, а не на індывідуальных прыкладах, выявіце, чы рэшыцца застаўіць змяну.