Практычныя нататкі: RAG у прадакшне — пасткі на ўсім шляху з рэальных праектаў

Існавайце гэта як перапрацоўку ідэй з кнігі «Taking RAG To Production: End-To-End Pitfalls From Actual Production Deployments» для аператараў: чыткія этапы, арранжаваныя блакі коду і прыметкі па вяснаванню, якія застаюцца пасля перадачы. Этап Аналізу работае найкрашча, калі яго спрыяваць як мерыемую паверхню. Запісаце адна ідэальная транскрыпцыя, адзін прыклад неудачы і прыметкі па адвярнуць ролбэка прычым расшыроўванню масштаба. Спрыяце гэты этап як кантракт межа вхіднымі дадзеннямі і паверыжанымі выходнымі рэзультатамі. Даце назвы артыфактам, задаце крытэрыя успеху і адмовіцеся ад беззвучнага частковага завершэння.

Міраж шчаслівага падходу

Для этапы «шчаслівага шляху» неабяжна ўзначыць вхідныя даны, адпаведальнага за крок і крэтыры завершэння пры перадзеі коду. Аперацыйныя працавнікі павінны магчымае перазапускаць крок з вядомай точкі контролю, не падозрываючы прыхованы стан. Запісваць час выканання і вартасць токенаў або запытак праза функцыйнае рэзультаты. Відкрытая візуабілізація вартасцей запобегае неспакоўным рахункам, калі шлях пераходзіць з дэмавай версіі ў спяльныя сераўры. Апісваць тые часткі тэксту, якія фактычна лежалі в основе адпаведнай адказу. Без цых апісаў аперацыйныя працавнікі не можуць разлічыць галюцынацію ад прасоўкі ў індэксаванні.

Вората 1: Прыем дадзеных, першыя віпробаванні

Для этапы прыема даных Гэйт 1 неабяжна прадзефінаваць вхідныя даны, адпраўніка крока і крытэрыя завершэння перад змінайом коду. Аперацыяныя працавнікі павінны магчымаецца перзапускаць крок з вядомага пункта контролю, не спрабоўваючы з’ясаваць схованы стан. Конфігурацыю трэба залічыць параду ад коду прыемленае. Файлы сераўіса, хранільнікі секрэтных даных і флагі функцыйяў павінны знаходзіцца ў аднам месцы, якое аперацыяныя працавнікі могу пераглядаць, не чытаючы весь ланцуг задач. Неабяжна цітаваць тые часткі, якія фактычна лежалі в основе адпаведнай адказы. Без цітатаў аперацыяныя працавнікі не зможуць адразніць галюцынацыю ад працягу індэксавання.

Гэйт 2: Аўтаматызаванае вырашэнне, дзе сметліна вяртаецца на сваё месца

Для этапа «Gate 2 Inference» неабяжна прадзефінавацыя вхідных дадзеных, адпраўніка крока і крэтарыяў завершэння працы перад зменым коду. Аперацыйныя працавнікі должны магчыма было перзапускаць крок з вядомай точкі контролю, не падозрываючы прыхованы стан. Неабяжна задокументаваць як шлях успеху, так і шлях вярнення да нормальнага стану. Перапрыбуткі, людзкія етапы контролю і обработка некорэктных паведамленняў ёсць часткай продукту, а не чымось, што дадаецца пазней. Указваць неабяжна тые часткі тэксту, якія фактычна лежаць у падставе адпаведнай адказы. Без ціх цытатаў аперацыйныя працавнікі не можуць разлічыць галюцынацію ад працягу індэксавання. Для этапа «Gate 2 Inference» неабяжна прадзефінавацыя вхідных дадзеных, адпраўніка крока і крэтарыяў завершэння працы перад зменым коду. Аперацыйныя працавнікі должны магчыма было перзапускаць крок з вядомай точкі контролю, не падозрываючы прыхованы стан. Спрыяць неабяжна як контракт межа вхіднымі дадзенымі і апраўданымі выходнымі рэзультатамі. Называць всі неабяжныя элементы, прадзефінавацыя крэтарыяў успеху і адмовляцца ад мовчанкавага частковага завершэння працы.

Вората 3: Развертванне і безпека – тыя аспекты, якіх інжынеры нехтаюць занадто пазнела

Калі працуеце над этапам развертвання і безпекі Воратаў 3, спачатку запісайце умовы: неабходныя даны, сігнал успеху і тое, што выканаецца у разы ўзельнага неякшчэна. Такі чарт дапамагае заліцвачыць змяны ў кодзе. Запісуйце час выканання і кост токенаў або запытаў праза функцыйнае рэзультат. Відкрытыя даны пра косцы запобегаюць неспакойным рахункам, калі працэс пераходзіць з дэмаверсіі ў спяльныя асяроддзя. Перад налаштаваннем запрошэнняяў пераканайцеся ў якосці адзыву на фіксаваныя наборы запытаў. Частае змена запрошэнняяў рэдка калі-небудзь вылечвае слабую якосць адзыву.

Вораты 4: Аналітыка, або як паспрабаваць падняць тое, што не можна бачыць

Калі працуеце з раздзелам «Аналітыка» або стадыяй Gate 4, спачатку запісайце умовы контракту: неабяжлівыя даны, сігнал успеху і тое, што выходзіць пад часты няудача. Такі спіс контроля дапамагае заліцвачыць змяны ў кодзе. Зберагаюце настройкі паза кодам прыемліка. Файлы сераўнавання, хранільнікі секрэтных даных і флагі функцыйяў должны знаходзіцца ў аднам месцы, куды аператары можаюць адбавіць аўдыт без неабяжлівага чытання всей структуры. Перад налаштаваннем запітоў пераканайцеся ў рэверыі на фіксаванай сэтке запітаў. Частыя змены запітоў рэдка калі выправляюць слабую эфектыўнасць пошуку.

Gate 5: Закупкі, якія інжынеры Gate забываюць пра існаванне

Калі працюеце над стадзіяй «Gate 5 Procurement», спачатку запісайце угоду: неабяжлівыя даны, сігнал успеху і тое, што выходзіць у разе частковага нявыпання. Такі спіс перакладзець пазнейшыя змены коду ў правільным напрамку. Документавайце як шлях успеху, так і шлях вярнення да нормы. Перапрыбуткі, людзкія етапы перагляду і апрацоўка некорэктных паведамленняў ёсць часткай продукту, а не пазнейшым дапрацоўкам. Змяржывайце рэткісць аднаходжэння інформацыі на фіксаванай сэтке запытаў прычым рэгулювання падказак. Частае змена падказак рэдка калі вярнайць слабкую способнасць аднаходжэння інформацыі. Калі працюеце над стадзіяй «Gate 5 Procurement», спачатку запісайце угоду: неабяжлівыя даны, сігнал успеху і тое, што выходзіць у разе частковага нявыпання. Такі спіс перакладзець пазнейшыя змены коду ў правільным напрамку. Спрытвайце гэтую стадзію як угоду межа данымі і перакананымі выходамі. Дайце назвы элементам, задаце крытэрыя успеху і не падтрымайце тыхню частковую адработку.

Gate 6: Пастаятая адработа, таму што RAG – гэта стосункі

Этап паўтарачнага тыямлення Gate 6 працюе наўсёрэдзе, калі яго расследжваць як мерыемую паверхню. Запісаце адна «золатая» транскрыпцыю, адзін прыклад неудачы і прыметку паўтарчнага запуску перш чым расшырваць масштабы. Запісвайце часы выканання і кост токенаў або запытаў па боку функцыйнальных рэзультатаў. Відразлівая візуабельнасць костаў з самага пачатку запобегае неспакойным рахункам, калі працэс пераходзіць з дэмаверсіі ў спяльныя асяроддзя. Раздзеляйце правілы частковага апрацоўкі дадзеных ад правіл ўтрымання іх. Змена аднаго з іх не должна вымагаць перапісвання другога, калі зменяюцца паказнікі якосці.

То што ж ёсць фактычны вывад?

Этап «Што далей?» працюе найкрашча, калі яго розглядаць як вімерную паверхню. Запісаце адзін ідэальны прыклад, адзін прыклад неудачы і запіска пра поверненне да пярвоначальнага стану пры розшырэнні масштаба. Зберагачыце настройкі пазначыней ад коду прыемліка. Файлы сераўнавальных сэрвісаў, хранілішчы секрэтных даных і флагі функцыйяў должны знаходзіцца ў аднам месцы, куды аператары можаць адбавляць аўдыт без неабяжнага чытання всіх дадзеных. Раздзеляйце політыку частковага обрабоўкі дадзеных ад політыкі ўтрымання іх. Змена ў адной з яных не должна вымагаць перапісвы другой, калі зменяюцца паказнікі якосці.

Чэрніца аператыўных дзеянняў

Калі працуеце над этапам чэрніцы аператыўных дзеянняў, спачатку запісаце умовы працы: неабяжныя вхідныя даны, сігнал успеху і тое, што выканаецца у разы частковай неудачы. Такая чэрніца дапамагае заставіць пазнейшыя змены коду чыстымі.

Валіце маленькія, тэставаныя елементы замест большых скрыптов. Калі якісь крок не выйшае, неудача должна вказваць на адну конкрэтную адпаведальнасць, а не на заплутаны ланцоўкі дзеянняў.

Зьвярзіце рэкалі на фіксаванай сэтке запытаў прычымо да налагоджэння прамптав. Часта змена прамптав рэдка калі лечыць слабую сістэму аднаходжэння інфармацыі.

Зафіксавайце версіі залежнасцей і запісаўце сумарны атрыбут зображэння, якое было выкаранае пад час дамоў. Возможнасць перапрыявлення рэзультатаў лепша за традыцыйныя знання.

Спрыятлівае ставленне да гэтага этапу як да кантракту межа вхіднымі дадзеннямі і перакананымі выходнымі рэзультатамі. Дайце назвы артыфактам, задацьце крытэрыя успеху і адмовіцеся ад мовчанкавага частковага завершэння.

Зьвярзіце рэкалі на фіксаванай сэтке запытаў прычымо да налагоджэння прамптав. Часта змена прамптав рэдка калі лечыць слабую сістэму аднаходжэння інфармацыі.

Перш чым пераводзіць стэк, зафіксавайце версіі, запісаўце „золаты“ транскрыпт для крытычнага маршруту і паказвайце крокі для адвярнення змян. У спакульнаваных срэдах патрэбны ліміты частоты, перакананні ў прыналежнасці і чысткі власнік для ротацыі секрэтных дадзенняў. Валіце надтаямну надзейнасць працы над крэатывнымі, але разовымі дамоў.

Запіска параграфу 42f0751c7a78: не трэба кантрацеўваць ключы прадаўцаў у рэпазітарыі, задаць максімальную кантроль на токены за сесію, а таксама зберагчы транскрыпціі праза фіксатуры адлічэння, каб пазнейшыя замены мадэляў заставалі пораўняннымі.

Для запіскі параграфу 0 пра зміцнэнне: перад зменай коду неабходна адзначыць вхідныя даны, адпаведальнага за крок і крытэрыя завершэння. Аперацыёныя працавнікі павінны магчымае перазапускаць крок з вядомай точкі контролю, не падозрываючы схованы стан. Лепш выбіраць маленькія, тэставаныя елементы замест аб’емных скрыптов. Калі крок не выйшоў, прычына неудачы павінна вказываць на адзіну адпаведальнасць, а не на заплутаны працэс.

Дзялянка зміцнэння 0/771: памерыце час выканання, класію адзінакоў і выкарыстоўванне токенав для гэтай запіскі, а пасля — выявіце, чы рэшацься застаўляць змяну на адной фіксованай сэтцы пытанняў, а не на асобістых спазырах.

Калі працуеце над першым этапам зміцнення, спачатку запісайце умовы кантракту: неабяцковыя даны, сігнал успеху і тое, што выходзіць пад частковыя неудачы. Такі спіс дапамагае заліцварваць будучыя змены коду. Празначайце час выканання задачы, а таксама вартасць токена чыя запіту празмаўляючы з рэзультатамі функцыянальнай працы. Візуабельнае прадставленне вартасцей з’являецца неспадзянанні па час пераходу з дэмовай асяроддзя ў спільныя сераверы.

Дзеянне зміцнення 1/771: вымерайце час выканання, класы памілак і вітрату токена для гэтага пункту, а потым выберайце, чы робіць змену на адной пазначанай базе пытанняў, а не на адной лічбе прыкладаў.

Этап зміцнення 2 працюе лепей, калі яго спрыяваць як меравальную плошчу. Запісайце адну ідэальную транскрыпцыю, адзін прыклад неудачы і запіс пра вярнэнне да пачатковага стану, перш чым расшырваць сферу дзеяння. Дакументавайце як успішны, так і вярнэнчы паты. Перапрыбуткі, людзкія контралі і обработка некорэктных паведамленняў ёсць часткай продукту, а не чымсь, што дадаецца пазней.

Дзеянне паўжасткі 2/771: звярніце увагу на час выканання, класы паказчыкаў і колькасць токенаў, якія былі выкарыстаны для гэтага зазначэння, а пасля вырашыце, чы робіць змяну на аднойчы зафіксаванай сэтце пытанняў, а не на аднойчы спазірнай інформацыі.

Для 3-й стадзіі паўжасткі неабходна перад змянай коду адначасова візначыць вхідныя даны, адпаведальнага за выкананне крока і крытэрыяы завершэння. Аперацыйныя працавнікі павінны магчымае перадзванаць гэты крок з вядомага пункта контролю, не прымусваныя здагадвацца пра схованы стан. Штуючы гэту стадзію, трэба спрацавваць яе як кантракт межа вхіднымі данымі і перакананымі выходнымі рэзультатамі. Назвіце всі неабходныя элементы, візначыце крытэрыя успеху і не падтрымвайце частковае завершэння без паведамлення.

Дзеянне паўжасткі 3/771: звярніце увагу на час выканання, класы паказчыкаў і колькасць токенаў, якія былі выкарыстаны для гэтага зазначэння, а пасля вырашыце, чы робіць змяну на аднойчы зафіксаванай сэтце пытанняў, а не на аднойчы спазірнай інформацыі.

Калі працуеце над 4-й стадзіяю прыемкі з павышэння безпекі, спачатку запісайце умовы кантракту: неабяжлівыя даныя, сігнал успеху і тое, што выходзіць на частым неудачам. Такі спіс контроля дапамагае заліцвачыць пазнейшыя змены ў кодзе. Зберагайце настройкі параду ўнутры коду прыемкі. Файлы сераўіса, хранільнікі секрэтных дадзеных і флагі функцыйяў должны знаходзіцца ў аднам месцы, куды аператары можаць адбавіць аўдыт без неабяжлівага чытання всей структуры.

Дзялённе прыемкі з павышэння безпекі 4/771: вымерайце час выканання, класію каштоўкаў і выкарыстанне токенаў для гэтай прыемкі, а пасля выберайце, чы хацяце застаўіць змену, стварыўшы фіксаваны набор пытанняў, а не на базе індывідуальных спазыроў.

4-я стадзія прыемкі з павышэння безпекі работае лепей, калі яе спрыямаць як меравальную плошчу. Зберагайце адны ідэальны прыклад выканання, адзін прыклад неудачы і запіс пра вярнэнне да пачатковага стану, перш чым расшырваць сферу дзеяння. Валіце маленькія, тэставаныя елементы замест большых скрыптов. Калі якісь крок не выйшае, неудача должна вказываць на адну конкрэтную адпаведальнасць, а не на заплутаны працэс.

Дзеянне паўжасткі 5/771: звярніце увагу на час выканання, класы памылак і колькасць токенаў, выкорыстаных для гэтага запісу, а пасля, на аднойчынай базе фіксаваных пытанняў, а не на індывідуальных прыкладах, выявіце, чы рэшацца застаўляць змяну.

Для 6-й стадзіі паўжасткі неабходна перад змянай коду чытко візначыць вхідныя даны, адпаведальнага за крок і крытэрыя завершэння. Аперацыяныя працавнікі должны магчымае перадзвануць гэты крок з вядомай точкі контролю, не прабуючы спадарацца прыватнага стану. Запісвайце час выканання і колькасць токенаў або запытак праза функцыйнае рэзультат. Відкрытая інформацыя пра вітраты запобегае неспакойным рашчыткам, калі працэс пераходзіць з дэмаверсіі ў спяльныя асяроддзя.

Дзеянне паўжасткі 6/771: звярніце увагу на час выканання, класы памылак і колькасць токенаў, выкорыстаных для гэтага запісу, а пасля, на аднойчынай базе фіксаваных пытанняў, а не на індывідуальных прыкладах, выявіце, чы рэшацца застаўляць змяну.

Калі працуеце над 7-й стадзіяю прыемкі з павышэння безпекі, спачатку запісайце угоду: неабяжлівыя даныя, сігнал успеху і тое, што выходзіць пад частковы нявыплэн. Такі спіс контролю дапамагае заставіць пазнейшыя змены коду быць чыстымі.

Документавайце як шлях успеху, так і шлях вярнення. Перапрыбуткі, людзкі контроль і обработка некорэктных паведамленняў ёсць часткай продукту, а не пазнейшым дапрацоўкам.

Дзялей 7/771 прыемкі з павышэння безпекі: вымерайце час выканання, класыя ошыбакі і вітрату токенав для гэтай прыемкі, а пасля выберайце, чы робіць змены на адной пазначанай базе пытанняў, а не на адной лічбе прыкладаў.

7-я стадзія прыемкі з павышэння безпекі работае лепей, калі яе спрыямаць як вымеральную плошчу. Зафіксавайце адну ідэальную транскрыпцыю, адзін прыклад нявыплэну і прыемку для абраткаў перад расшырэнням масштаба. Спрыяйце гэтай стадзіі як угоды межа данымі і перакананымі выходамі. Дайце назвы артыфактам, задаце перакананні успеху і адмовіцеся ад тыхоўскага частковага завершэння.

Дзеянне паўжасткі 8/771: звярніце увагу на час выканання, класы памылак і вітрату токенаў для гэтага запісу, а пасля, на аднойчынай базе фіксаванага набору пытанняў, а не на індывідуальных прыкладах, выявіце, чы рэшыцца застаўіць змяну.

Для 9-го этапа паўжасткі неабходна перад змянай коду чытко апісаць вхідныя даны, адпаведальнага за крок і крытэрыя завершэння. Аператары должны магчымае перадзванаць крок з вядомай точкі контролю, не падозрываючы прыхованы стан. Канфігурацыю трэба зберагчы параду коду прыкладнення; файлы сяродавішча, хранільнікі секрэтных дадзеных і флагі функцый должны знаходзіцца ў аднам месцы, якое аператары можаць пераглядаць, не чытаючы весь код.

Дзеянне паўжасткі 9/771: звярніце увагу на час выканання, класы памылак і вітрату токенаў для гэтага запісу, а пасля, на аднойчынай базе фіксаванага набору пытанняў, а не на індывідуальных прыкладах, выявіце, чы рэшыцца застаўіць змяну.

Калі працуеце над 10-ю стадзіяй ударожэння, спачатку запісайце шаблон кантракта: неабяжныя вхідныя даны, сігнал успеху і тое, што выходзіць пад частковым неудачам. Такі спіс контроля дапамагае залічыць пазнейшыя змены ў кодзе чыстымі. Валіце маленькія, тэставаныя елементы замест большых скрыптов. Калі якісь крок не выйшае, неудача должна вказваць на адну конкрэтную адпаведальнасць, а не на заплутаны ланцюг задач.

Дзеянне ударожэння 10/771: звярніце увагу на час выканання, класы каштоўкаў і вітрату токенаў для гэтай стадзіі, а пасля вырашыце, чы робіць змены на адной фіксаванай базе пытанняў, а не на адной лічбе прыкладаў.

11-я стадзія ударожэння працюе лепей, калі яе спрыямаць як меравальную плошчу. Запісайце адны ідэальны прыклад працы, адзін кейс неудачы і прыказку па аброшчэнні змян, перш чым расшырваць сферу дзеяння. Запісвайце часы выканання і вартасць токенаў або запыткаў разам з функцыйнальнымі рэзултатамі. Відкрытая інформацыя пра вартасці запобегае неспакойным рахункам, калі працэс пераходзіць з дэмаверсіі ў спяльныя сераўы.

Дзеянне паўжырання 11/771: звярніце увагу на час выканання, класыя ошыбак і колькасць токенаў, якія былі выкарыстаны для гэтага зазначэння, а пасля, на аднойчыне з фіксаваным наборам пытанняў, а не на асобістых спазырах, вынікніце рашэнне пра тое, чы робіць змяны.

Для 12-го этапу паўжырання неабходна з’явіць вакулпныя даныя, адпаведальную особу за кожны крок і крытэрыя завершэння пры змяне коду. Аперацыйныя працавнікі павінны магчымае перадзвігнуць крок з вядомага пункта контролю, не прыпускаючы стану, які ўтрымліваецца у секрэце. Неабходна аддзержаць дакументацыю як пра успішны ход задачы, так і пра способы ўстранення проблем. Практыка павторных спробы, людзкія перакрыцчы і адарожэнне некорэктных паведамленняў ёсць часткай продукту, а не чымсь, што дадаецца пазней.

Дзеянне паўжырання 12/771: звярніце увагу на час выканання, класыя ошыбак і колькасць токенаў, якія былі выкарыстаны для гэтага зазначэння, а пасля, на аднойчыне з фіксаваным наборам пытанняў, а не на асобістых спазырах, вынікніце рашэнне пра тое, чы робіць змяны.

Калі працуеце над стадзіяй 13 з адаптавання, спачатку запісайце контракт: неабяжлівыя даны, сігнал успеху і тое, што выходзіць у разе частковага нявыпання. Такі спіс контроля дапамагае заліцьваты змяны ў кодзе чыстымі. Спрэцьвачайце гэтую стадзію як контракт межа данымі і перакананымі выходамі. Дайце назвы элементам, задаце крытэрыя успеху і не прымайце часткова завершэння без паведамлення.

Дзеянні адаптавання 13/771: звярніце увагу на час выканання, класы каштоўкаў і вітрату токенав для гэтай стадзіі, а пасля вырашыце, чы робіць змяну на аднойчы заданых крытэрыях, а не на падставе індывідуальных спостарэнняў.

Стадзія 14 з адаптавання працюе лепей, калі яе спрэцьвачваюце як меравальную плошчу. Запісайце адны ідэалны прыклад работы, адзін кейс нявыпання і прыказку па адкатаванні, перш чым расшырваце сферу дзейснення. Зберагайце настройкі параду ўнутры коду прыемлівалкі. Файлы сяродавішча, хранільнікі секрэтных даных і флагі функцый должны знаходзіцца ў аднам месцы, куды аператары можаць аўдытаваць іх, не чытаючы весь код.

Дзеянне паўжыцьнявання 14/771: змераюце час выканання, класію памылак і колькасць токенаў, выкорыстаных для гэтага запісу, а пасля вырашаеце, чы рашыцца застаўіць змяну на аднойчы назначанай сэткі пытанняў, а не на адзінокых прыкладах.

Для 15-го этапу паўжыцьнявання неабходна з’явіць вхідныя даны, адпаведальнага за крок і крытэрыя завершэння пры зміне коду. Аперацыйныя працавнікі павінны магчымае перазапускаць крок з вядомай точкі контролю, не падозрываючы прыхованы стан. Лепш выбіраць маленькія, тэставаныя елементы замест большых скрыптаў. Калі крок не выйшоў, прычына неудачы павінна вказываць на адну конкрэтную адпаведальнасць, а не на заплутаны працэс.

Дзеянне паўжыцьнявання 15/771: змераюце час выканання, класію памылак і колькасць токенаў, выкорыстаных для гэтага запісу, а пасля вырашаеце, чы рашыцца застаўіць змяну на аднойчы назначанай сэткі пытанняў, а не на адзінокых прыкладах.

Калі працуеце над стадзіяй 16 з адаптавання сістэмы, спачатку запісайце умовы кантракту: неабяжлівыя даны, сігнал успеху і тое, што выходзіць пад частковыя неудачы. Такі спіс дапамагае заліцварваць будучыя змены коду.

Запісвайце час выканання задачы, а таксама вартасць токенаў чы роезпытакоў пад канец функцыйнальных рэзультатаў. Відразлівасць вартасцей з самага пачатку запобегае неспакойным рахункам, калі сістэма пераходзіць з дэмаверсіі ў спяльныя сераўы.

Дакладнасць адпаведна стадзіі 16/771: звярніце увагу на час выканання, класы памылак і вартасць вікорыстоўваных токенаў, а пасля, на аднойчынку з фіксаваным наборам пытанняў, а не на індывідуальным аналізе, выберыце, чы застаўляць змены.

Стадзія 17 адаптавання сістэмы будзе эфектывней, калі яе спрыямаць як меравальную плошчу. Запісвайце адну ідэальную сцэнарыю працы, адзін кейс неудачы і запісы пра можлівасць вярнуць сістэму у пачатковы стан, перш чым расшырваць сферу дзеяння.

Дакументавайце як успішны, так і няуспешны шляхы працы сістэмы. Практыкі павторных спроб, кантрольныя етапы і адарожванне некорэктных паведамленняў ёсць часткай продукту, а не чымсь, што дадаецца пазней.

Дэталі зміцнення 17/771: звярніце увагу на час працы стэны, клас паклонення і колькасць вікорыстоўваных токэнаў для гэтага зьязку, а пасля вырашыце, чы хацяце застаўіць змяну на аднойчы назначанай сэткі пытанняў, а не на адзінокых прыкладах.