Пяць рэвалюцыйных ўзлаў у інжынерыі ШЫ, ад чатботаў да агентаў, якія самапрацоўваюцца.

Керавучыя працоўнікі, які шукаюць спецыялістаў па інжынерыі AI, знову і знову бачаюць адно і тое ж портфолія: чат-бота з прыемным інтэрфейсам. Разлік межа такім раштунком і тым, што на самай працэ практычна ствараюць команды, якія працуюць над такімі продуктамі, як Claude Code і Codex, выглядае вельмі вялікі, але пераход з однаго на другі ўскладнення адбываецца па досыта чытальнай серыі з пяці рэвэлю. Як толькі вы з’ясуеце, на якім рэвэлі знаходзіцца ваш праект, вы ведаеце, што стварыць далей, а багато людзей застаюцца на месцы, таму што продовжаюць ствараць новыя праекты для першага рэвэлю.

Рэвэль 1: мадэль за простым інтэрфейсам

У ніжнай частцы праект запрашвае API модэлі мовы (зазвычай OpenAI або Anthropic) і стварае простую прыемку, напрыклад, аплікацыю Streamlit. Гэта можа быць чат-бот, які адпавядае на запытанні клёўкаў, або маленькі функцыянт, які падсумавляе статты. Існуе таксама тэхніка прапаноў, хоча такія прапаны зазвычай не фіксуюцца і не тэстуюцца. Можа быць структураваны выхід, калькі тэстаў для падтверджэння правільнага парсавання, а таксама логіка на выключэнне для сітуацый, калі мадэль не працюе належна.

Пачатківец можа дасягнуць гэтага рубежа, пераглядзячы безкоштовныя туторыялы, ёб якія інструменты існуюць і як яны функцыонуюць, а пасля працаваючы выхідныя над сваёй персональной задачай, напрыклад, стварэнням кансультанта па падготовцы ўжоў.

Абсалютныя меры — гэта тое, што ён працюе толькі тады, калі ўдаецца працаваць. Запіты не маюць версій, таму немагчыма з’ясавіць, чыі змяны дапамоглі. Не існуе показнікаў якосці выходу. А бот знае толькі тое, на чым была натрэнавана мадэль, плюс тое, што ён знаходзіць у інтэрнэце, што не включае кантэкст, які ўтрымвае ваша компанія.

Рэвэлюцыя 2: адзысканне і ацэнка

Калі гэтыя абсалютныя меры пачынаюць ствараць проблемы, вы пераходзіце на рэвэлюцыю 2. Спадзяймося, хтось папросіць сістэму, якая можа выкарыстоўваць внутрашню дакументацыю каманды. Адпаведны адказ — генераванне з адзысканнем дадзеных, якое дазволяе модэлі запытваць внутрашню базу знанняў.

Падзець RAG — гэта простая частка. Складная частка — гэта ведаць, чырэй адпаведныя адказы, і, калі яны не чырэй, з’ясавіць прычыну. Для этага патрэбна веда пра тое, як раздзеляць дакументы на часткі, як уключыць іх у векторную базу дадзэнняў, а таксама пра тое, які з многах спосабоў пошуку пакажае правільныя часткі дакументаў для новага запіту. Гэта таксама значыць неабходнасць стварэння крытэрыяў ацэнкі, якія будуць спецыфічныя для кожнага компонента, а таксама для всія сістэмы. Патрэбна ўзяць памеры, ведаць, як выглядае хорашы рэзультат, і пераканацца, чырэй адпаведныя адказы падтрымліваюць потрэбы кліента.

Ёсць кантакт з 1-му рэвэлю — возьміце чатбот, які вы вялікі ўжо створылі, і пад’яўніце яго да чагосьці, чаго модэль ніколі раней не бачыла. Для наставніка па прыемнасці можа быць вашы сопственныя журналы прыемнай або улюбленыя сямейныя рэцепты. Калі вам удасцца гэта зробіць, вы зможаце ставіць запытанні пра своі сопственныя даны, атрымваць індывідуальныя адказы і быць впэўненымі, чырэй сістэма ўсё правільна працуе.

Потым выклікаецца наступныя проблема: як заставіць ШЫ ўжыцца той інформацыяй.

Рэгламент 3: агенты

На рэгламенце 3 сістэма выконвае дзеяння, а не толькі адпавядае. Агент — гэта мадэль, якая можа выкорыстоўваць інструменты і прымець рашэнні. Вы задаёце ёй мету, і яна працуе ў цыкле: прымець рашэнне, дзеяць, пераканацца ў рынку, выбраць наступны крок, павтараецца да завершэння. Іё інструменты можаць шукаць у інтэрнэце, вызываць API, запускаць код або адканаць базу дадзенаў. Доследчы агент можаць браць інфармацыю з дзесяткаў істочнаў, каб памагчы напісаць статэю, а агент падтрымкі можаць шукаць замовы і сам адпрацоўваць запіты.

Гэта, можна сказаць, найзабавнейшая частка інжынерыі штучнага інтэлекту сёння, а таксама адна з найбольш рызыкавых. Кожная функцыя, яку вы перадаеце, стварае ўсё больш можлівасцей для памылак. На 2-му рэвэле ацэнка выражалася ў оцэнкі адной адпаведзі. Цяпер жа трэба оцэніваць цэлы ланцуг рашэнняў, і адна памылка на будзь-яму кроце парадужае усё, што будзе пасля. Наследкі таксама рэальныя, калі агент трапляеся на вашу крэдытную картку, ваш код чы ўсё ваша электронная пошта, таму рызыкі за сваёю прыродай ўжо вышэй.

Практычны спосаб разумець гэта: бот 2-го рэвэле, які дае паслабую адпаведзь, марнуе хвілінку часу каго-небудзь. Агент 3-го рэвэле, які неправацьваючы зрозумеў інструкцыю, можа апрацаваць неправую электронную пашту, зняць грошы са неправай карткі чы выдаты нефункцыйнальны код, і ніхто гэтага не бачыць, пакуль збілі непрыемны наследкі.

Агент, які выконваець своі задачы адпаведна, можа завершыць багатыяэтапныя заданні з самага пачатку да канца, заўсёды заўшчоджаючы час. Чым дабыяцца да гэтага на рэвэле 2, неабходна даць існуючай сістэме справжні набор засобаў, але спачатку заставіць яе толькі у рэжыме чытання. Коуч могаў бы шукаць запісы пра прыем аўтамат, выкарыстоўваць калькулятор паўжывання і шукаць інфармацыю ў інтэрнэце, не маючы можлівасці нічога зменіць. Потым неабходна стварыць взаімадзеянне між гэтымі засобамі, забезпечыўшы можлівасць назірання. Лячыльна толькі пасля таго, калі агент падтвердзіць свою надзеямасць і безпеку, яго можна будзе надаць большых прав.

Яшчэ існуе разлік межа агентам, які памагае вам або выступае як внутрашній засоб, і мнагаагентной сістэмай, на якую можа рыхнуцца мільйоны людзей.

Ёй закрыць значыць думаць не толькі пра тое, чы робіць агент на вашам ноутбуку. Ён павінен продаваць работаць, калі адразу прыходзяць тыячы запытанняў і калі корыстувальнікі рабяць тое, чаго ніхто не планаваў.

Рэвэл 4: сістэмы на рэвэле падпрыемства

Гэта тая частка работы, якая належыць да ролей, пры якіх заробак перавышае 300 000 долераў у год. Уместо таго, каб адны агент робіў усё сам, спецыялізаваныя агенты перадаюць задачы адны другаму. Одын з яных аналізуе запіт і направляе яго, іншыя беруцца за адны ўзел працы, а ўсё гэта пераказвае іншы агент прытым, перш чым матэрыял будзе выданы кліенту. У структурао падтрымкі можа быць агент, які сортавае запіты і направляе іх, окрэмыя агенты па білінгу і тэхнічныя агенты, якія адпаведаюць за свае часткі, і ўсё гэта пераглядае фінальны агент прытым, перш чым кліент убачыць адпаведзенне; усё гэта працюе для мільйонав людзей адночасна.

Коордынаванне команды агентаў — гэта ўжо іншая справа, чым кераванне адным агентам. Кожны дадацый агент — гэта ўсё новы элемент, які можа зламацца; памылка аднаго агента безпосерэдна вяліць да наступнага, і адколі все гэта відбываецца прытым, перад кліентамі, паслабленыя адпаведзенні стаюць відкрытымі і коштавымі.

Анаіз базы коду Claude Code паказаў, што сама ШЫ ёсць толькі незначны частака яе. Практычна весь застальны чыннік — гэта інфраструктура, якая забезпечвае надзею продукту.

Мадэлі — гэта і частка, пра якую всі гавораць, але большасць часу на этапе розрабоцы выдзяліваецца на тэхнічныя аспекты: павторныя спробы, правы на доступ, логгіранне, кераванне станам і механізмы, якія не дазволяюць адной паслябольшай працэйскай памялкі распрострацівацца. Такім чынам, большая часць работы на этапе розрабоцы стосуецца агентаў: відстэйкавання, каб можна было бачыць, што зробіў кожны агент, калі ўсё ламаецца; захоўнікі, каб ніхто не могаў падмануць агента на вытэк дакументаў; а таксама кераванне вартасцю і затрымкамі, паўставаючы на фоне запрошэнняў, тэхнік RAG і ацэнкаў з паказваных раней этапаў.

Ёнколі трэба практыкуваць прыступ з 3-го рэвэлю, раздзеліце кансалтанта па аджыентоў у маленькія каманды. Аднаго аджыента прасіце планаваць ежадзённыя месы, іншага — складваць спіс прадуктав (і, можа, замовляць іх), а трэція особа перагледзе план прытым, прычым яго ўжо не бачыце. Потым спробуйце навмесна нарабіць праблемы: падкладзіце фальшывы інгрэдыент у документ планавання і пазірце, чы розпакавальнік гэта з’яўіць чы працюсь яго без адзіных запытанняў. Частка з мільйонамі корыстувачаў — гэта тое, што вы здолеце робіць толькі на робочым месцы, але вы ўсё равна можэце стварыць сістэму, якая будзе можаць расшырвацца, выкорыстоўваючы хмарныя сервісы і з самага пачатку вучыцца пра выкалы і надзеямоўнасць. Каманды аджыентоў, якія можаць працаваць у велікых масштабах, — гэта тое, на чым базуюцца бізнес-працэсы компаній, і заробкі аджыентоў паўтараюць гэта.

Рэвэль 5: аджыенты, якія ствараюць сістэму

Нават на 4-му рэвэне інжынеры застаюцца пераканальнай точкай. На 5-му рэвэне вы адступаеце з дарогі. Гэта самая прыгожэйшая работа ў гэтай сферэ: замест таго, каб ручна будаваць сістэму, вы дазваляеце агентам віконваць задачу ўдосконалення яе.

Гэта выходзіць за межы вікорыстання агентаў-працоўнікаў для напісання коду, што відбываецца на кожным рэвэне, а таксама за межы развіцця на адной основе спецыфікацый, калі агент рэалізуе тое, што вы опісваеце. Лепшыя команды, якія ствараюць Claude Code і Codex, больш не керуюць агентамі праз кожную змяну. Яны будуюць сістэмы, якія самі сабе удосконаляюць, выкарыстоўваючы цыкл, у яком агент пераглядае эфектывнасць, прыметрае змяну, яе выканае, пераканальваецца, чы гэта дапамогла, пасля чаго залішае ёю або адмовяецца ад яе, і так продаўжвае гадзінамі або днямі без удзеле людзя.

Два даныя показуюць, дэ гэта знаходыцца. У одному з праектыв Андрэя Карпаты одын агент самостыйно на працягу двох днів провів блізько 700 експерыментыв і знайшов дваццаць способів прыскорыты навчання мадэлі. Компанія Anthropic заявіла, што більша частына коду, які включаецца до іхняй кодовоі базі, цяпер пішэцца Claude.

Увесь гэты працэс залежыць ад того, шчоб агент постыйно, без перэвіркі, правільно оцінював власну працу, а гэта складно. Калі оцінка навіць трохі неточна, агент не покрашчыць продукт. Ён знайдзе помілку в оцінюванні і скорыстаецца нею, отрымуючы вісокі балі, тоды як справжній продукт погіршуецца у способах, про які ніхто не подумав віміраты.

Тут трэбаець серйозных навыкаў. Патрэбна разработка метода ацэнкі, калі які агент не можа падмануць, і прыяўязка яго робочых показнікоў да таго, што робіць продукт хорашым, каб ён не могаў проста дасягнуць лёгкага рэзультата. Патрэбна контрольваць усё, адтак як немагчыма стаціонарна спазіраваць за працэсам і можна толькі чытаць следы, якія застаюцца. Таксама патрэбна чыткая адчувальнасць таго, дзе людзі яшчэ павінны втруццаць. Нават найлепшыя каманды не застаюцца абсалютна пасляўмовымі: людзі выбіраюць проблемы, разрабатываюць сістэму оцэнкі і затверджуюць тое, што прайдзе да выпуску.

Гэтага рэвэлю нельга досягнуць за калькі недзеў самастудыі. Кожны навык вырастае за гады працы з прыемнымі сістэмамі, спазіравання ўсіх іх проблем і ўдосконаленняў.

Логіка простая. Пра методы падману ў фармаце «reward hacking» можна прачытаць за аднаго дня, але ўпісаць момент, калі вашы сябе показнікі выкарыстоўваюцься, можна толькі спазіраваючы за гэтым на чымсь важлівам, а пасля — перазбудаваючы сістэму мэтрактыкі, калі тая будзе надзейная.

Большая частка людзей не патрабуе 5-го рэвэля. Большая частка работаў з AI у прыметнай працэсе ёсць на рэвэлі 2 або 3, і інодзе дастатнека простаг запросу з простым адзначэнням, каб стварыць чагось корыстнага. Інжынеры прыемляюцца для таго, каб быць корыстнымі, а не для эфектнасці.