Пять уровней проектов по инженерии ИИ, от чат-ботов до агентов, способных к самосовершенствованию.

Руководители, нанимающие специалистов по инженерии ИИ, снова и снова видят один и тот же набор проектов: чат-бот с красивым интерфейсом. Разница между этим и тем, что на самом деле создают команды, работающие над такими продуктами, как Claude Code и Codex, кажется огромной, но путь от первого к второму представляет собой довольно чёткую последовательность из пяти уровней. Знание того, на каком уровне находится проект, помогает понять, что нужно создать дальше, однако многие застревают, постоянно разрабатывая новые проекты только для первой ступени.

Уровень 1: модель за простым интерфейсом

В основе всего проект обращается к API языковой модели (обычно OpenAI или Anthropic) и создает над ней простое приложение вроде Streamlit. Можно представить себе чат-бота, отвечающего на вопросы клиентов, или небольшую функцию для краткого изложения статей. Используется техника составления промптов, хотя эти промпты обычно не отслеживаются и не тестируются. Возможен структурированный вывод, несколько тестов для проверки корректной обработки данных и логика резервного варианта на случай сбоев модели.

Новичок может начать с просмотра бесплатных учебников, чтобы узнать, какие инструменты существуют и как они работают, а затем потратить выходные на решение собственной задачи, например создание приложения для планирования приготовления еды.

Ограничением является то, что он работает лишь тогда, когда удаётся. Подсказки не имеют версий, поэтому невозможно определить, помогла ли какая-то изменение. Нет показателей качества выводимого контента. К тому же бот знает только то, на чём обучался модель, плюс информацию, найденную в Интернете, что исключает контекст, имеющийся у вашей компании.

Уровень 2: поиск и оценка

Когда эти ограничения начинают создавать проблемы, вы переходите на уровень 2. Допустим, кто-то просит систему, способную использовать внутреннюю документацию команды. Решением будет генерация с усилением за счёт поиска, которая позволяет модели обращаться к внутренней базе знаний.

Подключение RAG — это простая часть. Сложнее всего определить, верны ли ответы, и, если они неверны, выяснить почему. Для этого необходимо знать, как разбивать документы на фрагменты, как встраивать их в векторную базу данных и какой из множества методов поиска позволит найти нужные фрагменты для нового вопроса. Также требуется разрабатывать критерии оценки, специфичные как для каждого компонента, так и для всей системы. Необходимо выбирать показатели эффективности, понимать, что считается хорошим результатом, и оценивать, соответствуют ли ответы потребностям клиента.

Чтобы перейти на следующий уровень, возьмите уже созданный чат-бот и подключите его к чему-то, чего модель раньше не видела. Для коуча по питанию это могут быть ваши собственные записи о питании или любимые семейные рецепты. Когда это будет сделано правильно, вы сможете задавать вопросы о собственных данных, получать индивидуальные ответы и быть уверенными в точности системы.

Затем возникает следующая проблема: заставить ИИ что-то сделать с этой информацией.

Уровень 3: агенты

На уровне 3 система предпринимает действия, а не просто отвечает. Агент — это модель, которая может использовать инструменты и принимать решения. Вы задаёте ему цель, и он работает в цикле: принимает решение, действует, проверяет результат, выбирает следующий шаг и повторяет процесс до завершения. Его инструменты могут вести поиск в интернете, вызывать API, запускать код или обновлять базу данных. Исследовательский агент может черпать информацию из десятков источников для написания краткого отчёта, а агент службы поддержки может самостоятельно находить заказы и обрабатывать запросы.

Это, пожалуй, самая интересная, но в то же время одна из самых рискованных частей современной инженерии искусственного интеллекта. Каждая новая функция, которую вы внедряете, создаёт дополнительную возможность для сбоев. На уровне 2 оценка заключалась в подсчёте баллов за один ответ. Теперь же необходимо оценивать целую последовательность решений, и одна неверная действие на любом этапе может испортить всё последующее. Последствия становятся особенно серьёзными, когда агент имеет доступ к вашей кредитной карте, коду или электронной почте, поэтому ставки изначально выше.

Практический пример: бот уровня 2, дающий некорректный ответ, тратит минуту времени человека. Агент уровня 3, неправильно интерпретировавший инструкцию, может отправить неверное письмо, забрать средства с неправильной карты или предоставить неисправный код, и никто этого не заметит до тех пор, пока ущерб не будет нанесён.

Агент, способный ответственно справляться с задачами, может выполнять многоэтапные операции от начала до конца, экономя часы времени. Чтобы добраться до такого уровня от второго, необходимо предоставить существующей системе полный набор инструментов, но сначала сделать её только для чтения. Агент сможет искать записи о приеме пищи, использовать калькулятор питания и искать информацию в Интернете, но не иметь возможности что-либо изменять. Затем следует настроить взаимодействие между этими инструментами с возможностью отслеживания происходящего. Только после того, как агент докажет свою надежность и безопасность, ему следует предоставить больше полномочий.

Всё ещё существует разрыв между агентом, который помогает вам или служит внутренним инструментом, и многоагентной системой, на которую могут полагаться миллионы людей.

Чтобы преодолеть этот разрыв, необходимо думать не только о том, работает ли агент на вашем ноутбуке. Он должен продолжать работать, когда одновременно поступают тысячи запросов, а также когда пользователи делают то, чего никто не планировал.

Уровень 4: системы корпоративного масштаба

Это сфера деятельности, связанная с услугами, стоимость которых превышает 300 000 долларов в год. Вместо того чтобы один агент выполнял всё сам, специализированные агенты передают друг другу задачи. Один из них анализирует запрос и направляет его дальше, другие занимаются отдельными частями работы, а ещё один проверяет результат перед тем, как он будет отправлен клиенту. В системе поддержки может быть агент, который сортирует заявки и направляет их дальше, отдельные агенты по финансовым вопросам и технической поддержке, которые решают свои задачи, и финальный агент, который проверяет всё ответное сообщение перед тем, как оно увидит клиент — всё это работает одновременно для миллионов пользователей.

Координация команды агентов — это совсем другая задача, чем управление одним агентом. Каждый дополнительный агент — это ещё один элемент, который может выйти из строя; ошибка одного агента сразу влияет на следующего, и поскольку всё происходит непосредственно перед клиентами, плохие ответы становятся общедоступными и сопряжены с большими потерями.

Анализ кодовой базы Claude Code показал, что сама ИИ-система составляет лишь незначительную часть её содержимого. Почти всё остальное — это инфраструктурные элементы, обеспечивающие надёжность продукта.

Модели — это то, о чём говорят все, однако здесь тратится много времени на решение таких вопросов, как повторные попытки выполнения задач, настройка прав доступа, ведение логов, обработка состояния и механизмы предотвращения распространения ошибок. Поэтому большая часть работы связана с агентами: отслеживанием их действий при возникновении сбоев, внедрением мер защиты от утечек данных и контролем затрат и задержек, помимо использования подсказок, технологий RAG и методов оценки из более ранних уровней.

Чтобы отработать прыжок с 3-го уровня, разделите команду специалистов по питанию на небольшие группы. Один сотрудник планирует меню, другой составляет список продуктов (и, возможно, оформляет заказы), а третий проверяет план перед тем, как он попадёт к пользователю. Затем попробуйте умышленно нарушить процесс: внесите в план фиктивный ингредиент и посмотрите, заметит ли это проверяющий или разрешит его использование. Что касается миллионов пользователей, это то, с чем вы столкнётесь только на рабочем месте, но вы всё равно можете создать систему, способную масштабироваться, используя облачные сервисы и с самого начала учитывая затраты и надёжность. Именно команды сотрудников, способные работать в масштабе, лежат в основе бизнеса компаний, и зарплаты отражают это.

Уровень 5: сотрудники, создающие систему

Даже на 4-м уровне инженеры остаются узким местом. На 5-м уровне вы отходите в сторону. Это самая передовая практика в этой области: вместо ручной настройки системы вы поручаете агентам её улучшение.

Это выходит за рамки использования агентов для написания кода, что происходит на каждом уровне, а также за рамки разработки по спецификации, при которой агент реализует описанное вами. Лучшие команды, создающие Claude Code и Codex, больше не направляют агентов при каждой корректировке. Они создают системы, способные самостоятельно совершенствоваться, используя цикл, в котором агент анализирует производительность, предлагает изменения, внедряет их, проверяет, помогло ли это, затем сохраняет или отклоняет изменения, и так продолжается часами или днями без участия человека.

Два примера показывают, как это работает. В одном проекте Андрея Карпати один агент самостоятельно провёл примерно 700 экспериментов за два дня и нашёл двадцать способов ускорить обучение модели. Компания Anthropic заявляет, что большая часть кода, включаемого в их собственную базу кода, теперь пишется Claude.

Весь цикл зависит от того, что агент снова и снова правильно оценивает свою работу без проверки, а это сложно. Если оценка хотя бы немного неточна, агент не улучшит продукт. Он найдёт ошибку в системе оценки и воспользуется ею, получая высокие баллы, в то время как качество реального продукта ухудшается по параметрам, о которых никто даже не подумал измерять.

Здесь требуются серьезные навыки. Необходимо разработать систему оценки, в которой агент не сможет обмануть, и связать его производительность с теми факторами, которые делают продукт хорошим, чтобы он не мог просто добиться легкого результата. Нужно отслеживать всё, поскольку невозможно наблюдать за процессом в реальном времени — можно только читать следы, оставленные им. Кроме того, необходимо точно знать, где всё ещё требуется вмешательство человека. Даже лучшие команды не остаются полностью в стороне: люди выбирают проблемы, разрабатывают систему оценки и утверждают то, что попадает в производство.

Этого уровня невозможно достичь за пару недель самообучения. Каждый навык формируется за годы работы с производственными системами, наблюдения за их сбоями и улучшений.

Логика проста. О взломе системы наград можно прочитать за один день, но чтобы заметить момент, когда ваша собственная метрика используется в обманчивых целях, необходимо увидеть это на чем-то важном, а затем пересоздать систему измерения так, чтобы она была надежной.

Большинству людей не нужен уровень 5. Многие задачи в области производственного ИИ на практике соответствуют уровню 2 или 3, и иногда достаточно хорошо составленного запроса с простой оценкой, чтобы создать что-то полезное. Инженеров нанимают для того, чтобы они были полезны, а не красиво выглядели.