Основы ИИ-агентов: цель, проектирование запросов и выбор модели

Стартап в сфере здравоохранения потратил шесть месяцев на создание ИИ-агента для сортировки пациентов. Он работал на самой новой модели GPT-4, в команде были опытные инженеры по машинному обучению, интерфейс выглядел отлично, и инвесторы оценили демо-версию. Однако когда агент попал в реальные клиники, уже через несколько дней медсестры перестали им пользоваться. Агент задавал вопросы, не связанные с жалобой пациента, игнорировал серьезные симптомы и давал противоречивые рекомендации. Иногда он был чрезмерно осторожен и направлял пациентов с незначительными проблемами в отделение неотложной помощи, а иногда пренебрегал состояниями, требовавшими внимания.

Вина не лежала ни на модели, ни на коде. Основа была неустойчивой. Команда не определила, для чего нужен агент, поспешно разработала инструкции и выбрала неподходящую конфигурацию модели. После ещё трёх месяцев доработок агент теперь обрабатывает более 10 000 взаимодействий с пациентами в день, что приносит 94% удовлетворённости среди медсестёр и значительно лучшие результаты для пациентов.

Три основных шага определяют успех агента: определение его цели, разработка инструкций и выбор модели. Если их сделать правильно, остальное становится проще. Если же они сделаны неправильно, никакие технические усилия этого не исправят.

Шаг 1: определение цели

Прежде чем начать писать код, необходимо получить точные ответы на четыре вопроса. Какая проблема решается? Кто будет использовать агента? Как выглядит успех? Какие существуют ограничения? Неопределенные ответы приводят к провалу проектов, а четкие — к созданию систем, способных функционировать в реальных условиях.

Когда агент — подходящий инструмент

Агент не является решением для всех проблем. Системы на основе правил лучше справляются с простыми рабочими процессами, классические модели машинного обучения подходят для чистого прогнозирования, а человеческие эксперты — лучший выбор, когда для принятия важного решения требуется ответственный человек.

Агенты оправдывают свое существование тогда, когда задача требует автономного принятия решений в рамках сложного, многоэтапного процесса с использованием нескольких источников информации и инструментов.

Возьмём обнаружение мошенничества в банке. Простое правило позволяет выявить очевидные паттерны, такие как дублирующиеся транзакции или использование карты одновременно в двух удалённых местах. Для более сложных случаев мошенничества требуется расследование: сотрудник должен проанализировать историю транзакций, сравнить её с обычным поведением клиента, проверить базы данных о репутации торговцев, рассчитать оценки риска с использованием нескольких моделей, связать дело с известными сетями мошенников и собрать пакет доказательств для человека-рецензента. Для этого необходима автономность, поскольку работа ведётся круглосуточно с тысячами транзакций, требуется использование инструментов из различных баз данных и API, способность к логическим выводам, связывающим слабые сигналы, и организация многоэтапного расследования. Это отлично подходит для автономного агента.

Проверка остатка на счёте — это противоположный случай. Для неё достаточно одного вызова API, а не автономного агента. Правило заключается в выборе самого простого рабочего решения.

Кто являются пользователями

Пользователи формируют архитектуру. Техник на месте нуждается в возможности работы в офлайн-режиме, аналитик — в панелях управления с функцией углубленного анализа, а автоматизированная система — в чистых API с предсказуемыми форматами ответов. Некоторые конкретные примеры:

• Менеджеры запасов в ритейле хотят получать краткие рекомендации, которые они могут принять или отклонить. Сообщение вроде «Пора заказать ещё 150 единиц продукта X к пятнице» можно использовать для действий; в то время как сырой показатель оптимизации 0,847 — нет. Система должна говорить на том же языке, что и пользователь, и вписываться в существующую рабочую процедуру.
• Сотрудники, работающие с мелкими фермерами в сельской местности, вынуждены планировать свою деятельность с учетом плохой связи. Уведомления в виде текстовых сообщений могут заменить веб-панель управления; сотрудник должен мириться с ненадежным подключением, а его советы должны предоставляться на местных языках. Простая записка о необходимости проверить поле 3 на наличие вредителей сегодня днем гораздо полезнее, чем сигнал об аномалии в данной области с уровнем уверенности 0,73.
• Врачам и пациентам нужны разные интерфейсы. Врач, рассматривающий рекомендации, нуждается в клинических обоснованиях, показателях уверенности и ссылках на научную литературу, тогда как пациент хочет простых объяснений и четких указаний на следующие шаги. Это один сотрудник, обслуживающий два разных интерфейса.

Успех, который можно измерить

Цели вроде «повышения эффективности» практически гарантируют неудачу. Именно измеримые показатели направляют принятие решений.

Для специалиста по контролю качества на производстве успех может означать выявление 95% дефектов, обнаруживаемых человеческими инспекторами, сведение количества ложно положительных результатов до менее 10%, обработку каждого изделия в течение 2 секунд, снижение общего процента ускользнувших дефектов на 30% и поддержание уровня работоспособности в 99,9% во время рабочего времени. Эти показатели напрямую влияют на архитектуру системы. Ограничение в 2 секунды исключает некоторые модели, уровень обнаружения в 95% требует большого объема данных для обучения, а показатель работоспособности обусловливает необходимость резервирования и тщательной обработки ошибок.

Эффективность специалиста по техническому обслуживанию авиационной техники оценивается по другим критериям: возможность прогнозирования отказов компонентов за 30 дней с точностью 80%, сокращение количества внеплановых работ на 40%, полное соблюдение нормативных требований в рекомендациях, отсутствие рекомендаций о отсрочке работ, имеющих критическое значение для безопасности, а также наличие полной истории аудита всех принятых решений. Цель по соблюдению нормативов требует строгих тестов и человеческого контроля, а правила безопасности предусматривают консервативные пороги принятия решений. Это архитектурные требования, а не параметры, корректируемые после запуска.

Ограничения

Каждая производственная система сталкивается с тремя видами ограничений. Технические включают целевые показатели задержек, ограничения инфраструктуры и требования к интеграции. Бизнес-ограничения касаются бюджета, сроков и возможностей организации. Нормативные ограничения включают требования к конфиденциальности данных, соответствию отраслевым стандартам и условиям аудита.

• В банковской сфере доминируют регулирования. Сотрудники, занимающиеся борьбой с мошенничеством, ведут полные записи аудита, объясняют каждое решение, никогда не трогают данные клиентов без разрешения и соблюдают правила, которые различаются в зависимости от юрисдикции. Ни в чем из этого нельзя договариваться.
• Сотрудники сферы здравоохранения должны соблюдать стандарт HIPAA. Данные пациентов шифруются как при хранении, так и во время передачи, доступ к ним регистрируется и подлежит аудиту, сроки хранения определяются по установленным правилам, а некоторую информацию нельзя хранить даже на короткое время. Все эти ограничения напрямую влияют на проектирование системы памяти и варианты её внедрения.
• Сотрудники ритейла сталкиваются с разными факторами давления. Пиковые нагрузки в праздничные периоды требуют горизонтального масштабирования, необходимость интеграции с устаревшими системами точек продаж ограничивает выбор технологий, а чувствительность к затратам побуждает выбирать более дешевые варианты. Все это влияет на всю архитектуру системы.

Запишите все ограничения. Именно они определяют, что возможно.

Пять успешных примеров

Каждый из них одновременно описывает цель, пользователей, показатели успеха и ограничения.

• Банковский сектор — агент для мониторинга транзакций. Он в реальном времени обнаруживает и расследует подозрительные транзакции в количестве миллионов в день для аналитиков по борьбе с мошенничеством и сотрудников, отвечающих за соблюдение нормативов. Успех означает выявление 90% случаев мошенничества при менее чем 5% ложных срабатываний, обработку каждого случая в течение 30 секунд и сохранение полной истории аудита. Ограничения включают соблюдение нормативных требований, обоснование каждого решения, запрет на блокировку законных транзакций без проверки аналитиком и стабильную работу с уровнем доступности 99,95% круглосуточно.
• Ритейл: инструмент динамического ценообразования. Он настраивает цены для тысяч позиций ассортимента с учётом спроса, конкуренции, уровня запасов и целевой маржи, предназначен для менеджеров категорий и аналитиков по ценообразованию. Результатом является увеличение доходов на 8% при соблюдении целевой маржи, обновление цен дважды в день, учёт сезонных колебаний и соблюдение минимальных и максимальных цен. Ограничения включают наличие интеграции с существующими системами ERP, запрет на установление цен ниже себестоимости, необходимость сохранения конкурентоспособности и соблюдение правил ценообразования.
• Здравоохранение: инструмент триажа пациентов. Он оценивает симптомы, определяет степень срочности, рекомендует формат лечения и бронирует приёмы, предназначен для медсестёр, пациентов и администраторов клиник. Результатом является 95%-ное совпадение с оценками медсестёр, сокращение времени ожидания на 30%, повышение уровня удовлетворённости и немедленная передача срочных случаев на соответствующее обслуживание. Ограничения включают соблюдение стандартов HIPAA, запрет на задержку неотложной помощи, необходимость эмпатичного общения, интеграцию с системами электронной медицинской записи и поддержку нескольких языков.
• Программа для производства — агент прогнозирующего технического обслуживания. Она отслеживает состояние оборудования, прогнозирует отказы, планирует профилактические работы и распределяет персонал; предназначена для руководителей служб обслуживания, менеджеров заводов и техников. Успех оценивается по способности прогнозировать отказы за 30 дней с точностью 85%, сокращению времени неплановых простоев на 50%, снижению затрат на обслуживание и увеличению срока службы оборудования на 20%. Ограничения включают обработку данных с датчиков в реальном времени, существующие системы управления техническим обслуживанием, устаревшее оборудование, требования к безопасности и работу в автономном режиме.
• Сельское хозяйство: инструмент для контроля здоровья культур. Он отслеживает посевы с помощью спутниковых снимков и наземных датчиков, выявляет вспышки заболеваний, рекомендует меры по борьбе с ними, а также оптимизирует системы орошения и удобрения; предназначен для менеджеров ферм, агрономов и руководителей кооперативов. Успех заключается в возможности обнаружения заболеваний на неделю раньше, чем при ручной проверке, сокращении расхода воды на 25%, повышении урожайности на 15% и предоставлении рекомендаций на местном языке. Ограничения включают неравномерную связь, телефоны низкого класса, существующее сельскохозяйственное программное обеспечение, уведомления через SMS и большое количество видов культур.

У каждого сценария использования есть свои требования, которые формируют всю архитектуру, поэтому этот этап требует обработки в реальном времени.

Шаг 2: разработка запросов

Инструкция системы является руководством по эксплуатации агента. Она определяет его личностные характеристики, возможности, ограничения и модели поведения. Хорошо составленная инструкция обеспечивает последовательное, безопасное и надежное поведение агента, тогда как плохо составленная приводит к непредсказуемым результатам, которые мешают его работе в реальных условиях.

Цели

Начните с того, что должен сделать агент, и будьте конкретны и полны в описании.

Агенту-аналитику банковских мошенничеств могут поручить анализировать транзакции на наличие признаков мошенничества, оценивать риски с использованием предоставленных моделей, сопоставлять результаты с известными образцами мошенничеств, составлять подробные отчеты об расследованиях и немедленно передавать дела с высоким уровнем риска. Ему также требуется сохранять профессионализм во всех формах общения, никогда не раскрывать клиентам деталей расследования и всегда обосновывать свои оценки рисков. Все это определяет объем задач и границы действий агента, чтобы он знал, что делать, а от чего держаться подальше.

Сотрудник службы поддержки клиентов в розничной торговле получает другой список задач. Он отвечает на вопросы о заказах, товарах и правилах компании, проверяет историю заказов и наличие товаров, обрабатывает возвраты в соответствии с установленными правилами, передает заявки на возврат суммы свыше 500 долларов человеку для дальнейшего рассмотрения, сохраняет дружелюбный тон общения и собирает отзывы после каждого общения с клиентом. Ему запрещено давать обещания, выходящие за рамки правил компании, и он должен предлагать альтернативы, когда не может удовлетворить запрос клиента. Границы его полномочий четко определены: он не имеет права утверждать крупные возвраты средств, должен передавать такие заявки на более высокий уровень и всегда действовать в соответствии с правилами. Эти ограничения предотвращают ненадлежащее поведение.

Персонаж

Персона влияет на то, насколько агент кажется последовательным и насколько ему доверяют пользователи. Агент, занимающийся сортировкой заявок в сфере здравоохранения, должен говорить спокойно и профессионально, чтобы успокоить людей. Агент-репетитор должен быть ободряющим и терпеливым, чтобы поддерживать мотивацию учащихся, а агент технической поддержки — обладать знаниями и методичностью, чтобы его решения казались надежными.

В области технического обслуживания воздушных судов персоной является опытный инженер по техническому обслуживанию самолетов с двадцатилетним стажем работы с различными типами летательных аппаратов. Безопасность имеет первостепенное значение, строго соблюдаются рекомендации производителя, коммуникация ясна и технически точна, решения никогда не принимаются поспешно, когда речь идет о безопасности, и все документируется для регулирующих органов. Именно такая персона определяет подход агента к решению проблем, способ подачи отчетов и принятия решений, обеспечивая последовательность тысяч взаимодействий.

Советник по сельскому хозяйству для мелких фермеров призывает к наличию дополнительного голоса. Он знает местные культуры, климат и методы ведения сельского хозяйства, говорит простым и практичным языком, понимает ограничения в ресурсах, с которыми сталкиваются фермеры, предлагает советы, соответствующие имеющимся инструментам и бюджету, уважает традиционные знания, одновременно внедряя современные методы, и проявляет терпение и поддержку.

Стиль общения должен соответствовать аудитории. Техническая терминология подходит для экспертов, простой язык — для широкой публики, а учет культурных особенностей важен при работе в глобальном масштабе.

Инструкции

Инструкции указывают агенту, как выполнять задачи. Размытые инструкции приводят к неравномерной работе, а конкретные — к надежности. Числованные процедуры хорошо себя показывают, и эти два примера демонстрируют такой стиль.

Агент, проверяющий качество продукции по изображениям, следует восьми шагам:

1. Загрузить изображение и выделить характеристики с помощью модели видения.
2. Сравнить их с требованиями к качеству для данного типа продукта.
3. Обнаружить все дефекты и отметить их с помощью рамок и классификации.
4. Оценить степень серьезности каждого дефекта согласно предоставленной шкале.
5. Отклонить продукт и занести детали в журнал, если степень серьезности превышает установленный порог.
6. При сомнительной степени серьезности запросить проверку человеком с прилагаемыми доказательствами.
7. Обновить показатели качества в базе данных.
8. Немедленно уведомить руководителей, если подряд обнаруживается несколько дефектов одного типа.

Подобные шаги устраняют неоднозначности, и агент знает, что делать в каждой ситуации.

Агент для оценки пациентов следует десяти шагам:

1. Собрать симптомы, время их продолжительности и степень тяжести с помощью структурированного опросника.

Задавайте дополнительные вопросы в зависимости от группы симптомов.

Проверяйте наличие тревожных признаков, требующих немедленной помощи.

Если обнаружены тревожные признаки, отнесите случай к категории чрезвычайных ситуаций и направьте его по соответствующему маршруту.

Рассчитайте оценку приоритета с использованием утвержденного алгоритма.

На основе оценки и симптомов порекомендуйте формат оказания помощи.

Забронируйте прием, если это необходимо.

Четко объясните пациенту следующие шаги и сроки.

Никогда не ставьте диагноз и не рекомендуйте конкретное лечение.

В случаях неоднозначности действуйте с осторожностью.

Пункт «никогда не ставить диагноз» имеет наибольшее значение, поскольку он устанавливает четкую границу, предотвращающую проблемы с ответственностью.

Ограничения

Ограничения препятствуют вредоносному или проблемному поведению, и производственные системы не могут обойтись без них. Их существует три типа:

• Механизмы контроля контента предотвращают появление неподобающего контента. Сотрудник службы поддержки клиентов никогда не использует нецензурную лексику, даже если это делает клиент, а сотрудник финансового консультирования никогда не гарантирует доходность или не дает обещаний относительно рынка.
• Механизмы безопасности предотвращают опасные действия. Сотрудник авиационной компании никогда не рекомендует откладывать обслуживание, критически важное для безопасности, сотрудник здравоохранения никогда не советует откладывать неотложную помощь, а сотрудник производственной компании никогда не отключает системы безопасности.
• Механизмы защиты конфиденциальности предотвращают утечки информации. Сотрудник банка никогда не передаёт данные одного клиента другому счёту, сотрудник здравоохранения никогда не раскрывает данные пациентов без разрешения, а сотрудник ритейл-компании никогда не раскрывает конфиденциальные алгоритмы ценообразования.

Сотрудник банка, отвечающий за выявление мошенничества, должен соблюдать следующие правила: никогда не раскрывать методы и модели обнаружения никаким пользователям; никогда не делиться деталями расследования с владельцем счета, находящимся под проверкой; никогда не открывать счет без уважительной причины, связанной с мошенничеством; никогда не принимать решение о закрытии счета без одобрения аналитика; никогда не переносить информацию клиентов с одного расследования на другое; всегда вести журналы аудита доступа к счетам. В случае сомнений относительно соблюдения нормативных требований необходимо обратиться за помощью к человеку-руководителю. Эти меры защищают банк, его клиентов и целостность расследований.

Сотрудник по триажу в сфере здравоохранения будет помогать другим пациентам. Не предоставляются конкретные диагнозы или рекомендации по лечению. Необходима немедленная помощь при болях в груди, проблемах с дыханием, сильном кровотечении или других симптомах чрезвычайной ситуации. Не рекомендуется откладывать лечение при серьезных симптомах ради экономии средств. Доступ к медицинской карте пациента возможен только в ходе активного взаимодействия. Тон общения должен быть постоянно эмпатичным и профессиональным. При выражении пациентом мыслей о самоубийстве необходимо немедленно связаться с ресурсами для кризисных ситуаций. Информация о пациенте не допускается к передаче неуполномоченным лицам. При неясности степени срочности следует предполагать наличие высокой степени остроты состояния. Все это обеспечивает безопасность пациентов и гарантирует соответствие оказываемой помощи требованиям.

Тестирование и улучшение

Первый вариант запроса не будет идеальным. Попробуйте его в реальных сценариях, найдите крайние случаи и постепенно совершенствуйте его. Эффективный подход — начать с базового запроса, протестировать его в 20–30 типичных сценариях, зафиксировать сбои, выявить закономерности, скорректировать запрос и повторить процесс.

Агент по ценообразованию в розничной торговле может рекомендовать цены ниже себестоимости в периоды высокого спроса. Решением является четкое правило запрета на установление цен ниже себестоимости вместе с обязательным минимальным маржинальным процентом в 10%. Агент по первичной диагностике может отмахиваться от часто встречающихся проблем как от незначительных, хотя они могут указывать на серьезные проблемы; решением здесь является указание всегда рекомендовать медицинскую диагностику при симптомах, сохраняющихся более двух недель, независимо от их кажущейся серьезности.

Тестирование выявляет пробелы в инструкциях, отсутствие ограничений и неоднозначные рекомендации. Такое совершенствование не является опциональным — именно так создаются надежные производственные системы.

Полные примеры запросов

Если собрать всё воедино, каждый запрос имеет одну и ту же структуру, включающую роль, цели, инструкции и ограничения, адаптированную к соответствующей области применения.

Аналитик по банковским мошенничествам выступает в роли специалиста по мошенничествам с пятнадцатью годами опыта в расследовании финансовых преступлений; он готовит подробные оценки рисков для других аналитиков. Его цели — выявлять аномалии в паттернах транзакций, рассчитывать показатели риска с использованием утвержденных моделей, сопоставлять транзакции с известными базами данных о мошенничествах, составлять подробные отчеты с доказательствами и направлять случаи с высоким риском непосредственно к человеческим аналитикам. При анализе транзакции он действует следующим образом:

1. Собирает полную историю транзакций счета.
2. Ищет аномалии в частоте или суммах транзакций, то есть необычные паттерны.
3. Проверяет, соответствуют ли продавец и местоположение профилю клиента.
4. Оценивает вероятность мошенничества с помощью ансамблевой модели.

Немедленно передайте дело на более высокий уровень с подробными доказательствами, если показатель превышает 0,8.

Отметьте случай на рассмотрение аналитика вместе с подтверждающими данными, если показатель находится в диапазоне от 0,5 до 0,8.

Утвердите операцию и зафиксируйте принятое решение, если показатель ниже 0,5.

Всегда записывайте обоснования и источники данных.

Ограничения: не раскрывать методы обнаружения, не обсуждать текущие расследования с владельцами счетов, не получать доступ к счетам без уважительной причины, вести учет всех принятых решений, передавать сомнения, связанные с соблюдением правил, руководителю и не утверждать закрытие счетов без подтверждения аналитика.

Сотрудник службы поддержки клиентов в розничной торговле выступает в роли полезного и дружелюбного представителя премиального бренда, помогающего с заказами, товарами и правилами, при этом обеспечивая высокое качество обслуживания. Его цели — быстрое и эффективное решение проблем, возврат и обмен в рамках установленных правил, точная информация о товарах и рекомендации, последовательный стиль общения бренда и соответствующее передачение сложных вопросов на более высокий уровень. По вопросам заказов он:

1. Находит заказ по номеру или электронной почте.
2. Сообщает текущий статус и ожидаемую дату доставки.
3. Объясняет причины задержки и предлагает альтернативы, если заказ задерживается.
4. Обрабатывает обновления информации о статусе доставки и любые вопросы клиентов.
5. Передает вопрос команде по обработке заказов, если заказ пропал.

По вопросам возврата он:

1. Проверяет, что покупка была совершена в течение 30 дней.
2. Убеждается, что состояние товара соответствует установленным критериям.
3. Выдаёт разрешение на возврат и этикетку.
4. Начинает процедуру возврата средств после прибытия товара.
5. Возвраты суммой свыше 500 долларов направляются менеджеру на утверждение.

Основные правила: отсутствие возвратов вне рамок политики без одобрения менеджера, отсутствие обещаний относительно сроков доставки, которые невозможно контролировать, отсутствие раскрытия информации о поставщиках или стоимости, профессиональный и эмпатичный тон даже при общении с раздражёнными клиентами, вежливое завершение разговора и перевод дела на более высокий уровень, если клиент начинает вести себя агрессивно, а также отсутствие возможности осуществить возврат без соответствующей проверки.

Специалист по триажу в сфере здравоохранения — это сострадательный и опытный медбрат, который помогает пациентам найти подходящее место для лечения путем оценки симптомов и степени срочности, обеспечивая при этом их безопасность. Цели его работы включают точную оценку симптомов и степени срочности, направление пациентов в отделение неотложной помощи, отделение срочной помощи, первичную медицинскую помощь или для самолечения, немедленное вмешательство в случаях чрезвычайных ситуаций, сокращение количества ненужных обращений в отделение неотложной помощи и поддержание доверия пациентов. Во время оценки он:

1. Записывает основные жалобы и детали симптомов с помощью структурированных вопросов.
2. Спрашивает о продолжительности, степени тяжести и тенденциях развития симптомов.
3. Ищет признаки, требующие немедленной помощи.
4. Проверяет наличие аномалий жизненно важных показателей, если они имеются.
5. Рассчитывает степень срочности с использованием утвержденного алгоритма.
6. Дает рекомендацию с четким обоснованием.
7. При необходимости бронирует прием у врача.
8. Объясняет следующие шаги.
9. Добавляются рекомендации по действиям в случае необходимости обращения за помощью, описывающие, когда следует обратиться за медицинской помощью более высокого уровня.

Признаки, требующие срочной помощи, включают боль или давление в груди, затруднённое дыхание, сильное кровотечение или травму, внезапную сильную головную боль или изменения зрения, замешательство или нарушение психического состояния, признаки инсульта, такие как опущение лица, слабость в руке или трудности с речью, сильную аллергическую реакцию, а также суицидальные или хомицидальные мысли. Основные принципы: отсутствие конкретных диагнозов или рекомендаций по лечению, все признаки считаются срочными независимо от других факторов, отсутствие рекомендаций откладывать обращение за помощью из-за затрат или удобства, эмпатичное и ориентированное на пациента общение, немедленный доступ к ресурсам для кризисных ситуаций при возникновении суицидальных мыслей, отсутствие возможности получить доступ к медицинской документации без активного согласия пациента, склонность к более серьёзному вмешательству при неопределённой срочности и передача сложных случаев на рассмотрение медсестре-руководителю.

Каждый запрос соответствует своей области применения, типу пользователя и профилю риска. Банковский агент сосредотачивается на расследованиях и соблюдении правил, ритейл-агент находит баланс между удовлетворенностью клиента и соблюдением политики, а агент в сфере здравоохранения ставит безопасность превыше всего.

Шаг 3: выбор модели

Выбор модели напрямую влияет на производительность, стоимость, задержку и функциональность, а неверный выбор подрывает всё остальное.

Варианты базовых моделей

Рынок быстро меняется, но основные компромиссы остаются прежними: функциональность против стоимости, задержка против качества, хостинговые решения против самостоятельного хостинга, универсальные решения против специализированных.

• GPT-4 и GPT-4 Turbo от OpenAI обладают высоким уровнем способности к логическим рассуждениям, строго следуют инструкциям, создают качественный творческий контент и надежно выполняют функции, при этом поддерживают широкий набор инструментов. Недостатки включают более высокую стоимость, умеренную задержку и зависимость от API OpenAI. Они подходят для сложных логических задач, творческой работы, универсальных агентов и ситуаций, где качество важнее цены.
• Claude 3.5 и Claude 4.5 от Anthropic отличаются способностью анализировать длинные документы, проводить глубокие логические рассуждения, генерировать отличный код, выполнять даже тонкие инструкции, а также обеспечивают окно контекста объемом 200 тысяч токенов с высоким уровнем безопасности. Они стоят дороже, доступны только через API, и у бесплатной версии есть ограничения по количеству запросов. Они подходят для анализа документов, исследовательских агентов, помощников-программистов, приложений с длинным контекстом и ситуаций, где важны безопасность и соответствие определенным стандартам.

Llama 3 70B и 405B от Meta имеют открытый исходный код и могут быть развернуты самостоятельно без оплаты за API; они обеспечивают высокую производительность, пользуются активной поддержкой сообщества и доступны во многих отрегулированных версиях. Для их работы требуется инфраструктура, оплата за обработку запросов, а также специалисты для развертывания; кроме того, они уступают современным передовым моделям. Они подходят для локального развертывания, ситуаций, требующих конфиденциальности данных, работы с большими объемами данных, когда стоимость API становится слишком высокой, а также при необходимости глубокой настройки.

Gemini Pro и Ultra от Google обрабатывают различные типы данных, способны к логическим рассуждениям, интегрируются с сервисами Google и имеют конкурентоспособные цены. Однако их эффективность в производственных агентных системах менее доказана, а экосистема меньше. Они подходят для визуальных приложений, интеграции с Google Cloud и мультимодальных агентов.

Существуют специализированные модели для здравоохранения (Med-PaLM), программирования (CodeLlama, StarCoder), финансов и других областей. Они лучше справляются с узкоспециализированными задачами, но не обладают общей гибкостью.

Параметры настройки для производственного использования

Параметр температуры контролирует случайность. Низкие значения от 0,0 до 0,3 обеспечивают последовательный, детерминированный результат, в то время как высокие значения от 0,7 до 1,0 дают творческий, разнообразный результат. Агент для борьбы с мошенничеством в банковской сфере должен работать при значении 0,0, поскольку последовательность важнее творчества, и одна и та же транзакция должна получать одинаковую оценку риска каждый раз. Агенты службы поддержки клиентов работают при значениях от 0,3 до 0,5, что позволяет допускать некоторую естественную изменчивость в формулировках при сохранении стабильности интерпретации правил. Агенты, создающие маркетинговый текст или описания продуктов, лучше справляются при значениях от 0,7 до 0,9, когда разнообразие придает дополнительную ценность.

Top-p, или выборка ядра, представляет собой ещё один способ контроля случайности. Низкие значения от 0,1 до 0,5 ограничивают выбор наиболее вероятными токенами, в то время как более высокие значения от 0,7 до 0,95 позволяют добиться большего разнообразия.

Параметр Max tokens ограничивает длину вывода и должен соответствовать конкретному случаю использования. Для отчёта по расследованию мошенничества требуется от 1000 до 2000 токенов, для ответа в службе поддержки — от 200 до 500, а для простого ответа от API-запроса — от 50 до 100.

Настройки следует корректировать на основе реальных данных, а не демо-сценариев. Используйте реальные данные пользователей, оценивайте качество и вносите улучшения по мере необходимости.

Окно контекста

Окно контекста определяет объём информации, который агент может учитывать одновременно. Более большие окна позволяют выполнять более сложные логические операции, но увеличивают затраты и время обработки. Размеры окон сильно различаются: 128 тыс. токенов у GPT-4 Turbo, 200 тыс. у Claude 3.5, 8 тыс. у Llama 3 70B (до 32 тыс. в некоторых версиях), а у Gemini Pro — до 1 млн токенов.

Сотруднику службы триажа в здравоохранении достаточно 8 Кбайт памяти, поскольку каждое взаимодействие включает несколько сотен токенов разговора плюс несколько страниц клинических рекомендаций. Агенту для анализа юридических контрактов полезно иметь 200 Кбайт, что позволяет разместить целые контракты вместе с соответствующей судебной практикой и нормативными актами в одном окне, значительно повышая качество по сравнению с разбиением документов на части. Сотруднику службы поддержки клиентов, работающему с каталогами продуктов, историей заказов и документами политики, подходит объем памяти от 32 до 64 Кбайт — это хороший баланс между функциональностью и стоимостью.

На этот выбор также влияет архитектура памяти. Векторные базы данных могут извлекать необходимую информацию, что снижает потребность в огромном объеме памяти.

Стоимость, задержка и точность

Каждая производственная система идет на компромисс между этими тремя факторами.

Что касается стоимости, GPT-4 стоит примерно 30 долларов за миллион входных токенов и 60 долларов за миллион выходных токенов; Claude 3.5 Sonnet находится в том же диапазоне. Llama 3 70B не влечет за собой дополнительных затрат на инфраструктуру, но не предусматривает оплаты за каждый токен. Сотрудник розничного сервиса, обрабатывающий ежедневно 100 000 взаимодействий по 500 токенов каждое, может тратить около 1 500 долларов в день на использование API, что составляет 45 000 долларов в месяц; в таких случаях целесообразно использовать самостоятельно размещенную версию Llama или более мелкие модели. Сотрудник авиационного технического обслуживания, обрабатывающий ежемесячно 1 000 сложных взаимодействий, может тратить примерно 500 долларов в месяц, и в таких условиях покупка модели качества GPT-4 будет разумной.

Что касается задержек, время обработки первого токена составляет от 200 миллисекунд до 2 секунд в зависимости от размера модели и места хостинга, а общее время ответа включает в себя процесс инференса, вызовы инструментов и обработку данных. Чат с клиентами в реальном времени кажется медленным, если время ответа превышает 3 секунды, поэтому рекомендуется использовать более быстрые модели или технологии потоковой обработки. Проверка на мошенничество в пакетном режиме может занимать от 10 до 30 секунд на операцию при повышении точности. Сотрудник, отвечающий за контроль качества на конвейере, должен отвечать менее чем за 2 секунды, поэтому ему требуется оптимизированная версия программы или более мелкие модели.

Что касается точности, более крупные модели обычно лучше рассуждают и более строго следуют инструкциям, причем разница между GPT-4 и менее крупными моделями можно измерить. В ситуациях, где решения имеют высокие последствия, таких как триаж в здравоохранении, финансовое мошенничество и системы критической важности, стоит выбирать лучшую модель, поскольку ошибка стоит дороже самой модели. Для задач с менее серьезными последствиями, таких как рекомендации продуктов, простая классификация услуг и контента, часто достаточно менее крупных моделей. Протестируйте их на реальных данных, чтобы увидеть фактическую разницу в качестве для конкретного случая, поскольку получаемые результаты часто отличаются от реальности.

Сочетание нескольких моделей

В производственных системах часто используются разные модели для разных задач, и запросы направляются к той модели, которая наиболее подходит. Дешевые и быстрые модели выполняют простые задачи, а дорогие и мощные — сложные. Оцените затраты и качество для своей конкретной нагрузки.

• В банковской сфере работа по борьбе с мошенничеством может быть разделена на три направления: GPT-4 для глубокого анализа паттернов и составления отчетов (высокое качество, мало запросов), GPT-3.5 Turbo для массовой рассылки уведомлений клиентам (достаточно хорошее качество и дешевле) и специально настроенный Llama 3 8B для быстрой и недорогой классификации транзакций.
• В системах триажа в здравоохранении можно использовать Claude 3.5 для анализа симптомов, требующего обширного медицинского контекста, GPT-4 для естественного и эмпатичного общения с пациентами, а также специализированную медицинскую модель для поддержки принятия клинических решений.
• В ритейле можно опираться на GPT-4 для разговоров с клиентами, требующих логического мышления, на модели эмбеддингов для поиска продуктов и формирования рекомендаций, а также на специально настроенный классификатор для простой маршрутизации запросов.

Выбор моделей в зависимости от отрасли

• Обнаружение мошенничества в банковской сфере: Claude 3.5 используется в качестве основного инструмента благодаря своей способности обрабатывать 200 тыс. единиц контекста, что позволяет хранить полную историю транзакций и регуляторные рекомендации; GPT-4 Turbo применяется в качестве вспомогательного инструмента для общения с клиентами. Для расследований необходим глубокий анализ паттернов в длинных исторических данных и регуляторных документах, что оправдывает более высокую стоимость.
• Оптимизация запасов в розничной торговле: GPT-4 Turbo используется в качестве основного инструмента для прогнозирования спроса, а самостоятельно развернутый Llama 3 70B — в качестве вспомогательного для формирования цен в реальном времени. Для разработки стратегий требуется качественный анализ, тогда как формирование цен в реальном времени осуществляется в больших объемах, где самостоятельное развертывание инструментов оказывается экономически выгодным.

Триаж пациентов в здравоохранении: GPT-4 в качестве основного инструмента благодаря доказанной надежности при принятии решений, критичных с точки зрения безопасности; Claude 3.5 в качестве резерва для сложных случаев с длительной медицинской историей; специально настроенная модель в качестве вспомогательного средства для рутинной классификации. Для сложных случаев требуется максимальное качество, а для рутинных можно использовать более дешевых специалистов.

Контроль качества в производстве: GPT-4 Vision в качестве основного инструмента для анализа изображений, плюс настроенная модель Llama 3 8B, работающая локально, для быстрой классификации дефектов. При инспекции на производственных линиях важна низкая задержка — небольшая модель обрабатывает рутинные случаи, а GPT-4 Vision занимается более сложными визуальными задачами.

Мониторинг сельскохозяйственных культур: в качестве основного инструмента используется самостоятельно размещенная модель Llama 3 70B на периферийных устройствах; GPT-4 выступает в качестве вспомогательного средства для сложной диагностики заболеваний по изображениям. Из-за нестабильного подключения и удаленного расположения предпочтительна локальная обработка данных — рутинный мониторинг остается локальным, а сложные случаи передаются в облако.

Техническое обслуживание в авиации: GPT-4 в качестве основного инструмента, поскольку для решений, критичных с точки зрения безопасности, необходима максимальная качество, а Claude 3.5 служит резервом для чтения руководств по техническому обслуживанию и нормативных документов. Безопасность — это абсолютный приоритет; нормативные требования подразумевают наличие длинных документов, дублирование информации, а также обязательный человеческий контроль.

Выбор инструментов должен учитывать ваши требования к точности, ограничения по задержкам, экономические аспекты объема работы, требования к конфиденциальности, условия развертывания и степень толерантности к рискам.

Создание основы

Основа определяет всё, что будет следовать за ней. Четко определите цель с измеримыми критериями успеха, разработайте запросы, обеспечивающие последовательное и безопасное поведение, и выберите модели, которые обеспечат баланс между качеством, стоимостью и задержками для конкретного случая использования.

Эти три шага обеспечивают примерно 60% успеха агента. Их пропуск или спешка приводит к системам, которые не справляются в реальных условиях, тогда как их правильное выполнение делает остальные архитектурные элементы более простыми в реализации.

Связанные материалы

• Практические заметки: создание агента для программирования в частном облаке: OpenCode + локальный LLM — Подробное руководство по практическим заметкам: создание агента для программирования в частном облаке: OpenCode + локальный LLM: контракты, проверки и блоки кода для команд, использующих эту схему.

DS-STAR: объяснение концепции агента для науки о данных от Google и причины его эффективности — Подробный обзор агента DS-STAR от Google: его семь модулей, цикл формирования отчетов DS-STAR+, опубликованные инструкции, результаты тестов на эффективность и существующие ограничения.

Вулканические ударные волны в домашних барометрах: раннее предупреждение на основе данных 29 334 метеостанций — Как метеостанции Netatmo, физика волн Ламбе и ИИ-агенты помогли обнаружить кратеры, оценить мощность взрывов и предоставить предупреждение за несколько минут без ложных сигналов.

Практические заметки: Реальные инциденты безопасности, произошедшие с ИИ-агентами на третьей неделе — Подробное руководство по использованию Практических заметок: Реальные инциденты безопасности, произошедшие с ИИ-агентами на третьей неделе: шаблоны контрактов, проверок и кода для команд, разрабатывающих подобные решения.

Создание локальной многоагентной системы с использованием Ollama и CrewAI на 16 ГБ ОЗУ — Выбор модели, вмещающейся в 16 ГБ, её запуск через Ollama, а затем интеграция агентов для программирования, исследований и работы с презентациями CrewAI, включая способы устранения ошибок нехватки памяти, сбоев при вызове инструментов и зацикливаний.

Структурированные системные подсказки для ИИ-агентов на Rust: слои, кэширование, проверка отклонений — Создание слоистой системной подсказки для агента на Rust: идентификатор, инструкции, правила вывода, примеры и актуальный контекст, а также границы кэша и «отпечаток» для интеграционных тестов.

Практические заметки: создание ИИ-агентов на Rust — часть 8 — Пошаговое руководство по Практическим заметкам: создание ИИ-агентов на Rust — часть 8: контракты, проверки и готовые блоки кода для команд, использующих эту модель.