Основи AI-агентів: мета, проектування запитів та вибір моделі

Стартап у сфері охорони здоров’я витратив шість місяців на створення ШІ-агента для сортування пацієнтів. Він працював на найновішій моделі GPT-4, у команді були досвідчені інженери з машинного навчання, інтерфейс виглядав чудово, а інвестори оцінили демонстрацію. Однак коли агент потрапив до реальних клінік, вже через кілька днів медсестри перестали ним користуватися. Агент ставив запитання, які не мали відношення до скарги пацієнта, ігнорував серйозні симптоми та надавав неоднозначні поради. Іноді він був надто обережним та направляв пацієнтів із незначними проблемами до відділення невідкладної допомоги. Іншим разом він ігнорував стани, які потребували уваги.

Це не була провина моделі, і не була провиною навіть коду. Основа була нестабільною. Команда не визначилася з функціоналом агента, поспішно розробила формули запитів та обрала неправильну конфігурацію моделі. Після ще трьох місяців коригувань агент тепер обробляє понад 10 000 взаємодій із пацієнтами на день, що забезпечує 94% задоволення серед медсестер та значно кращі результати для пацієнтів.

Три основні кроки визначають, чи буде агент успішним: визначення його мети, розробка формул запитів та вибір моделі. Якщо їх зробити правильно, решта стане простішою. Якщо ж помилитися, жодні інженерні зусилля цього не виправлять.

Крок 1: визначення мети

Перш ніж почати писати код, необхідно отримати точні відповіді на чотири запитання. Яку проблему потрібно вирішити? Хто буде використовувати агента? Як виглядає успіх? Які існують обмеження? Нечіткі відповіді призводять до невдалих проектів, тоді як конкретні відповіді дозволяють створити системи, які функціонують у реальних умовах.

Коли агент є правильним інструментом

Агент — це не рішення для кожної проблеми. Системи на основі правил краще справляються з простими робочими процесами, класичні моделі машинного навчання підходять для чистого прогнозування, а людські експерти є кращим вибором, коли для прийняття важливого рішення потрібна особа, яка несе відповідальність.

Агенти стають корисними тоді, коли завдання вимагає автономних рішень у складному, багатоетапному робочому процесі з використанням кількох джерел інформації та інструментів.

Візьмемо виявлення шахрайств у банку. Просте правило дозволяє виявити очевидні закономірності, такі як дублювання транзакцій чи використання картки одночасно у двох далеких місцях. Для складніших форм шахрайства потрібне розслідування: спеціаліст має проаналізувати історію транзакцій, порівняти її зі звичайною поведінкою клієнта, перевірити бази даних щодо репутації продавців, обчислити показники ризику за допомогою кількох моделей, пов’язати справу з відомими мережами шахрайств та підготувати набір доказів для людини-рецензента. Це вимагає автономності, адже робота ведеться цілодобово з тисячами транзакцій, крім того потрібне використання інструментів з різних баз даних та API, логічне поєднання слабких сигналів та організація багатоетапного розслідування. Це ідеально підходить для автономного агента.

Перевірка балансу рахунку — це протилежний випадок. Для неї потрібен лише один запит до API, а не автономний агент. Правило полягає у виборі найпростішого способу, який працює.

Хто є користувачами

Користувачі формують архітектуру. Технік на місці потребує можливості роботи в офлайн-режимі, аналітик даних — панелей керування з можливістю детального аналізу, а автоматизована система — чистих API з передбачуваними форматами відповідей. Ось кілька конкретних прикладів:

• Менеджери запасів у роздрібній торгівлі хочуть отримувати короткі пропозиції, які вони можуть прийняти або проігнорувати. Повідомлення на кшталт "Поручити ще 150 одиниць продукту X до п’ятниці" можна використати для дії; примітивний показник оптимізації 0,847 — ні. Співробітник має говорити так само, як і користувач, та вписуватися у наявні процедури.
• Агенти, які працюють із дрібними фермерами в сільській місцевості, змушені планувати свою роботу з урахуванням поганого з’єднання. Попередження у вигляді текстових повідомлень можуть замінити веб-панель керування; агент повинен миритися з ненадійним з’єднанням, а його поради мають надходити місцевими мовами. Проста порада перевірити поле 3 на наявність шкідників сьогодні після обіду значно корисніша, ніж повідомлення про аномалію в секторі із рівнем достовірності 0,73.
• Лікарям та пацієнтам потрібні різні інтерфейси. Лікар, який аналізує рекомендації, потребує клінічних обґрунтувань, показників достовірності та посилань на літературу, тоді як пацієнт хоче простих пояснень та чітких наступних кроків. Це один агент, який працює через два інтерфейси.

Успіх, який можна виміряти

Цілі на кшталт „покращити ефективність“ практично гарантують невдачу. Саме вимірювані цілі спонукають до прийняття рішень.

Для спеціаліста з контролю якості у виробництві успіхом може вважатися виявлення 95% дефектів, які помічають людські інспектори, збереження рівня хибних позитивних результатів нижче 10%, обробка кожного елемента протягом 2 секунд, зниження загального рівня усунених дефектів на 30% та підтримка рівня доступності 99,9% протягом робочих годин. Ці показники безпосередньо впливають на архітектуру. Обмеження у 2 секунди виключає деякі моделі, рівень виявлення 95% вимагає великої кількості даних для навчання, а показник доступності вимагає наявності резервних систем та ретельного керування помилками.

Ефективність працівника з технічного обслуговування літаків оцінюється за іншими критеріями: можливість прогнозування несправностей компонентів за 30 днів з точністю 80%, скорочення планового обслуговування на 40%, повне дотримання нормативних вимог у рекомендаціях, заборона радити відкладати роботи критичної важливості для безпеки та створення повного запису аудиту кожного рішення. Цілі щодо дотримання вимог передбачають суворі тести та людський нагляд, а правила безпеки — консервативні пороги прийняття рішень. Це архітектурні вимоги, а не корективи після запуску.

Обмеження

Кожна система виробництва стикається з трьома видами обмежень. Технічні включають цілі щодо затримок, обмеження інфраструктури та вимоги до інтеграції. Бізнес-обмеження стосуються бюджету, термінів та того, що організація може фактично підтримати. Нормативні обмеження стосуються конфіденційності даних, вимог галузі та вимог до аудиту.

• У банківській сфері домінує регулювання. Спеціаліст з боротьби з шахрайством веде повні записи аудиту, пояснює кожне рішення, ніколи не торкається даних клієнтів без дозволу та дотримується правил, які відрізняються залежно від юрисдикції. Ніщо з цього не підлягає переговорам.
• Спеціалісти у сфері охорони здоров’я повинні дотримуватися стандартів HIPAA. Дані пацієнтів шифруються як під час зберігання, так і під час передачі; доступ до них фіксується та підлягає аудиту; термін зберігання визначається чіткими правилами, а деяку інформацію не можна зберігати навіть на короткий час. Ці обмеження безпосередньо впливають на проектування систем та можливості їх впровадження.
• Спеціалісти у роздрібній торгівлі стикаються з різними тисками. Пікові навантаження під час свят вимагають горизонтального масштабування; інтеграція зі старими системами точок продажу обмежує вибір технологій, а чутливість до витрат спонукає обирати дешевші варіанти. Усе це формує всю архітектуру системи.

Запишіть ці обмеження. Вони визначають, що є можливим.

П’ять прикладів з практики

Кожен з них охоплює разом мету, користувачів, показники успіху та обмеження.

• Банківська справа – агент для моніторингу транзакцій. Він виявляє та досліджує підозрілі транзакції в реальному часі, щодня обробляючи мільйони заявок, для аналітиків з боротьби з шахрайством та спеціалістів з дотримання правил. Успіх означає виявлення 90% шахрайств із менш ніж 5% хибних позитивних результатів, обробку кожної справи протягом 30 секунд та зберігання повного запису аудиту. Обмеження включають дотримання регуляторних вимог, пояснення кожного рішення, заборону блокувати легітимні транзакції без перевірки аналітиком та 99,95% часу роботи цілодобово.
• Роздрібна торгівля – інструмент динамічного ціноутворення. Він налаштовує ціни для тисяч позицій асортименту з урахуванням попиту, конкуренції, рівня запасів та цільових марж, призначений для менеджерів категорій та аналітиків цін. Результатом є на 8% більший дохід при дотриманні цільових марж, оновлення цін двічі на день, управління сезонними коливаннями та дотримання мінімальних та максимальних цін. Обмеження включають наявну інтеграцію з ERP, заборону встановлювати ціни нижче собівартості, необхідність збереження конкурентоспроможності та дотримання правил ціноутворення.
• Охорона здоров’я – інструмент триажу пацієнтів. Він оцінює симптоми, визначає ступінь терміновості, рекомендує формат надання допомоги та бронює прийоми, призначений для медсестер, пацієнтів та адміністраторів клінік. Результатом є 95% збігу з оцінками медсестер, скорочення часу очікування на 30%, покращена задоволеність та негайне спрямування термінових випадків. Обмеження включають вимоги HIPAA, заборону затримки надання екстреної допомоги, емпатичну комунікацію, інтеграцію з системою EHR та підтримку кількох мов.
• Виробництво: інструмент прогностичного обслуговування. Він стежить за станом обладнання, прогнозує несправності, планує профілактичні роботи та розподіляє бригади для керівників з обслуговування, менеджерів заводів та техніків. Успіх полягає у прогнозуванні несправностей за 30 днів з точністю 85%, скороченні кількості непланованих перерв у роботі на 50%, зниженні витрат на обслуговування та подовженні терміну служби обладнання на 20%. Обмеження включають обробку даних з датчиків у реальному часі, існуючу систему CMMS, застаріле обладнання, вимоги до безпеки та роботу поза мережею.
• Сільське господарство – інструмент для контролю здоров’я культур. Він відстежує посіви за допомогою супутникових знімків та наземних датчиків, виявляє спалахи хвороб, рекомендує заходи щодо боротьби з ними, а також оптимізує системи зрошення та добрив для менеджерів ферм, агрономів та керівників кооперативів. Успіх полягає у виявленні хвороб на тиждень раніше, ніж це можливо при ручній перевірці, економії 25% води, підвищенні врожайності на 15% та наданні рекомендацій місцевою мовою. Обмеження включають нерівномірний зв’язок, телефони низької якості, існуюче програмне забезпечення для ферм, сповіщення через SMS та багато типів культур.

Кожен сценарій використання має свої вимоги, які формують всю архітектуру, тому цей етап вимагає роботи в реальному часі.

Крок 2: розробка запитів

Інструкція системи є посібником з експлуатації агента. Вона визначає його особистість, можливості, обмеження та шаблони поведінки. Добре складена інструкція забезпечує послідовну, безпечну та надійну поведінку, тоді як погана призводить до непередбачуваних результатів, які не функціонують у реальних умовах.

Цілі

Почніть з того, що має досягти агент, і будьте конкретними та повними у своїх описах.

Агенту-аналітику банківських шахрайств можуть доручити аналізувати транзакції на наявність ознак шахрайства, оцінювати ризик за наданими моделями, порівнювати з відомими шаблонами шахрайств, складати детальні звіти про розслідування та негайно передавати справи високого ризику. Йому також слід підтримувати професійний стиль у всіх комунікаціях, ніколи не розголошувати деталей розслідування клієнтам та завжди надавати обґрунтування своїх оцінок ризиків. Усе це визначає сферу діяльності та межі, щоб агент знав, що робити та чого уникати.

Агент служби підтримки клієнтів у роздрібній торгівлі отримує інший список обов’язків. Він вирішує запитання щодо замовлень, продуктів та правил компанії, перевіряє історію замовлень та наявність товарів, обробляє повернення в межах чинних правил, передає заявки на повернення коштів у розмірі понад 500 доларів людині, яка може прийняти рішення, підтримує дружню атмосферу та збирає відгуки після кожної взаємодії. Йому заборонено обіцяти щось поза межами правил компанії, і він повинен пропонувати альтернативи, коли не може задовольнити запит. Межі його повноважень чітко визначені: він не може схвалювати великі суми повернення коштів, мусить передавати їх на розгляд вищих посадовців та дотримуватися чинних правил. Ці обмеження запобігають проблемній поведінці.

Персонаж

Персонаж впливає на те, наскільки послідовним здається агент та наскільки користувачі йому довіряють. Агент з триажу в охороні здоров’я повинен звучати спокійно та професійно, що заспокоює людей. Агент з репетиторства має бути підбадьорливим та терплячим, щоб підтримувати мотивацію учнів, а агент технічної підтримки — обізнаним та методичним, щоб його рішення здавалися надійними.

У сфері технічного обслуговування літаків персонажем є досвідчений інженер з технічного обслуговування літаків з двадцятирічним досвідом роботи з різними типами літаків. Безпека має найвищий пріоритет, суворо дотримуються інструкцій виробника, комунікація є чіткою та технічно точною, рішення ніколи не приймаються поспіхом, коли йдеться про безпеку, а все документується для регуляторів. Саме цей персонаж визначає, як агент підходить до проблем, повідомляє про результати та приймає рішення, забезпечуючи послідовність у тисячах взаємодій.

Консультант з сільського господарства для дрібних фермерів закликає до пошуку ще одного голосу. Він знає місцеві культури, клімат та методи ведення сільського господарства, говорить простою та практичною мовою, розуміє обмеження у ресурсах, з якими стикаються фермери, пропонує поради, що відповідають наявним інструментам та бюджету, поважає традиційні знання, водночас впроваджуючи сучасні методи, та залишається терплячим та підбадьорливим.

Стиль викладу має відповідати аудиторії. Технічна термінологія підходить для експертів, проста мова — для широкої аудиторії, а культурна чутливість має велике значення під час роботи у глобальному масштабі.

Інструкції

Інструкції пояснюють агенту, як виконувати завдання. Розпливчасті інструкції призводять до нерівномірної роботи, а конкретні — до надійності. Нумеровані процедури добре працюють, і ці два приклади демонструють такий стиль.

Агент з контролю якості, який переглядає зображення продукції, дотримується восьми кроків:

1. Завантажте зображення та визначте його характеристики за допомогою моделі розпізнавання зображень.
2. Порівняйте ці характеристики зі стандартами якості для цього типу продукту.
3. Виявіть усі дефекти та позначте їх за допомогою рамок та класу.
4. Оцініть ступінь серйозності кожного дефекту за наданою шкалою.
5. Якщо ступінь серйозності перевищує порогове значення, відхиліть продукт та задокументуйте деталі.
6. Якщо ступінь серйозності є межовим, запросіть людський огляд із відповідними доказами.
7. Оновіть показники якості в базі даних.
8. Негайно повідомте керівників, якщо поспіль з’являється кілька дефектів одного типу.

Такі кроки усувають неоднозначності, і агент знає, що робити в кожній ситуації.

Агент для оцінки пацієнтів дотримується десяти кроків:

1. Зберіть інформацію про симптоми, тривалість їхнього прояву та ступінь серйозності за допомогою структурованого опитувальника.

Задавайте додаткові запитання залежно від сукупності симптомів.

Перевіряйте наявність ознак, що вимагають негайної допомоги.

Якщо з’являються такі ознаки, класифікуйте ситуацію як надзвичайну та направте пацієнта за відповідною процедурою.

Розрахуйте бал триажу за затвердженим алгоритмом.

На основі балу та симптомів порекомендуйте варіант надання допомоги.

Забронюйте прийом, якщо це необхідно.

Чітко поясніть пацієнту наступні кроки та часові рамки.

Ніколи не ставьте діагноз та не рекомендуйте конкретне лікування.

У разі неоднозначності ситуації дотримуйтесь обережності.

Правило „ніколи не ставити діагноз“ є найважливішим тут, оскільки воно встановлює чіткі межі, що запобігають проблемам з відповідальністю.

Обмежувальні заходи

Обмежувальні заходи запобігають шкідливій чи проблематичній поведінці, і системи виробництва не можуть обійтися без них. Існує три групи таких заходів:

• Механізми контролю контенту запобігають неналежному вмісту. Співробітник служби підтримки клієнтів ніколи не вживає образливих слів, навіть якщо це робить клієнт, а фінансовий консультант ніколи не гарантує прибуток чи не робить обіцянок щодо ринку.
• Механізми безпеки запобігають небезпечним діям. Співробітник авіаційної компанії ніколи не рекомендує відкладати критично важливе технічне обслуговування, співробітник охорони здоров’я ніколи не пропонує відкладати невідкладну допомогу, а співробітник виробництва ніколи не вимикає системи безпеки.
• Механізми захисту приватності запобігають витокам інформації. Співробітник банку ніколи не ділиться інформацією одного клієнта з іншим рахунком, співробітник охорони здоров’я ніколи не розголошує дані пацієнтів без дозволу, а співробітник роздрібної торгівлі ніколи не розкриває конфіденційні алгоритми формування цін.

Співробітник банку, який займається виявленням шахрайств, повинен дотримуватися цих правил. Ніколи не розголошувати методи чи моделі виявлення шахрайств жодному користувачеві. Ніколи не ділитися деталями розслідування з власником рахунку, який перебуває під слідством. Ніколи не відкривати рахунок без законних підстав, пов’язаних із шахрайством. Ніколи не приймати рішення про закриття рахунку без схвалення аналітика. Ніколи не передавати інформацію про клієнтів від одного розслідування до іншого. Завжди вести журнали аудиту доступу до рахунків. Якщо є сумніви щодо дотримання нормативних вимог, зверніться до людського керівника. Це захищає банк, його клієнтів та цілісність розслідувань.

Спеціаліст з триажу в охороні здоров’я буде допомагати іншим. Жодних конкретних діагнозів чи рекомендацій щодо лікування. Негайна передача пацієнта на вищий рівень допомоги у разі болю в грудях, проблем з диханням, сильної кровотечі чи інших невідкладних симптомів. Жодних пропозицій відкласти лікування пацієнтів із серйозними симптомами заради економії грошей. Без активної взаємодії немає доступу до медичної картки пацієнта. Постійний емпатичний та професійний тон спілкування. Негайне з’єднання з ресурсами допомоги у кризових ситуаціях, якщо пацієнт висловлює думки про самогубство. Жодного обміну інформацією про пацієнта з неуповноваженими особами. Надання допомоги на вищому рівні у разі, коли ступінь терміновості незрозуміла. Це забезпечує безпеку пацієнтів та гарантує належний рівень догляду.

Тестування та вдосконалення

Перший запит не буде ідеальним. Спробуйте його у реальних сценаріях, шукайте крайні випадки та поступово вдосконалюйте. Ефективний підхід — почати з базового запиту, протестувати його у 20–30 типових сценаріях, зафіксувати невдачі, знайти закономірності, скоригувати запит та повторити процес.

Агент з визначення цін у роздрібній торгівлі може рекомендувати ціни нижче собівартості під час високого попиту. Рішенням є чітке правило забороняти таке ціноутворення та встановлення мінімальної націнки у 10%. Агент з триажу може ігнорувати постійні проблеми, вважаючи їх незначними, хоча вони можуть свідчити про щось серйозне; рішенням є вимога завжди рекомендувати медичну діагностику у разі симптомів, які тривають понад два тижні, незалежно від їхньої очевидної тяжкості.

Тестування виявляє прогалини в інструкціях, відсутність захисних механізмів та неоднозначні рекомендації. Це вдосконалення є обов’язковим — саме так створюються надійні продуктивні системи.

Повні приклади запитів

Якщо об’єднати всі елементи, кожен запит має однакову структуру: роль, цілі, інструкції та обмеження, адаптовану до конкретної галузі.

Аналітик з банківських шахрайств виступає у ролі спеціаліста з боротьби з шахрайствами із п’ятнадцятирічним досвідом у розслідуванні фінансових злочинів; він готує детальні оцінки ризиків для інших аналітиків. Його цілі — виявляти аномалії у патернах транзакцій, розраховувати показники ризику за допомогою схвалених моделей, перевіряти транзакції у базах даних про відомі шахрайства, складати ретельні звіти із доказами та надсилати справи високого ризику безпосередньо до людських аналітиків. При аналізі транзакції він діє наступним чином:

1. Отримує повну історію транзакцій рахунку.
2. Шукає аномалії у швидкості виконання транзакцій, тобто незвичайну частоту або суми.
3. Перевіряє, чи відповідають продавець та місцезнаходження профілю клієнта.
4. Оцінює ймовірність шахрайства за допомогою ансамблевої моделі.

Якщо показник перевищує 0,8, негайно передайте справу на розгляд із детальними доказами.

Якщо показник знаходиться в межах від 0,5 до 0,8, позначте справу для перегляду аналітиком разом із підтримуючими даними.

Якщо показник нижчий за 0,5, скасуйте транзакцію та задокументуйте прийняте рішення.

Щоразу фіксуйте обґрунтування та джерела даних.

Її правила: не розкривати методів виявлення, не обговорювати поточні розслідування з власниками рахунків, не отримувати доступ до рахунків без законних підстав, вести аудитну історію кожного рішення, передавати сумніви щодо дотримання правил керівнику та не схвалювати закриття рахунків без підтвердження від аналітика.

Співробітник служби підтримки клієнтів у роздрібній торгівлі виступає у ролі корисного та дружелюбного представника преміум-бренду, який допомагає з замовленнями, товарами та правилами, підтримуючи високу якість обслуговування. Його цілі — швидке та ефективне вирішення проблем, повернення та обмін товарів в межах правил, точна інформація про товари та рекомендації, послідовний стиль комунікації бренду та належне передавання складних ситуацій до вищих інстанцій. Щодо запитів про замовлення він:

1. Шукає замовлення за номером чи електронною поштою.
2. Надає поточний статус та очікувану дату доставки.
3. Пояснює причини затримки та пропонує альтернативи, якщо замовлення запізнюється.
4. Керує процесом відстеження та розв’язує будь-які проблеми.
5. Передає ситуацію команді з обробки замовлень, якщо товар відсутній.

Щодо повернення товарів він:

1. Перевіряє, чи замовлення припадає на термін у 30 днів.
2. Перевіряє, чи стан товару відповідає встановленим критеріям.
3. Видає дозвіл на повернення та етикетку.
4. Розпочинає процедуру повернення грошей після отримання товару.
5. Переказує повернення сум, що перевищують 500 доларів, менеджеру для схвалення.

Її правила: жодних повернень грошей поза межами політики без схвалення менеджера, жодних обіцянок щодо термінів доставки, які вона не може контролювати, жодної інформації про постачальника чи витрати, професійний та співчутливий тон навіть щодо розчарованих клієнтів, ввічливе завершення спілкування та переход до вищого рівня підтримки, якщо клієнт починає агресувати, а також жодних повернень без належної перевірки.

Спеціаліст з триажу в охороні здоров’я — це співчутлива, досвідчена медсестра, яка допомагає пацієнтам знайти відповідне місце надання допомоги, оцінюючи симптоми та ступінь терміновості, водночас забезпечуючи їхню безпеку. Її цілі — точна оцінка симптомів та ступеня терміновості, направлення пацієнтів до відділення невідкладної допомоги, відділення екстреної допомоги, первинної медичної допомоги чи для самодогляду, негайна допомога у випадках невідкладних ситуацій, зменшення кількості непотрібних візитів до відділення невідкладної допомоги та підтримка довіри пацієнтів. Під час оцінки вона:

1. Записує основні скарги та деталі симптомів за допомогою структурованих запитань.
2. Запитує про тривалість, тяжкість та перебіг захворювання.
3. Перевіряє наявність ознак, що вимагають негайної допомоги.
4. Оцінює аномалії життєво важливих показників, якщо вони є.
5. Розраховує ступінь терміновості за схваленим алгоритмом.
6. Надає рекомендацію з чітким обґрунтуванням.
7. У разі потреби бронює прийом.
8. Пояснює наступні кроки.

Додає рекомендації щодо дій у разі необхідності звернення, які пояснюють, коли потрібно звернутися за допомогою на вищому рівні.

Ознаки, що вказують на необхідність негайної допомоги, – це біль або тиск у грудях, труднощі з диханням, сильна кровотеча або травма, раптовий сильний головний біль або зміни зору, заплутаність або зміна стану свідомості, ознаки інсульту, такі як опущення обличчя, слабкість руки або проблеми з мовленням, сильна алергічна реакція, а також суїцидальні чи вбивчі думки. Заходи безпеки включають: відсутність конкретних діагнозів чи рекомендацій щодо лікування, розгляд усіх ознак як надзвичайних ситуацій незалежно від інших факторів, відсутність порад щодо відкладення негайної допомоги через витрати чи зручність, емпатична та орієнтована на пацієнта комунікація, негайний доступ до ресурсів для кризових ситуацій у разі виникнення суїцидальних думок, відсутність доступу до медичних записів без активної згоди пацієнта, надання переваги більш інтенсивному лікуванню при невизначеній терміновості та передача складних випадків на розгляд керівника медсестер.

Кожен запит підходить для своєї сфери, типу користувача та профілю ризиків. Банківський агент зосереджується на розслідуваннях та дотриманні правил, роздрібний агент знаходить баланс між задоволенням клієнта та правилами, а агент у сфері охорони здоров’я ставить безпеку на перше місце.

Крок 3: виберіть модель

Вибір моделі безпосередньо впливає на продуктивність, витрати, затримку та можливості, а неправильний вибір підриває все інше.

Варіанти базових моделей

Ринок швидко змінюється, але основні компроміси залишаються незмінними: можливості проти витрат, затримка проти якості, хостовані моделі проти самохостованих та універсальні моделі проти спеціалізованих.

• GPT-4 та GPT-4 Turbo від OpenAI дуже добре міркують, суворо дотримуються інструкцій, створюють якісний творчий контент та надійно виконують функції, маючи широку підтримку використання інструментів. Недоліки — вища вартість, помірна затримка та залежність від API OpenAI. Вони підходять для складних міркувань, творчої роботи, універсальних агентів та ситуацій, де якість важливіша за ціну.
• Claude 3.5 та Claude 4.5 від Anthropic вирізняються аналізом довгих документів, сильними міркуваннями, створенням відмінного коду, виконанням навіть найтонших інструкцій та пропонують вікно контексту на 200 тисяч токенів із сильною орієнтацією на безпеку. Вони коштують дорожче, доступні лише через API, а у безкоштовній версії є обмеження на кількість запитів. Вони підходять для аналізу документів, дослідницьких агентів, асистентів з програмування, додатків із довгим контекстом та ситуацій, де важливі безпека та орієнтація.

Llama 3 70B та 405B від Meta є програмним забезпеченням з відкритим кодом, яке можна розмістити власно без оплати за API, має гарну продуктивність, сильну підтримку спільноти та доступне у багатьох налаштованих версіях. Для їх роботи потрібна інфраструктура, оплата за обробку даних та фахові знання для налаштування; крім того, вони поступаються сучасним моделям. Вони підходять для використання на власному обладнанні, у ситуаціях, коли необхідна конфіденційність даних, при великому обсязі роботи, коли витрати на API є неприйнятними, а також для індивідуальної налаштуваності.

Gemini Pro та Ultra від Google обробляють кілька типів даних, ефективно міркують, інтегруються з сервісами Google та мають конкурентоспроможні ціни. Вони менш перевірені у системах продакшн-агентів та мають менший екосистему. Вони підходять для застосунків з обробкою зображень, інтеграції з Google Cloud та багатомодальних агентів.

Існують моделі, спеціалізовані на певних галузях, таких як охорона здоров’я (Med-PaLM), програмування (CodeLlama, StarCoder), фінанси та інші. Вони краще справляються з вузькоспрямованими завданнями, але не мають загальних можливостей.

Параметри налаштування для експлуатації

Параметр температури контролює випадковість. Низькі значення від 0,0 до 0,3 забезпечують послідовний, детерміністичний результат, тоді як високі значення від 0,7 до 1,0 дають творчий, різноманітний результат. Агент для виявлення шахрайств у банківській сфері має працювати при значенні 0,0, оскільки послідовність важливіша за творчість, і одна й та сама транзакція має отримувати однакову оцінку ризиків щоразу. Агенти служби підтримки клієнтів працюють при значеннях від 0,3 до 0,5, що дозволяє певну природну варіацію у формулюваннях, залишаючи при цьому стабільним тлумачення правил. Агенти, які пишуть маркетинговий текст чи описи продуктів, краще працюють при значеннях від 0,7 до 0,9, оскільки різноманітність додає цінності.

Top-p, або вибірка ядра, є ще одним засобом контролю випадковості. Низькі значення від 0,1 до 0,5 обмежують вибір найймовірнішими токенами, тоді як вищі значення від 0,7 до 0,95 дозволяють більшу різноманітність.

Max tokens встановлює максимальну довжину результату та повинен відповідати конкретному сценарію використання. Звіт про розслідування шахрайства потребує від 1000 до 2000 токенів, відповідь служби підтримки клієнтів — від 200 до 500, а відповідь на простий запит API — від 50 до 100.

Налаштовуйте параметри на основі реальних даних, а не демонстраційних сценаріїв. Використовуйте реальний вхідний даний від користувачів, оцінюйте якість та вносьте корективи.

Вікно контексту

Вікно контексту визначає, скільки інформації агент може обробляти одночасно. Більші вікна дозволяють більш складне міркування, але збільшують витрати та затримки. Розміри вікон сильно варіюються: 128K токенів для GPT-4 Turbo, 200K для Claude 3.5, 8K для Llama 3 70B (до 32K у деяких версіях) та аж 1M для Gemini Pro.

Агент з триажу в охороні здоров’я може ефективно працювати з обсягом 8K, адже кожна взаємодія складається з кількох сотень токенів розмови плюс кількох сторінок клінічних рекомендацій. Агент з аналізу юридичних контрактів отримує користь від обсягу 200K, який дозволяє розмістити всі контракти разом із відповідним судовим досвідом та нормативами в одному вікні, що значно покращує якість порівняно з розділенням документів на частини. Агент служби підтримки клієнтів, який працює з каталогами продуктів, історією замовлень та документами політики, комфортно працює при обсязі від 32K до 64K — це хороший баланс між функціональністю та витратами.

Архітектура пам’яті також впливає на цей вибір. Векторні бази даних можуть знаходити необхідну інформацію, що зменшує потребу у великому обсязі пам’яті.

Витрати, затримка та точність

Кожна продуктивна система знаходить баланс між цими трьома факторами.

Щодо вартості, GPT-4 коштує близько 30 доларів за мільйон вхідних токенів та 60 доларів за мільйон вихідних токенів; Claude 3.5 Sonnet знаходиться в тому ж діапазоні. У свою чергу Llama 3 70B не має додаткових витрат на інфраструктуру, але не передбачає оплати за кожен токен. Агент роздрібного обслуговування, який щодня обробляє 100 000 взаємодій по приблизно 500 токенів кожна, може витратити до 1 500 доларів на день на послуги API, або 45 000 доларів на місяць, що може стати підставою для самостійного розміщення Llama або використання менших моделей. Агент з технічного обслуговування літаків, який щомісяця обробляє 1 000 складних взаємодій, може витратити близько 500 доларів, і у такому випадку якість GPT-4 є розумним вибором.

Щодо затримки, час обробки першого токену становить від 200 мілісекунд до 2 секунд залежно від розміру моделі та місця її розміщення, а загальний час відповіді включає етапи інференції, викликів інструментів та обробки даних. Чат з клієнтами в реальному часі здається повільним, якщо він триває понад 3 секунди, тому слід використовувати швидші моделі або технології стрімінгу. Перевірка фрауду пакетами може займати від 10 до 30 секунд на операцію за умови покращення точності. Спеціаліст з контролю якості на конвеєрному виробництві повинен відповідати протягом менше ніж 2 секунд, тому йому потрібне оптимізоване розгортання або менші моделі.

Щодо точності, більші моделі зазвичай краще міркують та більш суворо дотримуються інструкцій, а різниця між GPT-4 та меншими моделями може бути виміряна. У ситуаціях, де рішення мають великі наслідки, як-от при триажі в охороні здоров’я, фінансових шахрайствах та системах критичної важливості, краще обирати найкращу модель, адже помилка коштує дорожче, ніж сама модель. Для завдань з меншими вимогами, таких як рекомендації товарів, проста класифікація послуг та контенту, часто підходять менші моделі. Протестуйте їх на реальних даних, щоб побачити фактичну різницю в якості для конкретного випадку, адже імпресії часто відрізняються від реальності.

Поєднання кількох моделей

У продакшн-системах часто використовуються різні моделі для різних завдань, і запити направляються до тієї, яка підходить. Дешеві та швидкі моделі виконують прості завдання, а дорогі та потужні — складні. Вимірюйте витрати та якість для своєго робочого навантаження.

• У банках робота зі запобігання шахрайству може бути розділена на три напрямки: GPT-4 для глибокого аналізу закономірностей та підготовки звітів (висока якість, мало дзвінків), GPT-3.5 Turbo для надсилання великої кількості сповіщень клієнтам (достатня якість та нижча вартість), а також налаштований Llama 3 8B для швидкої та недорогої класифікації операцій.
• Система триажу в охороні здоров’я може використовувати Claude 3.5 для аналізу симптомів, який потребує довгого медичного контексту, GPT-4 для природної та емпатичної комунікації з пацієнтами, а також спеціалізовану медичну модель для підтримки прийняття клінічних рішень.
• У роздрібній торгівлі можна використовувати GPT-4 для розмов з клієнтами, які вимагають логічних міркувань, моделі ембеддингу під час пошуку та рекомендацій продуктів, а також налаштований класифікатор для простого направлення запитів.

Вибір моделей за галузями

• Виявлення шахрайств у банківській сфері: Claude 3.5 використовується як основний інструмент через його здатність обробляти 200 тис. елементів контексту, що містить повну історію транзакцій та регуляторні вказівки, а GPT-4 Turbo — як допоміжний для комунікації з клієнтами. Для розслідувань необхідний глибокий аналіз закономірностей у довгих історичних даних та регуляторних документах, що виправдовує вищу вартість.
• Оптимізація запасів у роздрібній торгівлі: GPT-4 Turbo використовується як основний інструмент для прогнозування попиту, а самостійно розгорнутий Llama 3 70B — як допоміжний для формування цін у реальному часі. Для стратегічних рішень потрібні якісні міркування, тоді як формування цін у реальному часі вимагає великих обсягів роботи, де самостійне розгортання інструментів є економічно доцільним.

Тріаж пацієнтів у охороні здоров’я: GPT-4 використовується як основний інструмент через його доведену надійність у прийнятті рішень, що мають критичне значення для безпеки; Claude 3.5 слугує альтернативою для складних випадків із довгою медичною історією, а спеціалізована модель — як допоміжний засіб для рутинної класифікації. Для складних випадків потрібна найвища якість, тоді як для рутинних можна використовувати дешевших фахівців.

Контроль якості у виробництві: GPT-4 Vision використовується як основний інструмент для аналізу зображень, крім того, на місцях працює налаштована модель Llama 3 8B для швидкої класифікації дефектів. Перевірка на конвеєрі вимагає низької затримки — мала модель підходить для рутинних випадків, а GPT-4 Vision обробляє складні візуальні ситуації.

Моніторинг сільськогосподарських культур: як основний інструмент використовується самостійно розміщена модель Llama 3 70B на периферійних пристроях, а GPT-4 — як допоміжний засіб для складної діагностики захворювань на основі зображень. Нестабільний зв’язок та віддалені об’єкти сприяють локальному розміщенню моделей; рутинний моніторинг залишається локальним, а складні випадки передаються до хмари.

Технічне обслуговування літаків: GPT-4 використовується як основний інструмент, оскільки рішення, що стосуються безпеки, вимагають найвищої якості, а Claude 3.5 слугує резервом для читання посібників з технічного обслуговування та правил. Безпека — це непереговорна умова, а правила передбачають наявність довгих документів, резервування та обов’язковий контроль з боку людини.

Вибір має відображати ваші власні потреби щодо точності, обмеження щодо затримок, економічні аспекти обсягу роботи, вимоги до конфіденційності, середовище розгортання та ступінь толерантності до ризиків.

Створення основи

Основа визначає все, що буде далі. Чітко визначте мету з помірними критеріями успіху, розробіть запити, які забезпечують послідовну та безпечну роботу, та оберіть моделі, які збалансують якість, вартість та затримки для конкретного випадку застосування.

Ці три кроки становлять близько 60% успіху агента. Їх ігнорування чи поспішне виконання призводить до систем, які не функціонують у реальних умовах, тоді як їх ретельне виконання полегшує роботу з рештою архітектурних елементів.

Пов’язана література

• Практичні нотатки: Створення агента для кодування в приватній хмарі: OpenCode + локальний LLM — Детальний посібник з практичних нотаток щодо створення агента для кодування в приватній хмарі: OpenCode + локальний LLM, включаючи контракти, перевірки та шаблони коду для команд, які використовують цю модель.

DS-STAR: пояснення, агент з науки про дані від Google та причини його успіху — Детальний огляд агента з науки про дані DS-STAR від Google: його сім модулів, цикл звітності DS-STAR+, опубліковані запити, результати абляційних тестів та існуючі обмеження.

Вулканічні ударні хвилі в домашніх барометрах: раннє попередження на основі даних з 29 334 метеостанцій — Як метеостанції Netatmo, фізика хвиль Ламбе та штучні інтелектуальні агенти визначали кратери, оцінювали потужність вибухів та надавали кілька хвилин попередження без хибних сигналів.

Практичні нотатки: Реальні інциденти з безпекою, які трапилися з AI-агентами у третій тиждень — Детальний посібник з Практичних нотаток: Реальні інциденти з безпекою, які трапилися з AI-агентами у третій тиждень: контракти, перевірки та шаблони коду для команд, які використовують цю модель.

Створіть локальну багатоагентну систему за допомогою Ollama та CrewAI на 16GB RAM — Виберіть модель, яка поміщається у 16GB пам’яті, запустіть її на Ollama, потім під’єднайте агенти для програмування, досліджень та створення презентацій у CrewAI, включивши способи усунення помилок OOM, невдалих викликів інструментів та циклів.

Структуровані системні запити для AI-агентів на Rust: шари, кешування, перевірка відхилень — Створення багатошарового системного запиту для агента на Rust: ідентичність, інструкції, правила виведення, приклади та актуальний контекст, а також межі кешу та «відбиток» для CI.

Практичні нотатки: створення AI-агентів на Rust – частина 8 — Покрокове керівництво з практичних нотаток: створення AI-агентів на Rust – частина 8: контракти, перевірки та готові фрагменти коду для команд, які використовують цю схему.