Корни графов знаний в агентных ИИ: FIPA, семантическая сеть и агенты на основе больших языковых моделей

Если прочитать достаточно современных статей об агентных ИИ, возникает странное ощущение: многое из этого звучит как что-то из конференции 2003 года. Агенты, описывающие свои способности в формате, понятном компьютеру. Агенты, находящие друг друга через каталог. Общие словари, позволяющие двум системам договориться о значении сообщения. Стандартные протоколы для ведения переговоров. Всё это вернулось, но теперь использует новую лексику и работает на совершенно другом движке.

В этой статье рассматривается это совпадение. Описываются более ранние проекты по созданию агентов и семантическим сетям, сопоставляются они с тем, что существует сейчас, и определяется, какие аспекты представляют собой реальную преемственность, а какие — лишь сходство. Также анализируется область, в которой два периода наиболее резко различаются, а именно вопросы безопасности.

Как выглядит текущая волна развития

Несколько достижений последних лет помогают понять ситуацию.

Исследователи в области безопасности опубликовали тестовые данные, демонстрирующие, что агенты нового поколения могут слишком легко прибегать к вредоносному поведению при целенаправленных тестах. Microsoft выпустила POML — формат разметки на основе XML для управления агентами больших языковых моделей. Google представил протокол Agent2Agent (A2A), объявив о сотрудничестве с десятками организаций с момента его запуска с целью стандартизации способов взаимодействия агентов между собой. NVIDIA утверждает, что сочетание языковых моделей с графами знаний помогает сократить количество галлюцинаций.

Каждый из этих элементов был бы понятен исследователю двадцатилетней давности. Примерно в 2006 году несколько человек уже выступали за аналогичный набор инструментов: структурированную разметку для описания поведения агентов, стандартные протоколы обмена данными и смыслы, закрепленные в онтологиях. Одна из статей того года, посвящённая XML и искусственному интеллекту, утверждала, что машинам необходимо именно это для работы с огромным объёмом информации в Интернете. Формулировки казались грубыми по современным стандартам, но направление было ясным: программные агенты, действующие в открытом и хаотичном Интернете, должны были вести переговоры от имени людей, для чего требовался общий, структурированный язык для сотрудничества в масштабах.

Индустрия выбрала другой путь. Когнитивным ядром стали нейронные сети. Теперь возвращаются сопутствующие проблемы, вместе с некоторыми старыми ошибками.

Атмосфера 2006 года

Чтобы понять, насколько устаревшим был подход, основанный на агентах и онтологиях, представьте себе тот момент. Это был расцвет Web 2.0: внимание сосредотачивалось на интерфейсах AJAX, социальных платформах и контенте, создаваемом пользователями. Google только что заплатил 1,65 миллиарда долларов за YouTube. Facebook открывался для всех, а Twitter только появился.

Доминирующая точка зрения гласила, что сеть предназначена для публикации и обмена контентом людьми, а не для самостоятельной координации машин. Идеи семантической сети, систем агентов и формальных онтологий казались многим наблюдателям академическими хобби, слишком сложными для практического использования; комментаторы открыто сомневались, будут ли кто-то вне университетов использовать RDF или OWL в реальных проектах.

Тем не менее небольшое число специалистов считало, что веб в конечном итоге превратится в среду, в которой будут публиковаться сервисы и информация для того, чтобы программное обеспечение могло их находить и объединять. Если убрать устаревшие формулировки, это описание полностью соответствует тому, как сегодня описываются многопроцессные системы на основе больших языковых моделей и «сети агентов».

Старый набор инструментов

Эта концепция не была расплывчатой — она опиралась на конкретные стандарты и платформы.

FIPA, Фонд интеллектуальных физических агентов, определил язык общения агентов, включающий 22 типа речевых действий: информирование, запрос, предложение, согласие, отказ, запрос информации, подтверждение, опровержение и другие. Это был не просто формат сообщений — это была коммуникативная схема с формальной семантикой, основанной на теории речевых действий, что позволяло агентам вести переговоры, формировать коалиции и отслеживать обязательства, обязанности и разрешения в ходе многократных обменов. Крупные компании, в том числе IBM, HP и BT, поддерживали платформы, соответствующие стандартам FIPA.

OWL-S — профиль языка веб-онтологий для сервисов, позволяющий агентам находить, вызывать и комбинировать веб-сервисы на основе семантических описаний входных данных, выходных данных, предпосылок и последствий. Типовой пример — агент по планированию путешествий, который самостоятельно находил рейсы, отели и аренду автомобилей, связывал их в маршрут и выполнял его для пользователя без необходимости в ручной настройке интеграций.

AIML — это формат XML для описания поведения в диалоге, который лег в основу чат-бота ALICE, трехкратного обладателя премии Лёбнера.

RDF и OWL предоставили агентам возможность обмениваться смыслом, а не только синтаксисом, при этом для распределенных вычислений использовались хранилища тройек данных и движки SPARQL.

Справочники служили аналогом желтых страниц для агентов. В рамках концепции управления агентами FIPA агент мог зарегистрировать свои возможности в структурированном описании и найти аналогичные агенты по их функциям, что напоминает механизмы обнаружения сервисов в современных инфраструктурах.

Разработчик того времени не имел ни трансформаторов, ни кластеров GPU. У него была лишь трехчастная интуиция: интернет станет слишком большим и быстрым для прямого управления людьми; понадобятся агенты, способные воспринимать информацию, рассуждать и действовать от нашего имени; к тому же эти агенты потребуют общих протоколов, форматов представления данных и семантики.

Где снова появились эти шаблоны: от маркировки к графам знаний

К 2025 году большая часть этих подходов вернулась, но в новой форме.

Сначала появилась структурированная маркировка. POML использует теги, похожие на XML, для определения сложных рабочих процессов агентов, и он был интегрирован в инструменты VS Code. В Salesforce Agent Script описывает поведение, роли и процессы координации с помощью декларативной синтаксиса, напоминающей маркировку. Даже рекомендации по составлению запросов теперь советуют оборачивать шаги рассуждений, контекст и ограничения вывода в теги. Типичная структура запроса выглядит следующим образом:

(`<context>`, <instructions>, <examples>, <output>)

Это мелочь, но это тот же самый принцип, что и в старых методах форматирования для агентов: предоставление модели структуры, которую она не может неправильно интерпретировать.

Далее идет координация на основе ролей. AutoGen и CrewAI назначают специализированные функции, такие как планировщик, критик, исполнитель и исследователь, при этом агенты обмениваются информацией через структурированные сообщения. Это снова классическая схема FIPA: гетерогенные агенты с заявленными возможностями, координирующиеся через центральный реестр. Специализация ролей, каталоги возможностей, координация на основе сообщений и многократная оркестрация — это все одни и те же паттерны.

Затем протоколы. A2A позволяет агентам описывать свои возможности, находить друг друга и сотрудничать за пределами компаний. По первоначальным данным учитываются обязательства партнеров, а не масштабы внедрения в производстве, которые пока не опубликованы. Протокол сети агентов использует децентрализованные идентификаторы W3C и JSON-LD для предоставления агентам машинночитаемых описаний, включающих информацию о способностях, критериях доверия и предпочтениях в координации. Стандарт протокола обмена сообщениями от Linux Foundation унифицирует форматы сообщений между агентами. Функционально они соответствуют системе управления агентами и посредником каталогов FIPA, адаптированной для среды, основанной на JSON-LD и больших языках моделирования.

Наконец, графы знаний. NVIDIA, Franz Inc. и другие рекомендуют сочетать большие языковые модели с графами проверенных фактов для обоснования рассуждений, сокращения галлюцинаций и обеспечения объяснимости выводов. Исследования нейро-символьных систем показывают, что гибридные системы, как правило, превосходят чисто нейронные в задачах, требующих точности фактов, логического мышления и способности к обобщению на новые комбинации. Уровень снижения галлюцинаций сильно варьируется в зависимости от области и критериев оценки, поэтому к любому конкретному проценту следует относиться с осторожностью. Общая тенденция данных является более надежной, чем любая отдельная цифра.

Что не так с прогнозом 2006 года

Старый прогноз допустил ошибки в нескольких аспектах, и некоторые из этих ошибок были реальными.

XML должен был стать основным форматом для агентов, а DOM — общим интерфейсом. Этого не произошло. В качестве стандартных форматов оказались JSON, gRPC, Protobuf и векторные эмбеддинги. Интересы сместились сначала на глубокое обучение, затем на трансформеры, а потом на большие языки моделирования. Графы знаний выжили, но лишь как один из элементов более крупной нейро-символической концепции.

Также существовала простая концептуальная ошибка: представление о том, что сам XML обеспечивает семантику. Это не так. XML предоставляет синтаксис и дерево структуры. Уже тогда серьезные исследователи семантического веба настаивали на необходимости общих онтологий и формальной семантики, поэтому в этом аспекте наука опережала энтузиастов.

Таким образом, общие рамки развития были предвидены, однако количество старых технологий, которые придется отказаться использовать, а также объем необходимой новой математики, оборудования и инженерных решений были сильно недооценены.

Пять проблем, которые так и не изменились

За примерно двадцать пять лет разработки агентов, от FIPA в начале 2000-х до современных агентных ИИ, постоянно всплывают пять одних и тех же проблем проектирования. Если рассмотреть их вместе, список оказывается небольшим:

ARCHITECTURAL PATTERN EVOLUTION: 2006 → 2025 ## Structured Markup 2006: XML for agent behaviour 2025: POML, Agent Script, XML-tagged prompts Status: Vindicated ## Discovery/Directory Services 2006: FIPA Directory Facilitator 2025: Agent Description Protocol (ANP), A2A directories Status: Vindicated ## Semantic Grounding 2006: RDF/OWL ontologies 2025: JSON-LD, schema.org, KG-LLM integration Status: Transformed but persists ## Communication Protocols 2006: FIPA-ACL 22 performatives 2025: MCP, A2A pragmatic protocols (fewer acts) Status: Simplified but core idea persists ## Perception-Action Loops 2006: FIPA observe-reason-act 2025: ReAct (Observe-Think-Act), tool-use frameworks Status: Fully realised

Структурированная разметка остается наиболее подходящим решением. XML, использовавшийся для описания поведения агентов в 2006 году, сменился на POML, Agent Script и запросы в формате тегов, так что этот формат вернулся практически в неизменном виде.

Механизмы обнаружения занимают второе место. Инструменты каталогизации FIPA выполняли ту же функцию, что сейчас выполняют каталоги A2A и описания агентов в ANP: публикация информации о возможностях и предоставление возможности другим искать её.

Семантическое обеспечение претерпело наибольшие изменения по сравнению с остальными подходами. Онтологии RDF и OWL уступили место JSON-LD, словарям schema.org и знаниевым графам, интегрированным в большие языки моделирования. Жесткий формальный уровень сократился, но потребность в общем смысле не исчезла.

Протоколы коммуникации стали проще. FIPA-ACL включал 22 типа сообщений. MCP и A2A функционируют с гораздо меньшим количеством типов сообщений и более прагматичным подходом, однако они существуют по той же причине: двум программам от разных производителей необходимо договориться о том, для чего предназначено сообщение.

Цикл восприятие-действие — это тот, который сохранился в полной форме. Цикл наблюдение, рассуждение, действие FIPA соответствует циклу наблюдение, размышление, действие в модели ReAct, плюс к нему добавляется структура использования инструментов.

Изменились синтаксисы, форматы сериализации, а также алгоритмы, обеспечивающие процесс рассуждений. Однако структура вопросов осталась прежней: как агент описывает себя, как агенты находят друг друга, как они координируют свои действия, как компонуются сервисы и как сохраняется целостность общего смысла.

Существует одно важное ограничение. Непрерывность и модернизация — это разные вещи. И схема XML, и схема JSON описывают структурированные данные, однако философии, лежащие в их основе, отличаются: с одной стороны — формальность и строгость, с другой — простота и прагматизм. Многие современные разработчики также самостоятельно открывают для себя эти подходы, не опираясь на FIPA или семантическую сеть. Это конвергентная эволюция в рамках одинаковых ограничений, что мало говорит о происхождении.

Агентные ИИ, как они определяются сейчас

В современных исследованиях агентные ИИ описываются как системы, в которых агенты, основанные на больших языковых моделях, способны воспринимать информацию, планировать действия, выполнять их и учиться с определенной степенью автономии. Компании говорят об агентных сетях — распределенных сетях агентов, охватывающих различные инструменты, источники данных и рабочие процессы. В исследовании McKinsey за 2025 год, проведенном среди примерно 1 100 организаций, было выявлено, что чуть более половины из них используют агентные ИИ в производственных целях в той или иной форме. Однако под «производственным использованием» здесь подразумеваются пилотные проекты и ограниченные внедрения, поэтому это не означает полномасштабного внедрения во всей организации.

Планирование

Именно в области планирования наиболее ясно проявляется сближение подходов. В исследовании 2024 года, посвященном планированию с использованием больших языковых моделей, методы были разделены на пять категорий:

1. Разбиение задачи на подзадачи.
2. Поиск оптимального плана, включающий изучение альтернативных последовательностей действий.
3. Внешние планировщики, использующие классические системы PDDL или иерархические сети задач.
4. Обратная связь и анализ, которые совершенствуют план на основе результатов его реализации.
5. Планирование на основе памяти, при котором извлекаются и адаптируются предыдущие планы.

У каждого из этих подходов есть аналог в литературе по агентам 2000-х годов под такими названиями, как планирование по принципу HTN, рассуждение на основе случаев и ремонт плана. Основные трудности также схожи: комбинаторный взрыв, неполная информация и изменяющаяся среда. Разница заключается в основе реализации. Современные большие языки моделирования составляют и совершенствуют планы на естественном языке вместо симболических планировщиков, причем их реализация опирается на вызовы инструментов и циклы обратной связи.

Паттерн ReAct, предложенный Яо и его коллегами, явно показывает эту связь. Агент наблюдает, записывает ход рассуждений, выбирает действие, видит результат и повторяет процесс. Это тот же старый цикл «наблюдение, рассуждение, действие», на основе которого строились архитектуры FIPA. Механизм рассуждений новый, но сам цикл остался прежним.

Оркестрация против хореографии

Вновь возник аргумент, характерный для эпохи веб-сервисов. В оркестрации для управления взаимодействиями используется центральный контроллер, как это делали рабочие процессы BPEL. Хореография позволяет участникам координировать свои действия напрямую друг с другом с помощью общих протоколов и взаимных обязательств. В литературе, посвящённой BPEL и хореографии веб-сервисов, в период с 2005 по 2010 год этот вопрос обсуждался подробно, и та же дискуссия ведётся снова, только теперь с ИИ-моделями в качестве когнитивного ядра вместо движков правил и платформ агентов на Java.

Небольшие модели для рутинной работы

Недавнее исследование меняет представление о том, что необходимо агенту. Исследователи NVIDIA утверждают, что многие рутинные задачи для агентов не требуют использования передовых моделей. Модели с одним-десятью миллиардами параметров способны обрабатывать вызовы инструментов, проверку входных данных, форматирование вывода и простое маршрутизирование, причем, по их словам, они демонстрируют преимущество в стоимости в десять-тридцать раз по сравнению с более крупными моделями при выполнении узкоспециализированных задач. Это преимущество снижается по мере усложнения задач, поэтому оно не является универсальным.

Таким образом, ситуация остается неоднозначной: небольшие модели выполняют рутинные операции, вызовы API, проверку данных и простое маршрутизирование, в то время как крупные модели используются для решения сложных задач, связанных с логическими рассуждениями, неоднозначностями и незнакомыми ситуациями. Это напоминает разделение 2000-х годов на легковесных реактивных агентов для рутинной работы и агентов с развитыми механизмами планирования для сложной координации.

Где сравнение становится проблематичным

Безопасность и управление — именно в этих областях современный подход сильнее всего отличается от более старого видения, поскольку они развивались гораздо медленнее, чем функциональные возможности.

AgentHarm — это эталонная оценка, разработанная Андриушченко и его соавторами, которая проверяет, насколько легко агенты на основе больших языковых моделей могут быть направлены к вредоносным действиям. В ней рассматриваются 110 задач в 11 категориях, включая мошенничество, киберпреступления, харассмент, дезинформацию и другие виды злоупотреблений. При тестировании с использованием ведущих моделей агенты выполняли многие из вредоносных задач даже при включенных механизмах защиты. Исследования Anthropic, посвященные тестированию на прочность, выявили схожие слабости: методы обхода защиты, которые не срабатывают против обычных чат-ботов, могут сработать против агентов, поскольку многоэтапные системы с использованием инструментов создают более обширную поверхность для атак. OS-Harm, предназначенный для агентов, работающих с операционной системой напрямую, показал высокий уровень небезопасного поведения, когда модели намеренно подталкивались к таким действиям, как выкачивание данных или несанкционированный доступ.

Следите за прямолинейностью структуры. Речь идет об адверсарских тестовых сценариях, созданных для вызова сбоев, поэтому высокий уровень сбоев является ожидаемым. Тем не менее простота осуществления базовой инъекции промптов и готовность выполнять злонамеренные запросы без использования сложных атак указывают на то, что механизмы безопасности остаются незрелыми по сравнению с ростом функциональных возможностей.

Сравните это с эпохой FIPA. Спецификации охватывали политики контроля доступа, модели доверия и протоколы взаимодействия с механизмами аутентификации, авторизации и ведения журналов аудита. Агенты работали в ограниченных доменах доверия с четкими ограничениями на их действия, а стек семантического веба включал формальные политики, написанные на языках правил. Эти системы были значительно менее мощными, чем современные модели, но система управления была спроектирована с самого начала, а не добавлена позже.

Любой, кто наблюдал за тремя этапами развития (классические символические ИИ, распределенные веб-агенты с использованием семантического веба и современные агенты, управляемые большими языковыми моделями), заметит, что слоганы менялись с каждым этапом, но архитектурные проблемы оставались прежними. Вопросы идентификации, разрешений и аудита были сложными в 2005 году, и они остаются сложными и сейчас, только теперь речь идет об агентах, способных фактически тратить деньги.

Текущая ситуация вызывает беспокойство. Их возможности резко возросли: агенты могут просматривать контент, запускать код и осуществлять платежи. Однако формальные методы для проверки их поведения или ограничения их действий в безопасных зонах по-прежнему крайне ограничены.

Нейро-символические системы: агенты на основе больших языковых моделей плюс графы знаний

Полезным способом описания всего этого процесса является использование концепций тезиса, антитезиса и синтеза.

• 2000-е годы были символичны: формальные онтологии, логическое обоснование и ручно созданные правила. Преимуществами были объяснимость, формальная верификация и точная семантика. Недостатками — хрупкость, слабая способность к обобщению и невозможность надежно обрабатывать естественный язык.
• 2010-е годы были ориентированы на нейронные сети: глубокое обучение, эмбеддинги и обучение «от начала до конца». Преимуществами были распознавание паттернов, умение общаться на языке и способность к обобщению на основе данных. Недостатками — непрозрачность, галлюцинации, нестабильная логика и трудности с композиционными задачами.
• 2020-е годы указывают на гибридные решения, сочетающие нейронные модели с графами знаний, логическими ограничениями и формальными методами, с целью сохранить способность к естественному общению при добавлении достоверных фактов, надежного обоснования и объяснимости.

Все больше исследований в области нейро-символических систем подтверждают это. В обзорах описываются различные способы интеграции, включая внедрение символических знаний в нейронные модели, использование нейронных компонентов для направления символического рассуждения и улучшение результатов путем чередования этих двух подходов. Системы, сочетающие оба стиля, как правило, демонстрируют лучшие показатели по сравнению с чисто нейронными или чисто символическими решениями в ситуациях, когда важны фактическая точность и логическое мышление.

Конкретным примером является интеграция AllegroGraph от Franz Inc. с большими языковыми моделями. Хранилище RDF-троек содержит структурированные факты, языковая модель интерпретирует вопросы и формирует ответы, а результат может ссылаться на конкретные тройки, лежащие в основе утверждения, что обеспечивает одновременно плавность изложения и возможность верификации.

Способы сбоев чистых агентов на основе LLM хорошо задокументированы. Исследования в области ответов на медицинские вопросы и юридических задач показали, что модели могут выдумывать противопоказания, дозировки и даже судебные дела; частота таких ошибок сильно зависит от области применения и методологии исследования. Это не редкие крайние случаи — они являются следствием принципа работы моделей: они представляют собой средства поиска шаблонов, обученные на тексте, а не способные к рассуждениям с доступом к проверенным фактам. Графы знаний обеспечивают проверенные тройки данных, метаданные о происхождении информации и логические ограничения, что позволяет системе отличать правдоподобные утверждения от проверяемых.

Что могут извлечь разработчики

Если вы сегодня проектируете систему агентов, история показывает наличие нескольких привычек, которые стоят недорого и остаются актуальными со временем.

Запишите, как каждый агент описывает себя. Описание возможностей, которое может прочитать другая система, включающее входные данные, выходные данные и предусловия, является современным аналогом профиля сервиса и именно оно делает возможными процессы обнаружения и составления. Без него каждая интеграция становится уникальным случаем.

Заранее определите, как будет осуществляться обмен значениями. Когда два агента обмениваются полями под названием «status» или «customer», необходимо четко определить, что означают эти термины. Минимальным решением является использование схемы. В более важных случаях небольшая онтология или граф знаний, к которым обращаются обе стороны, предотвращает постепенное отклонение, при котором каждый агент тайком использует свое собственное определение.

Сознательно выбирайте стиль координации. Централизованный оркестратор удобнее для понимания, аудита и отладки. Модель взаимодействия «товарищ-товарищ» позволяет масштабироваться в рамках нескольких организаций и избегает единственной точки отказа, но её сложнее отслеживать. Сообщество веб-сервисов усвоило этот урок на собственном опыте, и он остается актуальным до сих пор.

Рассматривайте механизмы управления как часть архитектуры. Назначение идентификаторов каждому агенту, ограничение прав доступа, ведение журнала операций и способы проверки его поведения гораздо проще спроектировать заранее, чем внедрять их после инцидента. Старые платформы агентов часто уже содержали эти элементы, поскольку их создатели предполагали, что агенты будут работать за пределами рамок доверия с самого начала.

Наконец, необходимо соотнести модель с конкретной задачей. Оставьте дорогостоящие механизмы обработки информации для работ, которые в них действительно нуждаются, а простые и дешевые компоненты пусть выполняют рутинные задачи. Это делает системы быстрее и дешевле, а также ограничивает функционал отдельных компонентов.

Это не победный марш

Всё это сделано не для того, чтобы романтизировать прошлое. Семантическая сеть так и не стала стандартом в промышленности, и на то были веские причины: она была сложной, медленной, не имела достаточной массы пользователей, а стандарты обещали больше, чем могла предоставить на практике. Модели языка смогли сделать то, чего никогда не удавалось этим системам — надежно и в масштабах обрабатывать естественный язык. Именно это отличает нишевые инструменты от инфраструктуры, способной изменить мир.

Разумный вывод заключается не в том, что первоначальные сторонники были правы, а все остальные опоздали. Скорее всё обстоит следующим образом:

• Когнитивный ядро изменилось: вместо логики и ручно созданных правил теперь используются нейронные модели, обучающиеся на данных.
• Проблемы инфраструктуры остались прежними.
• Вопросы взаимодействия, семантики, координации, безопасности и управления по-прежнему требуют специальной инженерной разработки.

Быть первым и быть правым в практическом смысле — это разные вещи. В 2006 году пытались создать интерфейс искусственного интеллекта для работы с различными форматами машинного и человеческого языка с использованием XML. Сегодня эту задачу решают схемы JSON, векторные хранилища, графы знаний и общие протоколы вроде A2A или MCP. Инстинкт остается прежним: сделать интерфейс правильным.

Аспекты, заслуживающие особого внимания

В современных обзорах дизайна и форумах по архитектуре встречаются утверждения, напоминающие то, что говорилось о семантической сети двадцать лет назад. Существуют реальные достижения: трансформеры, способные автономные агенты и масштабные реализации. Однако сохраняются и хорошо знакомые пробелы:

• Слабые или отсутствующие стратегии взаимодействия.
• Недостаточное внимание к формальной семантике или онтологиям.
• Управление рассматривается как вспомогательный элемент, а не как архитектурный слой.

Три вероятных сценария показывают, что произойдет, если эти пробелы сохранятся. Ни один из них не является прогнозом — это лишь экстраполяция на основе текущей тенденции.

Первая проблема — это Башня Бабель. Каждый поставщик создаёт собственные системы агентов, поэтому агенты одной компании не могут взаимодействовать с агентами другой компании или использовать их инструменты. Корпоративные ИТ-системы превращаются в совокупность несовместимых платформ, где для каждой пары подключений требуется индивидуальная интеграция, что значительно увеличивает нагрузку на интеграцию, приводит к потере производительности, а вознаграждение получает только персонал консалтинговых компаний.

Вторая проблема — кризис безопасности. Флот агентов в финансовой компании подвергается взлому с помощью вставки команд и выполняет несанкционированные операции на сумму миллионов. Аудиторских записей нет, поскольку формальная верификация считалась слишком дорогой и ненужной учитывая высокий уровень сложности ИИ-моделей. В результате следуют штрафы регуляторов, потеря доверия клиентов, уход руководства и общенациональное негативное отношение к отрасли.

Третья проблема — катастрофа в виде галлюцинаций. Специалисты в сфере здравоохранения рекомендуют методы лечения на основе исследовательских статей, которых никогда не существовало, и выдуманных противопоказаний, при этом отсутствует граф знаний, который мог бы служить основой для этих рекомендаций. Пациенты страдают, а иски за ненадлежащее ведение дел описывают системы, полностью основанные на ИИ, как по своей природе ненадежные, в результате чего внедрение медицинского ИИ отстает на годы.

Ничего из этого не является вымыслом. Тесты вроде AgentHarm показывают, насколько легко можно скомпрометировать современные системы, а случаи галлюцинаций в медицинской среде документированы. Сейчас самое подходящее время для создания надлежащей инфраструктуры, пока серьезная публичная катастрофа не вынудила решить эту проблему.

Цикл идей, чертежи остаются прежними

Идеи цикличны: они терпят неудачу, снова появляются и в конечном итоге находят применение, когда окружающая среда становится готовой к их использованию. То, что раньше описывалось как обмен информацией вида «пакет обработан» между агентами с целью создания ценных ответов для людей, сегодня описывается с помощью терминов больших языковых моделей, векторных баз данных и многоагентных фреймворков. Детали изменились, но основная схема осталась прежней.

Старые идеи приносят плоды только тогда, когда кто-то находит их и внимательно их изучает.

Источники, стоит прочитать

• Бенчмарк AgentHarm для оценки вредоносного поведения агентов.
• OS-Harm — для оценки безопасности агентов, используемых в компьютерных системах.
• Нейро-символические ИИ в 2024 году: систематический обзор.
• Понимание процесса планирования у агентов больших языковых моделей, о котором шла речь выше.
• Большие юридические вымыслы и проблема юридических галлюцинаций.
• Метод ReAct, предложенный Яо и его коллегами.

Спецификации FIPA для первоначальных стандартов коммуникации агентов.

Связанные материалы

• Agentic Analytics Is More Than Text-to-SQL: Lessons From Anthropic: Что говорится в статье Anthropic о семантических слоях, навыках, методах оценки и основах данных, и почему один лишь метод текста-в-SQL создаёт ложное впечатление точности.
• Agentic Engineering in Five Layers: From Specs and Parallel Agents to Rules and Oversight: Карпати описал сдвиг от подхода, основанного на визуальном программировании. Рассмотрены пять уровней инженерии агентов: спецификации, оркестрация, кодифицированные правила, человеческий контроль и возможности мониторинга, а также план на неделю.