Корені графів знань агентського ШІ: FIPA, семантичний веб та агенти ШІ
Агентський ШІ повторює ідеї 2006 року: протоколи FIPA, онтології та каталоги графів знань. Що повернулося в агентах ШІ, що зазнало невдачі, що варто зберегти.
Якщо прочитати достатньо сучасних статей про агентський ШІ, виникає дивне відчуття: багато з того звучить як щось з конференції 2003 року. Агенти, які описують свої здібності у форматі, зрозумілому для машин. Агенти, які знаходять один одного через каталог. Спільні словники, щоб дві системи могли дійти згоди щодо значення повідомлення. Стандартні протоколи для ведення переговорів. Усе це повертається, але тепер використовує нову лексику та працює на зовсім іншому двигуні.
Цей текст розглядає це перетинання. Він простежує старіші дослідження агентів та семантичних мереж, порівнює їх із тим, що зараз використовується, та визначає, які аспекти є справжньою безперервністю, а які — лише схожістю. Також розглядається місце, де два ці періоди найбільш різко розходяться, а саме питання безпеки.
Як виглядає поточна хвиля
Кілька досягнень останніх кількох років створюють контекст для розуміння ситуації.
Дослідники безпеки опублікували адверсарські тестові сценарії, які показують, що агенти нового покоління можуть дуже легко переходити на шкідливу поведінку під час навмисних тестів. Microsoft випустила POML — формат маркування у стилі XML для керування агентами LLM. Google представила протокол Agent2Agent (A2A), оголосивши про співпрацю з десятками організацій під час його запуску з метою стандартизації способу взаємодії агентів між собою. NVIDIA стверджує, що поєднання мовних моделей із графами знань допомагає зменшити галюцинації.
Кожен із цих елементів був би зрозумілий досліднику з двадцятирічної давнини. Близько 2006 року кілька людей вже виступали за такий самий набір засобів: структуровану маркувальну мову для опису поведінки агентів, стандартні протоколи комунікації та значення, закріплені в онтологіях. Одна з статей того року про XML та штучний інтелект стверджувала, що машинам потрібні саме ці засоби, щоб впоратися з величезною кількістю інформації в Інтернеті. Формулювання були грубими за сучасними стандартами, але напрямок був чітким: програмні агенти, які діють у відкритому, хаотичному Інтернеті, ведуть переговори від імені людей, і для масштабної співпраці їм потрібна спільна, структурована мова.
Індустрія обрала інший шлях. Нейронні мережі стали основою когнітивних функцій. Тепер знову з’являються супутні проблеми, разом із деякими старими помилками.
Атмосфера 2006 року
Щоб зрозуміти, наскільки застарілим було підходи, засновані на агентах та онтологіях, уявіть собі той момент. Це був розквіт Web 2.0. Увага зосереджувалась на інтерфейсах AJAX, соціальних платформах та контенті, створеному користувачами. Google щойно заплатив 1,65 мільярда доларів за YouTube. Facebook відкривався для всіх. Twitter ще був новинкою.
Панівною думкою було те, що Інтернет — це місце для публікації та обміну інформацією людьми, а не для самостійної координації машин. Ідеї семантичного Інтернету, систем агентів та формальних онтологій багатьом спостерігачам здавалися академічними хобі, занадто складними для практичного використання, і коментатори відкрито сумнівалися, чи хтось поза університетами буде використовувати RDF чи OWL у реальних умовах.
Проте меншість вважала, що Інтернет зрештою стане середовищем, де публікуються послуги та інформація для того, щоб програмне забезпечення могло їх знаходити та поєднувати. Якщо прибрати застарілі формулювання, це звучить точно так само, як люди описують сучасні багатоагентні системи ШІ та „мережі агентів“.
Старий набір інструментів
Це бачення не було розпливчастим – воно ґрунтувалося на конкретних стандартах та платформах.
FIPA, Фонд інтелектуальних фізичних агентів, визначив мову комунікації агентів із 22 актами мовлення: інформування, запит, пропозиція, згода, відмова, запитування, підтвердження, спростування та інші. Це був не просто формат повідомлень — це була комунікативна структура з формальною семантикою, заснованою на теорії актів мовлення, щоб агенти могли вести переговори, створювати коаліції та відстежувати зобов’язання, обов’язки та дозволи під час багатоетапних обмінів. Великі компанії, серед яких IBM, HP та BT, підтримували платформи, що відповідають стандартам FIPA.
OWL-S — профіль мови веб-онтологій для послуг, який дозволяє агентам знаходити, викликати та комбінувати веб-сервіси на основі семантичних описів вхідних даних, вихідних даних, передумов та наслідків. Типовою демонстрацією був туристичний агент, який самостійно знаходив рейси, готелі та орендовані автомобілі, об’єднував їх у маршрут та виконував його для користувача без необхідності вручну писати код для інтеграції.
AIML – це XML-маркування для опису поведінки під час розмови, яке використовувалося у чат-боті ALICE, який тричі вигравав премію Loebner.
RDF та OWL надали агентам засоби для обміну значеннями, а не лише синтаксисом, з підтримкою трійкових баз даних та двигунів SPARQL для розподіленого міркування.
Системи каталогізації функціонували як „жовті сторінки“ для агентів. У концепції управління агентами FIPA агент міг зареєструвати те, що пропонує, у структурованому описі та знайти аналогічні агенти за їхніми можливостями, подібно до механізмів виявлення послуг у сучасній інфраструктурі.
Розробник у той час не мав жодних трансформаторів чи кластерів GPU. У нього було лише припущення, яке складалося з трьох частин: інтернет стане занадто великим та швидким для прямого керування людьми; знадобляться агенти, здатні сприймати, міркувати та діяти за нас; а ці агенти потребуватимуть спільних протоколів, форматів представлення даних та семантики.
Де знову з’явилися ці шаблони: від маркапу до графів знань
До 2025 року більша частина цього повернулася у переробленому вигляді.
Спочатку — структурований маркап. POML використовує теги, схожі на XML, для визначення складних процесів роботи агентів, і його інтегрували до інструментів VS Code. Agent Script від Salesforce визначає поведінку, ролі та координацію за допомогою декларативної синтаксису у стилі маркапу. Навіть поради щодо стандартних запитів тепер радять обгортати кроки міркувань, контекст та обмеження результату в теги. Типова структура запиту виглядає так:
(`<context>`, <instructions>, <examples>, <output>)
Це дрібниця, але це той самий інстинкт, що й у старих методах форматування для агентів: надати моделі структуру, яку вона не зможе неправильно зрозуміти.
Далі йде координація на основі ролей. AutoGen та CrewAI призначають спеціалізовані функції, такі як планувальник, критик, виконавець та дослідник, а агенти спілкуються за допомогою структурованих повідомлень. Це знову та сама картина FIPA: гетерогенні агенти з оголошеними можливостями, які координуються через центральний реєстр. Спеціалізація ролей, каталоги можливостей, координація за допомогою повідомлень та багатоетапна оркестрація — це ті самі патерни.
Далі — протоколи. A2A дозволяє агентам описувати свої можливості, знаходити один одного та співпрацювати поза межами компаній. Початкові показники їх впровадження враховують зобов’язання партнерів, а не рівень використання в продукції, який ще не оприлюднено. Протокол мережі агентів використовує децентралізовані ідентифікатори W3C та JSON-LD для надання агентам описів, придатних для обробки комп’ютером, які включають інформацію про їхні здібності, критерії довіри та уподобання щодо координації. Стандарт протоколу комунікації агентів від Linux Foundation стандартизує формати повідомлень між агентами. Функціонально вони відповідають системі керування агентами та посередником каталогу від FIPA, але адаптовані під світ JSON-LD та нейромереж.
Нарешті — графи знань. NVIDIA, Franz Inc. та інші рекомендують поєднувати ШІ з графами перевірених фактів для обґрунтування міркувань, обмеження галюцинацій та забезпечення пояснюваності висновків. Дослідження нейро-символьних систем показують, що гібридні системи зазвичай краще справляються з завданнями, які вимагають точності фактів, логічних міркувань та узагальнення до нових комбінацій, ніж суто нейронні системи. Рівень зменшення галюцинацій сильно варіюється залежно від галузі та критеріїв оцінки, тому до будь-якого конкретного відсотка слід ставитися з обережністю. Напрямок даних є надійнішим, ніж будь-яка окрема цифра.
Що не врахувала прогнозна модель 2006 року
Старий прогноз мав помилки в кількох аспектах, і деякі з цих помилок були справжніми.
XML мав стати основним форматом для агентів, а DOM — спільним інтерфейсом. Цього не сталося. Замість цього стандартними форматами виявилися JSON, gRPC, Protobuf та векторні ембеддинги. Увага спочатку була зосереджена на глибокому навчанні, потім на трансформерах, а згодом — на LLM. Графи знань вижили, але лише як один із елементів більшої нейро-символічної системи.
Існувала також проста концептуальна помилка: думка про те, що сам XML забезпечує семантику. Це не так. XML надає синтаксис та деревоподібну структуру. Ще тоді серйозні дослідники семантичного вебу наполягали на необхідності спільних онтологій та формальної семантики, тож у цьому питанні ця галузь випереджала ентузіастів.
Отже, загальні риси розвитку були передбачені, проте кількість старих технологій, які довелося відкинути, а також обсяг нової математики, обладнання та інженерних рішень, які знадобилися, були сильно недооцінені.
П’ять проблем, які ніколи не змінювалися
Протягом приблизно двадцяти п’яти років розробки агентів, від FIPA на початку 2000-х до сучасних агентних ШІ, п’ять проблем проектування постійно повертаються. Якщо порівняти їх, список є коротким:
ARCHITECTURAL PATTERN EVOLUTION: 2006 → 2025 ## Structured Markup 2006: XML for agent behaviour 2025: POML, Agent Script, XML-tagged prompts Status: Vindicated ## Discovery/Directory Services 2006: FIPA Directory Facilitator 2025: Agent Description Protocol (ANP), A2A directories Status: Vindicated ## Semantic Grounding 2006: RDF/OWL ontologies 2025: JSON-LD, schema.org, KG-LLM integration Status: Transformed but persists ## Communication Protocols 2006: FIPA-ACL 22 performatives 2025: MCP, A2A pragmatic protocols (fewer acts) Status: Simplified but core idea persists ## Perception-Action Loops 2006: FIPA observe-reason-act 2025: ReAct (Observe-Think-Act), tool-use frameworks Status: Fully realised
Структурована маркувальна мова є найкращим варіантом. XML для опису поведінки агентів у 2006 році перетворився на POML, Agent Script та запити у форматі тегів, тож цей підхід повернувся майже буквально.
Механізм відкриття інформації є другим за значимістю варіантом. Інструмент каталогізації від FIPA виконував ту саму функцію, що зараз виконують каталоги A2A та описи агентів у ANP: публікувати інформацію про можливості та дозволяти іншим її шукати.
Семантичне обґрунтування зазнало більших змін у формі порівняно з іншими підходами. Онтології RDF та OWL поступилися місцем JSON-LD, словничкам schema.org та графам знань, інтегрованим у ШІ. Складний формальний шар скоротився, але потреба у спільному значенні залишилась незмінною.
Протоколи комунікації стали простішими. FIPA-ACL містив 22 типи повідомлень. MCP та A2A обходяться значно меншою кількістю типів повідомлень та більш прагматичним підходом, проте вони все ще існують з тієї ж причини: два програми від різних виробників мають домовитися про те, для чого призначене повідомлення.
Цикл сприйняття-дії — це той, який залишився у повній формі. Цикл спостереження, міркування та дії FIPA є аналогом циклу спостереження, міркування та дії у моделі ReAct, доповненим системою використання інструментів навколо нього.
Змінилися синтаксиси, формати серіалізації та алгоритми обробки інформації. Однак запитання залишилися структурно такими ж: як агент описує себе, як агенти знаходять один одного, як вони координують свої дії, як складаються послуги та як зберігається спільний сенс.
Існує одне застереження. Продовжуваність та модернізація — це різні речі. Як схема XML, так і схема JSON описують структуровані дані, проте філософії, що стоять за ними, відрізняються: з одного боку — формальність та суворість, з іншого — легкість та прагматизм. Багато сучасних розробників також самостійно відкривають для себе ці підходи, не спираючись на FIPA чи семантичний веб. Це конвергентна еволюція в межах одних і тих самих обмежень, що мало що говорить про походження.
Агентський ШІ, як він визначається зараз
Сучасні дослідження описують агентні ШІ як системи, у яких агенти, засновані на LLM, сприймають, планують, діють та навчаються з певною автономією. Компанії говорять про агентні мережі — розподілені мережі агентів, які охоплюють інструменти, джерела даних та робочі процеси. Дослідження McKinsey 2025 року, проведене серед близько 1 100 організацій, показало, що трохи більше половини з них використовували агентні ШІ у своїй роботі у якійсь формі. Проблема полягає у тому, що під «продукційним використанням» там розуміються пілотні проекти та обмежені реалізації, тож це не означає повного впровадження в усій компанії.
Планування
Планування найчіткіше демонструє це зближення. Дослідження 2024 року, присвятоване плануванню на основі LLM, класифікує методи на п’ять груп:
- Розкладання завдань, яке полягає у розділенні великої мети на підмети.
- Пошук плану, який передбачає дослідження альтернативних послідовностей дій.
- Зовнішні планувальники, які використовують класичні системи PDDL або ієрархічні мережі завдань.
Кожен із цих підходів має аналог у літературі про агентів 2000-х років під назвами такими як планування HTN, умовне міркування та виправлення плану. Основні труднощі також спільні: комбінаторний вибух, неповна інформація та змінювані середовища. Відмінність полягає у базовій технології. Сучасні ШІ складають та вдосконалюють плани мовою природи замість символьних планувальників, а виклики інструментів та цикли зворотного зв’язку забезпечують їх реалізацію.
Паттерн ReAct від Яо та його колег чітко показує цей зв’язок. Агент спостерігає, записує послідовність міркувань, обирає дію, бачить результат та повторює процес. Це старий цикл сприйняття, міркування та дії, навколо якого будувалися архітектури FIPA. Механізм міркувань є новим, але цикл залишається незмінним.
Оркестрація проти хореографії
Знову сплив аргумент з епохи веб-сервісів. Оркестрація використовує центральний контролер для керування взаємодіями, як це робили робочі процеси BPEL. Хореографія дозволяє учасникам координувати свої дії безпосередньо між собою за допомогою спільних протоколів та взаємних зобов’язань. Література з BPEL та хореографії веб-сервісів 2005–2010 років детально обговорювала це питання, і та сама дискусія триває й зараз, тільки тепер з ШІ як когнітивним ядром замість двигунів правил та платформ агентів на Java.
Малі моделі для рутинної роботи
Один нещодавній дослідження змінює уявлення про те, що потрібно агенту. Дослідники NVIDIA стверджують, що багато рутинних завдань для агентів не вимагають використання передових моделей. Моделі з одним до десяти мільярдів параметрів можуть виконувати виклик інструментів, перевірку вхідних даних, форматування результатів та просте маршрутизування, маючи, за їхніми словами, перевагу у вартості в десять–тридцять разів порівняно з більшими моделями для вузькоспеціалізованих завдань. Ця перевага зменшується у міру складності завдань, тому вона не є універсальною.
Отже, ситуація є змішаною: невеликі моделі виконують рутинні операції, виклики API, перевірку даних та просте маршрутизування, тоді як великі моделі використовуються для складних міркувань, роботи з неоднозначністю та незнайомими проблемами. Це нагадує розподіл у 2000-х роках між легкими реактивними агентами для рутинної роботи та агентами з ретельним плануванням для складної координації.
Де порівняння стає незручним
Безпека та управління — саме ті аспекти, в яких сучасний підхід найбільше відрізняється від старішої концепції, оскільки вони розвивалися значно повільніше, ніж можливості.
AgentHarm – це індикатор, розроблений Андріушченком та співавторами, який перевіряє, наскільки легко агенти ШІ можна спрямувати на шкідливі дії. Він охоплює 110 завдань у 11 категоріях, зокрема шахрайство, кіберзлочинність, переслідування, дезінформацію та інші зловживання. Під час тестування з найсучаснішими моделями агенти виконували багато шкідливих завдань навіть за наявності захисних механізмів. Дослідження Anthropic щодо тестування на слабкості виявили схожі проблеми: способи обходу захисту, які не діють проти звичайних чат-ботів, можуть спрацювати проти агентів, оскільки багатоетапна система з використанням інструментів створює більшу поверхню для атак. OS-Harm, спрямований на агентів, які працюють безпосередньо з операційною системою, виявив високий рівень небезпечної поведінки, коли моделі були навмисно спрямовані на такі дії, як виведення даних чи несанкціонований доступ.
Зберігайте пряму орієнтацію кадру. Це конкурентні тестові сценарії, створені для спричинення збоїв, тому очікується висока їх частота. Проте легкість введення базових запитів та готовність виконувати зловмисні запити без складних атак свідчать про те, що механізми безпеки ще недосконалі порівняно з досягнутими можливостями.
Порівняйте це з епохою FIPA. Специфікації охоплювали політики контролю доступу, моделі довіри та протоколи взаємодії з автентифікацією, авторизацією та журналами аудиту. Агенти працювали в обмежених доменах довіри з чіткими обмеженнями щодо їхніх дій, а стек семантичного вебу містив формальні політики, написані мовою правил. Ці системи були значно менш здатними, ніж сучасні моделі, але механізми керування були розроблені з самого початку, а не додані пізніше.
Будь-хто, хто спостерігав за трьома хвилями розвитку (класичні символічні ШІ, дистрибуовані веб-агенти з семантичним вебом та сучасні агенти на основі LLM), помітить, що слогани змінювалися з кожним етапом, але архітектурні проблеми залишалися незмінними. Ідентичність, дозволи та аудит були складними проблемами у 2005 році, і вони залишаються складними й сьогодні, тільки тепер це стосується агентів, які можуть фактично витрачати гроші.
Нинішня ситуація викликає занепокоєння. Функціональні можливості агентів стрімко зросли – вони можуть переглядати інформацію, виконувати код та здійснювати оплати. Однак формальні методи для перевірки їхньої поведінки чи обмеження їхніх дій у безпечних діапазонах залишаються дуже обмеженими.
Нейро-символічні системи: агенти на основі LLM та графи знань
Корисним способом описати весь цей процес є підхід тези, антитези та синтезу.
- 2000-ті роки були символічними: формальні онтології, міркування на основі логіки та правила, створені вручну. Сильними сторонами були пояснюваність, формальна перевірка та точна семантика. Слабкими сторонами були крихкість, погана узагальнювальна здатність та нездатність надійно працювати з природною мовою.
- 2010-ті роки були нейронними: глибоке навчання, ембеддинги та навчання з кінця в кінець. Сильними сторонами були розпізнавання патернів, вільне володіння мовою та узагальнення на основі даних. Слабкими сторонами були непрозорість, галюцинації, нестабільна логіка та проблеми з композиційними завданнями.
- 2020-ті роки спрямовані на гібридні системи, які поєднують нейронні моделі з графами знань, логічними обмеженнями та формальними методами, з метою збереження вільного володіння мовою та додавання обґрунтованих фактів, правильних міркувань та пояснюваності.
Все більше досліджень у галузі нейро-символьних систем підтверджують це. У опитуваннях описано кілька моделей інтеграції, зокрема введення символьних знань у нейронні моделі, використання нейронних компонентів для керування символьним міркуванням та удосконалення результатів шляхом чергування цих двох підходів. Системи, що поєднують обидва стилі, зазвичай досягають кращих результатів, ніж суто нейронні чи суто символьні аналоги, коли важливою є точність фактів та логічне міркування.
Конкретним прикладом є інтеграція AllegroGraph від Franz Inc. з моделями LLM. Сховище RDF-трійок зберігає структуровані факти, мовна модель інтерпретує запитання та формулює відповіді, а результат може посилатися на конкретні трійки, які лежать в основі твердження, що забезпечує водночас плавність виконання та можливість перевірки.
Способи збою чистих агентів на основі LLM добре задокументовані. Дослідження у сфері відповідей на медичні запитання та юридичних завдань показали, що моделі іноді вигадують протипоказання, дозування та навіть судові справи; частота таких випадків сильно залежить від галузі та методології дослідження. Це не рідкісні межові ситуації — вони є наслідком принципу роботи моделей: це засоби для пошуку шаблонів, навчені на тексті, а не системи міркування з доступом до перевірених фактів. Графи знань забезпечують перевірені тріпли, метадані про походження та логічні обмеження, що дозволяє системі відрізнити правдоподібне твердження від перевіреного.
Що можуть взяти на озброєння розробники
Якщо ви зараз проєктуєте систему агентів, історія показує кілька звичок, які коштують небагато та ефективно працюють у часі.
Запишіть, як кожен агент описує себе. Опис можливостей, який може прочитати інша система, з вхідними даними, вихідними даними та передумовами, є сучасним наступником профілю послуги, і саме він узагалі уможливлює виявлення та композицію. Без нього кожна інтеграція є одноразовою.
Якомога раніше вирішіть, як буде поділятися значення. Коли два агенти обмінюються полями під назвою „status“ чи „customer“, необхідно визначити, що саме означають ці терміни. Схема — це мінімум. У ситуаціях з вищими вимогами невелика онтологія чи граф знань, якими користуються обидві сторони, запобігають поступовому відхиленню, коли кожен агент тихо припускає інше визначення.
Свідомо обирайте стиль координації. Центральний оркестратор простіший для розуміння, аудиту та виправлення помилок. Модель взаємодії «товариш-товариш» дозволяє масштабуватися між організаціями та уникати єдиної точки відмови, але її складніше спостерігати. Спільнота веб-сервісів дізналася про це на власному досвіді, і цей урок залишається незмінним.
Ставіться до управління як до архітектури. Ідентифікація кожного агента, обмежені права доступу, журнал аудиту кожної дії та спосіб перевірки поведінки значно дешевші у проектуванні, ніж їх впровадження після інциденту. Старіші платформи агентів часто мали ці елементи, оскільки їхні розробники очікували, що агенти будуть працювати за межами меж довіри з самого початку.
Нарешті, підберіть модель під конкретну роботу. Зберігайте дорогі механізми міркувань для завдань, які їх потребують, а прості та дешеві компоненти нехай виконують рутинні функції. Це робить системи швидшими та дешевшими, а також обмежує можливості кожного окремого компонента.
Це не святкування перемоги
Усе це не має на меті романтизувати минуле. Семантичний веб так і не став загальноприйнятим у промисловості, і на те були вагомі причини. Він був складним, повільним, не мав необхідної кількості користувачів, а стандарти обіцяли більше, ніж могла забезпечити реальна практика. Моделі мов виконали те, чого ті системи так і не змогли досягти — надійно та у великих масштабах обробляти природну мову. Саме це відрізняє нішеві інструменти від інфраструктури, здатної змінити світ.
Розумний висновок полягає не в тому, що перші прихильники мали рацію, а всі інші запізнилися. Він більше схожий на наступне:
- Когнітивний ядро змінилося – від логіки та вручну створених правил до нейронних моделей, які навчаються на даних.
- Проблеми інфраструктури залишилися незмінними.
- Інтероперабельність, семантика, координація, безпека та управління все ще потребують спеціальної інженерної роботи.
Бути попереду та мати правильні рішення – це різні речі. У 2006 році була спроба створити інтерфейс штучного інтелекту для різних форм машинної та людської мови за допомогою XML. Сьогодні цю роботу виконають схеми JSON, векторні бази даних, графи знань та спільні протоколи на кшталт A2A чи MCP. Інстинкт залишається незмінним: зробити інтерфейс правильним.
Проблеми, які варто назвати
Сьогоднішні огляди дизайну та форуми з архітектури містять твердження, які нагадують те, що казали про семантичний веб двадцять років тому. Існують реальні досягнення: трансформери, здатні автономні агенти та масштабні реалізації. Однак існують також знайомі прогалини:
- Слабкі або відсутні стратегії взаємодії.
- Мінімальна увага до формальної семантики чи онтологій.
- Управління розглядається як обгортка, а не як архітектурний шар.
Три ймовірні сценарії показують, що станеться, якщо ці прогалини залишаться. Жоден з них не є прогнозом, а лише екстраполяцією з поточної траєкторії розвитку.
Перша проблема — це Вавилонська вежа. Кожен постачальник створює власні системи агентів, тому агенти однієї компанії не можуть спілкуватися з агентами іншої чи використовувати їхні інструменти. Корпоративні ІТ-системи перетворюються на сукупність несумісних платформ, де кожне двостороннє з’єднання вимагає індивідуальної інтеграції, що значно підвищує навантаження на системи, призводить до втрати продуктивності та змушує консультантів брати високі оплати.
Друга проблема — криза безпеки. Флот агентів у фінансовій компанії піддається злому через вставку команд та виконує несанкціоновані операції на суму мільйонів. Аудитних записів немає, оскільки формальна перевірка вважалася занадто дорогою та зайвою з огляду на складність сучасних ШІ. Це призводить до штрафів від регуляторів, втрати довіри клієнтів, відходу керівників та загального негативного реагування в галузі.
Третя проблема — це катастрофа у вигляді галюцинацій. Медичні працівники рекомендують методи лікування на основі дослідницьких статей, яких ніколи не існувало, та протипоказань, вигаданих без жодних підстав, оскільки немає графа знань, який би їх підтримував. Пацієнти постраждають, а судові позови через недбалість описують системи, засновані виключно на ШІ, як вроджено ненадійні, що затримує впровадження медичного штучного інтелекту на роки.
Ніщо з цього не є вигадкою. Тестування на кшталт AgentHarm демонструють, наскільки легко можна підірвати поточні системи, а галюцинації в медичному середовищі добре задокументовані. Час для створення належної інфраструктури — зараз, поки серйозна публічна катастрофа не змусить вирішити цю проблему.
Цикл ідей, проекти залишаються
Ідеї циклічні. Вони зазнають невдач, знову з’являються та нарешті стають реальністю, коли навколишнє середовище готове до них. Те, що колись описувалося як обмін інформацією типу „пакет оброблений“ між агентами з метою створення цінних відповідей для людей, сьогодні описується мовою ШІ з великими мережами, векторних баз даних та багатоагентних фреймворків. Деталі змінилися, але основна схема залишилася незмінною.
Старі ідеї приносять користь лише тоді, коли хтось їх знаходить та уважно їх вивчає.
Джерела, які варто переглянути
- Бенчмарк AgentHarm для вимірювання шкідливої поведінки агентів.
- OS-Harm для забезпечення безпеки агентів, що використовуються в комп’ютерах.
- Neuro-symbolic AI in 2024: a systematic review.
- Understanding the planning of LLM agents, the planning survey discussed above.
- Large Legal Fictions on legal hallucination.
- ReAct від Yao та його колег.
- Специфікації FIPA для початкових стандартів комунікації агентів.