Як працуе сучасны AI: LLM, промптынг, RAG, агенты і MCP

LLM, GenAI, RAG, MCP. Абракадабры з’являюцца быстрэй, чым хтось можа ўсё гэта вышукаць, і можа здавацца, што хтось проста кідае літэры ў стэну. Аднак ідэі, якія за імі стояць, не ўсё такі ужо магічныя. Адмахнуўшыся ад спеціяльной тэрміналогіі, кожна з іх ёсць досыта інтуўітывная. Цікава тое, як элементы сучаснага штучнага інтэлекту складаюцца ўмесце, у тым парадку, які лёгчэй для розумення.

Генератыўны штучны інтэлект і LLM-ы — не адна й тая ж раштунка

Люды вжываюць гэтыя два тэрміны як сінонімы, але адной з іх ўключаецца другая.

• Генератыўны штучны інтэлект — гэта шырокая катэгорыя. Яна включае ў сябе будзь-якія сістэмы, якія ствараюць ўсё новае: будзь то тэкст, зображэння, аудыя чы відэа.
• Большыя мовныя мадэлі — гэта адна з ўзгаледных галузей генератыўнага штучнага інтэлекту. Якшто генератыўны штучны інтэлект — гэта „автамабілі“, то LLM — гэта спорткар: сістэма, натрэнаваная на вельмі вялікіх колькасцях тэксту, ў метах зрозумець і стварыць людскі язык.

Што на самае справе робіць LLM

LLM — гэта механізм прыгадкі, і ніч у ўсім яго функцыонаванні не нагадвае людскія думкі чы рацыяны. Найбліжэйшы аналаг — гэта найсучаснейшы автодопраўляч, які толькі стваралі.

Ваш увод раздзеляецца на маленькія елементы, якія называюцца токенамі; зазвычай цэлымі словамі чы ўзламкамі слоў. На адной з асновах, якія былі абраны пад час навчання, мадэль вырахоўвае верыгоднасць кожнага можлівага наступнага токена. Калі запісаць „Чашка гарэлага...“, матэматычныя расчыткі можу паказаць, што верыгоднасць слова „кофе“ становіць 90%, а слова „цемент“ — 1%. Мадэль выбірае найбольш правдападобны варыянт, дадае яго і павтарае процэс з неймоверной швальнасцю.

Інжынерыя запытанняў

Якшо LLM — гэта проста машыны для вырахоўвання верыгоднасцяў, як жа яны ствараюць хорашыя эсэ чы функцыональны код? Адказ знаходзіцца пераважна ў тым, як вы ставяце запытання. Інжынерыя запытанняў — гэта практыка формулювання запытанняў так, каб выходны рэзультат быў якомога болей корыстным.

Уявіць собі талановітого стажэра, які добрэ знае світ, але нічого не знае про вашы цілі. Нечытке задачы прызводыць до нечыткого рэзультату, тоды як чытке задачы дае точну відповідзь.

Існуе безліч тэхнік, але чотыры з ніх охоплююць більшысць сітуацій, на які покладаюцца розробнікі і актывні корыстувачы.

1. Вказівка ролі. Надайце мадэлі певну роль, напрыклад: „Дыйце як досвідчэній інжэнер програмного забезпечэння, які аналізуе стару кодову базу“. Гэта допомагае обмежыты іі словніковій запас і фарматування адказаў, што спрыяе отрыманню практычніх і конкрэтніх рышэнь.

2. Вказівка прыкладыв. Перад віконанням сапраўднага задачы покажыць два-тры готові прыклады бажаноі формі вхідніх і віхідніх даных. Структуры коду і схемі JSON часта важко правільно інтэрпрэтуваты, тож чыткій прыклад „хорошого“ рэзультату значно зменшуе колькасць помілок у фарматуванні і прыпушчэнь.

3. Аб’яднанне запітоў. Раздзеліце вялікую задачу на серыю меншых запітоў. Адны запіт можа паказаць структуру, наступны — стварыць схему базы дадзеных, а трэці — напісаць канцэнтры API на аднойчыну з той схемай. Мадэлі трапляюцца без увагі пры дужа дзяўнай працы, таму чым меншы кожны крок, тым лепей код і меньша колькасць памылак пад час компілявання.

4. Мета-запіты. Прабуйце паспрацаваць з модэллю, каб тая напісала, паспрабавала паўнейшаць або вылечыла сам запіт, напрыклад: «Я хачу дасягнуць X, таму напісайце найкрашчы запіт для LLM, каб гэта здарылася». Модэль досыць добра розумее сваія сабе меры, што можа заўсёды зарадзіць гады проб і памылак.

Усе чатыро методы працуюць аднойчыну. Керуючы кантэкстам, вы звяршаеце верагатнасці модэлі, тады яна выкарыстоўвае толькі тую частку своіх знанняў, якая адпавядае «эксперту-інжынеру».

RAG: падача модэлі свежых фактов

У штучных нейронных мераеў ёсць вялікія абмежэння: яны застаюцца незменнымі пасля завершэння навчання. Мадэль, створаная у 2023 годзе, не можа ведаць, што клуб RCB выграў кубок IPL у мае 2026 годзе. Яна таксама не ведае ніч пра прыватныя матэрыялы, такія як внутрашні PDF-файлы вашай компаніі.

Тэхніка падвышэння якасці генеравання за дапамою пошуку, або RAG, закрывае гэтыя прыемкі. Уявіце экзамен з відкрытым кнігам: уместо таго, каб паслужыцца толькі тым, што запамятаўся давно (базавае навчанне), вы можэтэ карыстацца товстым підручнікам пад час адпаведзення.

Чатыры крокі

1. Запіт. Вы ставяце запыт на кшталт: "Калькі былі нашыя цялевыя показнікі продаж у трэцьмам квартале?"
2. Пошук. Перш чым мадэль бачыць запыт, сістэма шукае сярод власных дакументаў компаніі інформацыю пра цялевыя показнікі продаж у трэцьмам квартале.
3. Падвышэння якасці. Адпаведныя дакументы прыкладываюцца да запыту.

Генераванне. Мадэль чытае іх і дае адказ на базе актуальных, рэлевантных дадзеных.

Чаму мадэлі ствараюць халюцынацыі

Пакалькі LLM ёсць прогназавач слов, яго справжня мета — звучаць статыстычна правдападобна, а не быць фактычна правым. Якшо запытацца пра політыку компаніі, якой не існуе, вы не пабудзеце коду 404. Мадэль стварыць пераканаючую політыку з нічога. Яна не кажае брэхню намеравана. Яна следуе своім верыятносцям да таго, што выглядае як правы адказ. RAG скарочвае гэта, змушваючы мадэль базаваць свой адказ на рэальных фактах, якія вы задаеце.

Як пошук такі быстры

Класычныя пошуковыя сістэмы шукаюць точныя зусвайпаванні ключоўых слоў, але AI патрэбна можлівасць разумець значэнне, і гэта ў завадзе embeddings.

Калі компанія завантажуе PDF-файлы, спецыяльны мадэль перакладае тэкст у довгі спіс цыфр, які відображае яго значэнне. Гэтыя спіскі зберагаюцца ў базе дадзеных вектороў. Пры ставленні запытання сістэма перакладае ваш запыт у цыфры такім жа спосабам і шукае найбліжэйшыя адпаведнасці ў базе. Таму правы фрагмент вяртаецца нават тады, калі вы сформулюўваеце запыт інакш, чым у даследжэнні.

RAG у пораўнанні з тонкай наладкой

Ўныя модэлі часта плутаюцца. RAG — гэта экзамен з адкрытымі кнігамі: вы даеце модэлю тымчасовыя нотаткі, стосунакіяныя да аднаго пытання. Файн-цюнінг больш супаменяе возврашчэнню модэлі ў аспірантуру. Ён перманентна зменяе внутрэшнія вагі модэлі, тады яна можа выкарыстоўваць адзін конкрэтны тон, фармат чыя спецыялістскі слоўнік, напрыклад, медычную чы правовую мову. Чыба зберагчы фактычныя знанні актуальнымі, RAG ўсё прыгожэй, дышэўшы і значна простэйшы ў кераванні.

Агентныя AI: ад чат-бота да цыфровага працавальніка

Большасць людзей яшчэ пасіўна выкарыстоўвае AI. Вы пішаце запіт, атрымляеце адпаведзь і абмен заканчываецца. Агентныя AI пераходзяць з пасіўнага асістэнта на актыўнага агента. Агент атрымляе мету, набор абладнання і свабоду вырашаць, як яе досягнуць, без кожнага керавання на кожны крок.

Працэс работы

Калі папросіце просты LLM запланаваць пяцдзённую паездку да Бангалора, ён адразу ж стварыць стандартны план. Агент працуе цікламі, а не працуе так, што спачатку прынесе адпаведны адказ. Гэты падход называецца ReAct — скрацанне ад «расыянне» і «дзеянне»; ён включае ціклы разумавання, дзеяння і абзірвання:

                  ┌────────────────────────┐
                  │                        │
                  ▼                        │
[Thought] ──> [Action] ──> [Observation]  ─┘

• Мысль — гэта этап абстракцыі. Мадэль аналізуе запіт і выявляе, што трэба зрабіць. Якшо хтось хочаць дакларацыю па пагодзе ў Хайдарабадзе, мадэль выявляе, што не знае сучасных умов і патрэбуеся зовнішній істочнік.
• Дзеянне — гэта выбір мадэллю інструмента або API для вызову, напрыклад call_weather_api(location="Hyderabad").
• Абсарбаванне — гэта рэальны рэзультат, які прыходзіць з таго інструмента, напрыклад "25°C і дошчаць"

Потым цікл пачынаецца зноў. Мадэль берае абсарбаванне, створыць новую мысль (цяпер у яе ёсць дакларацыя па пагодзе і яна можа напісаць адказ) і нарэшце адпавядае.

MCP: універсальны роз’ем

Калі агенты распространяюцца, яны сталкваліцца з проблемай: як ім дасяя да рэшты цыфровага свету? Slack, GitHub, Google Drive і Notion кожны з іх арганізуе свае даны по-разнаму, і для з’яўлення звязку межа AI і кожным з іх раней было неабходна ствараць спецыяльны «мост» для кожнага дапрыямку.

Model Context Protocol (MCP) — гэта адкрыты стандарт, які функцыонуе як універсальны порт USB-C для AI.

[ AI Model ]
     │
     ▼ (Via MCP - Universal Standard)
[ MCP Server / Plug ]
  ├── Connected to your Slack
  ├── Connected to your GitHub
  └── Connected to your Local Files

У змену тысячам індывідуальных інтэграцый, дапрыгі прыменяюць MCP аднойчы. Пасля чаго будзь-які сумяжны модэль можа безпечна чытаць даны дапрыгі, выкарыстоўваць яго інструменты і розумець яго кантэкст. Гэта інфраструктура, якая дазволяе агентам кераваць электранамі, апдэйтаваць табліцы і працаваць з кодавымі базамі.

Простыяй спосаб прыкладзіць гэта

MCP рабочы ў програмнай апаратнай частцы там, дзе UPI рабіў у сферы платэжаў ў Індыі. Да появы UPI для пераказу грошаў было неабходна збіраць номер аблікавання, код IFSC і назву філіяў, а потым чакаць, пакуль аблікаванне получатэля будзе актывацавана, або ж вікорыстоўваць пяць разных додатакаў-гаманцоў, якія не моглі взаімаўна супрацаваць. UPI заменіў гэта адным кодам, які можна сканаваць і які даступны ў кожным банку. MCP — гэта той самы універсальны спосаб сканавання для штучнага інтэлекту. Распрацоўшчыкі больш не пішуць спецыяльны код API, каб з’ўязаць мадэль з Slack, потым з GitHub і ўжо з іншым додаткам. Кожны додатак інсталюе стандартны плагін MCP, і будзь-якая мадэль можа з’ўязацца, чытаць даны і запускаць дзеянні. Гэта сваерады шосе, якое дазволяе агентам пераводзіцца між панеллю Jira, электронным лістам у Outlook і продакшн-базай коду.

Як усё гэта з’ўязана

Размясціце елементы па правілу, і направленне стане ясным. Генератыўскія AI і LLM-ы научыліся гаварыць як людзі. Інжынерыя запросаў научылі корыстувачаў, як эфектыва адпавядаць. RAG сапраўджае актуальныя факты і прыватныя даны. Агентныя AI зараз рашаюць складныя проблемы, пры чым MCP выступае як з’ѐеднанне гэтых агентоў з програмамі па всюды.

Бум AI не стосуецца таго, што машыны стануць савеснымі. Гэта стосуецца таго, што машыны стануць добра з’ўязанымі, спроможнымі інструментамі, а разумеўшы, як працуюць ўсі ўзлокі, легчэ аджыць максымум паўнасці з іх.