Пятнаццац канцэпцый LLM, аналізаванных чераз адзін запит дапаможных ботаў
Следзіце за адною запытаннем кліента через дапамогу AI, каб з’ясаваць, чым насправды займаюцца моделі, токены, эмбеддынгі, контэкст, RAG, агенты і методы ацэнкаў, і дзе канчываецца функція кожнага з іх.
Кліент ачывае віджет чату магазіна і спытаецца, чы можна ўсё ж такі вярнуць аудыакалошкі, купленыя дзесяць дней раней. Чэрез калькі секунд асистент чытае запит, пераглядае правілы вярнення товара магазіна і пояснюе можлівыя варыянты. Гэта абмянка здаецца простай, але яна праходзіць через ланцюг разных компонентоў: тэкст ператвараецца ў цыфры, навучаная модель выконвае вычысленні з іх, прыкладнэць можа шукати внутрашнія дакументы, а таксама можа вызваць інструмент для пачатку процэсу вярнення.
Тэрміналагі, якія выкарыстоўваюць інжынеры для адпаведных крокаў (токены, эмбедынгі, інферэнс, RAG і іншыя), лёгкія да павтарэння, але таксама лёгкія да неправильнага выкарыстоўвання. У гэтым кяліку прадстаўлены падсумкова панзначны тэрмінаў у тым порядку, якія ёнты фармацуюць адпаведны запыт: тэрмінаў, якія выкарыстоўваюцца да ўсунення проблемаў перш чым кліент дасягне системы, тэрмінаў, якія выкарыстоўваюцца падчас стварэння адпаведзі, і тэрмінаў, якія неабходны для таго, каб система могла дзеяць і каб яе можна было паверыць. Для кожнага панявлення паказана, што гэта такое, чаму гэта важна з інжынерскай точкі зору, і якія паўтарычныя уявленні гэта часта створвае. Спрыймайце этот список як адну з баз, а не як усю галерыю; для болей шырокага апісу таго, што трэба выучыць далей, адзірніце нашу іерархічную карту панявленняў інжынеріі AI.
Перш чым запыт дасягне системы: модэль і як ён навучыўся
Усё, што адбылася ў гэтым разделе, адбылася задоўга да таго, як кліент запусціў чат. Гэта вялічына паказвае, што саме можа рабіць асистэнт.
1. Модель: функцыя пераўтварэння вхідных дадзеных у выходныя
Модель — это матэматычная система, якая пераўтварае вхідныя даныя у выходныя за дапамойю шаблонаў, выведзеных з дадзеных. Однія моделі класыфікуюць фота жывотных; іншыя прагнозуюць часы доставкі. Мовная модель працуе з тэкстам і стварае яго, прыгадваючы правдаподобныя наступныя элементы, пашагоўна.
Простая аналогія — студент, які рашыў тысячы практычных задач. Калі яму даецца новая задача, ён прыкладвае тое, чаго научыўся па практыцы, а не шукае ідэнтычны вопыт. Аналогія непаштоўная, адколі моделі не вучыцца і не розумеюць так, як людзі, але ёна паказвае галоўную ідэю апрантавання на прыкладах.
У сцэнарыі магазіну модель мовы адразумевае запит і стварае адпаведную адказ. Аднак готовы продукт таксама включае інтерфейс для корыстувальця, источнікі дадзейнаў і, можа, розныя інструменты.
- Значэнне для інжынерыі: модулі є спецыялізаванымі. Той, які можа пісаць плавны текст, не завжды ўмее правільна працаваць з прогназаванням попытак чы аналізам мошчанніцтва.
- Пашыльная памылка: спаўненне "моделі" з "прыемам". Модель — толькі адна з канстант у складзе прыема.
2. Параметры: ціфры, якія кодуюць прыем.
Нейральная сетка мае вельмі большую колькасць налаштавальных значэнняў, якія называюцца параметрамі. Найбольш часта гаворыцца пра вагах; іншыя параметры — це скасы. Разам яны вялікай меры вплываюць на тое, як ператвараецца інфармацыя пад час ўсунення яе через сетку.
Уявіце саблон для мікшування, пакрыты прыборамі: калі іх перакручваць, змінюецца звук, а зміна параметраў вплывае на выходны сигнал. Навчанне — гэта процес, пад час якога перакручваюцься гэтыя прыборы.
Тое, што выучыла мовная модель, розпадаецца на вялічезныя числовыя масівы. Зазвычай не існуе адной конкрэтной локалізацыі, дзе зберагаецца фраза "Парыж — століця Франціі". Частаку текста, які викорыстоўваецца для навчання, можна запам’ятаваць слова ў слова, але модель не являецца архіўам дакументаў, якія вона бачыла, з можлівасцю пошуку.
- Значэнне для інжынеріі: колькасць параметраў вплывае на патрабаванні да прыемкі, памяці та вычыслювальных моцаў, а таксама на ўзлёты можлівасцей моделі. Большая модель не гарантуецца, што будзе кращая для вашага конкрэтнага завдання.
- Пашчутная памылка: уявляць параметры як базу дадзеных з зберагнутымі адпаведзямі. Насамперад, гэта выучаныя настройкі.
3. Навчанне: практыка з адзывамі
Адаптаванне выконваецца па мэркі параметраў моделі за дапамой дадзеных і паказніка. Для мовных модэлей стандартны паказнік — прагнозаванне наступнага токена.
Возьмімо рэчыцу для адаптавання «Століца Франціі — Парыж». Модэлі паказваюць пачатак рэчыцы, яна выдвайае прагноз таго, што будзе далей, а система адаптавання вылічвае разліку межы гэтым прагнозам і рэальным наступным токенам. Пасля чаго параметры корэктуюцца, каб зменшыць памылку. Павтараючы гэты процес на вельмі большай колькасці прыкладаў, гэта болей нагадвае трэнаванне з пацелункамі, чым копіюванне кнігі ў сховішча.
Модэлі магазіна была адаптавана ўсё раней, чым з’явіліся кліенты. Гэта даў яе загальныя мовныя навыкі, але нічога не гарантуе, што яна знае актуальныя правілы варыцыі для гэтага конкретнага магазіна.
- Значэнне для інжынерыі: выбор дадзейнаў і аб’ектных форм вялічыць як можлівасці модэлю, так і виды памылак, якія ён дзеўа.
- Пашчэрстаная памылка: прыпуск, што модэль, якая запамятавала патэрны мовы, таксама пераканалася ў правдзівасці фактов. Гэта не так.
4. Transformer: архітектура, якую выкарыстоўваюць большасць мовных модэляў
Transformer — это дизайн нейронной сеті, який спалюе механізм уваги з іншымі шарамі обробкі, каб ператворыць вхідныя представленні на корыстны выход. Уявіце сабе лінію зборкі: кожная станцыя удосконаляе роботу, якая ёй перадаёцца, а не пачынае з самага первіснага тексту.
У мовнай модэлі, адаснованай на трансфармэры, представленні токенаў праходзяць через шары, распакаваныя ў стак. Механізм атэнцыі спаўяючы інфармацыю з разных пазіцый, іншыя компаненты трансфармуюць представленні кожной пазіцыі, а інфармацыя пра пазіцыю дапамагае модэлі розразліцаваць фразы „сёнь грызе чалавека“ і „чалавек грызе сёнь“. Фінальныя представленні ператвараюцца на балы для кожнага можлівага наступнага токена, балы ператвараюцца ў верыгоднасці, і выбираецца адзін токен.
- Значэнне для інжынерыі: разумеўшы архітектуру, можна з’едыніць іншыя концэпты. Токены ўводзяцца як вхідны даны, імбеддынгі представляюць іх, механізм атэнцыі выступае для ўзаемных звязкаў, а вікна контэксту паказвае, сколькі інфармацыі можа бачыць модэль.
- Пашчутная памылка: плутаць архітектуру з трэнаванай модэллю. Трансфармэр — это плян; трэнаваная модэлля — это конкрэтны прыклад з навучанымі параметрамі.
Колі каляцецца адказ: ад тэксту да токенаў да выходных даных
Тепер кліент нажымае кнопку «Адправіць». У гэтым разделе паспелюема, што відбываецца пад час такога запиту.
5. Адгадванне: запуск натрэнаванага моделю
Адгадванне значыць выконанне натрэнаванага моделю на новым вхідным дадзенні, каб атрымаць выходныя даны. Якшто натрэнаванне — це практыка, то адгадванне — це складанні экзамена.
Калі прыходзіць запит да наушнікаў, модель вырахоўвае рэсультат на адпаведным вхідных данных, выкарыстоўваючы ўжо наявныя параметры. У звычнай роботе яна не перенашоўваеся занова праз кожны запыт; яе параметры застаюцца незменнымі пад час адпаведных адказаў. Для генеравання тэксту процес вырахоўвання адпаведзеў ёсць ціклам: вырахоўваюцца верыятнасці для наступнага токена, выбираецца адны, ён дадаецца і процес павтарыяцца, пакуль адказ не будзе завершаны. Тое, як працюе крок «выбіраць адны», — гэта самае ўзначальнае пытанне, якое розглядаецца ў нашым адказе пра параметры temperature, top-k і top-p.
- Значэнне для інжынерыі: саме пад час вырахоўвання адпаведзеў з’яўляюцца паўзы і вартасці вырахоўваń за кожны запыт, таму гэта вплывае на якасць адносін з корыстувальнікам і выценку сэрвіса.
6. Токен: елемент тексту, які насправды бачыць модель
Токен — это частка тексту, якую визначае токенаўзнавач. Залежна ад токенаўзнавача, гэта можа быть цэлое слова, фрагмент слова, знак пунктуацыі або іной частка тексту. Толькі як прыклад, слова „headphones“ можа застацца цэлым пад адним токенаўзнавачам, а пад іншым разбіцца на „head“ і „phones“. Ніколі не прытлумляйце, што адна слова равнае аднаму токену.
Кожны токен прысвоюецца цэлычная ID, і модель ператварае гэтыя ID на числовыя представленні пры ўпрацоўкі.
- Значэнне для інжынерыі: колькасць токэнаў вялікай меры парадзейвае тое, чы роўнаюцца даннія вакол меркавання, якой дужыной можа быць выходны тэкст, і часта якая ўзнята цена за вызов API. Адно і тое ж значэнне можа выклікваць разную колькасць токэнаў у розных мовах чы форматах; напрыклад, JSON і код часта токэназуюцца адлічна не так, як звычны прозаічны тэкст.
- Пашыльная памылка: плутанне токэнаў і ўпісоў токэнаў. Токэны — это фрагменты тексту; упісы — іх числовыя пазначкі.
7. Эмбеддынг: значэнне як пазіцыя ў прасторе
Эмбеддынг — это числовая рэпрэзентацыя якога-небудзь элемента: токэна, рэчы, дакумента чы адпраўкі. Зазвычай яны выглядаюць як вектар, тое ўпорядкованы список цяжэраў.
Уявіце сабе, калі вы расставляеце кнігі бібліятэкі на карце так, ўбыткі на схожыя тэмы знаходзіліся бы поблізу адзін ад другога. Эмбеддинг надае кожнаму элементу координаты на такой карце, што дазволяе вимерваць схожасць. Якша выбраныя моделі эмбеддінга для пошуку можаць разместіць запитанне "Як гэты элемент можна вернуць?" поблізу запитання "Якая у вас політіка варыцьбы?", нават як у гэтых запитаннях практычна няма спільных слоў.
Дапамагае раздзеляць два способы викорыстоўвання эмбеддінга. У мовных моделях токен-эмбеддінгі ўскладнююць спосаб представлення вхідных даных. У системах пошуку документ-эмбеддінгі викорыстоўваюцца для пошуку релевантных матэрыялаў. Ідеі супарадныя, але спосаб представлення і нават сама модель, якая яго стварае, часта разныя.
- Тэхнічная релевантнасць: эмбеддінгі — гэта тое, што дазволяе працаваць з пошукам і адзысканнем на адной основе значэнняў.
8. Запрос: інструкцыі та матэрыялы, якія вы даёте
Запрос — это все, што передаецца модэлю для керавання яго адказам: інструкцыі, запит корыстувальніка, прыклады та дапаможны текст.
Порашчыце два запиты. „Паспясніце пра варыцю“ — гэта нечыясна фраза. „Выкорыстоўваючы наведзеную нижэй політыку, выявіце, чы можна варыць наушнікі, купленыя дзесять дняў тыму; якщо не хапае неабходнай інформацыі, запытайце пра яе і не стварайце вымышленых правіл“ — гэта чыткая інструкцыя, якая визначае задачу, дапаможны матэрыял і правіла дзеяння ў разы недастатку інформаціі. Гэта розныня межу запытам дружына пра „з’явіць калі-небудзь штось у магазіне“ та передачай яму списку з бюджэтам.
У асистэнта фінальны запит зазвычай складаецца прыкладнам: інструкціі разработчыка, паведамленне кліента і тэкст правіл, якія запоўнююцца з базы ведаў.
- Значэнне для інжынерыі: точныя запиты зменшаюць неяснасці і дазволяюць пераканацца ў бажанай працэздатнасі.
- Частая памылка: апоўзанне на інструкціі запита як на абмежненне безпекі. Інструкцыі вплываюць на працэздатнась; яны не забезпечваюць правыя на доступ. Калі ўсё, што не павінна выйсці, мусi быць контролюема, патрабуецца кантроль за межамі самага модэлю.
9. Акна контексту: абмежаны працоўны прастор
Акна контексту — гэта колькість матэрыялу, які модэль можа рассмотрыць за раз, выражаная ў токенах. Уявіце сабе стол: пад час работы вы можете розклаць на яму нотаткі, але паверхня є скончанай.
У гэтым прасторе знаходзяцца інструкцыі системы, історыя размовы, запрашаныя дакументы та рэзультаты работы інструментоў; залежна ад системы, створаны выхід таксама зважаецца ў ліміт. Калі размова становіцца занадта дзюльгавай, прыкладнасць неабходна втручацца — напрыклад, адхоўляючы старэе каліянтавання, падсумоўваючы іх або знову запрашаючы выбраныя часткі, калі гэта неабходна.
Кантэкст і параметры — гэта разныя рычы. Параметры былі фіксаваны пад час навчання; кантэкст — гэта інфармацыя, якая падае толькі для текущага заведамства.
- Значэнне для інжынерыі: неабходна цярпеліва планаваць прастор. Дадзенне большай колькасці тэксту не значыць падача больш прыдатнага тэксту, а нерелевантны матэрыял можа відволікати модель.
- Пашчэрстаная памылка: спрыяжэнне вялікага вікна з необмежанай памяцюю, або прыпуск, што кожны даклад у ям будзе правільна выкарыстоўвацца.
10. Увага: зв’язак частак уваходзячых дадзенняў
Увага — это спосаб, якім модель сумашчывае інфармацыю, запоўненую з разных частак уваходзячых дадзенняў. Возьмімо прыклад паведамлення, у яком сказана, што наушнікі былі доставлены вчора, але замовлены за дзесяць дней раней. Пры падзеце пра вярненне можа быць важлівым тое, чы рачытанне таймера пачынаецца з моменту доставкі чы з моменту пакупкі, і саме увага дапамагае так, каб адпрацоўкі пытання відбівала зв’язак межаў доставкі, замовкі і двух момантов часу.
У павсядневным жыцці гэта аналагічна перачытанню стосунавых рэчэнак у тэксте перш чым адпавядаць на пытанне пра яго. З тэхнічной точкі зору увага вырахоўвае числовыя балы релевантнасці межаў і выкарыстоўвае іх для стварэння зважаных сумашчываў інфармацыі. Разныя часткі моделі і ўзоракі можу фіксаваць разныя виды зв’язакоў.
- Значэнне для інжынерыі: панорама уваги адказвае на запытанне, чаму формуліраванне, порядак і суседзяючы тэкст зменяюць адпаведны адказ, што мае значэнне пад час проектавання запытань і апранкі дакументаў.
- Пашыльная памылка: спрыянне увагі спрыймалося як цэлыя адказ на запытанне пра прычыны рашэння моделі. Це ўсьмо толькі матэматычны сигнал, а не чыстае поясненне таго, чаму быў выданы адказ.
Фіксацыя і адаптаванне моделі
Толькі трэнаванне моделі не можа знайсці чынную палітаку гэтага магазіна. Две тэхнікі разнымі спосабамі заполняюцы гэты прывод.
11. RAG: знайсці інфармацыю, а потым адказаць
Retrieval-Augmented Generation — это процес знаходжэння релевантных адзінакоў за час запыту і ўключэння іх у контекст моделі, каб адпаведзь могла на іх асведчацца. Гэта нагадвае экзамен з відкрытым кнігам: кніга є, але студэнт усё рава должен зрозумець запыт, знайсці правильную сторонку і належным чынам яе выкарыстаць.
Для працавікага магазіна процес зазвычай выглядае так:
- Прыходзіць запыт кліента.
- Програма шукае ў дакументах правіл релевантныя фрагменты.
- Найболей падходзячыя фрагменты дадаюцца ў запыт разам з самым запытом.
- Модель пішае адпаведзь, якая базуецца на гэтых фрагментах.
Адаптаванне можа базавацца на пошуку за ключовымі словамі, эмбеддінгах або ўжыцці як спосабу пошуку, так і эмбеддінгаў. Гэта мае важлівэ значэнне, калі беручыся за адаптаванне, параметры моделі не падвергаюцца змянам. Існуючая стаття RAG explained: how AI systems retrieve fresh knowledge on demand дэтальней розглядае аспекты пошуку інформаціі.
- Значэнне з точкі зору інжынерыі: RAG — это спосаб, яким прыложэнняя викорыстоўваюць прыватныя, спецыялізаваныя або часта змінююцыяся дакументы без павторнага натрэніравання.
- Пашчутная памылка: думка, што RAG гарантуе правільныя адпаведзі. Хоць гэта зменшае кантэнт непадтрыманых адпаведзей, система все раве можа выкарыстоўваць неправільны фрагмент або неправяма інтэрпретаваць правільны.
12. Тонкая наладка: дадатковыя практыкі для болей вузкае задачы
Тонкая наладка — это продактывацыя ўжо натрэнаванага модэля, зазвычай на меншам, сфармаваным наборе дадзеных, спрямованам на адзін конкрэтны цель. Гэта як калі людзина, якая вольна володзіць англійскай мовай, практыкуецца ў складзенні стислых адказаў для падтрымкі кляёнтаў.
Компанія можа выконваць тонкую наладку на парах запытанняў кляёнтаў і ідеальных адказах, каб навучыць сталявы тон, формат выходных даных аб спецыялізаванае поведэнне. На вядзменна з установкай правілаў у запыт, тонкая наладка меняе выучаныя параметры аб дадае натрэнаваныя элементы, якія зменяюць поведэнне. Яна таксама може дадаць знанні з конкрэтной галіны, але являецца неэфектыўным механізамам для фактов, якія часта змінююцца, адтолькі кожная змяна будзе вымагаць новай практыкі.
- Значэнне для інжынерыі: тонкая наладка є карысной, калі павтаральнае поведэнне не можа быць адсягнутая надзеямоўна за дапамогою запытанняў.
Калі система дзейнае і як з’ясавіць, чы робіць яна сваю работу
У пасляпэльнай групе рассматрываюцца проблемы, якія выступаюць, што змініцаеся, калі асистэнт можа выканаць певныя задачы, і як оцэніць ўсю систему.
13. Галюцинацыя: плавная, аднойчынае і не падтрыманая доказамі
Галюцинацыя — це выходны тэкст, які є некальківым, выдуманым або не падтрыманым відпаведнымі доказамі. Падазроўваючы, што магазін разрашае вярненне тавароў прыблізна за семь дней, асистэнт аднойчынае адпавядае, што всі наушнікі можна вярнуць прыблізна за трыдцять дней. Такой адказ здаецца правдападобным і граматычна правільным; пры тым ён таксама некальківы.
Асалінным прычынам яўляецца тое, што моделі мовы ствараюць верагодныя продажчыкі тэксту, замест таго каб пераканаліцца ў правдзівасці тверджэнняў. Высока верагатыба наступнага токена нічога не сказвае пра тое, чы рэшта заявы ўсё ж такі правдзіва. Галюцинацыі выражаюцца ў вымышлёных правілах, цитатах, адносах, цыфрах і нават фальшывых рэзультатах працы інструментаў.
- Значэнне для інжынерыі: адгуканая, але некоректная адпаведзь можа спрычыніць рэальную шкоду, таму системам патрэбны надзеяныя доказы, перакананне выходных данных і афірмаваны спосаб прызнання неяснасці.
- Пашчэрстаная памылка: спрыйманне упэўненага формулювання як надзеянасці.
14. Агент: выбір і адкананне крокаў да досягнення цялі
Агент AI — это система, якая выкарыстоўвае модель для прыняцья рашэння і выканання крокаў ў напрамку адпаведнай мэты, зазвычай паўтараючы выкарыстоўванне інструментаў. Звычны чатбот можа поясніць процэс варыцы; агент можа знайсці замовленне, пераканацца ў його адпаведнасці і падготавіць запрос на варыцу.
Тыповы цикл для працы з варыцамі:
- Чытае мэту кляўента.
- Выбірае, якая інфармацыя не хоцьца, напрыклад, даны замовлення.
- Выкарыстоўвае інструмент для пошуку замовлення, які надаеяцца прыложэннем.
- Адмаўляе рэзультат па правілах.
- Або готавіць варыцу, або задае уточнюючы пытанне, або перадае справу чалавеку.
Модель ніколы сама не з’являецца ў базе дадзеных. Аплікацыя выканае задачу, пераканальваецца ў наявнасці прав і выконвае операцыю; модель толькі пропануе выконанне задачы. Ступень автонаміі значна разніцяецца — ад простага выканання задачы да дугіх, багаташаговых секвэнсаў, і не кожная фіксаваная автаматызацыя заслуговае на адзначэнне «агентам». Чырвонейшае пра сам цикл можна прачытаць у «Розумеўце AI-агентаў: цялі, інструменты, память і цикл агента».
- Інжынерная значамасць: дзеянняя патрабуюць чыткіх меж, адарожнення памылак і контрольных пунктав. Падготовка вярнення грошаў — гэта не тое ж сама, што ўзгадванне яго.
- Пашырэная памылка: спаўненне можлівасцяў дзеяння з правам дзеяць без нагляду.
15. Ацэнка: доказы таго, што аплікацыя працуе
Ацэнка — это систематычныя прамеры таго, насколькі хораша модель або цэлая АІ-застосовка выканае свою запланаваную задачу. Уявіце веласипед: яго трэба пераканаліца на наявнасць гальм, керавання і колаў за разных умов прытаму, перш чым яго можна будзе вжываць у руху, незалежна ад таго, насколькі гарны ён выглядае.
Для асистента з вярненням грошаў корыстны набор тэстав мусі включаць прынеймна:
- Вярненне, якое явна падпадае пад адзначэнні.
- Вярненне, запрашанае пасля заканчэння дазволенага періяда.
- Запыт, у яком не паведамлена дата пакупкі.
- Два документы правіл, якія супераслігаюць адзін з другім.
- Пошук замовлення, які не ўдаецца.
- Прабаўка атрымаць вярненне грошаў, на якое кліент не мае права.
Ацэніце правільнасць адказоў: чыяй адказы падтрымліваюцца доказамі, чыякша неяснасць выражана належным чынам, чыякша інструменты викорыстоўваюцца абавяжліва, а таксама час адпаведзення і вартасць. Уключыце прыклады, якія команда не викорыстоўвала пад час стварэння системы; тэставанне толькі на знайомых прыкладах перацэнюе якасць.
- Адносна інжынерыі: дэманстрацыя паказвае, што аднаму прыкладу ўдалося. Ацэнка паведамляе, як часта система працюе і дзе ёй не выходзіць.
- Пашчэрстаная памылка: ацэнка стілю напісання моделі заместа тэставання цэлага прыкладу заўсёды.
Ключовыя выводы
- Модель — толькі адна частка AI-прыкладу; джерела даных, запиты, інструменты, правыя на выкарыстанне і тэсты вялікай мерой адначынаюць рэальную працэздатнасць.