Дыягназаванне проблемаў у выходных даных LLM: калі трэба даць падказку, адзыскваць інфармацыю чы тональна налаштаваць
Спосаб прымкнуць да сімптамаў, каб выявіць, чы рыхла функцыя ШІ патрабуе кращага запиту, слоя адзыскві гутавак чы настройкі, і чаму навчанне модэлю на фактах прыносіць негатыўныя наследкі.
Першая версія будь-каго функцыяна AI дае рэзультат, які не ўсё такі правільны. У вас ёсць тры спосабы яго выправіць: змяніце інструкціі, дадзіце модэлю дакументы, якіх ёй не хапяе, або ператрэнуйце яго на савых прыкладах. Їх вартасць значна разніцяецца — ад калек у роботе да тыжняў збору дадзеных, і кожны з яных выправляе разны тип проблемы. Шэрык гэтага кансалтату дае вам спосаб выбору правильнага спосабу, выкорыстоўваючы сімптамы, ёжы дапамагае не пасвячваць тыжні на выправленне проблемы, якой ніколі не было.
Ставіцеся да модэля як да спакульнага новай працавальніка
Корыстны ментальны модэль — це думка пра модэлі як пра адзінаго вельмі спакульнага працавальніка на першы дзень роботы. Ён ведае значны час пра свет у цэлым, але нічога не ведае пра вашу компанію: ні пра вашыя продукты, ні пра вашыя правілы, ні пра тое, як ваша команда прагчыць адпаведныя адказы. Ён будзе робіць памылкі, так жа як і будзь-яны талантаванны новак.
Вы можете дапамогчы новам працавальніку толькі трома способамі. Вы можете краща інформавацыяваць яго, даць яму матэрыялы для адказаў чы прыслаць яго на курс навучэння. Гэтыя спосабы адпавядаюць процесам стварэння запита, пошуку і дапрацоўкі рэзультатаў, і яны распараджаны ад найдешавейшага да найдрожэйшага. Ключовая майстернасць — падбіраць правільны спосаб втручання для конкрэтнай проблемы, таму логічна рассматрываць іх у такой самай прыоритэтнасці.
Стварэння запита: спачатку перапісайце інструкцыі
Заўжды пачніце з гэтага. Запит — это проста інструкцыі, якія вы надаеце разам з просьбай: сама задача, адна-две прыклады хорашага адказа, для каго ён патрэбен і які формат вы чакаеце. Йго змянэнне не коштае нічога і займае калькі хвілін. Большая частка скарг на тое, што «Штучны інтэлект парадны», на самай працоўцы є скаргамі на тое, што запит быў нечысткі.
Падзейце, калі адказы вашага функцыянту прыходзяць дужа дзейнаўскія і жорсткія. Не трэба нічога ператрэнаваць. Вы дадзеце інструкцыю на кшталт "адказваць у трох рэчанках, у теплым, простым тоне", запішаце адны хорашы прыклад адказу, і проблема зазвычай рашаецца за адну ітерацію. Інструкцыі, якія вы задаеце для кожнага запиту, называюцца системнымі прамптамі; прыклады адказоў, якія вы дадзеце для паказаў шаблона, называюцца прыкладамі канскарых падзеяў.
Аднак у прамптаванні є чыстая межа: інструкцыі не можу падаць знаёмства, якія модэль ніколі не бачыла. Якщо новаму працавальніку ніколі не паказвалі показнікі за гэты квартал, просьба "быць болей тачным" не дасты ўсіх этых показнікаў. Калі справжняя прычына — нехватка інформаціі, тады патрэбна другая метода.
Кароткая перапактовка пры пераходзе да наступнага
Перш чым выйти даўжыню, што запуск не ўспэў, пераканайцеся, што вы прабавалі явныя способы падтрымкі: чыста адзначыце формат выходных даных, прадасты прынеймна адны конкрэтны прыклад, сказаце, што робіць, калі адпаведзь не вядома, і працаваце з малым фіксаваным наборам рэальных даных, а не толькі з адним чы двумя выбранымі прыкладамі. Без такога фіксаванага набору важка з’ясавіць, чы рэальна змена дапамогла.
Адзысканне: перадайце файлы
Retrieval-augmented generation, які часта звяртаюцца RAG, дазвае модэлі адразу пад час адпаведзяў выходзіць да вашых дакументаў: чыннага каталогу цэнаў, правілаў вярнення товараў, історыі замоўкі конкрэтнага кліента. Ён рашае проблему недастатку ведамасцей, частых змян або інфармацыі, якая є прыватной для вашай організацыі. Калі дакумент апошні раз зменяецца, адпаведзі модэлі таксама зменяюцца, і не трэба ператрэнаваць яе. Гэты спосаб є правым выборам, калі ведамасці належаць вам, часта зміняюцца або патрэбна для цитавання. Разлік межу тым, што модэля запамятала ў своіх вагах, і тым, што яна шукае пад час адпаведзяў, дэтальней раскрываецца ў як разлічаюцца память, контэкст, эмбеддынгі і вагі модэлі AI.
У ситуацыі з новымі працавнікамі вы больш не дастаеце ўсунутых наставленняў; вы даёте ім інструкцыю та разрашаеце ў яй паглядзець прытаму, перш чым яны адпавядаюць. Тепер яны можу адпавядаць на запытанні пра речі, якія зменіліся давно пасля натрэнавання моделі, і можу точна паказаць, звядзе кожная адпаведзь.
Цяна вышэй, чым простая корекцыя запытання. Вы ствараеце невеликі канал, який зберагае дакументы та шукае ў іх за значэнням, што зазвычай абяўляе дзеянне калькі дняў, а не хвілін. Гэта все ж значна дышэўце, чым тонкая налаадка, і система застаецца актуальной разам з вашымі дакументамі. Це таксама дагадвае рухомыя элементы, якія тепер трэба падтрымваць: як дакументы дзелююцца, як вяршыцца ацэнка якасці пошуку та што выходзіць, калі не знаходзится нічога рэлевантнага.
Адаптаванне мае своі чыстыя межы. Дакумент заполняе праследы ў там, што знае модель; ён не зміняе спосабу ўжыцця моделью. Даўка чалавеку інструкцыі не зменяе яго стылю пісьма чыраўніцтва. Для гэтага яго трэба навучаць.
Тонкая наладка: адправіць на курс навучэння
Тонкая наладка занова навучае модель на багатых прыкладах, пакуль стыль чыраўніцтва не стане аўтаматычным. Гэта спосаб забезпечыць адносна стабільную працу моделью, калі простыя запиты не даюць бажаных рэсультатаў, або калі ваш запит ператворыўся на старонку правілаў і застаецца ненадзейным. Уявіце, што кожна адпаведзь трэба, каб паслухалася аднойчы вялікай спецыфічнай «голасу» брэнда ў мільйоне кантактаў, без жаднага адхылення. Навучэнне на тыячах прыкладоў можа зробіць такую працу стандартной, без неабходнасці дадатковых інструкцыяў.
Сама галоўная памылка, якую люди часта робяць, такая: тонкая наладка змінюе спосаб дзейства моделі, а не тое, што яна знае. Цей процес є повольным і дорогім, ён выказывае патрэбу у значным коліку прыкладоў дадзеных, а ўсе факты, якія вы включыце, стануць застарэлымі як толькі ція інформацыя зменіцца. Таму не трэба викорыстоўваць яго для зберагання фактов; для гэтага існуе функцыя пошуку. Цэй метод є аднам з трохоў варыянтаў: ён эфектывны, калі проблема справды стосуецца дзейства моделі, але ён марны для ситуацыяў, якія можна было б рашыць за дапамогою простейшагіх інструкцый. Чытайце пра эканамічныя аспекты гэтага рашэння на старонцы пра аналіз вартасці тонкая наладкі моделі проты выкліку API.
Выбір на адзнакі проблемы
Пачніце з адной запитання: што самэўсёлі не так у результате?
- Фармат або тон не падходзіць, або модель ігнаруе часткі вашых інструкцый. эта проблема брошуры, таму трэба паспрацаваць над запросам.
- Які-небудзь факты не ўключаны або застарэлі, модель наводзіць некоректную версію чаго-небудзь, або трэба, каб яна паказала свой джераг. эта проблема знанняў, таму трэба дадаць можлівасць пошуку інформацыі.
- Факты правыя, але паведанне не будзе стабільным незалежна ад таго, як сформулюваны запрос, і трэба, каб яно было надзеяным у тыячах адпаведзей. эта проблема паведання, таму трэба рассмотрзець можлівасць файн-тюнінгу.
Сімптамы вяду да способу выправлення. Бшчэ два моманты лёгкая працязнаць.
Разныя способы выправлення дзейную разам, а не конкуруюць
Практычна кожная функцыя пачаткуецца з запиту. Ёсць многія, які пазней дадаюць можлівасць запрашання інформацыі, калі ў яных патрабуецца актуальная або прыватная дакументацыя, а меншая колькасць — можлівасць тонкай наладкі для паведання, якое немагчыма забезпечыць за дапамою запиту. Зазвычай вы самі адлучваеце, який слой дадаць наступным, а не выбіраеце ўніверсальны падход на весь час. Модель, якая пройшла тонкую наладку, таксама отрымае запит, а система RAG як і раней залежыць ад інструкцый, якія паведамляюць модэлі, як викорыстоўваць запрошаную інформацыю.
Дзеяце толькі настолькі, насколькі трэбуе симптаматыка
Пакалі варыянты вырашаюцца ад дешавых да дорогіх у такой самай парады, зупніцеся на першам, які рашае проблему. Той жа логік вядзе і да таго, каб нічога не будаваць: якщо задача залежыць ад дакументацыі, якая меняецца, планавайце запрашання інформацыі; якщо патрабуецца адны точна паведанне ў вельмі большых масштабах, тонкая наладка можа стаць праведнай; усе інша пачынаецца з запиту.
Дорогія памылка: тонкая наладка для выучэння дакументацыі
Критычным аспектам, якія трэба частка выдзеліць, ўсё тое, калі для таго, каб модель чагось знала, прыменяецца тонкая наладка. Гэта здаецца серйозным, тэхнічна складным рашэнням, і самэ гэта прычына, чаму команды спачатку выбіраюць яго. Але факт, які постаўляецца змянювацца, не патрабуецца ў прычынках работы моделі; яго трэба разместіць у дасяглівай для моделі документацыі. Якщо зробіць усё наадворот, можна запрацаваць недзеяў на тое, каб навучыць модель факту, які вже ў той час, калі вы запускаеце яе, зноў будзе некоректным, пры чым не будзе лёгкага спосабу паказаць, звядзе канкрэтна адпаведзь.
Іншая падобная пастка — тонкая наладка для выправлення таго, што на самай працэ ёсьць нечыясны запит. Якщо вы ўжо не прыменялі частка ясных інструкцый па форматаванні та калькі хорашых прыкладоў на фіксаванай тэстовай базе, вы ўжо не ведаеце, чы існуе ўзагалі проблема з яе працэю.
Ключовыя выводы
- Діагноставайце раней, чым прыменяце ресурсы: выявіце, чы проблема стоўіць у інструкцыйх, знаёмствах чы ў працэ моделі.