Артыкулы для тых, хто
выводзіць стэк у прод
Матэрыялы пра React, Node.js, TypeScript і AI. Перакладзены тэкст паказваецца, калі ён ёсць. Калі не — вы бачыце англійскі тэкст і пазнаку пра гэта.
Тэг: lora
Навчанне агентаў AI падпрыемства: выбір між SFT, DPO, GRPO і RAG.
Адаптаванне агентаў AI для практычнага выкарыстоўвання: калі вжываць SFT, DPO, GRPO, LoRA чы проста RAG, і як выдаты рэзультат у вастоўленай, пераканаленай і можна адворачыць форме.
50 хв чытанняШто знаходзіць агент параўнання мадэляў: змены стылю засланяюць вузкі файнцюнінг
Агент параўнання мадэляў праверыў фінансавы LoRA-файнцюнінг: у 82% запускаў ён заўважыў змену даўжыні і структуры адказаў, а задуманая змена разважанняў засталася схаванай.
15 хв чытанняШто такое LoRA і QLoRA: настройка 7B-мадэлі без 100 ГБ VRAM
Чаму для абсалютнага файн-цюнінгу патрэбны 80–100 ГБ, як адаптары з нізкім рангам скарочваюць вагі, якія можна трэнаваць, да 1,6%, як выбіраць ранг і цяльныя шары, і што дае QLoRA.
5 хв чытанняВосьмыя ідэі лінейнай алгебры, якія стояць за эмбедынгамі, LoRA і PCA
Вектары, матрыцы, власныя вектары, косінусная схожасць, нормы, метод SVD і ранг адгукаваны на прыкладах цін на будынкі і тэхніках штучнага інтэлекту, якія аднойчы з імі.
7 хв чытанняЯк QLoRA налаштоввае вялія мадэлі на маленькіх GPU: асэнцыі пра 4-бітныя мадэлі
З’ясавайце, што такое QLoRA з самага пачатку: чаму повна налаштовка ўскладнена і дорога, як работаюць адаптары LoRA і 4-бітная квантызацыя, а таксама калі такой падход падходзіць для вашага праекту.
8 хв чытанняЧы гэты большыя LoRA адрабо? Ацэніце точнасць па адносу да косту, а не за іншымі факторамі.
Маленькій прарок, які апрацоўвае рэцепты LoRA як даныя і відображае дакладнасць, час навчання, затрагання і памяць, тож вібік рэйтынгування і колькасці повторэнь залежыць ад цыфр.
5 хв чытанняДва завады LLM на аднай GPU: vLLM LoRA, агенты і налагоджэнне Azure ML
Адмініструйце інтэрактыўны і пакетны трафік агентаў з адной карты за дапамогою падтрымкі LoRA, аналітыкі ClickHouse, файлаў у фармаце Blob, а таксама трэніравання Unsloth, якое фіксуецца ў MLflow.
8 хв чытанняВыкананне настройкі LoRA локальна: пераканацца, з’едынэнне і адзінаванне тых, што працуюць без звуку
Падкрэсціце, што адаптар LoRA дзейсна паспрабавіў паўнэчыць маленькі мадэль, з’яеднаць яго і запрацаваць за дапамогою локальнага API, сумэнныя з OpenAI, а таксама выкрываце неудачы, якія вяртаюць неправільныя, але «впэўненыя» рэзультаты.
12 хв чытання
Пра гэтыя артыкулы
Ацэнка за 24 гадзіны
Патрэбны такі стэк у аператарскім слоі? Дашліце брыф — ацэнка за 24 гадзіны.