Інжынерныя нататкі
Артыкулы для тых, хто
выводзіць стэк у прод
Арыгінальныя матэрыялы пра React, Node.js, TypeScript і AI — з той жа практыкі, што і наша аператарскае ПЗ. Тэкст артыкулаў па-англійску.
Тэг: kv-cache
Кэш KV — это невидзімая база дадзёў, якая спрацоўвае з памяцю GPU пад час дэкодавання LLM.
Прыявленныя значэнні проты декодавання, матэматыка KV, GQA/MQA, PagedAttention, квантызацыя і адчыненне месца для выконання задаўанняў у прыметнай сістэме.
2068 слоўЧытацьПрацавае выкананне LLM ад початку да канца: прыпраўленне дадзенняяў, декодаванне, кэш KV та выбіранне прыкладоў.
Экскурсія па токенайзеры ў формате, прыдатным для белай дошкі, па процесу стрімінгу — чаму прыпраўленне дадзенняяў залежыць ад вычысленняў, декодаванне — ад пропускной здатнасі, і як GQA, пейджаванне та спекуляцыяі зменяюць эконаміку процесу.
9177 слоўЧытаць
FAQ
Пра гэтыя артыкулы
Так. Кожны тэкст — арыгінальны англійскі рэрайт для гэтага сайта. Структура і код за крыніцай; проза перапісана і праверана на перасячэнні.
Тэхнічныя пасты спачатку па-англійску, каб код і API заставаліся дакладнымі. Абалонка сайта — на ўсіх дзевяці мовах.
Новыя чарнавікі трапляюць у чаргу пасля рэдактуры. Імпарт на сайт бярэ толькі новыя ці змененыя slug — без дубляў.
Прыклады ілюстратыўныя. Правярайце стэк і ліцэнзіі перад продам. Для ўкаранення дашліце брыф.
Ацэнка за 24 гадзіны
Патрэбны такі стэк у аператарскім слоі? Дашліце брыф — ацэнка за 24 гадзіны.