Артыкулы для тых, хто
выводзіць стэк у прод
Арыгінальныя матэрыялы пра React, Node.js, TypeScript і AI — з той жа практыкі, што і наша аператарскае ПЗ. Тэкст артыкулаў па-англійску.
Тэг: optimization
Кэш KV — это невидзімая база дадзёў, якая спрацоўвае з памяцю GPU пад час дэкодавання LLM.
Прыявленныя значэнні проты декодавання, матэматыка KV, GQA/MQA, PagedAttention, квантызацыя і адчыненне месца для выконання задаўанняў у прыметнай сістэме.
2068 слоўЧытацьСпекулятивная дэкодаванне і ранні выхад: прышвартованне аутарегрэсіўнай дэкодаванні
Як толькі бюджеты на апроўаджэнне і точнасць дазволяюць, выкарыстоўванне метода «праектаванне-перакананне» і выходу па слоях на адной основе доверы зменшае час декодавання.
2856 слоўЧытацьПрысохнаеасць JavaScript адносіцца да меньшай колькасці работ, а не да меньшай колькасці ліній коду.
Работа з аптаймам значыць выбір тых вычысленняў, якія не трэба запускаць, адкрыта ацэнка показначыкаў Core Web Vitals, а таксі карэкцыя самых важлівых частак коду, а не проста зменшэння колькісці рядкоў коду зарады самай ці яе.
2672 слоўЧытаць
Пра гэтыя артыкулы
Ацэнка за 24 гадзіны
Патрэбны такі стэк у аператарскім слоі? Дашліце брыф — ацэнка за 24 гадзіны.