Артыкулы для тых, хто
выводзіць стэк у прод
Матэрыялы пра React, Node.js, TypeScript і AI. Перакладзены тэкст паказваецца, калі ён ёсць. Калі не — вы бачыце англійскі тэкст і пазнаку пра гэта.
Тэг: kv-cache
Інжынірынг контэкста для агентаў, якія працуюць дзялейна: векторная база дадзеных, KV-кэш, Claude Code
Інжынірынг контэкста для агентаў, якія выкананяюць 200 крокаў: чаму дугі контэксты занікаюць, эканоміка KV-кэша, памяць векторнай базы дадзеных і чаму Claude Code і іншыя розніцяюцца.
13 хв чытанняQUOKA: як выбраць історыю KV, яку трэба прачытаць для атанціі
Як QUOKA прыяжджае працэс прадзейсвеннага заполнення длігіх запітоў: асновы кэша KV, прадзейсвеннае заполнення у частках, выбіранне атыповых запітоў, максімальная оцэнка і дышэчнае прадзейсвеннае агрэгаванне для увагі да групаванных запітоў.
9 хв чытанняПаясненне KV-кэш: чаму дзяўны кантэкст — гэта вітраты на памяць, а не інтэлект.
Простыя інструкціі на простай мове па KV-кэш: што ён зберагае, як вылічыць яго розмер, чаму дзяўны кантэкст спрацоўвае на памяць, і чатыры спосабу зменшыць вітраты на локальныя мадэлі.
8 хв чытанняПерэмешчанне кэша KV между мадэлямі Qwen3 заместо пачатковага заповнення
Наукавыя досліджэння NVIDIA перакладаюць стан увагы Qwen3-14B у Qwen3-32B за дапомогою моста на основе рэгрэсіі. Пагляньце, што означаюць паказчыкі затрымкі, дзе ён не функцыонуе і чаму агентам гэта важліва.
8 хв чытанняЧаму раунд-робін не падходзіць для флотаў LLM: як llm-d керуе за дапамогою KV-кэшу і глыбі календара.
Раунд-робін-балансаванне навантажэння марнуе запыткі да KV-кэшу і ігнаруе розмер запытку. Як llm-d оцэнюе рэплікі vLLM на Kubernetes і раздзеляе прадзейнаванне і дэкадаванне.
10 хв чытанняКэш KV — гэта невідзімая база дадзёў, якая спрацоўвае з памяцю GPU пад час дэкодавання LLM.
Кэш KV таяму спожывае памяць GPU пад час апрацоўкі LLM: попераднее заповнення протыва дэкадавання, матэматыка KV, GQA і MQA, PagedAttention, політыкі квантызаціі і выгнання.
9 хв чытанняПрацавае выкананне LLM ад початку да канца: прыпраўленне дадзенняяў, дэкадаванне, кэш KV і выбіранне прыкладоў.
Экскурсія па токенайзеры ў фармаце, прыдатным для белай дошкі, па працэсу стрымінгу — чаму прыпраўленне дадзенняяў залежыць ад вычысленняў, дэкадаванне — ад пропускной здатнасі, і як GQA, пейджаванне і спекуляцыяі зменяюць эконаміку працэсу.
40 хв чытання
Пра гэтыя артыкулы
Ацэнка за 24 гадзіны
Патрэбны такі стэк у аператарскім слоі? Дашліце брыф — ацэнка за 24 гадзіны.