Артыкулы для тых, хто
выводзіць стэк у прод
Матэрыялы пра React, Node.js, TypeScript і AI. Перакладзены тэкст паказваецца, калі ён ёсць. Калі не — вы бачыце англійскі тэкст і пазнаку пра гэта.
Тэг: inference
Унутры LLM: інферэнс Qwen3-0.6B на чыстым Python і MLX
Пакрокава будуем інферэнс LLM прыкладна ў 200 радках Python з MLX: токенізатар, RMSNorm, RoPE, grouped query attention, SwiGLU, KV-кэш і сэмплаванне.
13 хв чытанняЗапуск мадэляў Kimi K3 і іншых вельмі вялікіх модэляў локальна за дапамогою пяці відкрытых рэпозытуараў.
Пяць відкрытых рэпозытуараў на адкрытым кодзе, якія дазволяюць запускаць мадэлі вельмі велікага розмаху на ноутбуку чыста адна GPU, выкарыстоўваючы стрымінг з дыска, кэшаванне і перэказ даных, а таксама паказваючы рэальныя показнікі швайнасці.
6 хв чытанняПоясненне флагів сэрвісу vLLM з розумнымі початковымі значэннямі.
Практычны ўражынкі пра флагі сэрвісу vLLM, якія вы насправдзе зможаце налаштаваць: dtype, выкарыстоўванне памяці, дужына кантэкста, паралелізм, кантыяцыйныя ключы і іншы параметры, з стандартнымі значэннямі для працы.
4 хв чытанняАдаптаванне VLM-аў, эмбедзінгаў, мовы, зразкаў відобразжэння і відэа за межам тэксту
Кожныя модалітэты маюць своі прыгнёчныя факторы. Дазнаеце, як налаштаваць VLM-ы, эмбеддэры, ASR, TTS, генераторы зображэнняў і відэа за дапамою правільнага батчавання, кэрнаў, кэшавання і квантызаціі.
11 хв чытанняКэш KV — гэта невідзімая база дадзёў, якая спрацоўвае з памяцю GPU пад час дэкодавання LLM.
Кэш KV таяму спожывае памяць GPU пад час апрацоўкі LLM: попераднее заповнення протыва дэкадавання, матэматыка KV, GQA і MQA, PagedAttention, політыкі квантызаціі і выгнання.
9 хв чытанняПрактычныя падходы да адпрацоўкі LLM: Ollama, vLLM і TGI
Слою выдачы, які ператвараець файлы модэляў у API LLM: Ollama для працы на локальных прыстроях, vLLM і Hugging Face TGI для GPU, а таксама тое, чаго не хапяць у звычных трансфармэрах.
5 хв чытанняllama.cpp протыва vLLM протыва Ollama: Выберыце локальны ўраджнік па бутлнэккуе
llama.cpp, Ollama чы vLLM для локальнага LLM? Падберыце двахчылак для прыгождання з усіма аспектамі: мобільна прыемлівасць ноутбука, прыемлівасць для гэймераў чы высокая працэздатнасць GPU для калькавання пад навантажэнням.
5 хв чытанняOllama на IBM Z і LinuxONE: местныя LLM-ы ў межах прастору доверьня
Пераклад Ollama на IBM Z і LinuxONE заключаецца у безпечным завантажэнні дадзейнаў, якія адпавядаюць правіламам эндыяна, тады локальны LLM можа обслужваць рэгулюемыя даны без таго, каб яны пакінулі межы доверлівага прастору.
6 хв чытанняПрацавае выкананне LLM ад початку да канца: прыпраўленне дадзенняяў, дэкадаванне, кэш KV і выбіранне прыкладоў.
Экскурсія па токенайзеры ў фармаце, прыдатным для белай дошкі, па працэсу стрымінгу — чаму прыпраўленне дадзенняяў залежыць ад вычысленняў, дэкадаванне — ад пропускной здатнасі, і як GQA, пейджаванне і спекуляцыяі зменяюць эконаміку працэсу.
40 хв чытання
Пра гэтыя артыкулы
Ацэнка за 24 гадзіны
Патрэбны такі стэк у аператарскім слоі? Дашліце брыф — ацэнка за 24 гадзіны.