Артыкулы для тых, хто
выводзіць стэк у прод
Матэрыялы пра React, Node.js, TypeScript і AI. Перакладзены тэкст паказваецца, калі ён ёсць. Калі не — вы бачыце англійскі тэкст і пазнаку пра гэта.
Тэг: Inference
Усередзіне LLM: чыстая парадоксацыя на Python для Qwen3-0.6B на MLX
Пасэвай пасэвай стварэнне процэса інферэнціі LLM у апошнім выліку з прыблізна 200 рэчэйкамі Python з апыткамі MLX: токенайзер, RMSNorm, RoPE, групаваная увага да запыткаў, SwiGLU, кэш KV і выбіранне прыкладоў.
13 хв чытанняЗапуск моделей Kimi K3 і іншых вельмі великіх модэляў локальна за дапамогою пяці відкрытых репозытуараў.
Пяць відкрытых репозытуараў на адкрытым коде, якія дазволяюць запускаць моделі вельмі великага розмаху на ноутбуку чыста адна GPU, выкарыстоўваючы стрімінг з дыска, кэшаванне і переказ даных, а також паказваючы рэальныя показнікі швайнасці.
6 хв чытанняПоясненне флагів сэрвісу vLLM з розумнымі початковымі значэннямі.
Практычны ўражынкі пра флагі сэрвісу vLLM, якія вы насправдзе зможаце налаштаваць: dtype, выкарыстоўванне памяці, дужына контэкста, паралелізм, кантыяцыйныя ключы та іншы параметры, з стандартнымі значэннямі для працы.
4 хв чытанняАдаптаванне VLM-аў, эмбедзінгаў, мовы, зразкаў відобразжэння і відеа за межам тексту
Кожныя модалітэты маюць свои прыгнёчныя факторы. Дазнаеце, як налаштаваць VLM-ы, эмбеддэры, ASR, TTS, генераторы зображэнняў і відэа за дапамою правильнага батчавання, кэрнаў, кэшавання і квантызаціі.
11 хв чытанняКэш KV — это невидзімая база дадзёў, якая спрацоўвае з памяцю GPU пад час дэкодавання LLM.
Кэш KV таяму спожывае пам’ять GPU пад час обробкі LLM: попераднее заповнення протыва декодавання, матэматыка KV, GQA і MQA, PagedAttention, політыкі квантызаціі і выгнання.
9 хв чытанняПрактычныя падходы да адпрацоўкі LLM: Ollama, vLLM і TGI
Слою выдачы, які перетвараець файлы модэляў у API LLM: Ollama для роботы на локальных прыстроях, vLLM і Hugging Face TGI для GPU, а таксама тое, чаго не хапяць у звычных трансфармэрах.
5 хв чытанняllama.cpp протыва vLLM протыва Ollama: Выберыце локальны ўраджнік па бутлнэккуе
llama.cpp, Ollama чы vLLM для локальнага LLM? Падберыце двахчылак для прыгождання з усіма аспектамі: мобільна прыемлівасць ноутбука, прыемлівасць для гэймераў чы высокая працэздатнасць GPU для калькавання пад навантажэнням.
5 хв чытанняOllama на IBM Z і LinuxONE: местныя LLM-ы ў межах прастору доверьня
Пераклад Ollama на IBM Z і LinuxONE заключаецца у безпечным завантажэнні дадзейнаў, якія адпавядаюць правіламам эндіана, тады локальны LLM можа обслужваць регулюемыя даны без таго, каб яны пакінулі межы доверлівага прастору.
6 хв чытанняПрацавае выкананне LLM ад початку да канца: прыпраўленне дадзенняяў, декодаванне, кэш KV та выбіранне прыкладоў.
Экскурсія па токенайзеры ў формате, прыдатным для белай дошкі, па процесу стрімінгу — чаму прыпраўленне дадзенняяў залежыць ад вычысленняў, декодаванне — ад пропускной здатнасі, і як GQA, пейджаванне та спекуляцыяі зменяюць эконаміку процесу.
40 хв чытання
Пра гэтыя артыкулы
Ацэнка за 24 гадзіны
Патрэбны такі стэк у аператарскім слоі? Дашліце брыф — ацэнка за 24 гадзіны.