Artykuły dla tych, którzy
wdrażają stack
Materiały o React, Node.js, TypeScript i AI. Przetłumaczony tekst jest pokazany, gdy istnieje. Jeśli nie, widać tekst angielski i dopisek o tym.
Tag: Inference
Wewnątrz LLM: czysta inferyencja w Pythonie dla Qwen3-0.6B na MLX
Krok po kroku budowa mechanizmu inferencji LLM w około 200 liniach kodu w Pythonie przy użyciu MLX: tokenizer, RMSNorm, RoPE, grupowana uwaga do zapytań, SwiGLU, cache KV oraz sampling.
13 min czytaniaUruchamianie modeli Kimi K3 oraz innych dużych modeli lokalnie za pomocą pięciu repozytoriów o otwartym kodzie.
Pięć repozytoriów o otwartym kodzie, które umożliwiają uruchomienie modeli o dużych rozmiarach na laptopie lub pojedynczej karcie graficznej, dzięki transmisji danych z dysku, efektywnemu buforowaniu i przenoszeniu obciążeń, wraz z rzeczywistymi wartościami prędkości.
6 min czytaniaWyjaśnienie flag vLLM Serve wraz z rozsądnymi wartościami początkowymi.
Praktyczny przewodnik po flagach vLLM Serve, które faktycznie można dostosować: dtype, zużycie pamięci, długość kontekstu, paralelizm, klucze API oraz kwantyzacja, wraz z domyślnymi wartościami do wypróbowania.
4 min czytaniaWniosek poza tekstem: dostrojenie VLM-ów, embeddingów, mowy, obrazu i wideo
Każda modalność ma swoje własne ograniczenia. Dowiedz się, jak dostosować VLM-y, embedery, ASR, TTS oraz generatorzy obrazów i wideo za pomocą odpowiedniego grupowania, jąder, buforowania i kwantyzacji.
11 min czytaniaPamięć KV to niewidzialna baza danych, która zużywa pamięć GPU podczas dekodowania modeli LLM.
Cache KV w cichy sposób zużywa pamięć GPU podczas inferencji modeli LLM: prefill kontra decode, matematyka KV, GQA i MQA, PagedAttention, polityki kwantyzacji i usuwania danych.
9 min czytaniaPraktyczne wdrażanie modeli LLM: Ollama, vLLM i TGI
Warstwa obsługi, która przekształca pliki modeli w API LLM: Ollama do pracy lokalnej, vLLM i Hugging Face TGI dla GPU, oraz to, czego brakuje zwykłym transformatorom.
5 min czytaniallama.cpp kontra vLLM kontra Ollama: Wybierz lokalny silnik według wąskiego gardła
llama.cpp, Ollama czy vLLM do lokalnego LLM? Dołącz silnik do największego ograniczenia: przenośność laptopa, przyjazna DX czy wydajność GPU dla wielu użytkowników pod obciążeniem.
5 min czytaniaOllama na IBM Z i LinuxONE: lokalne modele LLM w obrębie granic zaufania
Przeniesienie Ollamy na IBM Z i LinuxONE sprowadzało się do bezpiecznego ładowania wag w zależności od endianu, dzięki czemu lokalny model językowy może przetwarzać dane objęte regulacjami bez opuszczania obszaru zaufania.
6 min czytaniaInferencja LLM od początku do końca: prefill, decode, cache KV i próbkowanie
Przewodnik przygotowany do prezentacji na tablicy białej po tokenizatorze w kontekście przepływu danych – dlaczego prefill jest ograniczony zasobami obliczeniowymi, decode – przepustowością, oraz jak GQA, pagowanie i spekulacja wpływają na efektywność.
40 min czytania
O tych artykułach
Wycena w 24 h
Potrzebujesz tego stacka w warstwie operatorskiej? Wyślij brief — wycena w 24 h.