Notatki inżynierskie
Artykuły dla tych, którzy
wdrażają stack
Materiały o React, Node.js, TypeScript i AI. Przetłumaczony tekst jest pokazany, gdy istnieje. Jeśli nie, widać tekst angielski i dopisek o tym.
Tag: llamacpp
llama.cpp kontra vLLM kontra Ollama: Wybierz lokalny silnik według wąskiego gardła
llama.cpp, Ollama czy vLLM do lokalnego LLM? Dołącz silnik do największego ograniczenia: przenośność laptopa, przyjazna DX czy wydajność GPU dla wielu użytkowników pod obciążeniem.
5 min czytaniaLLMOps dla małych modeli językowych: frameworki serwisowe i przewodniki produkcyjne
Dlaczego modele SLM przewyższają inne pod względem kosztów i prywatności, jak porównują się vLLM, SGLang, TGI, llama.cpp, Ollama, WebLLM, ONNX oraz TensorRT-LLM, oraz jak kwantyzować je, oceniać i wykorzystywać w produkcji.
18 min czytania
FAQ
O tych artykułach
Tak. Każdy tekst to oryginalny angielski rewrite na tę stronę. Struktura i kod za źródłem; proza przepisana i sprawdzona pod kątem pokrycia.
Źródłem jest angielski. Inny język pojawia się tylko wtedy, gdy istnieje tłumaczenie treści. Brak tłumaczenia zostawia angielski, także pod zlokalizowanym adresem.
Nowe drafty trafiają do kolejki po redakcji. Import na stronę bierze tylko nowe lub zmienione slugi — bez duplikatów.
Przykłady są ilustracyjne. Sprawdź stack i licencje przed produkcją. W sprawie wdrożenia wyślij brief.
Wycena w 24 h
Potrzebujesz tego stacka w warstwie operatorskiej? Wyślij brief — wycena w 24 h.