Статьи для тех, кто
выводит стек в прод
Материалы о React, Node.js, TypeScript и AI. Переведённый текст показывается, если он есть. Если нет — вы видите английский текст и пометку об этом.
Тег: Inference
Внутри LLM: инференс на чистом Python для Qwen3-0.6B на MLX
Пошаговая реализация процесса интерпретации LLM примерно из 200 строк кода на Python с использованием MLX: токенизатор, RMSNorm, RoPE, группированное внимание к запросам, SwiGLU, кэш KV и метод выборки.
13 мин чтенияKimi K3 и другие большие модели локально: пять открытых репозиториев
Пять open source-репозиториев, которые втискивают модели фронтирного масштаба в ноутбук или одну GPU с помощью стриминга с диска, кэширования экспертов и выгрузки, — с реальными цифрами скорости.
6 мин чтенияФлаги vllm serve с разумными стартовыми значениями
Практический обзор флагов vllm serve, которые реально приходится настраивать: dtype, использование памяти, длина контекста, параллелизм, API-ключи и квантизация, с значениями для старта.
4 мин чтенияИнференс за пределами текста: настройка VLM, эмбеддингов, речи, изображений и видео
У каждой модальности есть свои узкие места. Узнайте, как настроить VLM, эмбеддеры, ASR, TTS, генераторы изображений и видео с использованием правильного батчинга, ядер, кэширования и квантизации.
11 мин чтенияКэш KV — это невидимая база данных, которая истощает память GPU во время декодирования LLM.
Кэш KV тихо потребляет память GPU во время инференса LLM: предзаполнение против декодирования, математика KV, GQA и MQA, PagedAttention, политики квантизации и выгонки.
9 мин чтенияПрактическое использование сервисов LLM: Ollama, vLLM и TGI
Слой обслуживания, преобразующий файлы моделей в API LLM: Ollama для локальной работы, vLLM и Hugging Face TGI для GPU, а также то, чего не хватает обычным трансформерам.
5 мин чтенияllama.cpp против vLLM против Ollama: как выбрать локальный движок в зависимости от узкого места
llama.cpp, Ollama или vLLM для локальной большой языковой модели? Подберите движок в зависимости от ограничения: портативность ноутбука, удобство использования с DirectX или пропускная способность GPU для нескольких пользователей в режиме нагрузки.
5 мин чтенияOllama на IBM Z и LinuxONE: локальные LLM внутри зоны доверия
Портирование Ollama на IBM Z и LinuxONE сводилось к безопасной загрузке весов моделей с учётом эндиана, что позволяет локальной большой языковой модели обрабатывать регулируемые данные без их выхода за пределы защищённой среды.
6 мин чтенияПолный процесс инференса LLM: предзаполнение, декодирование, кэш KV и выбор примеров
Обзор работы токенизатора в режиме потока с учетом особенностей использования на доске для записи — почему операция предзаполнения ограничена вычислительными ресурсами, а декодирование — пропускной способностью, и как механизмы GQA, пейджинга и спекуляции влияют на экономику процесса.
40 мин чтения
О этих статьях
Оценка за 24 часа
Нужен такой же стек в операторском слое? Пришлите бриф — оценка за 24 часа.