Статьи для тех, кто
выводит стек в прод
Оригинальные материалы о React, Node.js, TypeScript и AI — из той же практики, что и наше операторское ПО. Текст статей на английском.
Тег: Local AI
Запуск Qwen3.8-27B на одной карте RTX 3090 с обновленным vLLM и DFlash2
Как форк vLLM 0.28.0 с фиксированным состоянием, использующий реквантизированные эмбеддинги и технологию DFlash2 для спекулятивных вычислений, позволяет запускать гибридную модель объемом 27 миллиардов параметров на карте с памятью 24 ГБ, и почему длинный контекст замедляет ее работу.
15 мин чтенияОбъяснение рекуррентной глубины: циклические трансформеры и скрытое обоснование
Как трансформеры с повторяющейся глубиной (с циклами) принимают решения на основе скрытого состояния, почему лаборатории их используют, что показывают восемь лет научных статей, и какое это имеет значение для локального ИИ и надзора.
12 мин чтенияРабота с Qwen3.8-Flash-Next на картах RTX 3090 с использованием технологии откладки вычислений Tensor в llama.cpp
Почему модель типа Qwen3.8-Flash-Next с объемом памяти 88 ГБ и 180 миллиардов параметров подходит для карт RTX 3090, и как инструменты llama.cpp с параметрами -ot, -ncmoe и mmap распределяют память VRAM, RAM и NVMe.
12 мин чтенияПочему загрузка модели объемом 17 ГБ не означает наличия 17 ГБ памяти для ее работы
Узнайте, как активные параметры, общее количество параметров, рост размера кэша KV и усилия по обработке информации определяют реальные затраты на память и вычисления при работе с языковой моделью локально.
12 мин чтенияСоздание локальной копии Angry Birds с использованием Qwen3.8-27B и Pi
Полностью локальная среда для программирования с ИИ с использованием LM Studio и агента Pi — Qwen3.8-27B, позволяющая создавать играбельный уровень Angry Birds без использования облачных API, при этом каждый шаг установки показан отдельно.
9 мин чтенияПочему именно доступ к ИИ, а не его функциональные возможности, представляет реальный риск зависимости
В этой статье рассматриваются недавние инциденты с контролем за экспортом моделей Claude и GPT-5.6 с целью доказать, что доступ к ИИ-моделям является нестабильным фактором, независимым от их базовых возможностей.
11 мин чтения
О этих статьях
Оценка за 24 часа
Нужен такой же стек в операторском слое? Пришлите бриф — оценка за 24 часа.