Статьи для тех, кто
выводит стек в прод
Материалы о React, Node.js, TypeScript и AI. Переведённый текст показывается, если он есть. Если нет — вы видите английский текст и пометку об этом.
Тег: Qwen
TensorFold против llama.cpp на Mac Studio M5 Ultra: пропускная способность при обработке реальных JSON-данных в 1,84 раза выше
Я провёл сравнительные тесты TensorFold 1.2.0 с llama.cpp на Mac Studio M5 Ultra с моделью Qwen3.8-27B при 80 реальных запросах в формате JSON: пропускная способность составила 1,84 раза выше при 8 одновременных запросах.
9 мин чтенияПочему при использовании SGLang и DFlash2 две видеокарты RTX 3090 достигают скорости 55 ток/с вместо 220.
Практический обзор запуска Qwen3.8-27B на двух видеокартах 3090 с использованием SGLang, а также того, как интерфейсы PCIe x4, отсутствие функции P2P, ограниченная кэш-память KV и резкие скачки потребления энергии снизили заявленную скорость.
7 мин чтенияToolCallingAgent против CodeAgent на локальных моделях Qwen2.5 14B
ToolCallingAgent против CodeAgent в smolagents на Mac M4: скорость и точность маршрутизации с использованием локальных моделей Qwen2.5 14B для генерации инструкций и кода при различных температурах.
4 мин чтенияКак аблитерация LLM убирает отказы правкой весов, а не обучением
Технический разбор аблитерации: поиск направления отказа методом разности средних, автоматизация с Heretic, локальный запуск Qwen3-4B и последствия для безопасности.
8 мин чтенияAgents-A1: модель на 35B, созданная для долгой агентной работы
Agents-A1 — файнтюн на 35B, который масштабирует горизонт агента, а не параметры. Смотрим результаты на SEAL-0, IFBench и BrowseComp и где взять сборки GGUF.
5 мин чтенияКак удвоить скорость декодирования Qwen3.8-Flash-Next с MTP на видеокартах RTX
Как собрать форк llama.cpp со спекулятивным декодированием MTP и подобрать флаги, чтобы примерно вдвое ускорить генерацию Qwen3.8-Flash-Next на системах с несколькими RTX.
5 мин чтенияПеренос KV-кэша между моделями Qwen3 вместо повторного префилла
Исследование NVIDIA переводит состояние внимания Qwen3-14B в Qwen3-32B с помощью моста на гребневой регрессии. Что значат цифры задержки, где метод ломается и почему это важно для агентов.
8 мин чтенияQwen3.8-Flash-Next: модель на 177B, которая запускается на одной видеокарте с 24 ГБ
Как Qwen3.8-Flash-Next умещает mixture-of-experts на 177B в скромное железо: 6B активных параметров, таблица n-грамм, гибридное внимание и честные провалы в бенчмарках.
9 мин чтенияOrnith-1.0-35B: качество плотной 27B от MoE-модели на MacBook
Как MoE-модель на 35B с 3B активных параметров выглядит на фоне Qwen3.6, что ей нужно для запуска в llama.cpp и где она сильна, а где отстаёт.
4 мин чтения
О этих статьях
Оценка за 24 часа
Нужен такой же стек в операторском слое? Пришлите бриф — оценка за 24 часа.