Статті для тих, хто
виводить стек у прод
Матеріали про React, Node.js, TypeScript і AI. Перекладений текст показується, якщо він є. Якщо ні — ви бачите англійський текст і примітку про це.
Тег: Qwen
TensorFold проти llama.cpp на Mac Studio M5 Ultra: продуктивність у 1,84 рази вища під час обробки справжніх файлів JSON
Я протестував TensorFold 1.2.0 порівняно з llama.cpp на Mac Studio M5 Ultra з Qwen3.8-27B та 80 реальними запитами JSON: пропускна здатність становила 1.84 рази більше при 8 одночасних запитах.
9 хв читанняЧому дві відеокарти RTX 3090 дають 55 tok/s замість 220 за допомогою SGLang та DFlash2.
Детальний огляд запуску Qwen3.8-27B на двох відеокартах 3090 за допомогою SGLang, а також того, як з’єднання PCIe x4, відсутність функції P2P, обмежений кеш KV та різкі сплески потужності знизили оголошену швидкість.
7 хв читанняToolCallingAgent проти CodeAgent у локальних моделях Qwen2.5 14B
ToolCallingAgent проти CodeAgent у smolagents на Mac M4: швидкість та точність маршрутизації з використанням локальних моделей Qwen2.5 14B instruct та coder при різних температурах.
4 хв читанняЯк аблітерація LLM прибирає відмови правкою ваг, а не навчанням
Технічний розбір аблітерації: пошук напрямку відмови методом різниці середніх, автоматизація з Heretic, локальний запуск Qwen3-4B і наслідки для безпеки.
8 хв читанняAgents-A1: модель на 35B, створена для довготривалої агентної роботи
Agents-A1 — файнтюн на 35B, що масштабує горизонт агента, а не параметри. Дивимося результати на SEAL-0, IFBench і BrowseComp та де взяти збірки GGUF.
5 хв читанняЯк подвоїти швидкість декодування Qwen3.8-Flash-Next з MTP на відеокартах RTX
Як зібрати форк llama.cpp зі спекулятивним декодуванням MTP і підібрати прапорці, щоб приблизно вдвічі пришвидшити генерацію Qwen3.8-Flash-Next на системах із кількома RTX.
5 хв читанняПеренесення KV-кешу між моделями Qwen3 замість повторного префілу
Дослідження NVIDIA переводить стан уваги Qwen3-14B у Qwen3-32B за допомогою мосту на гребеневій регресії. Що означають цифри затримки, де метод ламається і чому це важливо для агентів.
8 хв читанняQwen3.8-Flash-Next: модель на 177B, яка запускається на одній відеокарті з 24 ГБ
Як Qwen3.8-Flash-Next вміщує mixture-of-experts на 177B у скромне залізо: 6B активних параметрів, таблиця n-грам, гібридна увага та чесні провали в бенчмарках.
9 хв читанняOrnith-1.0-35B: якість щільної 27B від MoE-моделі на MacBook
Як MoE-модель на 35B із 3B активних параметрів виглядає на тлі Qwen3.6, що їй потрібно для запуску в llama.cpp і де вона сильна, а де відстає.
4 хв читання
Про ці статті
Оцінка за 24 години
Потрібен такий стек в операторському шарі? Надішліть бриф — оцінка за 24 години.