Артыкулы для тых, хто
выводзіць стэк у прод
Матэрыялы пра React, Node.js, TypeScript і AI. Перакладзены тэкст паказваецца, калі ён ёсць. Калі не — вы бачыце англійскі тэкст і пазнаку пра гэта.
Тэг: Qwen
TensorFold протыва llama.cpp на Mac Studio M5 Ultra: працэйна спроможнасць у 1,84 раза вышэй праз рэальную обработку JSON-даных
Я працаваў з TensorFold 1.2.0 протыў llama.cpp на Mac Studio M5 Ultra з Qwen3.8-27B і 80 рэальных запыткаў у формате JSON: прахоўнасць склікалася 1.84 раза пры 8 адночасных запытках.
9 хв чытанняЧаму две картакі RTX 3090 даюць 55 tok/s замест 220 з викорыстаннем SGLang і DFlash2.
Практычны ўзгляд на запуск Qwen3.8-27B на двух картаках 3090 з викорыстаннем SGLang, а таксама як лінкі PCIe x4, відсутнаць P2P, маленька кеш-пам’ять KV і рэзкія сплески напругі знизілі адказана шваль.
7 хв чытанняToolCallingAgent проты CodeAgent на локальных моделях Qwen2.5 14B
ToolCallingAgent протыў CodeAgent у smolagents на M4 Mac: шырокасць і точнасць маршрутацыі з вялікімі моделямі Qwen2.5 14B для інструкцый і кодавання пры разных тэмпературах.
4 хв чытанняЯк аблітэрацыя LLM усуне адказы пачынкамі праверкі вагоў, а не трэнаванням
Тэхнічныя аспекты процесу аблітрацыі: вычысленне направлення адхіленаў за дапамою методу разніцы сярэг, автаматызацыя гэтага процесу за дапамою Heretic, запуск моделі Qwen3-4B локальна і ўплыв на безпеку.
8 хв чытанняAgents-A1: Модель размерам 35 мільярда параметраў, створаная для роботы агентаў у далекага горызонта.
Agents-A1 – это модель размерам 35 мільярда параметраў, яка налаштовуе горызонт дзейснення агента, а не самі параметры. Пазірце, якія балы вона набирае на тэстах SEAL-0, IFBench і BrowseComp, а таксама дзе можна скачаць версіі у формате GGUF.
5 хв чытанняУдвоўкі пахутнасць декодавання Qwen3.8-Flash-Next за дапамою MTP на графічных процэсорах RTX
Выучыце, як стварыць форк llama.cpp з аперацыяй спекулятивнага дэкодавання MTP і правымі флагамі, каб прыблізна удвоіць скорасць версіі Qwen3.8-Flash-Next на апаратных комплектах з колькімаў GPU RTX.
5 хв чытанняПеремешчанне кэша KV между моделямі Qwen3 заместо пачатковага заповнення
Наукавыя досліджэння NVIDIA перакладаюць стан увагы Qwen3-14B у Qwen3-32B за дапомогою моста на основе регрэсіі. Пагляньце, што означаюць показателі затримкі, дзе він не функцыонуе і чаму агентам це важліва.
8 хв чытанняQwen3.8-Flash-Next: модель з об’ємам 177 мільярдаў параметраў, якая працюе на аднай відеокарцы з пам’ятчуку 24 ГБ.
Як Qwen3.8-Flash-Next дозволяе запустіть модель типу mixture-of-experts з об’ємом 177 мільярдів параметраў на простый апаратнай базе з 6 мільярдамі акtyўных параметраў, таблицею n-gram і гібрыдным механізам уваги, а таксама які є прычыны ў результатах теставання.
9 хв чытанняOrnith-1.0-35B: якасць тэхнологій MoE у ўпакоўкаванай модэлі 27B на MacBook.
Як модель 35B з технологіяй MoE і 3B акtyўных параметраў парабелікуецца з Qwen3.6, што ёй патрэбна для роботы пад llama.cpp, і дзе ёй вдаёцца або стаўкаецца.
4 хв чытання
Пра гэтыя артыкулы
Ацэнка за 24 гадзіны
Патрэбны такі стэк у аператарскім слоі? Дашліце брыф — ацэнка за 24 гадзіны.