Артыкулы для тых, хто
выводзіць стэк у прод
Матэрыялы пра React, Node.js, TypeScript і AI. Перакладзены тэкст паказваецца, калі ён ёсць. Калі не — вы бачыце англійскі тэкст і пазнаку пра гэта.
Тэг: qwen
Крытэрыі працёздатнасці локальных LLM на RTX 5090: той самы Qwen3.8-27B, 67–253 токені за секунду.
Qwen3.8-27B на адаптары RTX 5090 за дапамогай TensorFold, NInfer, ExLlamaV3, Qwentin і vLLM: дэкадаванне, падготавка дадзейна, паралельная працёздатнасць, якасць і выбір тэхнологій для запуску.
4 хв чытанняTensorFold протыва llama.cpp на Mac Studio M5 Ultra: працэйна спроможнасць у 1,84 раза вышэй праз рэальную обработку JSON-даных
Я працаваў з TensorFold 1.2.0 протыў llama.cpp на Mac Studio M5 Ultra з Qwen3.8-27B і 80 рэальных запыткаў у фармаце JSON: прахоўнасць склікалася 1.84 раза пры 8 адночасных запытках.
9 хв чытанняЧаму две картакі RTX 3090 даюць 55 tok/s замест 220 з вікорыстаннем SGLang і DFlash2.
Практычны ўзгляд на запуск Qwen3.8-27B на двух картаках 3090 з вікорыстаннем SGLang, а таксама як лінкі PCIe x4, відсутнаць P2P, маленька кеш-памяць KV і рэзкія сплескі напругі знізілі адказана шваль.
7 хв чытанняToolCallingAgent супраць CodeAgent на лакальных мадэлях Qwen2.5 14B
ToolCallingAgent і CodeAgent у smolagents на Mac з M4: хуткасць і дакладнасць маршрутызацыі з лакальнымі мадэлямі Qwen2.5 14B instruct і coder пры розных тэмпературах.
4 хв чытанняЯк аблітэрацыя LLM усуне адказы пачынкамі праверкі вагоў, а не трэнаванням
Тэхнічныя аспекты працэсу аблітрацыі: вычысленне направлення адхіленаў за дапамою методу разніцы сярэг, автаматызацыя гэтага працэсу за дапамою Heretic, запуск мадэлі Qwen3-4B локальна і ўплыв на безпеку.
8 хв чытанняAgents-A1: Мадэль размерам 35 мільярда параметраў, створаная для працы агентаў у далекага горызонта.
Agents-A1 – гэта мадэль размерам 35 мільярда параметраў, якая налаштовуе горызонт дзейснення агента, а не самі параметры. Пазірце, якія балы яна набірае на тэстах SEAL-0, IFBench і BrowseComp, а таксама дзе можна скачаць версіі у фармаце GGUF.
5 хв чытанняУдвоўкі пахутнасць дэкадавання Qwen3.8-Flash-Next за дапамою MTP на графічных процэсорах RTX
Выучыце, як стварыць форк llama.cpp з аперацыяй спекулятывнага дэкодавання MTP і правымі флагамі, каб прыблізна удвоіць скорасць версіі Qwen3.8-Flash-Next на апаратных комплектах з колькімаў GPU RTX.
5 хв чытанняПерэмешчанне кэша KV между мадэлямі Qwen3 заместо пачатковага заповнення
Наукавыя досліджэння NVIDIA перакладаюць стан увагы Qwen3-14B у Qwen3-32B за дапомогою моста на основе рэгрэсіі. Пагляньце, што означаюць паказчыкі затрымкі, дзе ён не функцыонуе і чаму агентам гэта важліва.
8 хв чытанняQwen3.8-Flash-Next: мадэль з об’емам 177 мільярдаў параметраў, якая працюе на аднай відэокарцы з пам’ятчуку 24 ГБ.
Як Qwen3.8-Flash-Next дозволяе запусціць мадэль тыпу mixture-of-experts з об’емом 177 мільярдаў параметраў на простый апаратнай базе з 6 мільярдамі акtyўных параметраў, табліцею n-gram і гібрыдным механізам увагі, а таксама які ёсць прычыны ў рэзультатах тэставання.
9 хв чытання
Пра гэтыя артыкулы
Ацэнка за 24 гадзіны
Патрэбны такі стэк у аператарскім слоі? Дашліце брыф — ацэнка за 24 гадзіны.