Артыкулы для тых, хто
выводзіць стэк у прод
Матэрыялы пра React, Node.js, TypeScript і AI. Перакладзены тэкст паказваецца, калі ён ёсць. Калі не — вы бачыце англійскі тэкст і пазнаку пра гэта.
Тэг: llama-cpp
TensorFold протыва llama.cpp на Mac Studio M5 Ultra: працэйна спроможнасць у 1,84 раза вышэй праз рэальную обработку JSON-даных
Я працаваў з TensorFold 1.2.0 протыў llama.cpp на Mac Studio M5 Ultra з Qwen3.8-27B і 80 рэальных запыткаў у фармаце JSON: прахоўнасць склікалася 1.84 раза пры 8 адночасных запытках.
9 хв чытанняHy-MT2-7B на пяці локальных срэдах выканання: каторая з іх падходзіць для перакладу на Mac?
Hy-MT2-7B працаваў у тэстах на навантажэння на платформах llama.cpp, LM Studio, mlx-lm, Ollama і MLX-Serve на двух камп’ютарах Mac Studio M5 Ultra: працэсна здатнасць, масштабаванне, дэтэрмінізм, выкарыстоўванне памяці.
9 хв чытанняDeepSeek Harness (dsh): адкрытае асяроддзе агентаў, якое перапісвае ўласную канфігурацыю
Што такое DeepSeek Harness, чым вылучаецца яго агент, які рэдагуе сам сябе, як адрэагавала супольнасць і да чаго падрыхтавацца перад запускам з лакальнымі мадэлямі.
6 хв чытанняЗапуск мадэляў Kimi K3 і іншых вельмі вялікіх модэляў локальна за дапамогою пяці відкрытых рэпозытуараў.
Пяць відкрытых рэпозытуараў на адкрытым кодзе, якія дазволяюць запускаць мадэлі вельмі велікага розмаху на ноутбуку чыста адна GPU, выкарыстоўваючы стрымінг з дыска, кэшаванне і перэказ даных, а таксама паказваючы рэальныя показнікі швайнасці.
6 хв чытанняЗастосавіце місцевую мадэль кодавання з llama.cpp: квантавання, вікно кантэксту і VS Code.
Заменіце білеты з метражамі на місцевую мадэль Міністэрства освіты: выберыце спосаб квантавання, задаце розмер вікна кантэксту, налаштавіце llama-server для малых GPU з CUDA, а потым падключыце Cline.
8 хв чытанняМестная рабочая станцыя з ЛЛМ: ад 20 да 60 токенаў за секунду з двумя GPU
Вжыты ўстройства Xeon з двумя картамі RTX 5060 Ti, Qwen 27B, можласцю паралельнай обработкі тэнзораў і апаратным падтрымкай NCCL: правілы апаратнага забезпечэння, рэальныя падышчы скорасці і расчыткі эквівалентнасці з цэнамі API.
9 хв чытанняЧаму Ollama большэй не падходзіць і што запускаць заместа яго
Ollama — гэта абстракцый слой над llama.cpp. Дазвольце дазнайцаця, дзе ён сталквічаецца з абмежэннямі па гучнасць, фарматах модэляў і GPU AMD, а таксама калі llama.cpp, LM Studio чы vLLM падходзяць лепей.
7 хв чытанняУдвоўкі пахутнасць дэкадавання Qwen3.8-Flash-Next за дапамою MTP на графічных процэсорах RTX
Выучыце, як стварыць форк llama.cpp з аперацыяй спекулятывнага дэкодавання MTP і правымі флагамі, каб прыблізна удвоіць скорасць версіі Qwen3.8-Flash-Next на апаратных комплектах з колькімаў GPU RTX.
5 хв чытанняQwen3.8-Flash-Next: мадэль з об’емам 177 мільярдаў параметраў, якая працюе на аднай відэокарцы з пам’ятчуку 24 ГБ.
Як Qwen3.8-Flash-Next дозволяе запусціць мадэль тыпу mixture-of-experts з об’емом 177 мільярдаў параметраў на простый апаратнай базе з 6 мільярдамі акtyўных параметраў, табліцею n-gram і гібрыдным механізам увагі, а таксама які ёсць прычыны ў рэзультатах тэставання.
9 хв чытання
Пра гэтыя артыкулы
Ацэнка за 24 гадзіны
Патрэбны такі стэк у аператарскім слоі? Дашліце брыф — ацэнка за 24 гадзіны.