Артыкулы для тых, хто
выводзіць стэк у прод
Матэрыялы пра React, Node.js, TypeScript і AI. Перакладзены тэкст паказваецца, калі ён ёсць. Калі не — вы бачыце англійскі тэкст і пазнаку пра гэта.
Тэг: Benchmarks
TensorFold протыва llama.cpp на Mac Studio M5 Ultra: працэйна спроможнасць у 1,84 раза вышэй праз рэальную обработку JSON-даных
Я працаваў з TensorFold 1.2.0 протыў llama.cpp на Mac Studio M5 Ultra з Qwen3.8-27B і 80 рэальных запыткаў у формате JSON: прахоўнасць склікалася 1.84 раза пры 8 адночасных запытках.
9 хв чытанняHy-MT2-7B на пяці локальных средах виконання: каторая з іх падходзіць для перакладу на Mac?
Hy-MT2-7B працаваў у тестах на навантажэння на платформах llama.cpp, LM Studio, mlx-lm, Ollama і MLX-Serve на двух комп’ютерах Mac Studio M5 Ultra: працэсна здатнасць, масштабаванне, детермінізм, выкарыстоўванне памяці.
9 хв чытанняGemini 3.8 Flash пад запуск: швайнасць, канець терміну діўства цэн і застережэнні ў чысці безпекі.
Аналіз Gemini 3.8 Flash: офіційныя показнікі продуктивнасці, швайна праця 304 токенав секунду, акцыйныя цены, якія заканчываюцца у 2027 годзе, модель Cyber і проблемы з багатымовным захадам.
7 хв чытанняЧаму две картакі RTX 3090 даюць 55 tok/s замест 220 з викорыстаннем SGLang і DFlash2.
Практычны ўзгляд на запуск Qwen3.8-27B на двух картаках 3090 з викорыстаннем SGLang, а таксама як лінкі PCIe x4, відсутнаць P2P, маленька кеш-пам’ять KV і рэзкія сплески напругі знизілі адказана шваль.
7 хв чытанняMiniCPM5-2B проты 4B: чаму агентны падход паказвае іншую картыну
MiniCPM5-2B перамагае своіх супернікав модэлей 4B па рэзултатах адна-разовых тэстаў, але потым відстае на два-тры разы ў тэстах з агентнымі механізмамі. Таксама ўбачаецца плутанне ў критэріях ацэнкі та незначны спад у продуктывасці Ollama.
10 хв чытанняАгенты добра плацуюць за чаканне: парады, блакаванне і заданні: параболік
Критэрій для перакладу трохі засобаў, якія агент можа викорыстаць для чакання на повольную роботу ў хмары: пулінг, блакуванне та задачы MCP, вартасць токена для кожнага з іх, а таксама правіла для разрабоцькаў інструментаў.
8 хв чытанняАгентскае знарэклісацыя з нуля: шась стадзеў і эксперыт, які ісольвае гэныя выгады.
Крэйс можа парадксальна спрыяць падышку рэзультатаў тэста больш, чым сама модэль. Створыце маленькі крэйс-агента ў шасці этапах і працаваце з кожной змянай аддзельна, каб выявіць, што на самай працоўнае дапамагла.
7 хв чытанняGraphRAG чы просты RAG? Дзе графы дапамагаюць, а дзе ўзнімаюць занадто вялікія витраты.
GraphRAG проты RAG: графы маюць перавагу у багатоэтапнай логіцы і стварэнні загальных узагальнэнняў, але прасцягаюцца пад час простых пошукоў і коштаюць дорожэ. Канкрэтныя показнікі та калі выбіраць тое чы іншае.
7 хв чытанняЧаму критэрыі оцэнкі памяці агентаў вводзяць у глухі кут, і як ацэніць на сасобных данных.
Критэрыі калібрування памяці агента вводзяць у глухы кут за дапамою некоректных ключоў адпаведзяў і атэстацыйных інструментаў. Тэставаць выкарыстоўванне памяці окрэмна ад адпаведзяў, дадаць перакананні ў свежасці, утриманні ад адпаведзяў і перамышленні.
15 хв чытання
Пра гэтыя артыкулы
Ацэнка за 24 гадзіны
Патрэбны такі стэк у аператарскім слоі? Дашліце брыф — ацэнка за 24 гадзіны.