Артыкулы для тых, хто
выводзіць стэк у прод
Матэрыялы пра React, Node.js, TypeScript і AI. Перакладзены тэкст паказваецца, калі ён ёсць. Калі не — вы бачыце англійскі тэкст і пазнаку пра гэта.
Тэг: Quantization
turbovec: Скомпрэсаваць RAG Embeddings 16x за дапамою TurboQuant у Rust
TurboVec прыносіць TurboQuant ад Google у Rust і зменшае размеры індэксаў RAG embedding у 16 разоў без патрабавання да трэніравання. Дзе ён перамага FAISS і калі іншы інструмент падходзіць краща.
10 хв чытанняMiniCPM5-2B проты 4B: чаму агентны падход паказвае іншую картыну
MiniCPM5-2B перамагае своіх супернікав модэлей 4B па рэзултатах адна-разовых тэстаў, але потым відстае на два-тры разы ў тэстах з агентнымі механізмамі. Таксама ўбачаецца плутанне ў критэріях ацэнкі та незначны спад у продуктывасці Ollama.
10 хв чытанняBitNet і Cassandra: як троекратныя вагі прышвартовуюць роботу локальных LLM-аў на CPU.
Шас вынікі ў доследжэнні 1,58-бітнай BitNet, спекулятивнага декодавання і Cassandra: адгукаванне локальных LLM адбываецца на x86 CPU на 6,17 раза быстрей, спалоўваецца на 82,2% менша енергія, а точнасць застаецца тая ж.
4 хв чытанняКалі модель ніколі не завершае роботу: мовчазныя невыпадкі, якія залишаюцца непазначанымі у рэйтингах галюцинацый.
Два пункты контролю, две формы квантавання і два часу виконання булі прыменены на выдуманных назвах: адзін модель застаецца мовчазным прыблізна на калькі хвілін, а рэтельны оценяльнік выявляе тыя балы, якія працяглі залишыцца незафіксаванымі.
11 хв чытанняЯк QLoRA налаштоввае вялія моделі на маленькіх GPU: асэнцыі пра 4-бітныя моделі
З’ясавайце, што такое QLoRA з самага пачатку: чаму повна налаштовка ўскладнена та дорога, як работаюць адаптары LoRA і 4-бітная квантызацыя, а таксама калі такой падход падходзіць для вашага проекту.
8 хв чытанняВектарна квантыфікація у порівнянні: Int8 проти бінарного зберігання та відтворення
З’ясавайце, як int8 і бінарная квантызацыя вплываюць на рівень відтворення і запасы памяці для эмбеддінгаў, чаму бінарная квантызацыя може спрычыніць проблемы, і як выбраць безпечны рэвень стиснення.
4 хв чытанняПрактычныя аспекты апаратнага забезпечэння для запуску модэляў класу 100 мільярдаў на локальным вычынніку
Чы можа рабочая станцыя запускаць LLM класу 100 мільярда параметраў локальна? Адпаведнае рашэнне дае рэдкасць MoE, квантызацыя, размер кэша KV і можлівасці VRAM, а не колькасць параметраў, указаная ў заглавле.
11 хв чытанняКалі час перакантэнзацыя падвышае пэрплексітэт і таямні наражае на абяранне модэлю
Квантыяцыя кэша KV з нізкім коллекшанам бітоў можа усунуць адмовы модэлю, пры чым парапсіцыя практычна не зменяецца; гэтаму стандартныя метрыкі яго не фіксуюць, і што трэба дадаць у вашу систему кантролю.
7 хв чытання
Пра гэтыя артыкулы
Ацэнка за 24 гадзіны
Патрэбны такі стэк у аператарскім слоі? Дашліце брыф — ацэнка за 24 гадзіны.