Статьи для тех, кто
выводит стек в прод
Материалы о React, Node.js, TypeScript и AI. Переведённый текст показывается, если он есть. Если нет — вы видите английский текст и пометку об этом.
Тег: Quantization
turbovec: Сжатие вкладок RAG в 16 раз с использованием TurboQuant на Rust
TurboVec переносит TurboQuant от Google в Rust и сокращает размер индексов вставок RAG в 16 раз без необходимости обучения. В чём он превосходит FAISS и когда другой инструмент подходит лучше.
10 мин чтенияMiniCPM5-2B против 4B: почему агентный подход рассказывает другую историю
MiniCPM5-2B превосходит своих конкурентов моделей 4B по результатам однократных тестов, но отстает на два-три раза в тестах с использованием агентных архитектур. Также наблюдаются проблемы с сравнением базовых показателей и производительностью Ollama.
10 мин чтенияBitNet и Cassandra: как тернарные веса ускоряют локальные LLM на CPU
Шесть выводов относительно 1,58-битной BitNet, спекулятивной декодировки и Cassandra: инференция локальных LLM в 6,17 раза быстрее на процессорах x86, потребление энергии на 82,2% меньше при той же точности.
4 мин чтенияКогда модель так и не отвечает: тихие сбои, которых не видно в оценках галлюцинаций
Два чекпойнта, две квантизации и два рантайма на выдуманных названиях: одна модель молчит по несколько минут, а аккуратный грейдер показывает то, что упускают оценки.
11 мин чтенияКак QLoRA дообучает большие модели на маленьких GPU: основы 4-битного подхода
Разбираем QLoRA с нуля: почему полное дообучение дорого, как сочетаются LoRA-адаптеры и 4-битная квантизация и когда этот подход подходит вашему проекту.
8 мин чтенияСравнение векторной квантизации: инт8 против бинарной — точность восстановления и объем хранения
Определите, как инт8 и бинарная квантизация влияют на точность восстановления и объем хранения эмбеддингов, почему бинарная квантизация может приводить к потере данных, и как выбрать безопасный уровень сжатия.
4 мин чтенияПроверка технических возможностей для запуска моделей класса 100 миллиардов параметров локально
Может ли рабочая станция запустить большую языковую модель класса 100 миллиардов параметров локально? Решающими факторами являются редкость представлений в формате MoE, квантизация, размер кэша KV и объем VRAM, а не количество параметров, указанное в заголовках.
11 мин чтенияКогда этапы квантизации вызывают плексис и тайно нарушают безопасность модели
Квантизация кэша KV с низким количеством битов может устранить эффект отказа модели, при этом показатель перплекситета почти не меняется; вот почему стандартные метрики этого не фиксируют и что следует добавить в ваш механизм управления.
7 мин чтения
О этих статьях
Оценка за 24 часа
Нужен такой же стек в операторском слое? Пришлите бриф — оценка за 24 часа.