Статьи для тех, кто
выводит стек в прод
Материалы о React, Node.js, TypeScript и AI. Переведённый текст показывается, если он есть. Если нет — вы видите английский текст и пометку об этом.
Тег: Benchmarks
TensorFold против llama.cpp на Mac Studio M5 Ultra: пропускная способность при обработке реальных JSON-данных в 1,84 раза выше
Я провёл сравнительные тесты TensorFold 1.2.0 с llama.cpp на Mac Studio M5 Ultra с моделью Qwen3.8-27B при 80 реальных запросах в формате JSON: пропускная способность составила 1,84 раза выше при 8 одновременных запросах.
9 мин чтенияHy-MT2-7B на пяти локальных движках выполнения: какой из них подойдет для перевода на Mac?
Hy-MT2-7B протестирован в условиях нагрузки с использованием llama.cpp, LM Studio, mlx-lm, Ollama и MLX-Serve на двух машинах Mac Studio M5 Ultra: пропускная способность, масштабируемость, детерминизм, использование памяти.
9 мин чтенияGemini 3.8 Flash при запуске: скорость, крайний срок цен и ограничения, связанные с безопасностью.
Обзор Gemini 3.8 Flash: официальные показатели производительности, скорость обработки 304 токенов в секунду, срок действия промо-цен до 2027 года, модель Cyber и проблемы с мультиязычной безопасностью.
7 мин чтенияПочему при использовании SGLang и DFlash2 две видеокарты RTX 3090 достигают скорости 55 ток/с вместо 220.
Практический обзор запуска Qwen3.8-27B на двух видеокартах 3090 с использованием SGLang, а также того, как интерфейсы PCIe x4, отсутствие функции P2P, ограниченная кэш-память KV и резкие скачки потребления энергии снизили заявленную скорость.
7 мин чтенияMiniCPM5-2B против 4B: почему агентный подход рассказывает другую историю
MiniCPM5-2B превосходит своих конкурентов моделей 4B по результатам однократных тестов, но отстает на два-три раза в тестах с использованием агентных архитектур. Также наблюдаются проблемы с сравнением базовых показателей и производительностью Ollama.
10 мин чтенияАгенты дорого платят за ожидание: сравнение опросов, блокировок и задач
Критерии оценки трех способов, с помощью которых агент может ожидать завершения медленной операции в облаке: опрос, блокировка и задачи MCP, стоимость токенов для каждого способа, а также правила для разработчиков инструментов.
8 мин чтенияСоздание агента Harness с нуля: шесть этапов и эксперимент, позволяющий выделить полученные результаты
Ремень безопасности может улучшить показатели тестов больше, чем сама модель. Создайте небольшой агент в шести этапах и тестируйте по одной изменению за раз, чтобы выяснить, что действительно помогло.
7 мин чтенияGraphRAG или обычный RAG? Где графы полезны, а где они слишком дороги.
GraphRAG против RAG: графовые подходы превосходят их в многоэтапном рассуждении и составлении общих обзоров, но уступают в простых поисках и стоят дороже. Ключевые показатели и когда выбирать тот или иной подход.
7 мин чтенияПочему эталоны для оценки памяти агентов вводят в заблуждение и как проводить оценку на собственных данных
Критерии оценки памяти агентов вводят в заблуждение из-за некорректных ключей ответов и систем оценки. Тестируйте способность к извлечению информации отдельно от ответов, добавьте проверки свежести данных, воздержания и забывания.
15 мин чтения
О этих статьях
Оценка за 24 часа
Нужен такой же стек в операторском слое? Пришлите бриф — оценка за 24 часа.