Статті для тих, хто
виводить стек у прод
Матеріали про React, Node.js, TypeScript і AI. Перекладений текст показується, якщо він є. Якщо ні — ви бачите англійський текст і примітку про це.
Тег: Benchmarks
TensorFold проти llama.cpp на Mac Studio M5 Ultra: продуктивність у 1,84 рази вища під час обробки справжніх файлів JSON
Я протестував TensorFold 1.2.0 порівняно з llama.cpp на Mac Studio M5 Ultra з Qwen3.8-27B та 80 реальними запитами JSON: пропускна здатність становила 1.84 рази більше при 8 одночасних запитах.
9 хв читанняHy-MT2-7B у п’яти локальних середовищах виконання: яке з них підходить для перекладу на Mac?
Hy-MT2-7B протестовувався з точки зору навантаження на llama.cpp, LM Studio, mlx-lm, Ollama та MLX-Serve на двох комп’ютерах Mac Studio M5 Ultra: пропускна здатність, масштабування, детермінізм, використання пам’яті.
9 хв читанняGemini 3.8 Flash під час запуску: швидкість, кінцевий термін цін та застереження щодо безпеки.
Огляд Gemini 3.8 Flash: офіційні показники продуктивності, швидкість обробки 304 токенів на секунду, термін дії промо-ціни до 2027 року, модель Cyber та проблеми з багатомовною безпекою.
7 хв читанняЧому дві відеокарти RTX 3090 дають 55 tok/s замість 220 за допомогою SGLang та DFlash2.
Детальний огляд запуску Qwen3.8-27B на двох відеокартах 3090 за допомогою SGLang, а також того, як з’єднання PCIe x4, відсутність функції P2P, обмежений кеш KV та різкі сплески потужності знизили оголошену швидкість.
7 хв читанняMiniCPM5-2B проти 4B: чому агентний підхід розповідає іншу історію
MiniCPM5-2B перевершує своїх конкурентів 4B за результатами одноразових виконань, але відстає у два-три рази у сценаріях з агентним підходом. Проблеми з тестовими завданнями та продуктивність Ollama.
10 хв читанняАгенти дорого платять за очікування: порівняння опитувань, блокування та завдань
Критерії оцінки трьох способів, якими агент може чекати на повільну операцію в хмарі: опитування, блокування та завдання MCP, вартість токенів для кожного з них, а також правила для розробників інструментів.
8 хв читанняСтворення агента Harness з нуля: шість етапів та експеримент, який ізолює досягнення
Пристрій кріплення може покращити показники тестів більше, ніж сама модель. Створіть невеликий пристрій кріплення для агента у шести етапах та тестуйте кожну зміну окремо, щоб з’ясувати, що насправді допомогло.
7 хв читанняGraphRAG чи звичайний RAG? Де графи корисні, а де вони занадто дорогі.
GraphRAG проти RAG: графи мають перевагу у багатокроковому міркуванні та створенні загальних узагальнень, але поступаються у простих пошуках та коштують дорожче. Кількісні показники та ситуації, коли варто обрати той чи інший варіант.
7 хв читанняЧому бенчмарки пам’яті агентів вводять в оману та як оцінювати їх на власних даних
Критерії оцінки пам’яті агентів вводять в оману через некоректні ключі відповідей та системи оцінювання. Треба тестувати здатність до пошуку окремо від відповідей, додати перевірки актуальності, утримання та забування.
15 хв читання
Про ці статті
Оцінка за 24 години
Потрібен такий стек в операторському шарі? Надішліть бриф — оцінка за 24 години.