Пластина Cerebras проти GPU для інференсу LLM: бенчмарк на GPT-OSS

Чи справді пластина Cerebras обганяє GPU в інференсі LLM? Відповідь залежить від типу запиту, тому перевірка нижче йде у два етапи. Спочатку практичний бенчмарк на GPT-OSS, відкритій reasoning-моделі OpenAI з опублікованими вагами: з одного боку її обслуговує Cerebras Cloud, з іншого — звичайна GPU-інфраструктура Fireworks AI. Потім те саме залізо з'являється за однією з комерційних фронтирних моделей самої OpenAI, GPT-5.6 Sol, і питання вже в тому, наскільки швидше вона там працює.

Спершу три терміни

• Інференс — це запуск уже навченої LLM, щоб отримати відповідь на заданий вхід.
• Майже вся ця робота сьогодні йде на GPU — чипах із безліччю ядер, які виконують тисячі обчислень паралельно.
• Cerebras іде зовсім іншим шляхом. Її Wafer-Scale Engine (WSE) перетворює цілу кремнієву пластину на один процесор.

Модель, яку тестуємо

GPT-OSS випускається в розмірах 20B і 120B, розрахована на міркування й роботу з інструментами та може розгортатися поза інфраструктурою OpenAI. Для цього експерименту підходить версія 120B. Вона достатньо велика, щоб залізо під нею справді мало значення, і водночас її хостять кілька провайдерів, тож ті самі ваги можна порівняти в різних постачальників.

Точний ідентифікатор моделі — openai/gpt-oss-120b. Її характеристики:

• 36 трансформерних шарів на архітектурі Mixture-of-Experts
• 116,8 мільярда параметрів загалом, із них приблизно 5,1 мільярда активні на кожен токен
• 128 експертів, чотири з них активні на токен
• контекстне вікно на 128K токенів
• ваги MoE квантовано в MXFP4

OpenAI підібрала розмір так, щоб модель уміщалася на одну GPU з 80 ГБ, тому GPU-бік порівняння з WSE лишається простим і чесним.

Чому одного промпту замало

Один промпт довів би дуже мало. Різні задачі інференсу витрачають час у різних місцях. Коротка відповідь — це здебільшого затримка на старті. Довга відповідь показує, наскільки швидко система може й далі генерувати токени. Величезний промпт навантажує етап обробки входу ще до появи першого вихідного токена.

Тому бенчмарк охоплює п'ять типів навантаження. Кожен запускається 10 разів на WSE і 10 разів на GPU, і в кожному прогоні записується, скільки пішло на перший токен, коли прийшов перший справжній текст відповіді, загальна затримка, пропускна здатність, витрачені токени й рахунок.

Усе це зібрано в блокноті Google Colab, де є п'ять рівнів навантаження, парні повторні прогони, облік токенів і затримок, розрахунок вартості та агрегація результатів. Для запуску потрібні акаунти в Cerebras Cloud і Fireworks AI з достатнім балансом, а ключі API кладуться в Colab Secrets.

Що показали цифри

За 10 парними прогонами на кожне навантаження Cerebras найдужче виривалася вперед, коли моделі треба було багато міркувати або генерувати. Що більше токенів потрібно було видати, чи то міркування, чи підсумкову відповідь, то більшим було прискорення від початку до кінця. Великий вхід сам по собі такого ефекту не давав.

З вартістю все навпаки. Кожен запит на WSE коштував дорожче. Але для довгих генерацій обмін виглядав вигідним: медіанна вартість зросла приблизно на 26%, а наскрізна затримка впала приблизно на 87%.

Та сама ідея на комерційній моделі

Cerebras не обмежується моделями з відкритими вагами. Сама OpenAI запускає GPT-5.6 Sol на залізі Cerebras через рівень обслуговування Ultrafast. Модель лишається тією самою, gpt-5.6-sol, змінюється лише спосіб обробки запиту. OpenAI заявляє, що Ultrafast видає до 750 вихідних токенів на секунду, тобто до 14 разів швидше за стандартну обробку. Це рівень обслуговування, а не окрема модель GPT-5.6.

Користувачам API з доступом до Ultrafast досить указати опцію запиту, щоб піти маршрутом через WSE. На момент написання в ChatGPT такого режиму немає. Не плутайте його з налаштуванням зусилля міркувань «Ultra» в ChatGPT Work — це інше.

У фрагменті нижче вибрано звичайну модель gpt-5.6-sol, а service_tier="ultrafast" просить OpenAI обробити цей виклик через рівень Ultrafast.

from openai import OpenAI

client = OpenAI()

response = client.responses.create(
    model="gpt-5.6-sol",
    service_tier="ultrafast",
    input="Explain why inference latency matters for multi-step AI agents."
)

print(response.output_text)

І навчання теж

Швидкі відповіді — не єдине, що дає це залізо. Cerebras також здає wafer-scale потужності в оренду для навчання й донавчання. Її Training Cloud покриває задачі від донавчання наявної моделі до попереднього навчання нової, для щільних архітектур, mixture-of-experts, мультимодальних, reasoning і власних архітектур. Головний аргумент — простота: той самий код навчання, як стверджується, масштабується до дуже великих моделей без ручного шардування моделі та без власної інфраструктури для паралелізму моделей.