Пластина Cerebras против GPU для инференса LLM: бенчмарк на GPT-OSS

Действительно ли пластина Cerebras обгоняет GPU в инференсе LLM? Ответ зависит от типа запроса, поэтому проверка ниже идёт в два этапа. Сначала практический бенчмарк на GPT-OSS, открытой reasoning-модели OpenAI с опубликованными весами: с одной стороны её обслуживает Cerebras Cloud, с другой — обычная GPU-инфраструктура Fireworks AI. Затем то же железо появляется за одной из коммерческих фронтирных моделей самой OpenAI, GPT-5.6 Sol, и вопрос уже в том, насколько быстрее она там работает.

Сначала три термина

• Инференс — это запуск уже обученной LLM, чтобы получить ответ на заданный вход.
• Почти вся эта работа сегодня идёт на GPU — чипах с множеством ядер, которые выполняют тысячи вычислений параллельно.
• Cerebras идёт совсем другим путём. Её Wafer-Scale Engine (WSE) превращает целую кремниевую пластину в один процессор.

Тестируемая модель

GPT-OSS выпускается в размерах 20B и 120B, рассчитана на рассуждения и работу с инструментами и может развёртываться вне инфраструктуры OpenAI. Для этого эксперимента подходит версия 120B. Она достаточно велика, чтобы железо под ней действительно имело значение, и при этом её хостят несколько провайдеров, так что одни и те же веса можно сравнить у разных поставщиков.

Точный идентификатор модели — openai/gpt-oss-120b. Её характеристики:

• 36 трансформерных слоёв на архитектуре Mixture-of-Experts
• 116,8 миллиарда параметров всего, из них примерно 5,1 миллиарда активны на каждый токен
• 128 экспертов, четыре из них активны на токен
• контекстное окно на 128K токенов
• веса MoE квантованы в MXFP4

OpenAI подобрала размер так, чтобы модель помещалась на одну GPU с 80 ГБ, поэтому GPU-сторона сравнения с WSE остаётся простой и честной.

Почему одного промпта мало

Один промпт доказал бы очень немного. Разные задачи инференса тратят время в разных местах. Короткий ответ — это в основном задержка на старте. Длинный ответ показывает, насколько быстро система может продолжать генерировать токены. Огромный промпт нагружает этап обработки входа ещё до появления первого выходного токена.

Поэтому бенчмарк охватывает пять типов нагрузки. Каждый запускается 10 раз на WSE и 10 раз на GPU, и в каждом прогоне записывается, сколько ушло на первый токен, когда пришёл первый настоящий текст ответа, общая задержка, пропускная способность, израсходованные токены и счёт.

Всё это собрано в блокноте Google Colab, где есть пять уровней нагрузки, парные повторные прогоны, учёт токенов и задержек, расчёт стоимости и агрегация результатов. Для запуска нужны аккаунты в Cerebras Cloud и Fireworks AI с достаточным балансом, а ключи API кладутся в Colab Secrets.

Что показали цифры

По 10 парным прогонам на каждую нагрузку Cerebras сильнее всего вырывалась вперёд, когда модели предстояло много рассуждать или генерировать. Чем больше токенов нужно было выдать, будь то размышления или итоговый ответ, тем больше было ускорение от начала до конца. Большой вход сам по себе такого эффекта не давал.

Со стоимостью всё наоборот. Каждый запрос на WSE обходился дороже. Но для длинных генераций обмен выглядел выгодным: медианная стоимость выросла примерно на 26%, а сквозная задержка упала примерно на 87%.

Та же идея на коммерческой модели

Cerebras не ограничивается моделями с открытыми весами. Сама OpenAI запускает GPT-5.6 Sol на железе Cerebras через уровень обслуживания Ultrafast. Модель остаётся той же, gpt-5.6-sol, меняется только способ обработки запроса. OpenAI заявляет, что Ultrafast выдаёт до 750 выходных токенов в секунду, то есть до 14 раз быстрее стандартной обработки. Это уровень обслуживания, а не отдельная модель GPT-5.6.

Пользователям API с доступом к Ultrafast достаточно указать опцию запроса, чтобы пойти по маршруту через WSE. На момент написания в ChatGPT такого режима нет. Не путайте его с настройкой усилия рассуждений «Ultra» в ChatGPT Work — это другое.

В фрагменте ниже выбрана обычная модель gpt-5.6-sol, а service_tier="ultrafast" просит OpenAI обработать этот вызов через уровень Ultrafast.

from openai import OpenAI

client = OpenAI()

response = client.responses.create(
    model="gpt-5.6-sol",
    service_tier="ultrafast",
    input="Explain why inference latency matters for multi-step AI agents."
)

print(response.output_text)

И обучение тоже

Быстрые ответы — не единственное, что даёт это железо. Cerebras также сдаёт wafer-scale мощности в аренду для обучения и дообучения. Её Training Cloud покрывает задачи от дообучения существующей модели до предобучения новой, для плотных архитектур, mixture-of-experts, мультимодальных, reasoning и собственных архитектур. Главный довод — простота: тот же код обучения, как утверждается, масштабируется до очень больших моделей без ручного шардирования модели и без собственной инфраструктуры для параллелизма моделей.