La oblea de Cerebras frente a la GPU para inferencia de LLM: un benchmark con GPT-OSS

¿De verdad una oblea de Cerebras supera a una GPU en inferencia de LLM? La respuesta depende del tipo de petición, así que la prueba de abajo va en dos fases. Primero llega un benchmark práctico con GPT-OSS, el modelo de razonamiento de pesos abiertos de OpenAI, servido por un lado desde Cerebras Cloud y por otro desde la infraestructura GPU convencional de Fireworks AI. Después, el mismo hardware aparece detrás de uno de los modelos comerciales de frontera de la propia OpenAI, GPT-5.6 Sol, y la pregunta pasa a ser cuánto más rápido va allí.

Tres términos que conviene aclarar primero

• Inferencia significa ejecutar un LLM ya entrenado para producir una respuesta a una entrada dada.
• Casi todo ese trabajo se hace hoy en GPU, chips llenos de núcleos que realizan miles de cálculos en paralelo.
• Cerebras va en una dirección completamente distinta. Su Wafer-Scale Engine (WSE) pone a trabajar una oblea de silicio entera como un solo procesador.

El modelo a prueba

GPT-OSS viene en tamaños de 20B y 120B, está pensado para razonar y usar herramientas y puede desplegarse fuera de la infraestructura de OpenAI. La versión de 120B encaja con este experimento. Es lo bastante grande para que el hardware de debajo importe de verdad, y aun así la alojan varios proveedores, de modo que los mismos pesos se pueden comparar entre ellos.

El ID exacto del modelo es openai/gpt-oss-120b. Sus especificaciones:

• 36 capas transformer con un diseño Mixture-of-Experts
• 116.800 millones de parámetros en total, con unos 5.100 millones activos por token
• 128 expertos, cuatro de ellos activos por token
• una ventana de contexto de 128K tokens
• pesos MoE cuantizados a MXFP4

OpenAI lo dimensionó para que cupiera en una sola GPU de 80 GB, lo que mantiene la parte GPU de la comparación con la WSE sencilla y justa.

Por qué un solo prompt no basta

Enviar un único prompt demostraría muy poco. Cada tipo de trabajo de inferencia gasta su tiempo en sitios distintos. Una respuesta corta es sobre todo latencia de arranque. Una respuesta larga revela lo rápido que el sistema puede seguir generando tokens. Un prompt enorme carga la fase de procesamiento de la entrada antes de que aparezca un solo token de salida.

Por eso el benchmark cubre cinco tipos de carga de trabajo. Cada uno se ejecuta 10 veces en la WSE y 10 veces en la configuración GPU, y cada ejecución registra cuánto tardó el primer token, cuándo llegó el primer texto real de respuesta, la latencia total, el rendimiento, los tokens consumidos y la factura.

Todo está en un cuaderno de Google Colab que incluye los cinco niveles de carga, ejecuciones repetidas emparejadas, seguimiento de tokens y latencia, cálculo de costes y agregación de resultados. Para ejecutarlo hacen falta cuentas en Cerebras Cloud y Fireworks AI con créditos suficientes, y las claves de API van en Colab Secrets.

Qué mostraron los números

En las 10 ejecuciones emparejadas por carga, Cerebras sacó la mayor ventaja cuando el modelo tenía mucho que razonar o generar. Cuantos más tokens debía emitir, ya fuera como razonamiento o como respuesta final, mayor era la aceleración de principio a fin. Una entrada grande por sí sola no producía el mismo efecto.

El coste fue en sentido contrario. Cada petición a la WSE salía más cara. Aun así, en generaciones largas el intercambio parecía bueno: el coste mediano subió alrededor de un 26 % mientras la latencia de extremo a extremo bajó alrededor de un 87 %.

La misma idea en un modelo comercial

Cerebras no se limita a modelos de pesos abiertos. La propia OpenAI ejecuta GPT-5.6 Sol en hardware de Cerebras mediante un nivel de servicio llamado Ultrafast. El modelo sigue siendo gpt-5.6-sol, y solo cambia la forma de atender la petición. OpenAI afirma que Ultrafast puede llegar a 750 tokens de salida por segundo, hasta 14 veces más rápido que el procesamiento estándar. Es un nivel de servicio y no un modelo GPT-5.6 distinto.

Los usuarios de la API con acceso a Ultrafast solo tienen que activar una opción en la petición para tomar la ruta respaldada por la WSE. En el momento de escribir esto, ChatGPT no ofrece este modo. No lo confundas con el ajuste de esfuerzo de razonamiento "Ultra" de ChatGPT Work, que es otra cosa.

En el fragmento de abajo se elige el modelo normal gpt-5.6-sol, y service_tier="ultrafast" pide a OpenAI que atienda esa llamada mediante el nivel Ultrafast.

from openai import OpenAI

client = OpenAI()

response = client.responses.create(
    model="gpt-5.6-sol",
    service_tier="ultrafast",
    input="Explain why inference latency matters for multi-step AI agents."
)

print(response.output_text)

También para entrenar

Las respuestas más rápidas no son lo único que ofrece este hardware. Cerebras también alquila capacidad a escala de oblea para entrenamiento y ajuste fino. Su Training Cloud abarca desde el ajuste fino de un modelo existente hasta el preentrenamiento de uno nuevo, con arquitecturas densas, mixture-of-experts, multimodales, de razonamiento y personalizadas. El argumento de venta es la sencillez: se asegura que el mismo código de entrenamiento escala hasta modelos muy grandes sin particionar el modelo a mano ni montar uno mismo la infraestructura de paralelismo de modelos.