BitNet y Cassandra: cómo los pesos ternarios aceleran los LLM locales en CPU

Ejecutar un modelo de lenguaje grande en tu propia máquina siempre ha parecido como meter un motor a reacción en un utilitario. Las exigencias de memoria ahogan a los portátiles de consumo, y la generación avanza a paso de tortuga, token a token, convirtiendo una pregunta sencilla en un suplicio que agota la batería. Durante años se dio por hecho que los modelos más listos necesitan más precisión, más potencia y silicio más caro, que es a lo que se refiere la gente cuando habla del foso de las GPU.

Esa suposición se está resquebrajando. Dos ideas, los pesos ternarios y la decodificación autoespeculativa, sugieren que la IA vive su era del Ford T: una primera versión tosca de algo que acabará estando en todas partes. Cuando una arquitectura ingeniosa sustituye a la fuerza bruta del hardware, la economía cambia. Estos son seis hallazgos de trabajos recientes sobre modelos ternarios e inferencia en el edge.

1. Pesos con solo tres valores

La idea de los LLM de 1 bit se basa en el diseño BitNet b1.58, en el que cada parámetro se limita a uno de tres valores: -1, 0 o 1. Parece ir al revés, porque normalmente se supone que más precisión compra mejor razonamiento. Sin embargo, el checkpoint BitNet b1.58 2B4T, con 2.400 millones de parámetros y 4 billones de tokens de entrenamiento, rinde a la par que los modelos de precisión completa FP16 y BF16.

El truco está en el hardware. Un modelo convencional obliga al procesador a hacer multiplicaciones en coma flotante caras y que consumen mucha energía. BitNet las cambia por simples sumas condicionales. Con operaciones de tablas de consulta (LUT), el chip puede saltarse por completo las unidades de coma flotante. Los multiplicadores ocupan muchísima superficie del chip, mientras que las sumas son baratas de calcular. Lo simple vuelve a estar de moda.

2. La decodificación especulativa como juego de adivinanzas

Para entender por qué estos modelos son rápidos, hay que fijarse en que la inferencia de LLM está limitada por la memoria. Cuando ejecutas un modelo en local, el límite no es lo rápido que piensa el procesador. Es lo rápido que los pesos viajan de la memoria al procesador. La intensidad aritmética es baja, así que el hardware pasa mucho tiempo parado esperando datos.

La decodificación especulativa ataca ese cuello de botella. Un modelo borrador pequeño y rápido propone una serie de tokens, y el modelo grande los verifica en paralelo. Funciona por dos razones:

• Previsibilidad: algunos tokens son fáciles de adivinar, como "York" después de "New".
• Verificación en paralelo: comprobar cinco suposiciones cuesta más o menos lo mismo que generar un token, porque el modelo objetivo procesa el lote en una sola pasada por su memoria.

3. Cassandra y la ventaja de no entrenar

La decodificación especulativa normal necesita un modelo borrador entrenado aparte. El framework Cassandra se lo ahorra. Construye un borrador competente a partir del propio modelo original aplicando poda no estructurada de valores y truncamiento de mantisa.

Piensa en un único usuario con un portátil o un móvil, donde los lotes son pequeños. El cuello de botella pasa del mecanismo de atención a la carga de pesos de la red feed-forward (FFN). Cassandra encuentra los bits más relevantes, los que de verdad determinan la salida, y carga primero esos datos de especulación. La mejora llega hasta 2,41 veces frente a una base BFloat16, una aceleración propia del edge que las optimizaciones de centro de datos no pueden copiar.

4. Velocidad de lectura humana en una CPU corriente

Todo esto apunta a la democratización: lejos de las GPU empresariales de 30.000 dólares y hacia los chips de consumo normales. Los informes técnicos de BitNet muestran grandes mejoras frente a los modelos FP16:

• ARM: entre 1,37 y 5,07 veces más rápido
• x86: hasta 6,17 veces más rápido

El resultado estrella es ejecutar un modelo de 100.000 millones de parámetros en una sola CPU a 5-7 tokens por segundo. Es más o menos la velocidad a la que lee una persona, así que los modelos enormes pasan a ser utilizables en hardware de oficina normal. Puedes probar tú mismo el framework bitnet.cpp:

# Running inference with the 1-bit 2B4T model
python run_inference.py -m models/BitNet-b1.58-2B-4T/ggml-model-i2_s.gguf -p "Explain the significance of ternary logic." -cnv

5. Un 82,2 % de ahorro de energía

La eficiencia importa sobre todo en el móvil. En x86, BitNet b1.58 reduce el consumo de energía un 82,2 %, y en ARM un 70 %. Para ti eso significa modelos que no vacían la batería del portátil ni exigen la refrigeración intensa que necesitan las GPU de gama alta. No es un simple detalle. Es una condición previa para sacar la IA de la nube y llevarla al bolsillo, con inteligencia siempre activa en el propio dispositivo que no se frena por el calor.

6. Compresión sin desplome de precisión

Se suele pensar que comprimir un modelo arruina su razonamiento. En los modelos "que piensan", como DeepSeek-R1-Distill-Llama-8B y Qwen3-8B-Thinking, la precisión no puede negociarse, y la poda con pérdidas suele fallar justo en la lógica compleja.

La prueba más clara viene del benchmark de razonamiento matemático AIME2025. En comparación directa, la poda Wanda, un método con pérdidas muy popular, no logró ni una sola respuesta correcta: un 0 %. Cassandra y BitNet mantienen intacto el modelo original. Así quedan los dos lados:

• Compresión con pérdidas con Wanda: perjudica el razonamiento y descarta matices de la lógica compleja, con un 0 % en AIME2025, un fallo en todas las tareas.
• Cassandra-1 y BitNet: conservan toda la precisión del modelo objetivo, con resultados sin pérdidas idénticos a BFloat16.

¿El fin de los multiplicadores?

Lo que está surgiendo podría llamarse sencillez elocuente. Pasar de multiplicadores que devoran silicio a sumas simples y suposiciones inteligentes sugiere que el foso de las GPU no es tan ancho como parecía. El siguiente paso probablemente sean ASIC y aceleradores basados en LUT diseñados solo para lógica de 1 bit. Si los modelos de 100.000 millones de parámetros funcionan en una CPU de oficina normal a velocidad de lectura humana, el obstáculo para la IA avanzada deja de ser un chip de 30.000 dólares. Pasa a ser una cuestión de hacer las cuentas de forma más inteligente.