Inicio / Artículos / Análisis de Qwen 3.8-27B: benchmarks, veredicto de la comunidad y la realidad del hardware

Análisis de Qwen 3.8-27B: benchmarks, veredicto de la comunidad y la realidad del hardware

Cómo se compara el modelo de pesos abiertos Qwen 3.8-27B de Alibaba con Opus 4.6, DeepSeek V4 Flash y GLM 5.2, qué cuentan los usuarios y qué GPU lo mueven con soltura.

1882 palabras

El 14 de agosto, Alibaba publicó Qwen 3.8-27B con pesos abiertos bajo la licencia Apache 2.0. Cuantizado a 4 bits ocupa unos 17 GB, y la visión viene incluida. Incluso en un portátil, lejos de cualquier rack de GPU, se puede descargar y servir con llama.cpp, y el resultado es mejor que un simple «impresionante para su tamaño». Delibera más que otros modelos locales, detecta casos límite que se le escapaban al anterior modelo de cabecera y entrega un trabajo que antes exigía una API frontier de pago.

Abajo se responden tres preguntas. ¿Cómo le va frente a Opus 4.6, GLM 5.2 y DeepSeek V4 Flash 0731? ¿Qué dijeron los usuarios tras dos semanas de uso real? ¿Y qué exige en hardware que ninguna tabla de benchmarks reconoce?

Qué obtienes en realidad

Qwen 3.8-27B es un modelo denso de 27.000 millones de parámetros, todos activos en cada token. No es una mezcla dispersa de expertos disfrazada de modelo pequeño. Lo interesante está en la atención. La mayoría de las capas usan un mecanismo lineal barato (Gated DeltaNet), y solo una de cada cuatro aplica atención completa. Esa mezcla de tres a uno es lo que le permite salir con un contexto nativo de 262K tokens sin devorar memoria, y según Qwen la ventana puede estirarse hasta 1M de tokens.

También procesa imágenes y vídeo. Y, sobre todo, piensa por defecto. El nivel máximo de razonamiento ("xhigh") viene activado de fábrica, así que cada prompt desata un largo debate interno antes de que aparezca la respuesta. Ese modo de pensamiento decide si el modelo resulta fantástico o desesperante, y volverá a salir más abajo.

Comparativas

Frente a Opus 4.6: mejor en el trabajo, peor en los exámenes

Este es el marcador según las cifras publicadas por cada fabricante:

| Benchmark          | Qwen3.8-27B | Opus 4.6 Max | GLM-5.2   |
|--------------------|-------------|--------------|-----------|
| SWE-bench Pro      | 61.7        | 53.4         | 62.1      |
| Terminal-Bench 2.1 | 73.0*       | 78.2         | 81.0*     |
| GPQA Diamond       | 89.2        | 91.3         | 91.2      |
| HLE                | 30.8        | 40.0         | 40.5      |

Cada fabricante usa su propio entorno de pruebas, así que tómalas como orientativas.

Dicho llanamente, Qwen gana donde los agentes hacen trabajo real. SWE-bench Pro consiste en arreglar bugs auténticos en repositorios reales, y ahí Qwen supera a Opus por más de 8 puntos. También gana en seguimiento de instrucciones (IFBench 79,5 frente a 62,5) y en todo lo visual: la puntuación de uso del ordenador en OSWorld subió de 63,9 con el Qwen anterior a 84,3, por encima del 72,7 de Opus.

Opus conserva la ventaja en los conjuntos de razonamiento más duros: GPQA, con preguntas científicas de nivel de posgrado, y HLE, apodado «el último examen de la humanidad». Eso es terreno de matemáticas de frontera, y un archivo de 17 GB todavía no llega.

Un aviso antes de citar la tabla en cualquier parte: cada cifra sale de la ficha y el entorno del propio fabricante. Alibaba ejecutó SWE-bench Pro con el entorno de Claude Code y calificó HLE con GPT-4o. Léelo como un techo y no como un suelo, aunque sigue siendo el mejor mapa disponible.

Frente a DeepSeek V4 Flash 0731: misma puntuación con una fracción del hardware

DeepSeek V4 Flash es un MoE de 284.000 millones de parámetros con 13B activos por token. En el índice independiente de Artificial Analysis, donde todos los modelos pasan las mismas nueve evaluaciones, Qwen 3.8-27B saca 52, exactamente lo mismo que DeepSeek V4 Flash 0731.

Misma nota, necesidades distintas. Uno funciona con una sola tarjeta de 24 GB y entiende imágenes. El otro pide cinco RTX 3090, y su prefill es dolorosamente lento en comparación.

Frente a GLM 5.2: cerca, con una nota al pie

GLM-5.2 de Zhipu tiene licencia MIT y un sólido contexto de 1M, y sobre el papel es el rival más cercano: 62,1 frente a 61,7 de Qwen en SWE-bench Pro, y 81 frente a 73 en Terminal-Bench con su entorno. Qwen se lleva el gato al agua por dos razones: incluye visión y cabe en una tarjeta que la gente ya tiene.

La nota al pie es que Zhipu lanzó GLM-5.3 el 18 de agosto, dos días después de Qwen. Saca 60 en el mismo índice donde Qwen tiene 52, así que ese duelo ya se está volviendo a jugar.

Reacciones de la comunidad

Dos semanas después, r/LocalLLaMA acumulaba cientos de hilos y Hacker News tenía una discusión de 375 puntos. Las opiniones se reparten en tres bandos, más uno.

Bando uno: inteligencia frontier en casa. La frase es un comentario real de Hacker News. Un usuario con una 5090 contó en el megahilo del lanzamiento que más del 80 % de su trabajo ya no necesita a Claude. Una larga reseña de la comunidad lo situó a nivel de Sonnet, con margen para llegar a resultados de nivel Opus. Simon Willison, que reseña LLM de forma profesional, lo calificó de excelente y movió con él su propio agente de programación, asombrado de que un archivo de 17 GB pueda hacer todo esto.

Un resultado externo destaca. El benchmark de agentes legales de Harvey simula un despacho de abogados con más de 100M de tokens repartidos en unos 10.000 documentos. Un Qwen3.8-27B adaptado superó allí a Claude Opus 4.8, a unos $0.13 por consulta frente a $1.32. Conviene tomarlo con cuidado: el modelo adaptado había estudiado antes el corpus de ese despacho, lo que demuestra el poder del ajuste de dominio en un modelo de 27B y dice poco de los pesos de serie. Aun así, es una primera pista de que la capacidad se sostiene fuera de los entornos de prueba de Alibaba.

El bando dos se queja del impuesto por pensar de más. Con xhigh activado por defecto, una tarea que sin razonamiento lleva dos minutos y medio puede alargarse hasta 21 minutos. La prueba del pelícano de Simon Willison lo demuestra: pidió un pelícano sencillo en SVG, y el modelo gastó más de 22.000 tokens de razonamiento para 3.200 tokens de salida final. El dibujo quedó bien, pero le costó 21 minutos. En el conjunto de tareas, el modelo emite aproximadamente el doble de tokens que Qwen 3.6-27B, y en hardware doméstico eso se traduce en esperar.

Bando tres: fuera del código alucina. Esta duele porque es cierta. Su puntuación de conocimiento general (AA-Omniscience) bajó un poco respecto a Qwen 3.6, un cambio de memoria por capacidad. Los usuarios describen respuestas erróneas dichas con total seguridad sobre hechos generales, y uno lo tuvo más de una hora dando vueltas en una tarea de CLI que una búsqueda web habría resuelto.

Y luego están quienes lo aceleraron, que son los que más importan. En pocos días, la comunidad tenía cuantizaciones NVFP4 funcionando junto con decodificación especulativa MTP, y una sola RTX 5090 alcanzó más de 200 tokens por segundo con todo el contexto de 262K cargado. La lentitud se puede ajustar, así que si te parece torpe, sospecha antes de la configuración que del modelo.

Primeras impresiones: se queda con el problema

Frente a Qwen 3.6-27B, el cambio más llamativo tras una semana de uso diario es la constancia. Qwen 3.6 era rápido, competente y algo vago: daba respuestas que cubrían el camino feliz y se detenían ahí. Qwen 3.8 sopesa casos límite que nadie mencionó: una entrada vacía, una API que devuelve un 500 en la segunda llamada, un archivo que ya no existe en el paso cuatro. Lo que entrega llega más completo, y las respuestas de «ya vale así» casi han desaparecido.

Los usuarios también descubrieron cómo dirigirlo. Un truco popular es inyectar en el razonamiento del modelo una línea como "you have 12K tokens of thinking budget per turn" («tienes 12K tokens de presupuesto de pensamiento por turno») y repetir recordatorios cuando se ha gastado la mitad y tres cuartas partes del presupuesto. Así xhigh pasa de ser un impuesto fijo a un mando regulable. Dentro de un entorno de agentes, controla el nivel de esfuerzo o dale un presupuesto. Cuando se le dice que cierre su razonamiento, es bastante conciso, pero nunca se ofrece a hacerlo por su cuenta.

Dónde ejecutarlo

Una sorpresa en Apple Silicon: con llama.cpp en un MacBook Pro con M4 Max, activar MTP ralentizó la inferencia en lugar de acelerarla. Willison midió una mejora de alrededor del 72 % con la decodificación especulativa MTP, pero en la ruta de CUDA. En un Mac, ejecútalo sin más y acepta el ritmo.

La arquitectura no ha cambiado las cuentas. Sigue siendo un modelo denso de 27B, así que se aplica lo mismo que a cualquier modelo de esta clase. Un mapa práctico:

  • RTX 3090 o 4090 (24 GB): Q4 cabe con holgura y Q8 funciona repartido entre dos GPU. El uso diario empieza a sentirse real, y los informes de la comunidad de 40 a 70 tok/s con MTP en CUDA cuadran con lo esperable para esta gama de tarjetas.
  • RTX 5090 (32 GB): el punto óptimo por ahora. NVFP4 más MTP supera los 200 tok/s en un solo flujo con el contexto completo. Si en 2026 vas a dedicar una tarjeta a la IA local, es esta.
  • DGX Spark o MacBook Pro: funciona y es divertido verlo, pero todavía va demasiado lento para el trabajo diario. Piensa en él como el modelo de viaje.

Aquí no hay magia. Si un portátil es tu única máquina y necesitas razonamiento de nivel frontier a diario, el consejo honesto es alquilar una GPU o esperar una generación de chips. La inteligencia cabe en tu mochila. La paciencia, no.

El camino hasta este modelo

Opus 4.6, a principios de 2026, fue la sacudida que hizo que valiera la pena montar un agente autoalojado: si una suscripción podía hacer eso, la misma capacidad debería funcionar en hardware propio. Qwen 3.5-27B hizo que ese agente funcionara en local, y después Qwen 3.6-27B tomó el relevo y todavía cubre cerca del 90 % del trabajo diario. Aun así, los casos límite se seguían colando, justo esos en los que un modelo más rápido y superficial se rinde o adivina.

Ese hueco llevó a DeepSeek V4 Flash 0731, que mejoró mucho la inteligencia del agente y fue el primer modelo local que parecía razonar sobre una base de código en lugar de limitarse a reconocer patrones. Pero necesita las cinco RTX 3090, y su prefill es tan lento que las sesiones largas se hacen eternas.

Luego llegó Qwen 3.8-27B y por fin salieron las cuentas: inteligencia de nivel DeepSeek V4 Flash en una sola tarjeta, con visión. Cada modelo cumplió una función. Opus mostró lo que era posible, DeepSeek mostró lo bien que podía pensar un agente, y Qwen 3.8 es el primero que puede quedarse en un escritorio sin disparar la factura de la luz.

Lo que viene

La tendencia ya es evidente: la IA local ha dejado de ser un juguete o un complemento, y avanza en dos frentes a la vez. Los modelos pequeños mejoran más rápido de lo que nadie predijo. Este pasó en una sola generación de un 27B corriente a resultados de clase Sonnet en un entorno de agentes, y los 200 tok/s en una sola tarjeta aparecieron a los pocos días del lanzamiento. El hardware también se acerca. El mismo primer día, AMD probó el modelo en su procesador para portátiles Ryzen AI Max+ y obtuvo 24,5 tokens por segundo, así que el rendimiento de clase RTX 3090 se encamina hacia los dispositivos móviles.

Junta ambas cosas y la previsión no es descabellada: inteligencia de nivel DeepSeek V4 Flash en el bolsillo, en un chip lo bastante pequeño para un teléfono.

Dónde leer más

La ficha oficial del modelo recoge especificaciones y licencia, y la reseña de Simon Willison es el mejor relato práctico sobre los compromisos del modo de pensamiento. Artificial Analysis publica las puntuaciones del índice independiente, y Zhipu documenta GLM-5.2 y GLM-5.3 en su propio blog.