Notas de ingeniería
Artículos para quien
entrega el stack
Textos sobre React, Node.js, TypeScript y AI. El cuerpo traducido se muestra cuando existe. Si no, ve el texto en inglés y una nota que lo dice.
Etiqueta: Mixture of Experts
Servicio de Qwen3.8-Flash-Next en RTX 3090 con carga externa de tensores mediante llama.cpp
Por qué un modelo híbrido de expertos de 88 GB y 180 mil millones de parámetros como Qwen3.8-Flash-Next cabe en las RTX 3090, y cómo llama.cpp -ot, -ncmoe y mmap distribuyen la VRAM, la RAM y NVMe.
12 min de lecturaPor qué descargar un modelo de 17 GB no significa que se necesiten 17 GB de memoria para ejecutarlo
Aprenda cómo los parámetros activos, los parámetros totales, el crecimiento de la caché KV y el esfuerzo de razonamiento determinan el costo real de memoria y procesamiento para ejecutar un modelo de lenguaje localmente.
12 min de lectura
FAQ
Sobre estos artículos
Sí. Cada texto es un rewrite inglés original para este sitio. Estructura y código siguen la fuente; la prosa se reescribe y se revisa el solapamiento.
El inglés es la fuente. Otro idioma aparece solo si existe ese cuerpo traducido. Una traducción ausente sigue en inglés, también en una dirección localizada.
Los borradores entran en cola tras la edición. El import solo toma slugs nuevos o cambiados — sin duplicados.
Ejemplos ilustrativos. Valida stack y licencias antes de producción. Para un encargo, envía el brief.
Presupuesto en 24 h
¿Necesitas el mismo stack en una capa de operador? Envía el brief — presupuesto en 24 h.