Notas de ingeniería
Artículos para quien
entrega el stack
Textos sobre React, Node.js, TypeScript y AI. El cuerpo traducido se muestra cuando existe. Si no, ve el texto en inglés y una nota que lo dice.
Etiqueta: sglang
Por qué dos tarjetas RTX 3090 alcanzan 55 tok/s en lugar de 220 con SGLang y DFlash2.
Una explicación práctica sobre cómo ejecutar Qwen3.8-27B en dos tarjetas 3090 con SGLang, y cómo los enlaces PCIe x4, la falta de P2P, una caché KV limitada y picos de energía redujeron la velocidad anunciada.
7 min de lecturaProcesamiento por lotes continuo y relleno previo en bloques en vLLM y SGLang
Los lotes estáticos de LLM desperdician la GPU en rellenos innecesarios. La programación a nivel de iteración y el prellenado por bloques mantienen fluidos los flujos de decodificación mientras los nuevos prompts siguen avanzando.
5 min de lectura
FAQ
Sobre estos artículos
Sí. Cada texto es un rewrite inglés original para este sitio. Estructura y código siguen la fuente; la prosa se reescribe y se revisa el solapamiento.
El inglés es la fuente. Otro idioma aparece solo si existe ese cuerpo traducido. Una traducción ausente sigue en inglés, también en una dirección localizada.
Los borradores entran en cola tras la edición. El import solo toma slugs nuevos o cambiados — sin duplicados.
Ejemplos ilustrativos. Valida stack y licencias antes de producción. Para un encargo, envía el brief.
Presupuesto en 24 h
¿Necesitas el mismo stack en una capa de operador? Envía el brief — presupuesto en 24 h.