Notas de ingeniería
Artículos para quien
entrega el stack
Textos originales sobre React, Node.js, TypeScript y AI — de la misma práctica que nuestro software de operador. Cuerpo de los artículos en inglés.
Etiqueta: bpe
La tokenización es una decisión de diseño de sistemas, no un paso de preprocesamiento
Cómo el BPE a nivel de bytes construye el vocabulario que ve tu LLM, por qué el número de tokens cambia según el idioma, qué fallos provoca y qué medir antes de culpar al modelo.
2081 palabrasLeerPor qué las lenguas indias cuestan más tokens en los LLM y cómo se arreglan los tokenizadores
La misma frase ocupa 5 tokens en inglés y 34 en tamil. Cómo lo provocan los datos de entrenamiento de BPE, qué cambian el reequilibrio y el tamaño del vocabulario, y cómo funciona la ampliación del vocabulario.
1932 palabrasLeer
FAQ
Sobre estos artículos
Sí. Cada texto es un rewrite inglés original para este sitio. Estructura y código siguen la fuente; la prosa se reescribe y se revisa el solapamiento.
Los posts técnicos van primero en inglés para que código y APIs sigan exactos. La interfaz del sitio está en nueve idiomas.
Los borradores entran en cola tras la edición. El import solo toma slugs nuevos o cambiados — sin duplicados.
Ejemplos ilustrativos. Valida stack y licencias antes de producción. Para un encargo, envía el brief.
Presupuesto en 24 h
¿Necesitas el mismo stack en una capa de operador? Envía el brief — presupuesto en 24 h.