Artículos para quien
entrega el stack
Textos sobre React, Node.js, TypeScript y AI. El cuerpo traducido se muestra cuando existe. Si no, ve el texto en inglés y una nota que lo dice.
Etiqueta: Tokenization
Funcionan solos, fallan en grupo: fragilidad contextual en tokens que superan una prueba de copiado aislado.
Prueba de ocho modelos de peso abierto para identificar tokens que se copian correctamente de forma aislada pero son descartados o modificados en contexto, con verificaciones de la geometría de los embeddings, la preservación de la tarea y el uso de herramientas.
32 min de lecturaDe la predicción de token siguiente al código funcional: cómo generan Python los LLMs
Explicación en orden de los tokens, softmax, temperatura, capas de autoatención y capas feed-forward, con un ejemplo paso a paso de clasificación y los límites estrictos que surgen de la predicción.
9 min de lecturaTokens frágiles y sustitución silenciosa: una explicación geométrica de algunas alucinaciones
Algunas alucinaciones provienen de tokens dañados o frágiles que son reemplazados por vecinos cercanos antes de que comience el razonamiento. Ejemplos, tasas por modelo y una prueba sencilla.
7 min de lecturaDel prompt al token: cómo un LLM convierte el texto en números y viceversa
Seguimos un prompt corto a través de la tokenización, los embeddings, la atención, las capas feed-forward, softmax y el muestreo para ver cómo elige realmente un modelo cada palabra siguiente.
7 min de lecturaLa tokenización es una decisión de diseño de sistemas, no un paso de preprocesamiento
Cómo el BPE a nivel de bytes construye el vocabulario que ve tu LLM, por qué el número de tokens cambia según el idioma, qué fallos provoca y qué medir antes de culpar al modelo.
9 min de lecturaPor qué las lenguas indias cuestan más tokens en los LLM y cómo se arreglan los tokenizadores
La misma frase ocupa 5 tokens en inglés y 34 en tamil. Cómo lo provocan los datos de entrenamiento de BPE, qué cambian el reequilibrio y el tamaño del vocabulario, y cómo funciona la ampliación del vocabulario.
8 min de lecturaCómo funcionan las capas de embedding: del texto a los IDs de token y a los vectores en un LLM
Una explicación para principiantes de las capas de embedding: tokenización, tablas de búsqueda, vectores aprendidos, el ejemplo de 205 millones de parámetros y una breve demo en PyTorch con nn.Embedding.
5 min de lecturaEntrenar un LLM pequeño desde cero en un portátil con 8 GB de RAM
Cómo montar un pipeline de datos limpio para entrenar un transformer en hardware modesto: tokenizador BPE, TinyStories, tokens en disco y lotes para predecir el siguiente token.
5 min de lecturaPresupuestos de tokens versus límites semánticos: lograr divisiones correctas de los fragmentos en RAG
Aprenda cómo difieren la tokenización y el chunking, cuál papel desempeñan en un pipeline RAG, y cómo dividir documentos por significado al mismo tiempo que se mide el tamaño con el tokenizador real.
11 min de lectura
Sobre estos artículos
Presupuesto en 24 h
¿Necesitas el mismo stack en una capa de operador? Envía el brief — presupuesto en 24 h.