Artículos para quien
entrega el stack
Textos originales sobre React, Node.js, TypeScript y AI — de la misma práctica que nuestro software de operador. Cuerpo de los artículos en inglés.
Etiqueta: attention
QUOKA explicado: cómo elegir qué historial KV debe leer la atención
Cómo acelera QUOKA el prefill de prompts largos: fundamentos de la caché KV, chunked prefill, selección de consultas atípicas, puntuación por máximo y preagregación barata para grouped-query attention.
2028 palabrasLeerQué significa realmente GPT y por qué la ingeniería de IA sigue siendo ingeniería
Desglosamos Generative Pre-trained Transformer, la atención, fit y predict, y vemos por qué el buen trabajo con IA sigue dependiendo del criterio de ingeniería de siempre y de mejores preguntas.
845 palabrasLeerLa caché KV explicada: por qué el contexto largo es una factura de memoria y no inteligencia
Una explicación clara de la caché KV: qué guarda, cómo calcular su tamaño, por qué el contexto largo se come la memoria y cuatro formas de reducir el gasto en modelos locales.
1921 palabrasLeerDe las reglas a los Transformers: cómo el NLP aprendió a manejar el contexto
Una breve historia del procesamiento del lenguaje natural: sistemas basados en reglas, N-gramas, modelos de Markov, vectores de palabras, RNN, atención, Transformers y los grandes modelos de lenguaje construidos sobre ellos.
1674 palabrasLeerPor qué los transformers usan seno y coseno para la codificación posicional
Una explicación paso a paso de la codificación posicional sinusoidal: por qué la atención ignora el orden de las palabras, relojes a distintas velocidades, un ejemplo resuelto en 12 dimensiones y la rotación.
1919 palabrasLeerLas matemáticas de la atención paso a paso: de la matriz de entrada X al softmax y V
Recorre a mano una cabeza de atención: de dónde salen Q, K y V, por qué las puntuaciones se dividen entre la raíz de d_k, cómo las pondera el softmax, más un ejemplo en NumPy y notas sobre la caché KV.
1565 palabrasLeerConstruye un Transformer desde cero en PyTorch: atención, codificador y decodificador
Código PyTorch paso a paso para las piezas centrales de un Transformer: codificación posicional, atención de producto escalar escalado y multi-head, capas feed-forward, pila del codificador y fundamentos del decodificador.
1819 palabrasLeerCómo funciona un LLM: tokens, atención y predicción del siguiente token
Un recorrido sencillo por la arquitectura de un LLM, desde los tokens y los embeddings hasta la atención, el enmascaramiento causal y la generación, y por qué el entrenamiento y la inferencia son distintos.
1801 palabrasLeer
Sobre estos artículos
Presupuesto en 24 h
¿Necesitas el mismo stack en una capa de operador? Envía el brief — presupuesto en 24 h.