Leyes de escalamiento de los LLM, GPT-4o y aprendizaje por refuerzo: qué predicen las curvas.
Cómo leer las leyes de escalamiento de los LLM, lo que descubrieron Kaplan y Chinchilla, cómo las utilizaron los laboratorios desde GPT-3 hasta GPT-4o, y por qué el aprendizaje por refuerzo añade un nuevo eje de cálculo.
Casi todos los grandes avances en la calidad de los modelos de lenguaje de los últimos años se han logrado al hacer lo mismo con un tamaño mayor: más parámetros, más tokens de entrenamiento y más GPUs. Las leyes de escalamiento son las ecuaciones que convierten ese hábito en algo con lo que se puede planificar, ya que predicen cómo disminuirá la pérdida en pruebas de un modelo a medida que se aumentan recursos como la capacidad de cómputo para el entrenamiento. También se interpretan erróneamente con frecuencia, por lo que los titulares alternan entre “la escalamiento está garantizado” y “la escalamiento ha chocado contra un muro”. Después de estudiar este texto, podrás leer correctamente un gráfico de escalamiento log-log, explicar qué indican realmente los resultados de Kaplan y Chinchilla, razonar sobre el debate del “desaceleramiento” sin tomar partido y comprender por qué los agentes y los modelos de razonamiento son los próximos campos donde se está escalando el cómputo.
La estructura es de abajo hacia arriba. Comenzamos con las matemáticas de las leyes de potencia, pasamos a la investigación que estableció las leyes de escalamiento para los modelos de lenguaje, vemos cómo esas leyes guiaron a la familia GPT y a modelos posteriores, analizamos los argumentos de que el escalamiento está perdiendo fuerza, y terminamos con las direcciones que mantienen el progreso en marcha incluso si los beneficios del preentrenamiento se estabilizan.
El bloque fundamental: las leyes de potencia
Dos cantidades, una relación predecible
Una ley de potencia es simplemente una regla que relaciona dos mediciones de modo que un cambio proporcional en una produce un cambio proporcional en la otra. En el contexto de los LLM, una de las dos cantidades es casi siempre la pérdida en las pruebas (a veces un indicador sustituto como la precisión en una tarea posterior), y la otra es el parámetro que se ajusta: la cantidad de parámetros, el tamaño del conjunto de datos o la cantidad total de cálculos de entrenamiento.
Una afirmación típica del artículo sobre GPT-3 dice más o menos lo siguiente: siempre que haya suficientes datos, la pérdida de validación debería seguir una ley de potencias aproximadamente suave en función del tamaño del modelo. El significado práctico es que el número de parámetros y la pérdida en pruebas están relacionados de manera medible. Al aumentar el tamaño del modelo, manteniendo las demás condiciones adecuadas (suficientes datos, suficiente capacidad de cálculo), la pérdida disminuye según un factor que se puede predecir con antelación.
Una propiedad útil aquí es la invariancia a escala. Si se multiplica la entrada por algún factor constante, la salida también se multiplica por un factor fijo, independientemente del punto de partida en la curva. Eso es precisamente lo que hace que las leyes de potencias sean atractivas para la predicción: la relación que se mide entre un modelo con 10 millones y uno con 100 millones de parámetros proporciona información concreta sobre el paso de 10 mil millones a 100 mil millones de parámetros.
Formas estándar e inversa
La forma básica es y = a * x^p, donde x y y son las dos cantidades y a y p son constantes determinadas a partir de los datos. Con un exponente positivo, y crece a medida que x crece. En ejes ordinarios la curva se curva hacia arriba; en ejes logarítmicos se convierte en una línea recta, ya que al tomar logaritmos se obtiene log y = log a + p * log x, una ecuación lineal con pendiente p. Por esta razón, los artículos de escala casi siempre se representan en escalas logarítmicas.
Las curvas que se ven en los artículos sobre LLM tienen una pendiente opuesta: la pérdida disminuye a medida que aumentan los recursos. Se trata de una ley de potencia inversa, y = a * x^(-p), que es la misma ecuación con un exponente negativo. Invertir el signo del exponente invierte la gráfica, y en ejes logarítmicos se obtiene la línea recta característica que desciende hacia la derecha. Cuando un artículo muestra la pérdida en función de los cálculos, los datos o los parámetros como una línea descendente clara, es esta relación la que se está representando. Tenga esto en cuenta, ya que la rectitud de la línea es un artefacto de los ejes logarítmicos, y mucha confusión sobre la escala surge al olvidarlo.
El primer estudio sistemático: la pérdida escala con los parámetros, los datos y los cálculos
Las preguntas abiertas antes de 2020
Cuando apareció el GPT original, no era evidente cuán importante era la escala. Los modelos de lenguaje eran prometedores pero limitados, y no existía una fórmula clara para mejorarlos. Varias preguntas no tenían respuestas definitivas. ¿Es importante la estructura de la red, es decir, cuántas capas tiene y cuán ancha es cada una? ¿Un modelo más grande rinde mejor de forma fiable? ¿Cuántos datos necesita un modelo más grande?
El artículo de OpenAI de 2020 titulado “Scaling Laws for Neural Language Models” buscó responder a estas preguntas midiendo cómo la pérdida en las pruebas respondía al tamaño del modelo, a la estructura del modelo, al tamaño del conjunto de datos, a los recursos de entrenamiento y al tamaño del lote. Su hallazgo principal fue que la pérdida sigue una ley de potencias en cada una de estas tres variables, con algunas tendencias que se mantienen a lo largo de más de siete órdenes de magnitud:
- Número de parámetros del modelo.
- Tamaño del conjunto de datos.
- Recursos de entrenamiento.
La condición importante es que cada relación solo se mantiene mientras las otras dos cantidades no sean el factor limitante. Un modelo enorme entrenado con un conjunto de datos diminuto no sigue la curva de parámetros, porque los datos se han convertido en el cuello de botella.
Cómo se llevaron a cabo los experimentos
Los investigadores preentrenaron modelos con hasta 1,5 mil millones de parámetros en subconjuntos del corpus WebText2 que iban desde 22 millones hasta 23 mil millones de tokens. Cada modelo utilizó un contexto de 1,024 tokens y el objetivo habitual de predicción del siguiente token, que consiste en una pérdida de entropía cruzada sobre el vocabulario. La misma entropía cruzada medida en el texto no utilizado sirvió como métrica principal de rendimiento. Nada de esto es exótico; es esencialmente la configuración estándar de preentrenamiento utilizada para la mayoría de los LLM, y por eso los resultados se generalizaron tan bien.
Qué aspecto tienen las leyes ajustadas
La pérdida de prueba en WebText2 mejoró de manera constante a medida que aumentaban los parámetros, los datos y los recursos de cómputo. Las tendencias abarcaron ocho órdenes de magnitud en recursos de cómputo, seis en tamaño del modelo y dos en tamaño del conjunto de datos. Las ecuaciones ajustadas se asemejan a la ley de potencia inversa mencionada anteriormente, pero escritas ligeramente de forma diferente: la constante principal se establece en uno, y una constante de escala se encuentra dentro de los paréntesis. Por ejemplo, para el tamaño del modelo, la forma es L(N) = (N_c / N)^alpha_N, donde N es el número de parámetros, N_c es una constante ajustada y alpha_N es el exponente ajustado. Existen expresiones análogas para el tamaño del conjunto de datos D y los recursos de cómputo C.
Se necesitaba un detalle para obtener ajustes precisos: los parámetros de las tablas de incrustación posicional y de tokens se excluyen de la cuenta. Incluirlos hace que las tendencias sean más ruidosas, mientras que contar solo los parámetros que no son incrustaciones produce líneas rectas ordenadas. Si alguna vez intenta reproducir un gráfico de escalamiento, este es el tipo de decisión contable que puede cambiar silenciosamente sus resultados.
Dado que cada ley asume que los demás factores no son cuellos de botella, la regla práctica es escalar los tres juntos. Si solo se ajusta uno de ellos, se enfrentará rápidamente a retornos decrecientes.
Leer las curvas sin la escala logarítmica
Los gráficos log-log parecen maravillosamente lineales, lo que invita a una interpretación excesivamente optimista. Vuelva a graficar las mismas leyes ajustadas en ejes ordinarios y la forma cambia por completo: la curva desciende abruptamente al principio y luego se plana, pareciendo mucho más un decaimiento exponencial.
Esto es importante porque muchos comentarios populares implican la intuición opuesta, como si la calidad del modelo aumentara exponencialmente mientras que los recursos de cómputo solo crecieran de forma logarítmica. Las matemáticas indican algo mucho más realista: cada reducción adicional en la pérdida implica un aumento multiplicativo en los recursos necesarios, por lo que lograr mejoras se vuelve progresivamente, y de manera bastante drástica, más costoso a medida que avanzas. Una línea recta en un gráfico log-log significa “diez veces más recursos de cómputo permiten una mejora fraccional fija”, y no “un poco más de recursos de cómputo mejoran significativamente la calidad”.
La forma apenas importa, la escala sí importa mucho
Más allá de las tres leyes de potencia, el artículo determinó que las decisiones arquitectónicas como la relación entre profundidad y ancho tenían solo un efecto modesto en la pérdida en comparación con la escala bruta. Más parámetros, más datos y más capacidad de cálculo generaron mejoras consistentes y fiables; ajustar las proporciones de la red no produjo cambios significativos en absoluto.
Los investigadores también observaron que los modelos más grandes son más eficientes en el uso de muestras. Un modelo más grande alcanza una pérdida determinada tras procesar menos tokens que uno más pequeño. Desde una perspectiva puramente computacional de entrenamiento, esto sugiere una estrategia inusual: entrenar un modelo muy grande con una cantidad de datos relativamente modesta y detenerse mucho antes de que converja. Eso sí es óptimo desde el punto de vista computacional para el entrenamiento, pero ignora lo que ocurre después de este proceso. Un modelo grande es costoso de utilizar para responder a cada solicitud, por lo que en la práctica los equipos suelen hacer lo contrario y entrenar modelos más pequeños con más datos, ya que estos son mucho más económicos de alojar.
El artículo también analizó cómo debería crecer el tamaño del conjunto de datos junto con el tamaño del modelo y concluyó que los datos pueden crecer más lentamente que los parámetros. Aproximadamente, para hacer que el modelo fuera unas ocho veces más grande se necesitaba solo unas cinco veces más datos para evitar el sobreajuste. (Esa relación se deriva de la función ajustada, según la cual la cantidad de datos necesaria crece como el tamaño del modelo elevado a una potencia ligeramente inferior a uno.) Tenga en cuenta esta recomendación, ya que los trabajos posteriores sobre Chinchilla la revocaron.
Finalmente, las mismas leyes se aplicaron a varios otros conjuntos de datos de evaluación una vez que se añadió un desplazamiento fijo a la pérdida para tener en cuenta la diferente distribución de los datos. En conjunto, estos resultados respaldan firmemente la idea de que el modelado de lenguajes mejora de manera gradual y predecible cuando el tamaño del modelo, los datos y los recursos de cómputo se escalan adecuadamente, y que los modelos más grandes serían tanto mejores como más eficientes en el uso de muestras. Fue precisamente este argumento el que justificó las enormes sesiones de preentrenamiento que se llevaron a cabo posteriormente.
Cómo utilizan realmente los laboratorios las leyes de escalamiento
Las ventajas del preentrenamiento a gran escala vienen acompañadas de un inconveniente importante. Los mejores resultados requieren modelos y conjuntos de datos enormes, y esos procesos cuestan una gran cantidad de dinero. Imagine gastar alrededor de diez millones de dólares en un solo proceso solo para descubrir que el modelo es decepcionante. A ese precio no hay espacio para ajustes por ensayo y error en el modelo de tamaño completo; se necesita confianza antes de comenzar, de que la configuración funcionará.
Las leyes de escalamiento son la herramienta que proporciona esa confianza. Además de demostrar que existen esas relaciones, ofrecen a los investigadores un flujo de trabajo concreto:
- Entrenar una familia de modelos mucho más pequeños bajo diferentes configuraciones.
- Ajustar las leyes de escalamiento según el rendimiento de esos modelos pequeños.
- Extrapolar las leyes ajustadas para predecir cómo rendirá un modelo mucho más grande.
Este proceso no es infalible. Extrapolar de pruebas pequeñas a una gran escala puede ser impreciso, y algunos comportamientos cambian con la escala de maneras que un modelo pequeño no revelará. Se han desarrollado técnicas como los esquemas de transferencia de hiperparámetros para hacer que la extrapolación de lo pequeño a lo grande sea más fiable, y aplicar leyes de escalamiento en pruebas económicas es ahora una práctica habitual. Además de reducir el riesgo técnico, una previsión fiable también facilita mucho justificar el presupuesto para una prueba a gran escala ante quienes la financian.
Existe una regla práctica para saber cuándo no confiar en una extrapolación: si tus pruebas pequeñas no abarcan al menos un par de órdenes de magnitud, o si cambias la mezcla de datos, el tokenizador o la arquitectura entre las pruebas pequeñas y la grande, las constantes ajustadas pueden dejar de ser aplicables. El valor de una ley de escalamiento proviene exclusivamente de mantener todo lo demás constante.
La escala en la era del preentrenamiento, de GPT-3 a GPT-4
Una vez establecidas las leyes de escala, la fórmula para el progreso se volvió casi increíblemente simple: entrenar modelos más grandes con conjuntos de datos más grandes y de mejor calidad. OpenAI la siguió en la serie GPT, y la mayoría de los otros modelos destacados también la siguieron. Ilya Sutskever describió posteriormente este período como la “era del preentrenamiento”, caracterizada por redes muy grandes entrenadas con conjuntos de datos igualmente enormes.
La familia GPT como experimento de escala
La línea GPT es la aplicación más conocida de estas ideas. La discusión aquí se centra en los modelos hasta GPT-3, por dos razones: sus detalles se publicaron abiertamente, y los modelos posteriores deben en gran medida sus mejoras a avances posteriores al entrenamiento, y no únicamente a la escala del preentrenamiento. Si desea una visión generación por generación de los cambios que cada versión introdujo para los desarrolladores de aplicaciones, consulte nuestra guía de GPT-1 a los modelos de razonamiento; aquí el enfoque permanece en lo que cada paso indica sobre la escalabilidad.
GPT era pequeño según los estándares actuales: 12 capas y 117 millones de parámetros. Primero se entrenó de forma preentrenada con BooksCorpus, el texto en bruto de unos 7,000 libros, y luego se ajustó por separado para cada tarea específica, utilizando un objetivo supervisado y una cabeza de clasificación dedicada para cada una. Fue una de las primeras demostraciones de preentrenamiento auto-supervisado a gran escala de un transformador exclusivamente de decodificación, y reveló algunas lecciones importantes:
- El preentrenamiento auto-supervisado con texto simple funciona de manera sorprendentemente eficaz.
- Es crucial entrenar con secciones largas y continuas de texto.
- Un modelo preentrenado de esta manera puede ajustarse para alcanzar una precisión de vanguardia en una amplia gama de tareas.
El modelo en sí no era excepcional, pero estableció los dos componentes esenciales: un transformador exclusivamente de decodificación y el preentrenamiento auto-supervisado, que trabajos posteriores llevarían a escalas mucho mayores.
GPT-2 apareció poco después como un conjunto de modelos con hasta 1,5 mil millones de parámetros. La arquitectura y el objetivo de entrenamiento eran los mismos que los de GPT, pero hubo dos cambios:
- El preentrenamiento utilizó WebText, un conjunto de datos extraído de Internet y mucho más grande que BooksCorpus.
- No se realizó un ajuste fino específico para cada tarea. Las tareas se resolvían sin entrenamiento adicional, mediante la estimulación directa del modelo preentrenado.
GPT-2 no logró resultados de vanguardia en la mayoría de las pruebas de rendimiento, pero sus puntuaciones mejoraron de manera constante a medida que el modelo se hacía más grande, lo cual fue una evidencia clara de que añadir parámetros era beneficioso. Igualmente importante, incluso el GPT-2 más grande parecía no adaptarse adecuadamente a WebText. Eso indicaba que aún había margen de mejora: escalar tanto el modelo como los datos seguiría siendo útil. El artículo sobre GPT-2 también sostenía que un modelo de lenguaje con suficiente capacidad comenzaría a inferir y llevar a cabo las tareas que veía demostradas en el lenguaje natural, simplemente porque eso le ayudaba a predecir mejor el texto. Ese argumento, sumado a las tendencias medidas, dio a los investigadores la confianza para continuar.
GPT-3 fue el punto de inflexión que resolvió la cuestión de si el preentrenamiento a gran escala era rentable. Con 175 mil millones de parámetros, era más de 100 veces más grande que el GPT-2 más potente. La arquitectura seguía siendo un transformador de solo decodificador, similar a sus predecesores, pero los datos de entrenamiento eran mucho más extensos: un corpus basado en CommonCrawl, aproximadamente diez veces más grande que WebText, combinado con varias otras fuentes para formar una mezcla de datos.
GPT-3 se evaluó principalmente mediante el uso de prompts de pocos ejemplos, lo cual merece distinguirse de los enfoques anteriores:
- GPT utilizó ajuste fino, actualizando los pesos para cada tarea.
- GPT-2 empleó prompts de cero ejemplos, describiendo la tarea sin proporcionar ejemplos.
- GPT-3 utilizó prompts de pocos ejemplos, incluyendo unos pocos ejemplos ya resueltos en el prompt.
El artículo sobre GPT-3 denominó a esto aprendizaje in-contexto. El nombre es ligeramente engañoso, ya que no se aprende nada en el sentido habitual: los pesos no cambian en absoluto. Los ejemplos en la instrucción simplemente actúan como contexto que orienta al modelo hacia una salida mejor. Resultó que GPT-3 era muy bueno en esto, lo que sugirió que el aprendizaje in-contexto era una capacidad que surge con la escala.
En las pruebas de comprensión del lenguaje, la precisión con pocos ejemplos aumentó a medida que crecía el tamaño del modelo. Los modelos más grandes utilizaban la información de su ventana de contexto de manera mejor y más eficiente que los más pequeños, y en varias tareas los resultados de GPT-3 con pocos ejemplos superaron al estado del arte anterior, mejorando nuevamente de forma gradual con el aumento de escala. Era sorprendente que un solo modelo pudiera lograr esto en tantas tareas, simplemente cambiando el prompt. GPT-3 se convirtió en uno de los primeros modelos fundamentales reales e introdujo el uso de prompts como la principal forma en que las personas interactúan con los LLM.
Después de GPT-3: el entrenamiento posterior ocupa una mayor parte
GPT-3 desató una ola de interés por los LLMs, centrada principalmente en ejecuciones de preentrenamiento a mayor escala. Las próximas versiones de OpenAI, InstructGPT, ChatGPT y GPT-4, combinaron el preentrenamiento a gran escala con nuevos métodos de posentrenamiento, como el ajuste fino supervisado y el aprendizaje por refuerzo a partir de retroalimentación humana (RLHF); el notable mejoramiento en calidad que esto supuso llevó a la IA al centro de la atención general. El informe técnico de GPT-4 lo describe como un modelo transformer preentrenado para la predicción del siguiente token, cuyo alineamiento durante el posentrenamiento mejora la exactitud de los datos y el cumplimiento del comportamiento deseado.
Por esa época, OpenAI comenzó a publicar mucho menos. Los modelos se distribuían a través de la API sin artículos detallados. Sin embargo, aún se dispone de alguna información. InstructGPT, el predecesor directo de ChatGPT, cuenta con un artículo que describe en profundidad su proceso posterior al entrenamiento, y en dicho artículo se indica que GPT-3 es su modelo base. Es razonable concluir que las mejoras de InstructGPT provinieron principalmente del proceso posterior al entrenamiento y no de un entrenamiento previo más extenso.
GPT-4 era claramente más capaz que ChatGPT, pero su informe técnico revelaba muy poco. Solo confirma lo siguiente:
- El modelo es un transformador.
- Está preentrenado con predicción de token siguiente.
- Los datos incluyen fuentes públicas y de terceros con licencia.
- Se ajusta con RLHF.
No obstante, la escalamiento ocupa el centro de ese informe. Un objetivo importante de ingeniería era contar con un conjunto de herramientas de entrenamiento que se comportara de manera predecible en diferentes escalas, de modo que los resultados de pruebas pequeñas pudieran extrapolarse a la prueba final, de gran tamaño y muy costosa. El informe indica que la pérdida final de los modelos grandes correctamente entrenados se puede aproximar bien mediante leyes de potencia en cuanto al cálculo necesario para el entrenamiento.
Este es el flujo de trabajo práctico mencionado anteriormente, aplicado en la vanguardia tecnológica. Dado que una prueba completa de preentrenamiento es extremadamente costosa, en la práctica solo se realiza un intento y no hay espacio para ajustes específicos del modelo. En su lugar, el equipo entrenó modelos utilizando de 1,000 a 10,000 veces menos recursos de cómputo, les aplicó leyes de potencia y utilizó esas leyes para predecir el rendimiento del modelo grande. El informe sobre GPT-4 muestra exactamente esto: una ley de potencia que relaciona el consumo de cómputo con la pérdida, empleada para predecir la pérdida final de GPT-4.
La ecuación ajustada presenta una adición en comparación con la que vimos anteriormente: un término de pérdida irreducible, lo que da una forma como L(C) = a * C^b + c. La constante c refleja el hecho de que la pérdida nunca llegará a cero, ya que el texto natural contiene una verdadera aleatoriedad que ningún modelo puede predecir. Al ajustar la ley a conjuntos de datos pequeños, la predicción de la pérdida final de GPT-4 resultó ser muy precisa. También observe que este gráfico en particular utiliza ejes lineales, y los rendimientos decrecientes son claramente visibles: la mejora por unidad de cálculo disminuye visiblemente a medida que aumenta el cálculo.
El informe también reconoció que la pérdida bruta es difícil de interpretar e intentó predecir métricas más significativas. Un ejemplo es la tasa de aprobación en el benchmark de programación HumanEval. Los problemas se agruparon por nivel de dificultad y se aplicó una ley de escalamiento para predecir la tasa de aprobación por cada grupo. Utilizando ejecuciones con aproximadamente 1,000 veces menos recursos de cómputo, el equipo predijo con precisión la tasa de aprobación de GPT-4 en HumanEval.
La lección que se extrae de esta serie de experimentos es consistente: las ejecuciones de preentrenamiento más extensas son valiosas pero costosas, y las leyes de escalamiento las hacen lo suficientemente predecibles como para evitar desperdiciar recursos en ejecuciones que no darán resultados.
Chinchilla: los modelos carecieron de datos
El estudio de 2020 recomendó aumentar los parámetros de entrenamiento más rápido que los datos. Durante un tiempo después de GPT-3, el campo siguió en su mayor parte ese consejo, pero no tuvo buenos resultados. Modelos mucho más grandes que GPT-3, como el MT-NLG con 530 mil millones de parámetros, se entrenaron con conjuntos de datos del tamaño aproximado de GPT-3 y no lograron superarlo. Mientras tanto, modelos que aumentaron tanto los parámetros como los datos, como Gopher de DeepMind, tuvieron un rendimiento notablemente mejor.
Esas observaciones motivaron el trabajo “Training Compute-Optimal Large Language Models”, el artículo Chinchilla, que volvió a analizar la escala desde cero con experimentos mucho más amplios: modelos con entre 70 millones y 17 mil millones de parámetros entrenados con conjuntos de datos que superaban el billón de tokens. Al entrenar muchas combinaciones de tamaño del modelo y tamaño de los datos, los investigadores establecieron una ley que predice la pérdida causada por ambos factores al mismo tiempo. Con esa ley se puede determinar la mejor asignación para cualquier presupuesto de cómputo fijo.
Su conclusión fue que el entrenamiento óptimo desde el punto de vista computacional debería hacer que el tamaño del modelo y el tamaño de los datos crecieran en proporción igual. Según ese estándar, la mayoría de los LLM existentes estaban subentrenados para su tamaño; se beneficiarían de mucho más datos. Las leyes establecidas sugerían, por ejemplo, que Gopher debería haber sido entrenado con un conjunto de datos aproximadamente 20 veces más grande. El artículo también señaló, de manera explícita, que la cantidad de datos que esto implica está muy por encima de lo que se utilizaba en ese momento.
Para probar esta afirmación, el equipo entrenó a Chinchilla, un modelo de 70 mil millones de parámetros entrenado con 1,4 billones de tokens. Utilizó los mismos datos y la misma configuración de evaluación que Gopher, pero era cuatro veces más pequeño y fue entrenado con muchos más datos, logrando un rendimiento consistentemente superior al de Gopher.
Las leyes de escalamiento de Chinchilla se convirtieron en el punto de referencia durante años. El término “óptimo de Chinchilla” pasó a formar parte del vocabulario cotidiano del campo, y el artículo sigue siendo citado constantemente, a pesar de que desde entonces se han publicado numerosas investigaciones sobre escalamiento.
Es importante ser preciso respecto a lo que significa “óptimo de Chinchilla”, ya que a menudo se utiliza incorrectamente. Describe la mejor pérdida posible con un presupuesto de entrenamiento fijo. No dice nada sobre el costo de inferencia. Un equipo que pretende utilizar un modelo miles de millones de veces puede entrenar deliberadamente un modelo más pequeño, incluso superando la proporción de Chinchilla, aceptando un proceso de entrenamiento menos eficiente a cambio de un modelo más económico en la producción. Este equilibrio se vuelve a plantear más adelante.
El debate sobre el límite del escalamiento tras GPT-4o
A medida que las autorizaciones de uso de modelos y las mejoras visibles disminuyeron durante la segunda mitad de 2024, el tema del escalado se volvió muy debatido. Tras años en los que el escalado impulsó casi todos los avances, una serie de informes sugerían que podría estar estancándose:
- Reuters informó que OpenAI estaba ajustando su estrategia de productos después de llegar a un punto de estancamiento con los métodos actuales.
- The Information informó que el ritmo de mejora entre los modelos GPT se estaba ralentizando.
- Bloomberg describió cómo varios laboratorios de vanguardia tenían dificultades para crear sistemas significativamente más capaces.
- TechCrunch sostuvo que el escalado estaba generando beneficios cada vez menores.
- Time publicó un artículo más equilibrado sobre los diversos factores detrás de la idea de que el progreso se estaba ralentizando.
- Ilya Sutskever, en su discurso de premio al mejor trabajo a lo largo del tiempo en NeurIPS 2024, afirmó que el preentrenamiento tal como lo conocemos llegará a su fin.
Otras voces destacadas no estuvieron de acuerdo. Dario Amodei, CEO de Anthropic, dijo que la escalabilidad probablemente continuaría, mientras que Sam Altman de OpenAI insistió en que no existía un límite. En lugar de tomar partido, es más útil comprender qué es lo que realmente respaldan las investigaciones, ya que ambos bandos tienen algo de razón.
¿Se está ralentizando la escalabilidad? Depende de lo que se mida
Nathan Lambert resumió la situación de manera clara: la escalabilidad puede seguir funcionando técnicamente, aunque la tasa de mejora que perciben los usuarios vaya disminuyendo. La respuesta honesta a “¿se está ralentizando la escalabilidad?” depende de la definición, y tanto “sí” como “no” pueden ser defendidos. Por lo tanto, en lugar de forzar un veredicto, es más productivo analizar varios problemas por separado.
Los rendimientos decrecientes están integrados en las matemáticas
Recuerde lo que establece realmente una ley de escalamiento: una relación de ley de potencias entre la capacidad de cómputo utilizada para el entrenamiento (o el tamaño del modelo o de los datos) y la pérdida en las pruebas. No promete ganancias exponenciales con un cómputo adicional modesto. Al graficarse en ejes normales, la curva parece una disminución exponencial, y cada mejora adicional cuesta más que la anterior.
En otras palabras, las leyes de escalamiento están diseñadas para suavizarse. La desaceleración que observan las personas es, en gran medida, exactamente lo que predicen las ecuaciones. Si planifica utilizando una ley de escalamiento, debe esperar que cada nueva generación requiera un aumento multiplicativo en los recursos para obtener una ganancia absoluta menor.
La pérdida no es lo que realmente importa a nadie
También existe una discrepancia en las mediciones. Las leyes de escalamiento se ajustan a la pérdida en las pruebas de preentrenamiento, pero no está claro qué significa una pérdida menor en términos de capacidades. ¿Se traduce eso en una mayor precisión en tareas posteriores? ¿Genera nuevas habilidades? La investigación sobre el sobreentrenamiento indica que los profesionales suelen evaluar los modelos según la precisión en pruebas de referencia posteriores, y no según la perplejidad en texto no utilizado. Por lo tanto, existe una brecha entre estas dos afirmaciones:
- Las leyes de escalamiento sostienen que ejecuciones más extensas de preentrenamiento reducirán de manera gradual la pérdida en las pruebas.
- Lo que la gente desea es un modelo “mejor”, sea cual sea su definición.
Esa definición varía enormemente. Los usuarios cotidianos suelen juzgar la calidad de los chats. A los profesionales les importa la precisión en las tareas específicas que realizan. Los investigadores de los laboratorios de vanguardia a menudo tienen estándares muy altos y muy específicos, como la elaboración de una tesis doctoral o la resolución de problemas matemáticos de nivel de investigación como los del benchmark FrontierMath. Los LLM son tan amplios que existen muchas formas válidas de evaluarlos, y ninguna de ellas abarca todo por sí sola.
Dada esa dispersión, cualquier afirmación de que la escala sí o no “funciona” siempre será objeto de controversia. Una definición más clara de lo que constituye el éxito ayuda. Si la ciencia predice pérdidas menores en modelos más grandes, eso no significa que cada nuevo modelo satisfaga a todos los públicos. El hecho de no alcanzar la AGI o de no superar a matemáticos galardonados no demuestra que la escala haya dejado de funcionar en el sentido técnico. En gran medida, la percepción de desaceleración se debe, probablemente, a problemas de expectativas y percepción, y no a un fallo en las leyes subyacentes.
El suministro de datos es finito
El argumento más fuerte en contra de una escala mayor de preentrenamiento se refiere a los datos. Escalar el preentrenamiento requiere aumentar tanto el modelo como el conjunto de datos. Los trabajos de principios de 2020 sugerían que los datos eran menos importantes que los parámetros, pero Chinchilla demostró que son igualmente importantes. Además, investigaciones posteriores sobre sobreentrenamiento señalan que ya es habitual entrenar modelos más pequeños mucho más allá del tamaño óptimo de conjunto de datos propuesto por Chinchilla, precisamente porque los modelos más grandes son costosos en el momento de la inferencia. Esa práctica exige aún más datos por parámetro.
Todo esto conduce a una conclusión: para una escala mayor de preentrenamiento se necesitan conjuntos de datos más grandes. Y la mayor parte de los datos actuales para preentrenamiento provienen de la exploración de la web. Solo existe una internet, y encontrar fuentes completamente nuevas de texto de alta calidad a esa escala es difícil.
Sutskever ha planteado exactamente este argumento: la capacidad de cómputo sigue creciendo rápidamente, pero los datos no, ya que dependen del scraping web. Según esta perspectiva, el preentrenamiento no puede escalar indefinidamente, y el campo necesita nuevos caminos para avanzar. Su forma de describir la situación fue diciendo que hemos alcanzado el “pico de datos”.
Maneras en que el preentrenamiento aún puede escalar
Los rendimientos decrecientes son reales, y el argumento sobre los datos es sólido. Aun así, varias direcciones de investigación aún pueden mejorar el preentrenamiento.
Datos sintéticos y un uso más inteligente de los datos
Un aumento del preentrenamiento en varias órdenes de magnitud probablemente requerirá datos sintéticos. Existen preocupaciones legítimas de que depender en exceso del texto generado reduzca la diversidad, pero los datos sintéticos ya se están utilizando cada vez más en los LLM, con resultados que parecen positivos. Además, los enfoques de tipo curricular y el preentrenamiento continuo han logrado avances significativos al modificar los datos en lugar del modelo, por ejemplo ajustando la mezcla de datos o añadiendo datos de tipo instruccional hacia el final del proceso de preentrenamiento.
Leyes de escalamiento para métricas comprensibles para las personas
Las leyes basadas en la pérdida son difíciles de aplicar, por lo que los trabajos recientes adaptan dichas leyes a objetivos más interpretables. El estudio sobre sobreentrenamiento mencionado anteriormente se centra en leyes cuyos objetivos son las puntuaciones obtenidas en el conjunto de evaluación incluido con LLM Foundry, en lugar de la pérdida bruta. Esto es mucho más fácil de comprender. Pocas personas saben qué significa en la práctica una pérdida en las pruebas un 5% menor, pero pasar de un 85% a un 90% de precisión en un benchmark que es importante resulta inmediatamente comprensible. Otros trabajos han extendido esta idea para predecir el rendimiento después del entrenamiento y la cuantización, así como para modelar cómo evoluciona el rendimiento durante el propio proceso de entrenamiento previo.
DeepSeek-V3 como evidencia de que la escala sigue siendo importante
A pesar del pesimismo, el preentrenamiento a escala sigue produciendo saltos periódicos. DeepSeek-V3 es un modelo de tipo mixture-of-experts (MoE) con 671 mil millones de parámetros, entrenado con 14,8 billones de tokens y publicado con sus pesos abiertos. Su informe técnico muestra que supera a GPT-4o y Claude 3.5 Sonnet en las pruebas de rendimiento que abarca. Para comparación, los modelos Llama 3 de Meta fueron entrenados con más de 15 billones de tokens.
Superar a GPT-4o fue un hito importante para los modelos con pesos abiertos, uno que ni siquiera los modelos Llama más grandes habían logrado. DeepSeek-V3 combina varias técnicas:
- Una arquitectura MoE optimizada heredada de DeepSeek-V2.
- Una estrategia de equilibrio de carga para los expertos que no depende de una pérdida auxiliar.
- Un objetivo de entrenamiento de predicción multi-token.
- La destilación de la capacidad de razonamiento de un modelo de cadena de pensamiento larga, al estilo de o1 de OpenAI.
También pasa por un proceso posterior al entrenamiento, que incluye ajustes supervisados y RLHF, para alinearlo con las preferencias humanas. El informe señala que el preentrenamiento con 14,8 T de tokens fue notablemente estable, sin picos de pérdida irreversibles ni necesidad de revertir los cambios.
No obstante, la razón principal de su solidez es su enorme escala: un modelo muy grande entrenado con un conjunto de datos igualmente grande. Ejecutar procesos de esta magnitud es difícil por diversas razones, como fallos en el hardware y picos de pérdida, por lo que que funcione de manera estable a un costo razonable según los estándares de los LLM es algo digno de mención. Esto indica que los trabajos de preentrenamiento a gran escala se están volviendo más fáciles de gestionar y más eficientes con el tiempo. Considere las comparaciones de métricas específicas como un momento puntual, ya que la clasificación ha evolucionado desde entonces.
Otra orden de magnitud representa un proyecto de ingeniería
Probar realmente más a fondo las leyes de escalamiento implica entrenar modelos varios órdenes de magnitud por encima de los actuales. Sea cual sea la opinión que se tenga sobre su valor, existen limitaciones prácticas importantes. Esto requiere:
- Clústeres de cómputo más grandes.
- Más hardware y de mejor calidad.
- Cantidades muy grandes de energía eléctrica.
- Nuevos algoritmos, por ejemplo para el entrenamiento distribuido a mayor escala, posiblemente en varios centros de datos.
La próxima generación no se trata simplemente de comprar más GPUs. Es un esfuerzo de ingeniería multidisciplinario que lleva tiempo. Como punto de referencia, GPT-4 llegó en marzo de 2023, casi tres años después de GPT-3. Es razonable esperar un intervalo similar o incluso mayor para cada aumento adicional de 10 a 100 veces en la escala. Ege Erdil de Epoch AI ha resumido bien esta dinámica: cada aumento de un orden de magnitud requiere sus propias innovaciones.
De dónde proviene el progreso si el preentrenamiento se estanca: el aprendizaje por refuerzo y el cálculo en tiempo de prueba
Supongamos, únicamente a efectos de discusión, que los avances en el preentrenamiento se detuvieran mañana. La investigación en IA seguiría teniendo mucho margen para avanzar rápidamente. Los datos sintéticos son una vía ya explorada. Otras dos son especialmente activas en la actualidad:
- Sistemas y agentes de LLM.
- Modelos de razonamiento.
Obtener más de los modelos existentes con sistemas de LLM
Más allá del paradigma de una sola llamada
La mayoría de las aplicaciones de LLM actuales siguen un patrón de modelo único: se envía la tarea a un modelo y su salida se utiliza directamente como respuesta. Si se desea que ese sistema maneje tareas más complejas con mayor precisión, la solución obvia es contar con un modelo subyacente mejor, pero eso obliga a esperar a la próxima generación. La alternativa es crear un sistema que combine varias llamadas a LLM u otros componentes para resolver la tarea.
Descomposición y encadenamiento
La idea central de un sistema de LLM es dividir una tarea compleja en partes que sean más fáciles de manejar para un modelo u otro módulo. Existen dos estrategias principales:
- Descomposición de tareas: dividir la tarea en subtareas, resolver cada una de forma independiente y combinar los resultados en una respuesta final.
- Encadenamiento: resolver una tarea o subtarea mediante una secuencia de llamadas a LLM en lugar de una sola.
Pueden utilizarse por separado o juntos. Tome un sistema que resuma libros. Puede descomponer la tarea resumiendo primero cada capítulo. A partir de ahí, puede:
- Descomponer aún más, dividiendo los capítulos en fragmentos de texto más pequeños, que es la idea detrás de la resumen recursivo o jerárquico.
- Enlazar llamadas, por ejemplo, haciendo que una llamada extraiga los hechos clave de un capítulo y otra llamada escriba el resumen del capítulo a partir de esos hechos.
Finalmente, una última llamada resume los resúmenes de los capítulos concatenados en un resumen del libro completo. La mayoría de las tareas complejas pueden desglosarse en partes simples de esta manera, y eso es lo que hace que los sistemas de LLM sean tan poderosos. A medida que la descomposición y el enlazamiento se vuelven más elaborados, estos sistemas se convierten en piezas sofisticadas de software, y diseñarlos adecuadamente constituye un campo importante de la IA aplicada por sí mismo.
Crear productos que la gente realmente utilice
A pesar de toda la atención que reciben los LLM, el número de casos de uso prácticos y ampliamente adoptados sigue siendo reducido. Los más importantes actualmente son la generación de código y las conversaciones, ambos usos bastante obvios para esta tecnología.
Existen muchos campos en los que los LLM podrían ser útiles pero aún no lo son, por lo que desarrollar productos verdaderamente útiles impulsados por LLM constituye en sí mismo un importante problema de investigación e ingeniería. Ya existen modelos capaces; convertirlos en algo que la gente quiera utilizar es un desafío distinto, y se trata de crear sistemas fiables y eficaces alrededor de esos modelos.
Agentes: herramientas y acciones
La frontera entre un sistema de LLM y un agente es difusa, en parte porque el término “agente” se ha vuelto sobreutilizado. Lo importante es que los sistemas de LLM pueden ampliarse en muchas direcciones útiles. Se puede enseñar a un modelo a utilizar herramientas, como una calculadora o un motor de búsqueda, mientras resuelve un problema. Puede ejecutar el código que escribe o tomar acciones en nombre del usuario, como reservar un hotel o enviar un correo electrónico. La variedad de herramientas y módulos que se pueden adjuntar a un modelo ofrece un margen casi ilimitado para crear sistemas más capaces. Si desea una imagen concreta de cómo está estructurado el bucle del agente, nuestra guía sobre objetivos, herramientas, memoria y el bucle del agente lo explica en detalle.
La robustez es el verdadero cuello de botella
La fiabilidad es uno de los mayores obstáculos para sistemas más capaces, y la aritmética explica por qué. Supongamos que un sistema realiza diez llamadas a un LLM, cada una tiene un 95% de probabilidades de tener éxito, y es necesario que las diez tengan éxito para que el resultado final sea correcto. El sistema en su conjunto solo tiene éxito en aproximadamente un 60% de los casos, ya que 0.95^10 es más o menos 0.60. Cada componente parece fiable por sí solo, pero el proceso completo falla cuatro veces de cada diez.
Añadir más pasos empeora la situación de forma multiplicativa, lo que establece un límite a cuán complejo puede ser un sistema antes de volverse inutilizable. Por lo tanto, para construir sistemas más grandes es necesario que cada componente sea mucho más fiable. Algunas pruebas sugieren que la escala en sí misma mejora la robustez. Otra estrategia son algoritmos de meta-generación más avanzados. En lugar de tomar una sola muestra del modelo, estos métodos utilizan técnicas como la decodificación paralela, la verificación por pasos y las críticas para obtener un resultado más refinado y preciso. Un estudio exhaustivo sobre este área es el artículo “From Decoding to Meta-Generation: Inference-time Algorithms for Large Language Models.”
Esta línea de investigación avanza rápidamente y probablemente será un motor importante del progreso. A medida que mejora la meta-generación, los modelos se vuelven más fiables, y los sistemas de LLM y agentes más complejos se vuelven prácticos.
Una implicación práctica para quienes desarrollan tales sistemas: antes de añadir otro paso a la cadena de procesamiento, calcule la tasa de éxito integral multiplicando las tasas de cada paso, y considere si un paso de verificación o de intento repetido permitiría fortalecer el eslabón más débil de manera más económica que agregar capacidades en otro lugar.
Modelos de razonamiento y un nuevo eje de escalado
Los primeros LLM solían ser descartados como herramientas que solo buscaban patrones memorizados y no eran capaces de razonar realmente. Esa crítica ha sido en gran medida refutada en los últimos años. La visión actual es que estos modelos probablemente siempre tuvieron una capacidad de razonamiento latente, y que el método adecuado de estimulación o entrenamiento es lo que la hace emergir.
Cadena de pensamiento
La técnica de prompteo basada en la cadena de razonamiento (Chain-of-thought o CoT) fue una de las primeras en demostrar esto. Se trata puramente de un método de prompteo: se le pide al modelo que explique su razonamiento antes de dar su respuesta final. Cuando el modelo expone su razonamiento paso a paso antes de responder, su rendimiento en el razonamiento mejora significativamente. Una ventaja adicional es que ese razonamiento es legible para humanos, lo que facilita la interpretación de los resultados.
La idea es sencilla y general, y se ha convertido en fundamental para mejorar el razonamiento de los LLM. Ha sido reutilizada de diversas maneras:
- Los evaluadores que utilizan LLM como jueces suelen redactar un razonamiento para asignar puntajes antes de dar su calificación final.
- Se han desarrollado métodos de ajuste fino supervisado y de entrenamiento por instrucciones para enseñar a modelos más pequeños o abiertos a generar cadenas de razonamiento más adecuadas.
El razonamiento complejo sigue siendo un área de investigación en constante evolución. Los métodos de entrenamiento que enseñan a los modelos a incluir verificaciones paso a paso en su razonamiento han dado resultados prometedores, y es probable que se logren avances adicionales a medida que surjan estrategias de entrenamiento mejores.
o1: pensar antes de responder
o1 de OpenAI representó un paso importante en el razonamiento de los LLM, y su enfoque se basa en cadenas de pensamiento. Al igual que una persona piensa antes de responder a una pregunta difícil, o1 dedica tiempo a “pensar” antes de responder. Concretamente, sus pensamientos son largas cadenas de razonamiento en las cuales el modelo analiza el problema, lo divide en pasos más simples, prueba diferentes enfoques y corrige sus propios errores. OpenAI lo describe como un modelo entrenado con aprendizaje por refuerzo para razonar, capaz de generar una larga cadena interna de pensamientos antes de responder.
La receta exacta de entrenamiento aún no ha sido publicada. OpenAI ha indicado que o1 aprende a razonar mediante un algoritmo de “aprendizaje por refuerzo a gran escala” que es “altamente eficiente en el uso de datos” y está orientado a mejorar la capacidad del modelo para generar cadenas de pensamiento útiles. Los comentarios públicos de los investigadores de OpenAI sugieren que el modelo se entrena con aprendizaje por refuerzo puro, lo cual contradice las especulaciones anteriores de que o1 realiza algún tipo de búsqueda en árbol en el momento de la inferencia.
En tareas que requieren mucho razonamiento, o1 supera a GPT-4o en casi todos los aspectos. Entre los resultados reportados por OpenAI, el modelo:
- Obtiene una puntuación en el 89% del percentil en problemas de programación competitiva de Codeforces.
- Funciona al nivel de los 500 mejores estudiantes estadounidenses en el examen AIME, que sirve como selección para la Olimpiada de Matemáticas de EE. UU.
- Supera la precisión de expertos humanos con título de doctor en cuestiones de física, biología y química de nivel universitario, según el benchmark GPQA.
De o1 a o3: escalado del cálculo para entrenamiento e inferencia
Una de las propiedades más interesantes de o1 es que se puede mejorar su capacidad de razonamiento aumentando el cálculo destinado a la inferencia. Para abordar problemas más difíciles, el modelo simplemente genera cadenas de pensamiento más largas, y invertir más recursos de cálculo en esas cadenas durante la inferencia produce una mejora gradual en el rendimiento del razonamiento. Según OpenAI, o1 sigue mejorando mediante dos parámetros independientes: la cantidad de aprendizaje por refuerzo aplicado durante el entrenamiento (cálculo en tiempo de entrenamiento) y la duración permitida para la reflexión por pregunta (cálculo en tiempo de prueba).
Lo mismo ocurre con el entrenamiento: o1 mejora de manera constante a medida que se invierte más capacidad de cómputo en el aprendizaje por refuerzo. Al parecer, ese es el camino que llevó a o3. OpenAI presentó una vista previa de los resultados de evaluación de o3 a finales de 2024 y compartió pocos detalles, pero dado que apareció solo unos tres meses después de o1, es muy probable que sea una versión ampliada de o1 con más recursos de cómputo destinados al aprendizaje por refuerzo.
En el momento de esa vista previa, o3 aún no se había lanzado, y las cifras mostradas eran impresionantes:
- 87.5% en el benchmark ARC-AGI, mientras que GPT-4o solo obtuvo un 5%. Eso convirtió a o3 en el primer modelo en superar el umbral del 85% del nivel humano en ARC-AGI, un benchmark descrito como una “estrella guía” para la AGI que no había sido superado en más de cinco años. Esa puntuación máxima se logró con una configuración de alto consumo de cómputo.
- 71,7% en la prueba SWE-Bench Verificada, y una calificación Elo en Codeforces de 2727, lo que lo colocaría entre los 200 mejores programadores competitivos del mundo.
- 25,2% en la prueba FrontierMath de Epoch AI, lo cual representa una mejora con respecto al mejor resultado anterior del 2,0%. Terence Tao describió esta prueba como extremadamente difícil y esperaba que resistiera a los sistemas de IA al menos durante varios años.
Se presentó una versión simplificada, o3-mini, al mismo tiempo y mostró resultados sólidos con una eficiencia computacional mucho mayor. Estos eran números preliminares de un único anuncio; consulte la documentación actual y las evaluaciones independientes para saber cómo se comparan los modelos lanzados.
Por qué se trata de un nuevo paradigma de escalado
Si los gráficos o1 y o3 le resultan familiares ahora, es porque se trata del mismo tipo de gráfico del que trata todo este artículo: un eje x en escala logarítmica y un aumento suave y rectilíneo del rendimiento. En otras palabras, estos modelos de razonamiento muestran una clara relación de ley de potencias entre el rendimiento y dos cantidades:
- El cálculo realizado durante el tiempo de entrenamiento en el aprendizaje por refuerzo.
- El cálculo realizado durante el tiempo de inferencia en el proceso de razonamiento.
Esto difiere de las leyes de escalamiento clásicas. En lugar de escalar el preentrenamiento, se escala el cálculo empleado en la etapa posterior al entrenamiento y en la inferencia. Se trata de un eje de escalamiento verdaderamente nuevo, y los resultados obtenidos hasta ahora son muy prometedores. Demuestra que existen formas de escalar más allá del preentrenamiento, y que el campo ha encontrado su próxima meta a alcanzar. La forma puede cambiar, pero el escalamiento sigue siendo el motor del progreso.
Una consecuencia ingenieril merece ser mencionada claramente. Cuando la calidad aumenta con la capacidad de procesamiento para inferencias, el costo y la latencia por solicitud se convierten en parámetros ajustables de calidad en lugar de propiedades fijas de un modelo. Eso cambia la forma en que se presupuestan y diseñan las aplicaciones: las consultas más complejas pueden ser dirigidas a procesos de razonamiento más extensos, mientras que las más simples se mantienen económicas.
Qué recordar al leer un gráfico de escalado
- Una ley de escalado es una ley de potencias entre un recurso (parámetros, datos o procesamiento) y la pérdida en las pruebas. La línea recta en un gráfico logarítmico oculta una disminución acusada de los beneficios, por lo que cada mejora cuesta de forma multiplicativa más.
- Estas leyes solo son válidas cuando los demás factores no constituyen cuellos de botella, y por eso los datos, los parámetros y el procesamiento deben crecer juntos.
La pregunta relevante ya no es si el escalado continúa, sino qué recurso se está escalando y si las mejoras se reflejan en la métrica que realmente importa.