¿Por qué GPT-4 sabe más que GPT-2? ¿Por qué Llama 3 8B supera a los modelos con 10 veces más parámetros que hace dos años? La respuesta está en las leyes de escala: fórmulas empíricas que predicen cómo la calidad de un modelo depende de tres números: cuántos parámetros tiene, con cuántos datos se entrenó y cuánto cálculo se gastó.