Incluso con un inicio adecuado de Xavier/He, la variación de activación varía durante el entrenamiento. Los pesos cambian, las distribuciones cambian; esto se llama cambio de covariable interno. Cada capa recibe una entrada progresivamente "peor" y debe seguir adaptándose. Las capas de normalización solucionan esto directamente: fuerzan activaciones hacia una distribución objetivo después de cada capa.