Même avec une bonne initialisation Xavier/He, la variance d'activation dérive pendant l'entraînement. Les poids changent, les distributions changent – ​​c’est ce qu’on appelle le changement de covariable interne. Chaque couche reçoit une contribution progressivement « pire » et doit continuer à s’adapter. Les couches de normalisation corrigent ce problème directement : elles forcent les activations vers une distribution cible après chaque couche.