Даже с правильной инициализацией Xavier/He дисперсия активаций начинает дрейфовать в процессе обучения. Веса обновляются, распределения смещаются — это называется Internal Covariate Shift (внутренний ковариативный сдвиг). Каждый слой получает всё более «плохой» вход и вынужден постоянно адаптироваться. Нормализационные слои решают это прямо: принудительно приводят активации к нужному распределению после каждого слоя.