Нейросеть — это оптимизационная задача в миллионномерном пространстве. Откуда начать поиск — принципиально важно. Нулевые веса: все нейроны одинаковы, симметрия не нарушается, сеть не обучается. Слишком большие: активации насыщаются, градиент умирает. Слишком маленькие: активации схлопываются к нулю. Xavier и He решают это точным расчётом: подбирают дисперсию весов так чтобы дисперсия активаций оставалась постоянной на протяжении всей сети.