Un réseau neuronal est une optimisation dans un espace aux millions de dimensions. Où vous commencez compte. Poids nuls : tous les neurones sont identiques, la symétrie n'est pas rompue, le filet n'apprend pas. Trop grand : les activations saturent, le dégradé meurt. Trop petit : les activations s'effondrent vers zéro. Xavier et He résolvent ce problème par conception : ils choisissent la variance de poids afin que la variance d'activation reste stable à travers le réseau.