Inicialización del peso: por qué es importante el inicio
Una red neuronal es optimización en un espacio con millones de dimensiones. El lugar donde empiezas importa. Pesos cero: todas las neuronas son idénticas, la simetría no se rompe, la red no aprende. Demasiado grande: las activaciones se saturan, el gradiente muere. Demasiado pequeño: las activaciones colapsan hacia cero. Xavier y He solucionan esto por diseño: eligen la variación de peso para que la variación de activación se mantenga estable a través de la red.