Inicialización del peso: por qué es importante el inicio

Una red neuronal es optimización en un espacio con millones de dimensiones. El lugar donde empiezas importa. Pesos cero: todas las neuronas son idénticas, la simetría no se rompe, la red no aprende. Demasiado grande: las activaciones se saturan, el gradiente muere. Demasiado pequeño: las activaciones colapsan hacia cero. Xavier y He solucionan esto por diseño: eligen la variación de peso para que la variación de activación se mantenga estable a través de la red.

Full content is available with a subscription.
Get full access to all courses on the platform for one year with a single payment.
Unlike other platforms that charge per course, here you get everything for one price, and after one year of use there will be no automatic charge for the following year.