Sin funciones de activación, una red neuronal es solo una multiplicación de matrices. No importa cuántas capas agregue, el resultado sigue siendo una función lineal de la entrada. La función de activación introduce no linealidad, eso es lo que le da a la red la capacidad de aprender patrones complejos. Pero la elección de la función es importante: la incorrecta "matará" los gradientes y la red no aprenderá.