Sans fonctions d'activation, un réseau neuronal n'est qu'une multiplication matricielle. Quel que soit le nombre de couches que vous ajoutez, le résultat reste une fonction linéaire de l'entrée. La fonction d'activation introduit la non-linéarité, c'est-à-dire ce qui donne au réseau la capacité d'apprendre des modèles complexes. Mais le choix de la fonction est important : une mauvaise fonction « tuera » les gradients et le réseau n'apprendra pas.