La dérivée répond à une question : « Si je modifie légèrement ce poids, l’erreur augmente-t-elle ou diminue-t-elle, et de combien ? » C’est exactement ce dont la formation a besoin. Compte tenu de la dérivée, vous pouvez progresser vers une erreur plus faible, c'est-à-dire une descente de gradient. Sans produits dérivés, les réseaux de neurones ne pourraient pas apprendre du tout.