La formation est un jeu mathématique. Nous voulons trouver le fond d'une vallée profonde (le minimum de la fonction de perte). La perte mesure la distance entre la prédiction actuelle et la bonne réponse. L'optimiseur décide comment nous descendons dans cette vallée. Les pas trop importants dépassent l’objectif ; des étapes trop petites font que la formation s'éternise.