El entrenamiento es un juego matemático. Queremos encontrar el fondo de un valle profundo (el mínimo de la función de pérdida). La pérdida mide qué tan lejos está la predicción actual de la respuesta correcta. El optimizador decide cómo bajamos a ese valle. Los pasos demasiado grandes sobrepasan el objetivo; Los pasos demasiado pequeños hacen que el entrenamiento se prolongue eternamente.