Обучение — это математическая игра. Мы хотим найти «дно» глубокого оврага (минимум функции ошибки). Функция потерь измеряет расстояние от текущего предсказания до правильного ответа. Оптимизатор же решает, какими шагами мы будем спускаться в этот овраг. Слишком большие шаги — и мы пролетим мимо цели, слишком маленькие — и обучение затянется на вечность.