Градиентный спуск: идти вниз по склону в тумане
Представьте, что вы стоите на горе в густом тумане. Видите только землю под ногами — наклон в этой точке. Задача: спуститься в долину. Стратегия одна: сделать шаг туда, где земля идёт вниз. Повторить. Это и есть градиентный спуск. Потеря — это гора. Веса модели — ваши координаты. Градиент — наклон под ногами. Цель — найти дно.