Производная: насколько изменится результат, если чуть-чуть сдвинуть вход
Производная отвечает на один вопрос: «если я чуть-чуть изменю этот вес — ошибка вырастет или уменьшится, и насколько?» Именно это нужно для обучения. Зная производную, можно двигаться в сторону уменьшения ошибки — это и есть градиентный спуск. Без производных нейросеть не умела бы учиться вообще.