La derivada responde a una pregunta: "Si modifico ligeramente este peso, ¿el error aumenta o disminuye, y en qué medida?" Eso es exactamente lo que necesita la formación. Dada la derivada, se puede avanzar hacia un error más bajo, es decir, el descenso del gradiente. Sin derivados, las redes neuronales no podrían aprender nada.