Функции активации: как нейрон решает «реагировать или нет»

Без функций активации нейросеть — просто умножение матриц. Сколько слоёв ни добавь, результат останется линейной функцией входа. Функция активации вносит нелинейность — именно она даёт сети способность учить сложные паттерны. Но выбор функции критичен: неправильная «убьёт» градиенты, и сеть не будет учиться.

Full content is available with a subscription.
Get full access to all courses on the platform for one year with a single payment.
Unlike other platforms that charge per course, here you get everything for one price, and after one year of use there will be no automatic charge for the following year.