时间：2025-01-01 09:02:26
梯度消失和梯度爆炸——从本质上说残差、LSTM遗忘门（依赖cell state）解决思路都是一样的，甚至relu激活函数也是
ReLU函数能够缓解梯度消失问题，主要原因是：
1. 正区间梯度恒为1： 当输入大于0时，ReLU函数的梯度恒为1，这意味着在反向传播过程中，梯度不会因为经过ReLU函数而变小。这与sigmoid函数和tanh函数不同，这两种函数的梯度在输入远离0时会接近0，导致梯度消失问题。
2. 引入非线性：尽管ReLU函数在正区间内是线性的，但是由于其在负区间的值为0， 因此ReLU函数是非线性的。这使得神经网络可以拟合和学习非线性函数。
广州小漏斗信息技术有限公司 版权所有 沸点数码网 New Business Dream 粤ICP备20006251号
