请我喝杯咖啡☕
*备忘录：
- 我的帖子解释了过拟合和欠拟合。
- 我的文章解释了 PyTorch 中的图层。
- 我的文章解释了 PyTorch 中的激活函数。
- 我的文章解释了 PyTorch 中的损失函数。
- 我的文章解释了 PyTorch 中的优化器。
梯度消失问题：
- 是在反向传播过程中，梯度越来越小或者为零，从输出层到输入层多次将小梯度相乘，则模型无法有效训练。
- 模型中层数越多，更容易发生。
- 很容易由Sigmoid激活函数引起，即PyTorch中的Sigmoid()，因为它会产生范围为0
- 发生在：
- CNN（卷积神经网络）.
- RNN(循环神经网络) 是 PyTorch 中的 RNN()。
- 不容易发生在：
- LSTM（长短期记忆） 即 PyTorch 中的 LSTM()。
- GRU（门控循环单元） 即 PyTorch 中的 GRU()。
- Resnet（残差神经网络），即 PyTorch 中的 Resnet。
- Transformer 是 PyTorch 中的 Transformer()。
- 等等
- 在以下情况下可以被检测到：
- 靠近输出层的层参数显着变化，而靠近输入层的层参数略有变化或保持不变。
- 输入层附近各层的权重接近0或变为0。
- 收敛缓慢或停止。
- 可以通过以下方式缓解：
- 批量归一化层，即 PyTorch 中的 BatchNorm1d()、BatchNorm2d() 或 BatchNorm3d()。
- Leaky ReLU 激活函数，即 PyTorch 中的 LeakyReLU()。 *您还可以使用 ReLU 激活函数，即 PyTorch 中的 ReLU()，但它有时会导致 Dying ReLU Problem，我稍后会解释。
- PReLU 激活函数，即 PyTorch 中的 PReLU()。
- ELU 激活函数 即 PyTorch 中的 ELU()。
- 梯度裁剪，即PyTorch中的clip_grad_norm_()或clip_grad_value_()。 *渐变裁剪是将渐变保持在指定范围内的方法。
梯度爆炸问题：
- 在反向传播过程中，梯度变得越来越大，从输出层到输入层将更大的梯度相乘多次，然后就不可能收敛。
- 模型中层数越多，更容易发生。
- 发生在：
- CNN.
- RNN.
- LSTM.
- GRU.
- 不容易发生在：
- Resnet.
- 变压器。
- 等等
- 在以下情况下可以被检测到：
- 模型的权重显着增加。
- 模型权重显着增加最终变成NaN。
- 收敛是波动的，没有完成。
- 可以通过以下方式缓解：
- 批量归一化层.
- 渐变裁剪.
Dying ReLU 问题：
- 在反向传播过程中，一旦具有ReLU激活函数的节点（神经元）接收到零或负输入值，它们总是为任何输入值产生零，最后，它们永远不会恢复产生任何值，除了为零，则无法有效训练模型。
- 也称为Dead ReLU问题。
- 更容易发生在：
- 更高的学习率。
- 更高的负面偏见。
- 在以下情况下可以被检测到：
- 收敛缓慢或停止。
- 损失函数返回 nan。
- 可以通过以下方式缓解：
- 较低的学习率。
- 积极的偏见。
- Leaky ReLU 激活函数.
- PReLU 激活函数.
- ELU 激活函数.
