深度神经网络训练出错主要源于数据、模型、训练过程或硬件问题，其中80%集中在数据预处理不一致和损失函数与标签不匹配，需规范归一化、验证张量形态、检查梯度及gpu内存管理。
训练深度神经网络时出错很常见，但很多问题其实有明确的排查路径和解决方法。关键不是反复试错，而是快速定位是数据、模型、训练过程还是硬件层面的问题。
数据预处理不一致
训练集和验证/测试集用了不同的归一化参数（比如用训练集均值和标准差去标准化验证集，却误用验证集自己的统计量），会导致模型在验证时表现异常波动甚至崩溃。图像数据中通道顺序（RGB vs BGR）、像素值范围（0–255 vs 0–1）不统一也会引发输出全零或梯度爆炸。
- 始终只用训练集的统计量做归一化，并保存下来用于推理
- 用 torchvision.transforms.ToTensor() 或 tf.keras.applications.preprocess_input() 前确认输入是否已缩放到正确范围
- 可视化几个 batch 的输入张量（如用 matplotlib 显示前3张图），确保内容和数值符合预期
梯度异常：消失、爆炸或 NaN
Loss 突然变 nan、acc 停滞在 0.1、权重更新后全为 inf——大概率是梯度出了问题。常见原因包括学习率过大、激活函数选择不当（如深层网络用 sigmoid）、损失函数未适配输出分布（如用 MSE 回归却接了 softmax）、或自定义层里漏了梯度（如用 numpy 操作替代 torch/tf 函数）。
- 开启梯度检查：torch.autograd.set_detect_anomaly(True)（PyTorch）或启用 tf.debugging.enable_check_numerics()（TF）
- 每轮训练后打印 model.parameters() 的 grad.norm()，若持续 >100 或趋近 0，需调整初始化或加梯度裁剪（torch.nn.utils.clip_grad_norm_）
- 换用 ReLU 变体（如 LeakyReLU）、正则化（Dropout / BatchNorm）、或 Xavier/He 初始化
标签与损失函数不匹配
分类任务中把整数标签（如 [0, 2, 1]）直接喂给 nn.CrossEntropyLoss 是对的，但如果喂给了 nn.BCEWithLogitsLoss 就会报错或收敛失败；反过来，多标签分类（如一张图含猫+狗）必须用 one-hot 标签配合 BCE，而非 CrossEntropy。
立即学习“Python免费学习笔记（深入）”；
- 检查 label 张量 shape：CrossEntropy 要 [N]，BCE 要 [N, C]
- 确认 logits 是否带 softmax：CrossEntropy 内部已包含 log-softmax，输入 raw logits 即可；BCEWithLogitsLoss 也自带 sigmoid，别额外加
- 用 torch.unique(labels) 或 np.bincount(y) 快速验证标签值域和分布是否合理
GPU 内存与状态管理疏忽
“CUDA out of memory” 不只是显存小的问题，更常因没清缓存（如重复运行 cell 加载模型不 del）、梯度累积后忘 zero_grad、或验证时没设 torch.no_grad() 导致计算图意外保留。
- 每个 epoch 开始前调用 optimizer.zero_grad()，别依赖模型自动清空
- 验证/测试阶段务必包裹 with torch.no_grad():，并手动 .cpu().detach() 再转 numpy
- 训练中断后重启，先运行 torch.cuda.empty_cache()，再检查 torch.cuda.memory_summary() 排查残留
基本上就这些。多数“训练不起来”的问题，80% 出现在数据和 loss 配置环节，剩下 20% 是梯度和设备管理细节。养成每步打印 shape、dtype、min/max 的习惯，比调参还管用。
