GAN训练效果主要取决于参数设置而非模型结构，需采用不对称学习率（D:2e-4、G:4e-4）、batch size=32或64、WGAN-GP损失（lambda=10）、正态初始化（std=0.02）及谱归一化。
训练GAN（生成对抗网络）时，参数设置比模型结构更影响最终效果。调不好，生成器和判别器容易陷入模式崩溃、梯度消失或训练不稳定——这不是模型能力问题，而是参数没对齐。
学习率与优化器组合要“不对称”
生成器（G）和判别器（D）不应共用同一学习率。D更新快、易过拟合，通常设为较小值（如 2e-4）；G需要更灵敏的调整来响应D的反馈，可略高（如 4e-4）。Adam优化器是主流选择，但beta1（一阶动量衰减）很关键：D建议用0.5（削弱历史梯度影响，增强实时判别能力），G常用0.0或0.5，避免更新滞后。
- D：lr=2e-4, betas=(0.5, 0.999)
- G：lr=4e-4, betas=(0.0, 0.999) 或 (0.5, 0.999)
- 不推荐SGD——GAN对梯度噪声敏感，SGD易震荡
Batch size不是越大越好，但太小会失效
GAN对batch size高度敏感。太小（如≤16）导致D统计估计不准，判别信号弱；太大（如≥128）又可能让D过于自信，迅速压制G。实际中，64是较稳妥起点，图像分辨率高（如256×256）时可降到32，配合梯度累积模拟大batch效果。
- 入门建议：batch_size = 64（128×128图像）或 32（256×256）
- 若显存不足，可用torch.utils.checkpoint或梯度累积替代增大batch
- 避免奇数或质数batch（如37、41），影响BN层统计稳定性
损失函数选型决定收敛方向
原始GAN的sigmoid交叉熵（vanilla GAN）易梯度饱和，现在基本被Wasserstein GAN（WGAN）或其带梯度惩罚的变体（WGAN-GP）取代。WGAN-GP用Earth-Mover距离，配合梯度惩罚项（lambda=10），能稳定训练、缓解模式崩溃。
立即学习“Python免费学习笔记（深入）”；
- 优先用WGAN-GP：D输出不接sigmoid，G用负D输出作loss
- 梯度惩罚在D的输入插值点上计算，lambda=10是经验强推荐值
- 避免直接用BCEWithLogitsLoss后加sigmoid——破坏WGAN理论基础
初始化与正则需“轻约束、重平衡”
权重初始化影响G和D初始能力对等性。He初始化（适用于ReLU）或正态分布（std=0.02）比Xavier更常用。正则方面，D可用Dropout（0.3～0.5）防过拟合，G一般不加；BN层必须保留（尤其在G的上采样块中），但D中慎用BN（易导致训练抖动），可用SpectralNorm替代。
- G权重：nn.init.normal_(m.weight.data, 0.0, 0.02)
- D权重：nn.init.normal_(m.weight.data, 0.0, 0.02)，+ SpectralNorm
- G中每层后接BatchNorm2d；D中用LeakyReLU + SpectralNorm，不用BN
基本上就这些。GAN训练没有银弹，但把学习率不对称、batch适中、WGAN-GP+梯度惩罚、初始化+谱归一化这四点对齐，90%的崩塌和模糊问题都能避开。
