模型调优是围绕数据、模型结构、训练过程和评估反馈的系统性迭代，核心是提升图像任务的稳定性、准确性和泛化性，而非单纯刷高验证集指标。
模型调优不是“调个学习率就完事”，而是围绕数据、模型结构、训练过程和评估反馈的系统性迭代。核心是让模型在图像任务（如分类、分割、检测）上更稳、更准、更泛化，而不是单纯刷高验证集指标。
检查并增强数据质量与分布
图像模型对数据敏感度极高，80%的调优瓶颈其实出在数据端。
- 可视化几张训练/验证样本，确认标签是否准确、裁剪是否合理、光照/模糊是否异常；
- 统计各类别样本数量，若严重不均衡（如猫:狗=1:10），优先用WeightedRandomSampler或Focal Loss，而非简单过采样；
- 对训练集做轻量但有针对性的增强：分类任务可用AutoAugment或RandAugment（强度3–5），分割任务慎用旋转/弹性变形，需同步变换mask；
- 验证集和测试集绝不做任何增强，且必须与训练预处理（归一化均值/标准差）完全一致。
分阶段调整模型与训练策略
别一上来就改网络结构——先稳住baseline，再逐层加码。
- 固定特征提取器（如冻结ResNet前4个stage），只训练最后全连接层，观察loss是否下降、有无震荡；
- 确认收敛后，解冻部分backbone（如只解冻layer4），配合更小学习率（原lr×0.1）微调；
- 换优化器试效果：AdamW通常比Adam更稳（尤其加权衰减），SGD+momentum适合大batch和需要强正则的场景；
- 用OneCycleLR或CosineAnnealingLR替代StepLR，往往更快收敛且泛化更好。
诊断过拟合与欠拟合信号
看曲线比看最终数字更重要。打开TensorBoard或打印每epoch的train/val loss和metric：
立即学习“Python免费学习笔记（深入）”；
- 训练loss↓、验证loss↑ → 典型过拟合：增DropPath（ViT）、加大Dropout（0.3→0.5）、加Label Smoothing（0.1）；
- 训练loss卡住不降 → 欠拟合：检查学习率是否太小（试试×10）、BatchNorm是否冻结、输入尺寸是否过小（224→384再试）；
- 两者都高且波动大 → 数据噪声大或学习率太大，降低lr，开梯度裁剪（clip_grad_norm_=1.0）。
用消融实验锁定关键改进点
每次只动一个变量，记录变化，避免“改了5处结果变好，却不知哪处起作用”。
- 例如：原始模型acc=78.2%，你加了Mixup+DropBlock+AdamW，结果升到81.6%——那就分别单独测试这三项；
- 保存每个实验的config（用YAML或argparse.Namespace），包括随机种子、数据路径、超参值；
- 重点关注验证集指标的稳定性（跑3次不同seed，看std是否<0.3%），而非单次最高值。
基本上就这些。调优不是玄学，是观察、假设、验证的循环。真正花时间的不是写代码，是读log、看图、想为什么。
