模型调优是围绕数据、模型结构、训练过程和评估反馈的系统性工程，需建立可复现、可归因、可迭代的优化闭环，每次只改一个变量并记录全量快照。
模型调优不是“试错式调参”，而是围绕数据、模型结构、训练过程和评估反馈四个环节的系统性工程。核心在于建立可复现、可归因、可迭代的优化闭环。
数据质量与增强策略必须前置验证
再深的网络也学不好噪声标签或分布偏移的数据。先做三件事：检查标签一致性（如用 confusion matrix + label error detection 工具）、统计训练/验证集的类别分布与特征分布（用 Kolmogorov-Smirnov 检验或 t-SNE 可视化）、确认增强方式是否引入伪相关（比如所有“猫”图片都带右下角水印，裁剪+翻转后仍保留位置线索）。
建议增强组合遵循“保语义、破捷径”原则：
- 基础层：随机裁剪（scale=0.8~1.0）、水平翻转（仅对无方向性任务）、色彩抖动（saturation/hue 小幅扰动）
- 进阶层：CutMix 或 MixUp（λ ~ 0.4~0.6），强制模型关注局部判别区域
- 任务定制层：医学图像加弹性形变，遥感图像加多光谱通道混洗
结构优化聚焦“最小必要容量”
盲目堆叠层数或扩大宽度常导致过拟合与推理延迟。先用 神经元重要性分析（如 SNIP、GraSP）或模块级消融定位冗余组件。例如在 ResNet 中发现 stage3 的全部 bottleneck 均贡献＜0.5% 验证精度提升，即可安全剪枝该 stage 并用 depthwise 卷积重参数化 stage2 输出。
轻量化改造优先级：
- 替换标准卷积为深度可分离卷积（尤其在高分辨率输入阶段）
- 用 GroupNorm 替代 BatchNorm（小 batch 场景更稳定）
- 将全连接头换为 Global Context Pooling + 小 MLP，减少 70%+ 参数量
训练动态需全程可观测、可干预
只看最终 loss 和 acc 是调优最大陷阱。必须记录并定期检查：
- 梯度范数曲线（突然归零 → 梯度消失；持续＞1e3 → 梯度爆炸）
- 各层权重 L2 变化率（头部层变化慢 → 学习率偏低；尾部层震荡大 → 正则不足）
- 验证集上 hard example 比例（持续上升 → 模型陷入局部简单模式）
据此动态调整策略：
- 用 OneCycleLR + 余弦退火，峰值学习率设为线性搜索最优值的 0.8 倍
- 当验证 loss 平稳但 acc 不升时，临时开启 label smoothing（α=0.1）或 focal loss（γ=2）
- 发现某类样本持续误判，对该类 mini-batch 加权采样（weight = 1 / (class_freq × confidence)）
评估必须匹配真实使用场景
在 ImageNet 上刷高 top-1 accuracy 不代表上线可用。要构建分层评估集：
- Baseline Set：原始验证集（查 baseline 性能）
- Robustness Set：加噪/模糊/遮挡样本（测泛化鲁棒性）
- Edge Case Set：长尾类、相似类混淆样本（如“哈士奇 vs 狼”、“苹果 vs 樱桃”）
- Deployment Set：实际采集的未清洗线上数据（暴露数据漂移）
每个子集单独计算 precision/recall/F1，并绘制 per-class PR curve。若某类 recall＜0.6 而 precision＞0.9，说明模型过于保守——应降低该类分类阈值或加入难例挖掘。
基本上就这些。调优不是追求单点最优，而是让数据、结构、训练、评估四者咬合运转。每次改动只动一个变量，记录所有超参和指标快照，比盲目跑十轮网格搜索更高效。
