深度学习革命正在由 Apple Intelligence 和 Gemini 等人工智能平台推动，影响着从汽车到金融等各个行业。工程师们学习深度学习以解决复杂的问题。本文为深度学习项目提供指导，着重于五个基本要素：数据、模型架构、损失函数、优化器和评估过程。它介绍了常见问题和最佳实践，以避免在构建深度学习模型时常见的陷阱，并提供策略来确保模型的准确性、效率和泛化能力。
我们的世界正在经历一场由深度神经网络驱动的人工智能革命。随着 Apple Intelligence 和 Gemini 的出现，人工智能已经普及到每个拥有手机的人。除了消费者人工智能之外，我们还将深度学习模型应用于汽车、金融、医疗、制造业等多个行业。这促使许多工程师学习深度学习技术并将其应用于解决项目中的复杂问题。为了帮助这些工程师，必须制定一些指导原则，以防止在构建这些黑盒模型时出现常见的陷阱。
任何深度学习项目都涉及五个基本要素：数据、模型架构、损失函数、优化器和评估过程。设计和配置每个要素以确保模型正确收敛至关重要。本文将介绍与每个要素相关的一些推荐做法和常见问题及其解决方案。
数据
所有深度学习模型都需要大量数据，至少需要数千个示例才能充分发挥其潜力。首先，重要的是确定不同的数据源，并设计适当的机制来选择和标记数据（如果需要）。这有助于建立一些启发式数据选择方法，并仔细考虑平衡数据以防止无意的偏差。例如，如果我们正在构建一个用于人脸检测的应用程序，重要的是确保数据中没有种族或性别偏见，以及在不同的环境条件下捕获数据以确保模型的稳健性。亮度、对比度、照明条件、随机裁剪和随机翻转的数据增强也有助于确保适当的数据覆盖范围。
下一步是小心地将数据分成训练集、验证集和测试集，同时确保没有数据泄漏。数据分割应具有相似的数据分布，但训练集和测试集中不应存在相同或非常密切相关的样本。这很重要，因为如果训练样本存在于测试集中，那么我们可能会看到高测试性能指标，但生产中仍有几个无法解释的关键问题。此外，数据泄漏几乎不可能知道模型改进的替代想法是否带来了任何真正的改进。因此，代表生产环境的多样化、防泄漏、平衡的测试数据集是提供强大的基于深度学习的模型和产品的最佳保障。
模型架构
为了开始模型设计，首先要确定手头任务的延迟和性能要求。然后，可以查看类似这样的开源基准，以确定一些合适的论文。无论我们使用 CNN 还是 transformer，一开始就有一些预先训练好的权重会有所帮助，以减少训练时间。如果没有可用的预训练权重，那么对每个模型层进行合适的模型初始化对于确保模型在合理的时间内收敛非常重要。此外，如果可用的数据集非常小（几百个样本或更少），那么训练整个模型就没有意义了，而应该只对最后几个特定于任务的层进行微调。
现在，是否使用 CNN、Transformer 或两者的组合取决于具体问题。对于自然语言处理，Transformer 已被确定为最佳选择。对于视觉，如果延迟预算非常紧张，CNN 仍然是更好的选择；否则，应该尝试使用 CNN 和 Transformer 以获得所需的结果。
损失函数
分类任务中最流行的损失函数是交叉熵损失，回归任务中最流行的损失函数是 L1 或 L2 (MSE) 损失。但是，为了在模型训练期间保持数值稳定性，可以使用某些变体。例如，在 Pytorch 中，BCEWithLogitsLoss 将 S 型层和 BCELoss 合并为一个类，并使用对数和指数技巧，这使其比 S 型层后跟 BCELoss 更具有数值稳定性。另一个示例是 SmoothL1Loss，它可以看作是 L1 和 L2 损失的组合，并使 L1 损失平滑接近于零。但是，使用平滑 L1 损失时必须小心，以适当设置 beta，因为其默认值 1.0 可能不适合在正弦和余弦域中回归值。下图显示了 L1、L2 (MSE) 和平滑 L1 损失的损失值以及不同 beta 值下平滑 L1 损失值的变化。
优化器
动量随机梯度下降法传统上是研究人员针对大多数问题非常流行的优化器。然而，在实践中，Adam 通常更易于使用，但存在泛化问题。Transformer 论文推广了 AdamW 优化器，它将权重衰减因子的选择与学习率分离开来，并显著提高了 Adam 优化器的泛化能力。这使得 AdamW 成为当今优化器的最佳选择。
此外，没有必要对整个网络使用相同的学习率。通常，如果从预训练的检查点开始，最好冻结或保持初始层的低学习率，并为更深的任务特定层保持较高的学习率。
评价与概括
开发适当的模型评估框架是防止生产中出现问题的关键。这不仅应涉及完整基准数据集的定量和定性指标，还应涉及特定场景的定量和定性指标。这样做是为了确保性能在每种情况下都是可接受的，并且不会出现倒退。
应谨慎选择性能指标，以确保它们能够恰当地代表要实现的任务。例如，在许多不平衡的问题中，精度/召回率或 F1 分数可能比准确率更好。有时，我们可能有多个指标来比较替代模型，那么通常有助于提出一个可以简化比较过程的单一加权指标。例如，nuScenes 数据集引入了 NDS（nuScenes 检测分数），它是 mAP（平均精度）、mATE（平均平移误差）、mASE（平均尺度误差）、mAOE（平均方向误差）、mAVE（平均速度误差）和 mAAE（平均属性误差）的加权和，以简化各种 3D 物体检测模型的比较。
此外，还应尽可能可视化模型输出。这可能涉及在输入图像上绘制边界框（用于 2D 物体检测模型）或在激光雷达点云上绘制长方体（用于 3D 物体检测模型）。这种手动验证可确保模型输出合理，并且模型错误中没有明显的模式。
此外，密切关注训练和验证损失曲线有助于检查是否存在过度拟合或欠拟合。过度拟合是一种问题，其中验证损失与训练损失不同并开始增加，表示模型的泛化能力不佳。通常可以通过添加适当的正则化（如权重衰减、drop-out 层）、添加更多数据增强或使用早期停止来解决此问题。另一方面，欠拟合表示模型没有足够的容量来拟合训练数据的情况。这可以通过训练损失下降不够和/或在整个时期内保持或多或少平坦来识别。可以通过向模型添加更多层、减少数据增强或选择不同的模型架构来解决此问题。下图展示了通过损失曲线的过度拟合和欠拟合的示例。
深度学习之旅
与传统软件工程不同，深度学习更具实验性，需要仔细调整超参数。但是，如果上述基本原则得到照顾，这个过程会更易于管理。由于模型是黑匣子，我们必须利用损失曲线、输出可视化和性能指标来了解模型行为并相应地采取纠正措施。希望本指南可以让您的深度学习之旅不那么费力。
