本文详细介绍了在NVIDIA Jetson Nano上成功部署和运行自定义训练的YOLOv8模型的方法。核心策略是采用非官方的Ubuntu 20.04镜像来解决兼容性问题，并指导安装Ultralytics库。文章提供了运行模型的具体步骤和代码示例，同时强调了模型运行时可能遇到的高内存占用问题（2GB+），并分析了其对系统性能的影响，为开发者提供了实用的解决方案和注意事项。
在NVIDIA Jetson Nano这类边缘AI设备上部署深度学习模型，尤其是自定义训练的YOLOv8模型，常常面临操作系统兼容性和资源限制的挑战。官方提供的Ubuntu 18.04镜像可能导致一系列依赖冲突。本教程将指导您如何在Jetson Nano上成功运行您的YOLOv8n模型，并指出需要注意的关键性能瓶颈。
1. 准备Jetson Nano操作系统环境
成功运行YOLOv8模型的第一步是确保Jetson Nano拥有一个兼容且稳定的操作系统环境。由于官方Ubuntu 18.04镜像可能存在兼容性问题，推荐使用由社区维护的非官方Ubuntu 20.04镜像。
推荐镜像： 可以考虑使用如Qengineering提供的Jetson Nano Ubuntu 20.04镜像。这类镜像通常已经针对Jetson Nano的硬件进行了优化，并提供了更现代的软件环境，有助于解决Ultralytics YOLOv8的依赖问题。
安装步骤：
- 从可靠来源下载Ubuntu 20.04镜像文件（通常为.img或.zip格式）。
- 使用Balena Etcher、Rufus或dd命令等工具，将镜像烧录到高速SD卡中。
- 将烧录好的SD卡插入Jetson Nano，连接电源和显示器，启动设备并完成初始设置。
2. 安装Ultralytics YOLOv8
操作系统环境准备就绪后，下一步是安装Ultralytics库，它是运行YOLOv8模型的官方框架。
通过pip安装： 打开Jetson Nano的终端，执行以下命令安装Ultralytics：
pip install ultralytics
注意事项：
- 确保您的Jetson Nano已连接到互联网。
- 如果遇到权限问题，可以尝试在命令前加上sudo，例如sudo pip install ultralytics。
- 安装过程可能需要一段时间，因为它会下载所有必要的依赖项，包括PyTorch（如果系统中尚未安装）。Jetson Nano上的PyTorch安装可能需要特定版本，Ultralytics通常会尝试安装兼容版本，但如果遇到问题，可能需要手动安装针对Jetson优化的PyTorch版本。
3. 运行自定义训练的YOLOv8模型
安装Ultralytics后，您就可以轻松地加载并运行您的自定义训练YOLOv8模型（通常是.pt文件）。Ultralytics提供了命令行界面（CLI）和Python API两种方式来执行推理。
使用命令行界面（CLI）运行：
这是最直接的运行方式，适用于快速测试或脚本化任务。
yolo predict model=your_model.pt source=your_image_or_video.jpg conf=0.25 iou=0.7 show=True
- your_model.pt: 替换为您的自定义训练模型文件的路径。
- your_image_or_video.jpg: 替换为您要进行推理的图像文件、视频文件或摄像头流（例如0代表默认摄像头）的路径。
- conf=0.25: 设置检测置信度阈值。
- iou=0.7: 设置非极大值抑制（NMS）的IoU阈值。
- show=True: 如果在桌面环境运行，显示推理结果窗口。
使用Python API运行：
对于更复杂的集成或自定义逻辑，可以使用Python API。
from ultralytics import YOLO
# 加载自定义训练模型
model = YOLO('your_model.pt')
# 对图像进行推理
results = model.predict(source='your_image.jpg', conf=0.25, iou=0.7, save=True)
# 打印结果（可选）
for r in results:
print(f"检测到 {len(r.boxes)} 个目标")
# r.boxes 包含检测框信息
# r.masks 包含分割掩码信息 (如果模型支持)
# r.keypoints 包含关键点信息 (如果模型支持)
# 对视频或摄像头进行推理
# results = model.predict(source='your_video.mp4', show=True, conf=0.25)
# results = model.predict(source=0, show=True, conf=0.25) # 摄像头4. 性能考量与内存占用问题
尽管YOLOv8n模型可以在Jetson Nano上成功运行，但根据实际测试，它可能面临显著的内存占用问题。
高内存消耗： 运行YOLOv8n模型时，即使通过CLI执行简单的预测任务，程序也可能占用2GB或更多的系统内存。Jetson Nano的总内存通常为4GB，这意味着模型运行后，系统可用内存将大幅减少。
影响：
- 多任务处理受限： 当模型运行时，由于内存资源紧张，Jetson Nano几乎无法同时执行其他内存密集型任务。
- 系统稳定性： 内存不足可能导致系统响应变慢，甚至引发程序崩溃或系统不稳定。
- 资源瓶颈： 这使得Jetson Nano在需要同时运行多个AI模型或执行复杂后台任务的场景中，其应用范围受到限制。
建议与优化方向：
- 监控内存使用： 在运行模型时，使用htop或jtop等工具实时监控Jetson Nano的内存使用情况，以便更好地了解资源消耗。
- 优化模型大小： 考虑使用更小、更轻量级的模型架构，或者对模型进行量化（例如INT8量化），以减少其内存足迹和计算需求。Ultralytics支持导出为ONNX、TensorRT等格式，这些格式通常能提供更好的性能和更低的资源消耗。
- 调整推理参数： 尝试降低输入图像的分辨率，或者减少批处理大小（如果适用），这可能会略微降低内存使用。
- 关闭不必要的服务： 在运行模型前，关闭Jetson Nano上所有不必要的后台服务和应用程序，以释放更多内存。
总结
在Jetson Nano上运行自定义训练的YOLOv8模型是可行的，关键在于选择合适的操作系统环境（如Ubuntu 20.04非官方镜像）并正确安装Ultralytics。然而，开发者必须充分认识到模型运行时可能带来的高内存占用问题。虽然模型能够正常工作，但其对系统资源的显著需求可能会限制Jetson Nano作为多功能边缘计算设备的潜力。在实际部署中，建议结合模型优化、系统资源管理和性能监控，以实现最佳的运行效率和系统稳定性。
