[AI特训营第三期]全流程前沿超轻量PPLCNetV2苹果病害识别

一、项目背景

首先，随着农业产业的不断发展，对于果实的质量和安全的要求也越来越高。然而，由于缺乏有效的技术手段，传统的病害识别方法往往难以满足这一要求。

其次，深度学习作为人工智能领域的重要技术之一，已经被广泛应用于图像分类、语音识别等多个领域，并取得了很好的成果。在果实病害识别方面，深度学习模型具有强大的非线性映射能力和特征提取能力，可以从复杂的数据集中提取出有用的特征信息。

最后，苹果作为一种重要的农产品，其生长状况和病害情况对于果实的品质和安全具有重要的影响。因此，开发一套高效的苹果病害识别系统，对于提高苹果生产的质量和安全具有重要的意义。

基于上述背景，我们设计了基于深度学习的苹果病害识别项目。我们将利用深度学习技术来训练一个神经网络模型，该模型将可以对苹果树上的各种病害进行鉴别和诊断。我们将使用大量的真实数据集来训练和优化模型，以达到最好的预测和诊断效果。具体来说，本项目分类准确率达到0.98461，性能优异，同时模型计算量，参数量较小，便于部署在边缘端。（written by 文心一言）

需要注意的是，由于数据集限制，本项目输入数据需要为病害数据，模型会预测出具体病害类别。正常叶片，无需模型进行 预测

二、项目任务和项目路线

• 采用前沿PVT v2作为分类网络
• 采用了数据增强的方法来提高准确度
• 采用了ssld预训练权重的方式提高模型精度

同时任务精度要求为： Accuracy≥90%

三、数据集介绍

此数据为苹果病害识别，共26377图片，共有五类，分别为Alternaria_Boltch、Brown_Spot、Grey_spot、Mosaic、Rust 训练数据文件结构：

将提供用于训练的图像数据和识别标签，文件夹结构：

|-- original/Alternaria_Boltch # 存放Alternaria_Boltch标签数据

|-- original/Brown_Spot # 存放Brown_Spot标签数据

|-- original/Grey_spot # 存放Grey_spot标签数据

|-- original/Mosaic # 存放Mosaic标签数据

奇布塔

基于AI生成技术的一站式有声绘本创作平台

下载

|-- original/Rust # 存放Rust标签数据

#解压数据集!unzip data/data11591/original.zip

#下载PaddleClas，如果不成功可以多下几次!git clone https://gitee.com/PaddlePaddle/PaddleClas.git

!pip install -r PaddleClas/requirements.txt
!pip install paddleclas

#导包import paddleimport osimport cv2import globimport paddle.nn as nnfrom paddle.io import Datasetimport pandas as pdimport paddle.vision.transforms as Timport numpy as npimport jsonimport seaborn as snsimport matplotlib.pyplot as pltfrom PIL import Imagefrom sklearn import preprocessingfrom paddle.vision.transforms import ToTensor

path = 'original'path_imgs = list(glob.glob(path+'/**/*.jpg'))

labels = list(map(lambda x:os.path.split(os.path.split(x)[0])[1], path_imgs))
file_path = pd.Series(path_imgs, name='File_Path').astype(str)
labels = pd.Series(labels, name='Labels')
data = pd.concat([file_path, labels], axis=1)#打乱数据集data = data.sample(frac=1,random_state =2023).reset_index(drop=True)
data.head()

examples = pd.DataFrame([])
unique_labels = data['Labels'].unique()for label in unique_labels:
    examples = pd.concat([examples, data.query(f"Labels == '{label}'").sample(1)])

fig = plt.figure(figsize=(16, 8))for index, row in examples.reset_index().iterrows():
    ax = plt.subplot(4, 3, index + 1)
    image = cv2.imread(row["File_Path"])
    image = cv2.cvtColor(image, cv2.COLOR_BGR2RGB)
    image = cv2.resize(image, (256, 256), interpolation=cv2.INTER_AREA)
    plt.imshow(image)
    ax.set_title(row["Labels"].title(),fontsize=20)
    ax.axis("off")

fig.tight_layout(pad=0.1)
plt.show()

counts = data.Labels.value_counts()
sns.barplot(x=counts.index, y=counts)
plt.axhline(y=counts.mean(), lw=3, color="#346c9a")
plt.xlabel('Labels')
plt.ylabel('Count')
plt.xticks(rotation=50);

enc=preprocessing.LabelEncoder()
enc=enc.fit(unique_labels)#训练LabelEncoder

#生成标签文件unique_labels_num = enc.transform(unique_labels)
unique_labels_num
label = pd.DataFrame((unique_labels_num,unique_labels))
label = label.transpose()
label.to_csv('label.txt',sep=' ',header=None,index=None)

data['Labels']=enc.transform(data['Labels'])

data.iloc[0:int(0.7*len(data))].to_csv('train.txt',sep=' ',header=None,index=None)
data.iloc[int(0.7*len(data)):].to_csv('test.txt',sep=' ',header=None,index=None)

四、代码实现

4.1 模型介绍

4.1.1 模型简介

骨干网络对计算机视觉下游任务的影响不言而喻，不仅对下游模型的性能影响很大，而且模型效率也极大地受此影响，但现有的大多骨干网络在真实应用中的效率并不理想，特别是缺乏针对 Intel CPU 平台所优化的骨干网络，我们测试了现有的主流轻量级模型，发现在 Intel CPU 平台上的效率并不理想，然而目前 Intel CPU 平台在工业界仍有大量使用场景，因此我们提出了 PP-LCNet 系列模型，PP-LCNetV2 是在 PP-LCNetV1 基础上所改进的。

4.1.2 模型细节

PP-LCNetV2 模型的网络整体结构如上图所示。PP-LCNetV2 模型是在 PP-LCNetV1 的基础上优化而来，主要使用重参数化策略组合了不同大小卷积核的深度卷积，并优化了点卷积、Shortcut等。

4.1.2.1 Rep 策略

卷积核的大小决定了卷积层感受野的大小，通过组合使用不同大小的卷积核，能够获取不同尺度的特征，因此 PPLCNetV2 在 Stage4、Stage5 中，在同一层组合使用 kernel size 分别为 5、3、1 的 DW 卷积，同时为了避免对模型效率的影响，使用重参数化（Re parameterization，Rep）策略对同层的 DW 卷积进行融合，如下图所示。        

4.1.2.2 PW 卷积

深度可分离卷积通常由一层 DW 卷积和一层 PW 卷积组成，用以替换标准卷积，为了使深度可分离卷积具有更强的拟合能力，我们尝试使用两层 PW 卷积，同时为了控制模型效率不受影响，两层 PW 卷积设置为：第一个在通道维度对特征图压缩，第二个再通过放大还原特征图通道，如下图所示。通过实验发现，该策略能够显著提高模型性能，同时为了平衡对模型效率带来的影响，PPLCNetV2 仅在 Stage4 中使用了该策略。

4.1.2.3 Shortcut

残差结构（residual）自提出以来，被诸多模型广泛使用，但在轻量级卷积神经网络中，由于残差结构所带来的元素级（element-wise）加法操作，会对模型的速度造成影响，我们在 PP-LCNetV2 中，以 Stage 为单位实验了残差结构对模型的影响，发现残差结构的使用并非一定会带来性能的提高，因此 PPLCNetV2 仅在最后一个 Stage 中的使用了残差结构：在 Block 中增加 Shortcut，如下图所示。        

4.1.2.4 激活函数

在目前的轻量级卷积神经网络中，ReLU、Hard-Swish 激活函数最为常用，虽然在模型性能方面，Hard-Swish 通常更为优秀，然而我们发现部分推理平台对于 Hard-Swish 激活函数的效率优化并不理想，因此为了兼顾通用性，PP-LCNetV2 默认使用了 ReLU 激活函数，并且我们测试发现，ReLU 激活函数对于较大模型的性能影响较小。

4.1.2.5 SE 模块

虽然 SE 模块能够显著提高模型性能，但其对模型速度的影响同样不可忽视，在 PP-LCNetV1 中，我们发现在模型中后部使用 SE 模块能够获得最大化的收益。在 PP-LCNetV2 的优化过程中，我们以 Stage 为单位对 SE 模块的位置做了进一步实验，并发现在 Stage4 中使用能够取得更好的平衡。

4.2 模型训练

#注销此代码，训练SwinTransformer# !python PaddleClas/tools/train.py -c SwinTransformer_small_patch4_window7_224.yaml

#训练PPLCNetV2!python PaddleClas/tools/train.py -c PPLCNetV2_base.yaml  -o Arch.pretrained=True -o Arch.use_ssld=True

4.3 训练结果可视化

4.3 模型导出

!python3 PaddleClas/tools/export_model.py \
    -c PPLCNetV2_base.yaml \
    -o Global.pretrained_model=model/lcnetv2/best_model\
    -o Global.save_inference_dir=deploy/models/PPLCNetV2_base_infer

五、模型评价

!python3 PaddleClas/tools/eval.py \
    -c SwinTransformer_small_patch4_window7_224.yaml \
    -o Global.pretrained_model=model/swin/best_model \

!python3 PaddleClas/tools/eval.py \
    -c PPLCNetV2_base.yaml \
    -o Global.pretrained_model=model/lcnetv2/best_model\

下面给出不同方案的效果

六、效果展示

需要注意的是，由于数据集限制，本项目输入数据需要为病害数据，模型会预测出具体病害类别。正常叶片，无需模型进行 预测

test = Image.open('original/Brown_Spot/005586.jpg')
test

#模型推理!python3.7 PaddleClas/deploy/python/predict_cls.py -c inference_cls.yaml -o Global.infer_imgs='original/Grey_spot/015951.jpg'

2023-03-22 23:37:32 INFO: Loading faiss with AVX2 support.
2023-03-22 23:37:32 INFO: Could not load library with AVX2 support due to:
ModuleNotFoundError("No module named 'faiss.swigfaiss_avx2'")
2023-03-22 23:37:32 INFO: Loading faiss.
2023-03-22 23:37:32 INFO: Successfully loaded faiss.
2023-03-22 23:37:32 INFO: 
===========================================================
==        PaddleClas is powered by PaddlePaddle !        ==
===========================================================
==                                                       ==
==   For more info please go to the following website.   ==
==                                                       ==
==       https://github.com/PaddlePaddle/PaddleClas      ==
===========================================================

2023-03-22 23:37:32 INFO: Global : 
2023-03-22 23:37:32 INFO:     batch_size : 1
2023-03-22 23:37:32 INFO:     cpu_num_threads : 10
2023-03-22 23:37:32 INFO:     enable_benchmark : True
2023-03-22 23:37:32 INFO:     enable_mkldnn : True
2023-03-22 23:37:32 INFO:     enable_profile : False
2023-03-22 23:37:32 INFO:     gpu_mem : 8000
2023-03-22 23:37:32 INFO:     infer_imgs : original/Grey_spot/015951.jpg
2023-03-22 23:37:32 INFO:     inference_model_dir : deploy/models/PPLCNetV2_base_infer
2023-03-22 23:37:32 INFO:     ir_optim : True
2023-03-22 23:37:32 INFO:     use_fp16 : False
2023-03-22 23:37:32 INFO:     use_gpu : True
2023-03-22 23:37:32 INFO:     use_tensorrt : False
2023-03-22 23:37:32 INFO: PostProcess : 
2023-03-22 23:37:32 INFO:     SavePreLabel : 
2023-03-22 23:37:32 INFO:         save_dir : pre_label
2023-03-22 23:37:32 INFO:     Topk : 
2023-03-22 23:37:32 INFO:         class_id_map_file : label.txt
2023-03-22 23:37:32 INFO:         topk : 1
2023-03-22 23:37:32 INFO:     main_indicator : Topk
2023-03-22 23:37:32 INFO: PreProcess : 
2023-03-22 23:37:32 INFO:     transform_ops : 
2023-03-22 23:37:32 INFO:         ResizeImage : 
2023-03-22 23:37:32 INFO:             resize_short : 256
2023-03-22 23:37:32 INFO:         CropImage : 
2023-03-22 23:37:32 INFO:             size : 224
2023-03-22 23:37:32 INFO:         NormalizeImage : 
2023-03-22 23:37:32 INFO:             channel_num : 3
2023-03-22 23:37:32 INFO:             mean : [0.485, 0.456, 0.406]
2023-03-22 23:37:32 INFO:             order : 
2023-03-22 23:37:32 INFO:             scale : 0.00392157
2023-03-22 23:37:32 INFO:             std : [0.229, 0.224, 0.225]
2023-03-22 23:37:32 INFO:         ToCHWImage : None
015951.jpg:	class id(s): [2], score(s): [0.90], label_name(s): ['Grey_spot']

七、总结

项目总结：

• 1.本项目可以使用基于ssld迁移学习的方式来提高精度
• 2.可以通过数据增强的方式来扩充数据集来提高精度
• 3.本项目使用前沿的超轻量网络PPLCNetv2并且达到了98%以上精度

改进方向：

• 进一步扩充数据增强方法
• 尝试半监督知识蒸馏方案