行人重识别：基于度量学习的行人重识别算法

项目说明

• 本项目基于Paddle官方模型库中的Metric Learning模型开发
• 修复了几个小Bug，清理和优化了代码
• 增加了几个BackBone：GhostNet、MobileNetV3、ResNetVd
• 增加模型导出脚本，导出模型可用于多目标追踪：DeepSort_Paddle项目

Metric Learning

• Metric Learning即度量学习也叫作相似度学习
• 将度量学习应用于图像领域，就可以用作图像的相似度评估
• 行人重识别恰好可以通过评估两张行人图像的相似度来实现
• 所以本次就使用Paddle官方模型库中的Metric Learning模型
• 实现一个简单的行人重识别算法

数据集介绍

• 本次使用的数据集是经典的行人重识别数据集Market-1501
• Market-1501 数据集在清华大学校园中采集，夏天拍摄，在 2015 年构建并公开
• 它包括由6个摄像头（其中5个高清摄像头和1个低清摄像头）拍摄到的 1501 个行人、32668 个检测到的行人矩形框
• 每个行人至少由2个摄像头捕获到，并且在一个摄像头中可能具有多张图像
• 训练集有 751 人，包含 12,936 张图像，平均每个人有 17.2 张训练数据；测试集有 750 人，包含 19,732 张图像，平均每个人有 26.3 张测试数据
• 3368 张查询图像的行人检测矩形框是人工绘制的，而 gallery 中的行人检测矩形框则是使用DPM检测器检测得到的
• 该数据集提供的固定数量的训练集和测试集均可以在single-shot或multi-shot测试设置下使用

解压数据集

%cd ~/work/metric_learning/data
!tar -xf ~/data/data1884/Market-1501-v15.09.15.tar
!mv Market-1501-v15.09.15 Market-1501

/home/aistudio/work/metric_learning/data

数据预处理

• 生成数据列表
• 分割训练集和验证集

%cd ~import osimport random
imgs = os.listdir('work/metric_learning/data/Market-1501/gt_bbox')
imgs.sort()
image_id = 1super_class_id = 1class_id = 1class_dict = {}for img in imgs:    if 'jpg' in img:
        person_id = img[:4]        if person_id not in class_dict:
            class_dict[person_id] = class_id
            class_id += 1total = []for img in imgs:    if 'jpg' in img:
        person_id = img[:4]
        path = 'gt_bbox/'+img
        line = '%s %s %s %s\n' % (image_id, class_dict[person_id], super_class_id, path)
        image_id += 1
        total.append(line)# random.shuffle(total)train = total[:-1014]
dev = total[-1014:]with open('work/metric_learning/data/Market-1501/train.txt', 'w', encoding='UTF-8') as f:
    f.write('image_id class_id super_class_id path\n')    for line in train:
        f.write(line)    
with open('work/metric_learning/data/Market-1501/test.txt', 'w', encoding='UTF-8') as f:
    f.write('image_id class_id super_class_id path\n')    for line in dev:
        f.write(line)

/home/aistudio

下载预训练模型

• 这里使用ResNet50_vd做演示
• 可根据需要选择其他更合适的BackBone
• 其他预训练模型可在PaddleClas套件的模型库中找到

%cd ~/work/metric_learning/pretrained_model

!wget https://paddle-imagenet-models-name.bj.bcebos.com/ResNet50_vd_ssld_v2_pretrained.tar

!tar -xf ResNet50_vd_ssld_v2_pretrained.tar

/home/aistudio/work/metric_learning/pretrained_model
--2020-11-18 00:03:50--  https://paddle-imagenet-models-name.bj.bcebos.com/ResNet50_vd_ssld_v2_pretrained.tar
Resolving paddle-imagenet-models-name.bj.bcebos.com (paddle-imagenet-models-name.bj.bcebos.com)... 182.61.200.195, 182.61.200.229, 2409:8c00:6c21:10ad:0:ff:b00e:67d
Connecting to paddle-imagenet-models-name.bj.bcebos.com (paddle-imagenet-models-name.bj.bcebos.com)|182.61.200.195|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: 95165219 (91M) [application/x-tar]
Saving to: ‘ResNet50_vd_ssld_v2_pretrained.tar’

ResNet50_vd_ssld_v2 100%[===================>]  90.76M  48.0MB/s    in 1.9s    

2020-11-18 00:03:52 (48.0 MB/s) - ‘ResNet50_vd_ssld_v2_pretrained.tar’ saved [95165219/95165219]

模型训练

• 使用softmax loss或者arcmargin loss进行模型训练

%cd ~/work/metric_learning

!python train_elem.py \
    --model ResNet50_vd \
    --embedding_size 128 \
    --train_batch_size 256 \
    --test_batch_size 256 \
    --image_shape 3,128,128 \
    --class_dim 1421 \
    --lr 0.1 \
    --lr_strategy piecewise_decay \
    --lr_steps 5000,7000,9000 \
    --total_iter_num 10000 \
    --display_iter_step 10 \
    --test_iter_step 500 \
    --save_iter_step 500 \
    --use_gpu True \
    --pretrained_model pretrained_model/ResNet50_vd_ssld_v2_pretrained \
    --model_save_dir save_elem_model \
    --loss_name arcmargin \
    --arc_scale 80.0 \
    --arc_margin 0.15 \
    --arc_easy_margin False

模型微调

• 上述训练完成后还可对模型进行微调，进一步提升性能

%cd ~/work/metric_learning

!python train_pair.py \
    --model ResNet50_vd \
    --embedding_size 128 \
    --train_batch_size 64 \
    --test_batch_size 64 \
    --image_shape 3,128,128 \
    --class_dim 1421 \
    --lr 0.0001 \
    --lr_strategy piecewise_decay \
    --lr_steps 3000,6000,9000 \
    --total_iter_num 10000 \
    --display_iter_step 10 \
    --test_iter_step 500 \
    --save_iter_step 500 \
    --use_gpu True \
    --pretrained_model save_elem_model/ResNet50_vd/10000 \
    --model_save_dir save_pair_model \
    --loss_name eml \
    --samples_each_class 4 \
    --margin 0.1 \
    --npairs_reg_lambda 0.01

模型评估

• 对模型的检索效果进行评估，这里使用Recall@Rank-1作为评估指标

%cd ~/work/metric_learning# arcmargin未微调模型!python eval.py \
    --model ResNet50_vd \
    --embedding_size 128 \
    --batch_size 256 \
    --image_shape 3,128,128 \
    --use_gpu True \
    --pretrained_model pretrained_model/best_model_no_finetune

/home/aistudio/work/metric_learning
You are using Paddle compiled with TensorRT, but TensorRT dynamic library is not found. Ignore this if TensorRT is not needed.-----------  Configuration Arguments -----------
batch_size: 256
embedding_size: 128
image_shape: 3,128,128
model: ResNet50_vd
pretrained_model: pretrained_model/best_model_no_finetune
use_gpu: 1
------------------------------------------------
W1118 00:06:56.248965  7755 device_context.cc:338] Please NOTE: device: 0, CUDA Capability: 70, Driver API Version: 10.1, Runtime API Version: 10.1
W1118 00:06:56.254372  7755 device_context.cc:346] device: 0, cuDNN Version: 7.6.
val dataset size: 80
[2020-11-18 00:07:01] testbatch 0, time 0.14 sec
[2020-11-18 00:07:05] End test 1014, test_recall 0.96647

模型预测

• 使用模型输出预测图像的特征编码

%cd ~/work/metric_learning

!python infer.py \
    --model ResNet50_vd \
    --embedding_size 128 \
    --batch_size 1 \
    --image_shape 3,128,128 \
    --use_gpu True \
    --pretrained_model pretrained_model/best_model_no_finetune

模型导出

%cd ~/work/metric_learning

!python export_model.py \
    --model ResNet50_vd \
    --embedding_size 128 \
    --image_shape 3,128,128 \
    --use_gpu True \
    --pretrained_model=pretrained_model/best_model_no_finetune \
    --model_save_dir=save_inference_model

/home/aistudio/work/metric_learning
You are using Paddle compiled with TensorRT, but TensorRT dynamic library is not found. Ignore this if TensorRT is not needed.-----------  Configuration Arguments -----------
embedding_size: 128
image_shape: 3,128,128
model: ResNet50_vd
model_save_dir: save_inference_model
pretrained_model: pretrained_model/best_model_no_finetune
use_gpu: 1
------------------------------------------------
W1118 00:07:26.484359  8029 device_context.cc:338] Please NOTE: device: 0, CUDA Capability: 70, Driver API Version: 10.1, Runtime API Version: 10.1
W1118 00:07:26.489738  8029 device_context.cc:346] device: 0, cuDNN Version: 7.6.
Saving the inference model...
Finish.

总结

• 由于微调训练速度较慢，暂未有训练完成的模型
• 训练完成的模型效果(Recall@Rank-1)：