本文介绍利用PaddleOCR训练调优印地语-英语OCR模型的过程。先配置环境、准备检测和识别数据，再训练检测模型并通过自蒸馏调优，使H-mean提升约15.2%；训练识别模型并以enhanced_ctc调优，准确率提升2%左右。最后将模型转成inference和serving模型，完成部署与服务请求。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜
印地语-英语OCR训练与调优
- 有些公司在海外，比如印度有诸多业务，有时需要对印度网上的图片信息进行提取，而文字是最有用的信息，方便后续的分析。印度的官方语言包括英语和印地语，因此图片上经常会出现印地语和英语混杂出现的情况。这时就需要有能同时检测和识别印地语-英语的模型。PaddleOCR提供了一系列套件能快速训练一个检测模型和识别模型，并借助paddle serving进行快速部署。
- 本案例采集并标注了202张图像用于检测模型训练和验证，生成了10000张图像用于识别模型训练，标注了138张真实场景下的图像用于识别模型验证。以下文档包含了检测模型训练和调优、识别模型训练和调优、模型推理部署三个部分。
- 所有训练好的模型和配置均在output文件夹里
1. 环境配置以及数据准备
1.1 环境配置
运行下方代码，拉取PaddleOCR以及安装PaddleOCR的依赖库。
import os
import sys# 下载代码os.chdir("/home/aistudio/work/")
!git clone https://gitee.com/paddlepaddle/PaddleOCR.git# 切换工作目录os.chdir("/home/aistudio/PaddleOCR/")# 安装依赖!pip install -U pip
!pip install -r requirements.txt
1.2 数据准备
- 检测数据已开源：https://aistudio.baidu.com/aistudio/datasetdetail/124124015
- 识别数据已开源：https://aistudio.baidu.com/aistudio/datasetdetail/124124014
- 当前项目已默认加载这两个数据集，运行下方代码解压数据集到work文件夹下。
# 创建文件夹!mkdir ~/work/detection !mkdir ~/work/recognition# 复制和解压检测数据!cp ~/data/data124124015/train.txt ~/work/detection !cp ~/data/data124124015/test.txt ~/work/detection !tar xf ~/data/data124124014/imgs.tar -C ~/work/detection# 复制和解压识别数据!cp ~/data/data124124014/train.txt ~/work/recognition !cp ~/data/data124124014/test.txt ~/work/recognition !cp ~/data/data124124014/hindi.txt ~/work/recognition !tar xf ~/data/data124124014/train_img.tar -C ~/work/recognition !tar xf ~/data/data124124014/test_img.tar -C ~/work/recognition
2. 检测模型训练和调优
2.1 预训练模型准备
为了加速训练，采用ppocr的原始超轻量模型。运行下方代码准备预训练模型。
import os
os.chdir("/home/aistudio/work/PaddleOCR/")# 创建预训练模型目录!mkdir pretrain_models
os.chdir("/home/aistudio/work/PaddleOCR/pretrain_models")# 下载并解压预训练模型!wget https://paddleocr.bj.bcebos.com/dygraph_v2.0/ch/ch_ppocr_mobile_v2.0_det_train.tar && tar xf ch_ppocr_mobile_v2.0_det_train.tar
2.2 模型训练
先修改./configs/det/ch_ppocr_v2.0/ch_det_mv3_db_v2.0.yml配置文件，主要包括预训练模型路径、数据集路径两部分，此外还有模型验证步数、训练图像尺寸改变、验证图像尺寸改变等。（本项目中配置文件已修改）
Global:
└─save_model_dir: ./output/ch_db_mv3_original/
└─eval_batch_step: [0, 18]
└─pretrained_model: ./pretrain_models/ch_ppocr_mobile_v2.0_det_train/best_accuracy
Train:
└─dataset
└─data_dir: /home/aistudio/work/detection/imgs
└─label_file_list: /home/aistudio/work/detection/train.txt
└─transforms:
└─EastRandomCropData:
└─size: [640, 640] # 改小尺寸加快训练Eval:
└─dataset
└─data_dir:/home/aistudio/work/detection/imgs
└─label_file_list: /home/aistudio/work/detection/test.txt
└─transforms:
└─DetResizeForTest:
└─image_shape: [1280, 736] # 图像大多是竖着的，因此改成高>宽
然后运行下方代码启动训练。
!python3 tools/train.py -c ./configs/det/ch_ppocr_v2.0/ch_det_mv3_db_v2.0.yml
2.3 模型调优
模型调优采用自蒸馏算法，修改./configs/det/ch_PP-OCRv2/ch_PP-OCRv2_det_dml.yml配置文件，学生1加载2.2训练好的模型，学生2加载预训练模型，其余配置跟2.2保持一致。
Global:
└─save_model_dir: ./output/ch_db_mv3_dml/
└─eval_batch_step: [0, 36]
Architecture:
└─Models:
└─Student:
└─pretrained: ./output/ch_db_mv3_original/best_accuracy
└─Student2:
└─pretrained: ./pretrain_models/ch_ppocr_mobile_v2.0_det_train/best_accuracy
运行下方代码启动训练
!python3 tools/train.py -c ./configs/det/ch_PP-OCRv2/ch_PP-OCRv2_det_dml.yml
2.4 测试集评估
分别测试预训练模型、微调后模型和调优后模型的Precision、Recall、H-mean（F-Score）指标。
# 原始模型!python3 tools/eval.py -c configs/det/ch_ppocr_v2.0/ch_det_mv3_db_v2.0.yml -o Global.checkpoints="./pretrain_models/ch_ppocr_mobile_v2.0_det_train/best_accuracy"# Finetune后模型!python3 tools/eval.py -c configs/det/ch_ppocr_v2.0/ch_det_mv3_db_v2.0.yml -o Global.checkpoints="./output/ch_db_mv3_original/best_accuracy"# 调优后模型!python3 tools/eval.py -c configs/det/ch_PP-OCRv2/ch_PP-OCRv2_det_dml.yml -o Global.checkpoints="./output/ch_db_mv3_dml/best_accuracy"
获得结果如下，经过finetune后的模型在综合指标H-mean上比原先提升15%左右，经过蒸馏调优后能再提升0.2%左右。
| Model | Precision | Recall | H-mean |
|---|---|---|---|
| PP-OCR mobile | 0.6996 | 0.8451 | 0.7655 |
| PP-OCR mobile finetune | 0.9048 | 0.9248 | 0.9147 |
| PP-OCR mobile distill | 0.9087 | 0.9248 | 0.9167 |
3. 识别模型训练和调优
3.1 预训练模型准备
为了加速训练，采用ppocr的梵文预训练模型来加速训练。运行下方代码准备预训练模型。
import os
os.chdir("/home/aistudio/work/PaddleOCR/pretrain_models")# 下载并解压预训练模型!wget https://paddleocr.bj.bcebos.com/dygraph_v2.0/multilingual/devanagari_ppocr_mobile_v2.0_rec_train.tar && tar xf devanagari_ppocr_mobile_v2.0_rec_train.tar
3.2 模型训练
先修改./configs/rec/multi_language/rec_devanagari_lite_train.yml配置文件，主要包括预训练模型路径、数据集路径等。（本项目中配置文件已修改）
Global:
└─save_model_dir: ./output/rec_hindi_en
└─eval_batch_step: [0, 120]
└─save_epoch_step: 30
└─pretrained_model: ./pretrain_models/ch_ppocr_mobile_v2.0_det_train/best_accuracy
└─character_dict_path: /home/aistudio/work/recognition/hindi.txt
└─max_text_length: 70
└─use_space_char: falseTrain:
└─dataset
└─data_dir: /home/aistudio/work/recognition/TrainImages
└─label_file_list: /home/aistudio/work/recognition/train.txt
└─transforms:
└─RecAug:
└─use_tia: false # 不使用tia增强
Eval:
└─dataset
└─data_dir: /home/aistudio/work/recognition/TestImages
└─label_file_list: /home/aistudio/work/recognition/test.txt
然后运行下方代码启动训练。
!python3 tools/train.py -c ./configs/rec/multi_language/rec_devanagari_lite_train.yml
3.3 模型调优
模型调优采用enhanced_ctc算法，增加./configs/rec/multi_language/rec_devanagari_lite_enhanced_ctc.yml配置文件，需要修改的地方如下，其余配置跟3.2保持一致。
Global:
└─save_model_dir: ./output/rec_hindi_en_enhanced_ctc
└─pretrained_model: ./output/rec_hindi_en/best_accuracy
Architecture:
└─Head:
└─return_feats: true
Loss:
└─name: CombinedLoss
└─loss_config_list:
└─CTCLoss:
└─use_focal_loss: false
└─weight: 1.0
└─CenterLoss:
└─weight: 0.05
└─num_classes: 176
└─feat_dim: 96
└─center_file_path: ./train_center.pkl
采用这种方法需要先生成center文件，运行下面代码生成train_center.pkl文件
!python tools/export_center.py -c ./configs/rec/multi_language/rec_devanagari_lite_train.yml -o Global.pretrained_model="./output/rec_hindi_en/best_accuracy"
运行下方代码启动训练
!python3 tools/train.py -c ./configs/rec/multi_language/rec_devanagari_lite_enhanced_ctc.yml
3.4 测试集评估
分别测试微调后模型和调优后模型的Accuracy指标。
# Finetune后模型!python3 tools/eval.py -c configs/rec/multi_language/rec_devanagari_lite_train.yml -o Global.checkpoints="./output/rec_hindi_en/best_accuracy"# 调优后模型!python3 tools/eval.py -c configs/rec/multi_language/rec_devanagari_lite_enhanced_ctc.yml -o Global.checkpoints="./output/rec_hindi_en_enhanced_ctc/best_accuracy"
获得结果如下，经过调优后性能提升2%左右。
| Model | Accuracy |
|---|---|
| PP-OCR mobile finetune | 0.5000 |
| PP-OCR mobile enhanced_ctc | 0.5217 |
4. 预测部署
这里使用Paddle Serving套件进行部署。
4.1 转inference模型
# 转检测模型 !python tools/export_model.py -c configs/det/ch_PP-OCRv2/ch_PP-OCRv2_det_dml.yml -o Global.checkpoints="./output/ch_db_mv3_dml/best_accuracy" Global.save_inference_dir="./det_model"# 转识别模型 !python tools/export_model.py -c configs/rec/multi_language/rec_devanagari_lite_enhanced_ctc.yml -o Global.checkpoints="./output/rec_hindi_en_enhanced_ctc/best_accuracy" Global.save_inference_dir="./rec_model"
4.2 推理可视化
显示印地语需要专门的字体文件，该字体文件已传到"/home/aistudio/work/PaddleOCR/StyleText/fonts/hindi.ttf"上。运行下方命令可获得可视化效果。
In [16]
import osimport cv2import matplotlib.pyplot as plt# 进入PaddleOCR目录os.chdir("/home/aistudio/work/PaddleOCR/")# 运行推断程序!python tools/infer/predict_system.py \
--image_dir="/home/aistudio/work/detection/imgs/Google_0063.jpeg" \
--det_model_dir="./det_model/Student/" \
--rec_model_dir="./rec_model/" \
--rec_char_dict_path="/home/aistudio/work/recognition/hindi.txt" \
--use_space_char=False \
--vis_font_path="/home/aistudio/work/PaddleOCR/StyleText/fonts/hindi.ttf"# 展示推断结果img = cv2.imread("/home/aistudio/work/PaddleOCR/inference_results/Google_0063.jpeg")
plt.figure(figsize=(30, 10))
plt.imshow(img[..., ::-1])
plt.show()
[2022/01/06 16:23:53] root DEBUG: dt_boxes num : 6, elapse : 2.748750925064087 [2022/01/06 16:23:53] root DEBUG: rec_res num : 6, elapse : 0.018050670623779297 [2022/01/06 16:23:53] root DEBUG: 0 Predict time of /home/aistudio/work/detection/imgs/Google_0063.jpeg: 2.771s [2022/01/06 16:23:53] root DEBUG: बी ए समेस्टर- I पीयाू, 0.895 [2022/01/06 16:23:53] root DEBUG: प्राचीन भारत, 0.945 [2022/01/06 16:23:53] root DEBUG: का, 0.822 [2022/01/06 16:23:53] root DEBUG: इतिहास, 1.000 [2022/01/06 16:23:53] root DEBUG: Jizooड़े-तक, 0.812 [2022/01/06 16:23:53] root DEBUG: डाँ क्रांति कमार गुप्ता l डोँ मोइरंगथम प्रमोद, 0.958 [2022/01/06 16:23:53] root DEBUG: The visualized image saved in ./inference_results/Google_0063.jpeg [2022/01/06 16:23:53] root INFO: The predict total time is 2.813556432723999
<Figure size 2160x720 with 1 Axes>
4.3 Paddle Serving环境准备
运行Paddle Serving，需要安装Paddle Serving三个安装包：paddle-serving-server、paddle-serving-client 和 paddle-serving-app，命令如下。
!wget https://paddle-serving.bj.bcebos.com/test-dev/whl/paddle_serving_server_gpu-0.7.0.post102-py3-none-any.whl !pip install paddle_serving_server_gpu-0.7.0.post102-py3-none-any.whl !wget https://paddle-serving.bj.bcebos.com/test-dev/whl/paddle_serving_client-0.7.0-cp37-none-any.whl !pip install paddle_serving_client-0.7.0-cp37-none-any.whl !wget https://paddle-serving.bj.bcebos.com/test-dev/whl/paddle_serving_app-0.7.0-py3-none-any.whl !pip install paddle_serving_app-0.7.0-py3-none-any.whl !rm ./*.whl
4.4 转serving模型
运行下方代码将inference模型转换成serving模型
# 转换检测模型!python -m paddle_serving_client.convert --dirname ./det_model/ \ --model_filename inference.pdmodel \ --params_filename inference.pdiparams \ --serving_server ./det_serving/ \ --serving_client ./det_client/# 转换识别模型!python -m paddle_serving_client.convert --dirname ./rec_model/ \ --model_filename inference.pdmodel \ --params_filename inference.pdiparams \ --serving_server ./rec_serving/ \ --serving_client ./rec_client/
4.5启动服务和请求服务
- 修改PaddleOCR/deploy/pdserving/config.yml文件。
op:
└─det:
└─local_service_conf:
└─model_config: /home/aistudio/work/PaddleOCR/det_serving
└─rec:
└─local_service_conf:
└─model_config: /home/aistudio/work/PaddleOCR/rec_serving
- 修改PaddleOCR/deploy/pdserving/web_service.py文件中的字体路径
class RecOp(Op):
def init_op(self):
self.ocr_reader = OCRReader(
char_dict_path="/home/aistudio/work/recognition/hindi.txt")
- 运行如下命令启动服务 开启新的终端运行下列启动服务的命令。
cd PaddleOCR/deploy/pdserving/python web_service.py
效果如下图。
- 在另一个终端下运行请求服务命令
cd PaddleOCR/deploy/pdserving/ python pipeline_http_client.py --image_dir "/home/aistudio/work/detection/imgs"
效果如下图
