手把手教你在ROS Melodic中部署Paddle Inference

Paddle Inference介绍

Paddle Inference是飞桨的原生推理库，提供高性能的推理能力。 由于能力直接基于飞桨的训练算子，因此Paddle Inference可以通用支持飞桨训练出的所有模型。 Paddle Inference功能特性丰富，性能优异，针对不同平台不同的应用场景进行了深度的适配优化，做到高吞吐、低时延，保证了飞桨模型在服务器端即训即用，快速部署。

Paddle Inference的高性能实现

• 内置高性能的CPU/GPU Kernel
• 子图集成TensorRT加快GPU推理速度

主流软硬件环境兼容适配

• 支持服务器端X86 CPU、NVIDIA GPU芯片 (包括Jetson系列的GPU)，兼容Linux/Mac/Windows系统。支持所有飞桨训练产出的模型，完全做到即训即用。

多语言环境丰富接口可灵活调用

• 支持C++、Python、C，接口简单灵活，20行代码即可完成部署。对于其他语言，提供了ABI稳定的C API, 用户可以很方便地扩展。

1.环境准备

（1）硬件平台

• Jetson nano（Jetson系列开发板配置和以下都相同，X86系统在PaddlePaddle的安装方面不同，其他都相同） Jetson系列基础环境配置：Jetson系列——Ubuntu18.04版本基础配置（换源、ROS、远程桌面、开机自连WIFi、SD卡备份）

（2）软件环境

• Ubuntu18.04
• python3.6.9
• ROS Melodic
• PaddlePaddle-gpu 2.1.1

PaddlePaddle：跑通Paddle inference Demo

• Jetson Nano——基于python API部署Paddle Inference GPU预测库（2.1.1）

待Paddle inference GPU预测正常之后再将其迁移进ROS中。

2、编译python3的cv_bridge

在ROS中想使用原生python3的Paddle Inference，最重要的就是需要重新编译基于python3的cv_bridge，只有我们在编译完成后，才能在ROS中运行python3的Paddle Inference目标检测、分类、分割等相关节点时，自动调用基于python3的cv_bridge。所以编译基于python3的cv_bridge便是最基础和最重要的一步，按以下步骤进行操作：

$ mkdir -p paddle_ros_ws/src && cd paddle_ros_ws/src
$ catkin_init_workspace
$ git clone https://gitee.com/irvingao/vision_opencv.git
$ cd ../
$ catkin_make install -DPYTHON_EXECUTABLE=/usr/bin/python3

$ vim ~/.bashrc

在最后添加：

source ~/paddle_ros_ws/devel/setup.bashsource ~/paddle_ros_ws/install/setup.bash --extend

检查是否安装成功：

What-the-Diff

检查请求差异，自动生成更改描述

下载

$ python3

import cv_bridgefrom cv_bridge.boost.cv_bridge_boost import getCvType

如果显示如下，则表明安装成功：

Python 3.6.9 (default, Jan 26 2021, 15:33:00) 
[GCC 8.4.0] on linuxType "help", "copyright", "credits" or "license" for more information.>>> import cv_bridge>>> from cv_bridge.boost.cv_bridge_boost import getCvType>>>

3、编译paddle_inference_ros功能包

cd src
$ git clone https://gitee.com/irvingao/paddle_inference_ros.git
$ cd paddle_inference_ros/scripts
$ chmod +x *
$ cd ../../..
$ catkin_make -DPYTHON_EXECUTABLE=/usr/bin/python3

4、运行节点

下载yolo_v3目标检测模型

$ cd src/paddle_inference_ros/scripts $$ ./download_model.sh

分别使用三个终端运行：

$ roscore$ rosrun paddle_inference_ros camera.py$ rosrun paddle_inference_ros pp_infer.py

可以成功在ROS中运行paddle inference，并实现GPU和TensorRT的加速！

项目地址： https://gitee.com/irvingao/paddle_inference_ros