本文档旨在指导开发者如何在 OpenVINO 中使用异步推理 API 处理图像列表输入，替代传统的视频流输入方式。我们将介绍如何利用 OpenVINO 提供的图像分类异步示例，并重点讲解如何修改和应用该示例，使其能够高效地处理图像队列或消费者提供的图像数据，实现高性能的异步图像推理。
OpenVINO 异步推理处理图像列表
OpenVINO 提供了强大的异步推理 API，允许开发者在推理过程中同时处理多个请求，从而提高整体吞吐量。 传统的 OpenVINO 异步推理示例通常以视频流作为输入，但在实际应用中，我们可能需要处理从图像队列（如 RabbitMQ）或消费者获取的图像列表。本文将介绍如何将视频流输入转换为图像列表输入，并提供一个可行的解决方案。
利用 OpenVINO 图像分类异步示例
OpenVINO 官方提供了一个图像分类异步 Python 示例，该示例可以直接处理图像文件路径列表，非常适合处理图像队列或消费者提供的图像数据。
你可以从 OpenVINO 仓库获取该示例的代码：Image Classification Async Python Sample.
这个示例的关键在于它接受一个图像文件路径列表作为输入，并使用异步推理 API 并行处理这些图像。
修改和应用示例
要将此示例应用于您的场景，您需要进行一些修改：
- 图像数据获取： 将示例中的图像文件路径列表替换为您的图像数据获取方式。例如，如果您从 RabbitMQ 队列获取图像，您需要编写代码从队列中读取图像数据，并将其转换为 OpenVINO 可以处理的格式（例如 NumPy 数组）。
- 数据预处理： 根据您的模型需求，对图像数据进行预处理，例如缩放、裁剪、归一化等。
- 异步推理： 使用 OpenVINO 的异步推理 API 将预处理后的图像数据传递给推理引擎。
- 结果处理： 在推理完成后，处理推理结果，例如将分类结果写入数据库或返回给客户端。
以下是一个简化的代码片段，展示了如何从图像列表中进行异步推理：
import cv2
import numpy as np
import openvino.runtime as ov
def async_inference_image_list(image_paths, model_path, device="CPU"):
"""
使用 OpenVINO 异步推理处理图像列表。
Args:
image_paths: 图像文件路径列表。
model_path: OpenVINO 模型文件路径。
device: 推理设备，例如 "CPU" 或 "GPU"。
"""
# 1. 加载 OpenVINO 模型
core = ov.Core()
model = core.read_model(model_path)
compiled_model = core.compile_model(model, device)
# 2. 获取输入和输出节点
input_layer = compiled_model.input(0)
output_layer = compiled_model.output(0)
# 3. 获取输入形状
input_shape = input_layer.shape
# 4. 创建推理请求
infer_requests = [compiled_model.create_infer_request() for _ in range(2)] # 使用两个推理请求实现异步
# 5. 准备图像数据
images = []
for image_path in image_paths:
image = cv2.imread(image_path)
resized_image = cv2.resize(image, (input_shape[3], input_shape[2])) # 注意：形状是 NHWC 格式
input_data = np.expand_dims(resized_image.transpose(2, 0, 1), 0) # 转换为 NCHW 格式
images.append(input_data)
# 6. 异步推理
results = []
for i in range(len(images)):
current_request_id = i % 2 # 在两个请求之间循环使用
infer_request = infer_requests[current_request_id]
infer_request.infer({input_layer: images[i]}) # 直接使用 infer() 方法进行推理
results.append(infer_request.get_output_tensor(output_layer).data)
return results注意事项：
- 图像格式： 确保图像格式与模型的输入格式匹配。
- 输入形状： 确保图像的尺寸与模型的输入形状匹配。
- 异步请求数量： 异步请求的数量会影响性能。 通常，使用两个或三个异步请求可以获得较好的性能。您可以根据您的硬件和模型进行调整。
- 错误处理： 在实际应用中，需要添加错误处理机制，例如处理图像读取失败或推理失败的情况。
- 设备选择： 根据您的硬件配置选择合适的推理设备。
总结
通过利用 OpenVINO 提供的图像分类异步示例，您可以轻松地实现图像列表的异步推理。 这种方法可以显著提高推理吞吐量，尤其是在处理大量图像数据时。 记住，根据您的具体应用场景，您可能需要修改示例代码以适应您的数据获取、预处理和结果处理流程。 通过合理配置异步请求的数量和选择合适的推理设备，您可以充分利用 OpenVINO 的异步推理 API，实现高性能的图像处理应用。
