CN113591936B

CN113591936B - 一种车辆姿态估计方法、终端设备及存储介质

Info

Publication number: CN113591936B
Application number: CN202110779118.9A
Authority: CN
Inventors: 陈德意; 吴婷婷; 赵建强; 高志鹏; 张辉极; 杜新胜; 李国庆
Original assignee: Xiamen Meiya Pico Information Co Ltd
Current assignee: Xiamen Meiya Pico Information Co Ltd
Priority date: 2021-07-09
Filing date: 2021-07-09
Publication date: 2022-09-09
Anticipated expiration: 2041-07-09
Also published as: CN113591936A

Abstract

本发明涉及一种车辆姿态估计方法、终端设备及存储介质，该方法中包括：S1：采集包含车辆的图像，并对图像中车辆对应的姿态和车辆目标的边界框进行标注，将标注后的图像组成训练集；S2：构建基于YOLOv2网络的车辆姿态估计模型，通过训练集对车辆姿态估计模型进行训练；S3：通过训练后的车辆姿态估计模型对车辆姿态和车辆目标进行估计。本发明可以和智能交通***的检测任务融合为一个主干网络，具有较好的泛化性，不需要额外设计负责车辆姿态估计的网络结构，只需要修改检测器的输入和输出就能实现这种车辆姿态估计，在现实场景中具有较强的应用，且减少了硬件设施的消耗。

Description

一种车辆姿态估计方法、终端设备及存储介质

技术领域

本发明涉及车辆检测领域，尤其涉及一种车辆姿态估计方法、终端设备及存储介质。

背景技术

随着目前智能交通***的发展，车辆数量激增，车牌识别、车型检测等都成为智能交通***的主要组成部分，基于单目摄像机的标检测算法在车辆检测器中的应用取得了很大进展。然而，目前的车辆检测***仍然存在局限性，比如只能检测和识别车辆，而不能识别车辆的特定姿态。目前使用最广泛的Pascal visual object classes(VOC)和Cityscapes数据库不提供车辆姿态的标注数据。车辆本身的姿态信息可以帮助获取到车辆的具体朝向和车牌的位置，能够更好的识别出车牌和进行车型分类，使智能交通***能够更准确识别出车辆的品牌型号、车牌号，从而极大的方便交通监管。

发明内容

为了解决上述问题，本发明提出了一种车辆姿态估计方法、终端设备及存储介质。

具体方案如下：

一种车辆姿态估计方法，包括以下步骤：

S1：采集包含车辆的图像，并对图像中车辆对应的姿态和车辆目标的边界框进行标注，将标注后的图像组成训练集；

S2：构建基于YOLOv2网络的车辆姿态估计模型，通过训练集对车辆姿态估计模型进行训练；

车辆姿态估计模型通过多层卷积、leaky ReLU非线性激活、最大池化和批处理归一化从输入图像中提取多维特征图；输入图像被划分为w₀×h₀的网格，其中w₀和h₀分别表示图像为划分的网格中的列数和行数；多维特征图的维数为w₀×h₀×(n_c+n_p)×N，其中，n_c表示需要预测的姿态数，n_p表示将锚盒转换为边界框的参数个数，N表示分配给每个网格的锚框数量；

多维特征图的内容包括需要预测的姿态的概率和边界框的参数，根据边界框的参数和锚框的参数得到车辆目标的边界框；

S3：通过训练后的车辆姿态估计模型对车辆姿态和车辆目标进行估计。

进一步的，YOLOv2网络中输入层的分辨率设定为768×384或1024×512。

进一步的，姿态包括朝前、朝后、朝左和朝右。

进一步的，根据边界框的参数和锚框的参数得到车辆目标的边界框的方法为：

b_x＝A_x+Δ_x(I,ω)

b_y＝A_y+Δ_y(I,ω)

b_ω＝σ_ω(I,ω)A_ω

b_h＝σ_h(I,ω)A_h

其中，b_x和b_y分别表示边界框的左上角的x轴和y轴坐标，b_ω和b_h分别表示边界框的宽度和高度，A_x,和A_y分别表示锚框的左上角的x轴和y轴坐标，A_ω和A_h分别表示锚框的宽度和高度，Δ_x(I,ω)、Δ_y(I,ω)、σ_w(I,ω)和σ_h(I,ω)均为边界框的参数，分别表示x轴偏移量、y轴偏移量、宽度缩放因子和高度缩放因子，I表示输入图像，ω表示网络的权重系数。

一种车辆姿态估计终端设备，包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例上述的方法的步骤。

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例上述的方法的步骤。

本发明采用如上技术方案，可以和智能交通***的检测任务融合为一个主干网络，具有较好的泛化性，不需要额外设计负责车辆姿态估计的网络结构，只需要修改检测器的输入和输出就能实现这种车辆姿态估计，在现实场景中具有较强的应用，且减少了硬件设施的消耗。

附图说明

图1所示为本发明实施例一的流程图。

具体实施方式

为进一步说明各实施例，本发明提供有附图。这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理。配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点。

现结合附图和具体实施方式对本发明进一步说明。

实施例一：

本发明实施例提供了一种车辆姿态估计方法，如图1所示，所述方法包括以下步骤：

S1：采集包含车辆的图像，并对图像中车辆对应的姿态和车辆目标的边界框进行标注，将标注后的图像组成训练集。

S2：构建基于YOLOv2网络的车辆姿态估计模型，通过训练集对车辆姿态估计模型进行训练。

由于不同分辨率下的图像经过模型后输出的特征图的信息量不同，因此为了获得更大且信息详细的特征图，该实施例中将YOLOv2网络中输入层的分辨率设定为768×384和1024×512两种，对应构建两种车辆姿态估计模型。

车辆姿态估计模型通过多层卷积、leaky ReLU非线性激活、最大池化和批处理归一化从输入图像中提取多维特征图。

输入图像被划分为w₀×h₀的网格，其中w₀和h₀分别表示图像为划分的网格中的列数和行数，如针对1024×512分辨率的输入图像，设定w₀＝32、h₀＝16。

多维特征图的维数为w₀×h₀×(n_c+n_p)×N，其中，n_c表示需要预测的姿态数，n_p表示将锚盒(Anchor)转换为边界框(bounding box)的参数个数，N表示分配给每个网格的锚框数量。

车辆姿态估计模型输出的多维特征图中包含需要预测的姿态的概率P_k(I,ω)和边界框的参数Δ_x(I,ω),Δ_y(I,ω),σ_w(I,ω),σ_h(I,ω)，根据边界框的参数和锚框的参数得到车辆目标的边界框：

b_x＝A_x+Δ_x(I,ω)

b_y＝A_y+Δ_y(I,ω)

b_ω＝σ_ω(I,ω)A_ω

b_h＝σ_h(I,ω)A_h

车辆姿态估计模型的损失函数loss为：

其中，Num表示使用的锚框数量；

表示第i个网格和第j个锚盒中负责预测对象边界盒的对象；x_i和y_i分别表示真实边界框的中心的x轴和y轴坐标；w_i和w_i分别表示真实边界框的宽度和高度，

和

分别表示第j个锚框预测的中心的x轴和y轴坐标；

和

分别表示第j个锚框预测的宽度和高度；c_i表示真实标签类向量，

表示第j个锚框预测的类向量，λ_coor、λ_obj、λ_noobj均为损失函数中的权重超参数，即边界框坐标预测误差、物体姿态预测误差、背景预测误差，在训练期间，分别设为1、5、1。

实验结果

由于现实场景监控获取的图片分辨率都较大，因此该实施例中验证了两种分辨率的输入图像(768*384和1024*512)对性能和速度的影响，如表1所示。

表1

模型

mAP

朝前

朝后

朝左

朝右

FPS

YOLOv2

28.75％

46.41％

42.89％

13.63％

11.86％

50

768×384

31.08％

47.49％

45.15％

15.85％

15.82％

45

1024×512

39.46％

60.65％

56.30％

22.22％

18.65％

29

由表1中的实验结果可得，当采用大分辨图像时，其推理时间仍然满足实时性要求。与此同时，可以发现随着输入图像分辨率的增加，其检测器性能也有一定程度的提升，1024×512网络模型的mAP比默认的YOLOv2网络模型提升了10.71％，比输入图像大小的768×384网络模型提升了8.38％。

本发明实施例提出一种能嵌入现有检测任务框架中的车辆姿态估计方法，在不增加模型的参数基础上，可以实现实时对车辆的姿态进行估计。通过获取车辆的姿态，可以来调整车辆的姿态，可以来辅助车牌识别和车辆识别。本实施例以YOLOv2网络为基础，通过对网络结构进行轻微的修改，以更好地适应智能监控场景下密集车辆的姿态识别任务。实验验证，本实施例可以满足实时进行车辆姿态估计，其速度达到29FPS，mAP可以达到39.46％，这对于车辆姿态估计的矫正具有较好的现实意义。与此同时，本实施例使用各类检测器(one-stage或者two-stage)，可以直接嵌入检测任务中，并不会额外增加模型参数，具有很好的通用性。

实施例二：

本发明还提供一种车辆姿态估计终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例一的上述方法实施例中的步骤。

进一步地，作为一个可执行方案，所述车辆姿态估计终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述车辆姿态估计终端设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，上述车辆姿态估计终端设备的组成结构仅仅是车辆姿态估计终端设备的示例，并不构成对车辆姿态估计终端设备的限定，可以包括比上述更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述车辆姿态估计终端设备还可以包括输入输出设备、网络接入设备、总线等，本发明实施例对此不做限定。

进一步地，作为一个可执行方案，所称处理器可以是中央处理单元(CentralProcessing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述车辆姿态估计终端设备的控制中心，利用各种接口和线路连接整个车辆姿态估计终端设备的各个部分。

所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述车辆姿态估计终端设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序；存储数据区可存储根据手机的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例上述方法的步骤。

所述车辆姿态估计终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)以及软件分发介质等。

尽管结合优选实施方案具体展示和介绍了本发明，但所属领域的技术人员应该明白，在不脱离所附权利要求书所限定的本发明的精神和范围内，在形式上和细节上可以对本发明做出各种变化，均为本发明的保护范围。

Claims

1.一种车辆姿态估计方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的车辆姿态估计方法，其特征在于：YOLOv2网络中输入层的分辨率设定为768×384或1024×512。

3.根据权利要求1所述的车辆姿态估计方法，其特征在于：姿态包括朝前、朝后、朝左和朝右。

4.根据权利要求1所述的车辆姿态估计方法，其特征在于：根据边界框的参数和锚框的参数得到车辆目标的边界框的方法为：

b_x＝A_x+Δ_x(I,ω)

b_y＝A_y+Δ_y(I,ω)

b_ω＝σ_ω(I,ω)A_ω

b_h＝σ_h(I,ω)A_h

5.一种车辆姿态估计终端设备，其特征在于：包括处理器、存储器以及存储在所述存储器中并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1～4中任一所述方法的步骤。

6.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1～4中任一所述方法的步骤。