CN112801027A - 基于事件相机的车辆目标检测方法 - Google Patents

Abstract

本发明公开了基于事件相机的车辆目标检测方法，基于事件相机，利用深度学习技术研究了一种极端场景下的车辆目标检测方法。事件相机可以异步生成帧和事件数据，对克服运动模糊和极端光照条件有很大帮助。首先将事件转为事件图像，然后将帧图像和事件图像同时送入融合卷积神经网络，增加对事件图像进行特征提取的卷积层；同时在网络的中间层通过融合模块将二者的特征进行融合；最后重新设计损失函数提高了车辆目标检测的有效性。本发明的方法可以弥补在极端场景下仅使用帧图像进行目标检测的不足，在使用帧图像的基础上在融合卷积神经网络中融合事件图像，增强了在极端场景中车辆目标检测的效果。

Description

基于事件相机的车辆目标检测方法

技术领域

本发明基于事件相机，利用深度学习技术研究了一种极端场景下的车辆目标检测方法，属于计算机视觉领域，具体涉及深度学习，目标检测等技术。

背景技术

随着汽车工业的快速发展，自动驾驶汽车技术近年来受到了学术界和工业界的广泛关注。车辆目标检测是自动驾驶车辆技术中的一项具有挑战性的任务。它是自动驾驶汽车技术和智能交通***领域的重要应用。它在自动驾驶技术中发挥着关键作用。车辆目标检测的目的是准确定位周围环境中剩余车辆的位置，避免与其他车辆发生事故.

目前大量的目标检测研究使用深度神经网络来增强目标检测***。这些研究基本上使用被称为主动像素传感器(APS)的帧基相机。因此，许多被探测到的目标是静止的或缓慢移动的，照明条件也是合适的。在实践中，车辆会遇到各种复杂和极端的场景。在极端光照和运动模糊的情况下，传统的帧基相机所呈现出来的图像会出现过曝和模糊的情况，这会给目标检测提出了巨大的挑战。

动态视觉传感器(DVS)具有高动态范围和低延迟的关键特征。这些特性使它们能够比标准相机更快地捕捉环境信息并生成图像。同时，它们不会受到运动模糊的影响，这对于在极端情况下的帧相机很有帮助。此外，由于其低延迟和短响应时间，可以使自动驾驶车辆更加敏感。动态和主动像素传感器(DAVIS)可以通过APS和DVS通道分别输出规则灰度帧和异步事件。规则灰度帧可以提供目标检测的主要信息，异步事件可以提供快速运动和光照变化的信息。受此启发，可以通过合并两种数据来提高目标的检测性能。

近年来，深度学习算法取得了巨大成功，在图像分类和目标检测中得到了广泛应用。深度神经网络具有优秀的特征提取能力和较强的学习能力，能够在目标识别任务中识别目标类别并定位目标位置。基于边界回归的卷积神经网络(CNN)可以直接从输入图像中回归得到目标的位置和类别，而不需要搜索候选区域。但是这要求送入CNN中的图像中需要判别的物体是清晰的，而在极端场景中生成的图像的物体可能是模糊不清的。所以如果仅仅使用CNN对极端场景下生成的帧图像进行目标检测时不能满足需求的。

本文提出了一种基于CNN的车辆检测方法，该方法融合了DAVIS相机输出的帧和事件两种数据。先将事件数据重建为图像，将帧图像和事件图像同时送入卷积神经网络，在网络中间层将事件图像提取到的特征和帧图像提取到的特征通过融合模块进行融合。在最后检测层，重新设计网络的损失函数，增加对DVS特征的损失项。实验使用的数据集采用自建的车辆目标检测数据集(Dataset of APS and DVS，DAD)。对不同的输入方式进行比较，结果表明，在不同的环境条件下，车辆检测结果有明显的提高。同时，与使用单张图像输入的网络和两种数据同时输入的网络等不同的方法相比，本文提出的方法具有明显的效果。

发明内容

本发明利用深度学习技术，提出了基于事件相机的车辆目标检测方法。由于在快速移动和极端亮度场景下普通相机会产生运动模糊、过曝或者过暗的情况，所以使用事件相机生成的时间数据来增强检测效果。事件相机可以针对亮度的变化异步输出事件，这些事件包括像素的坐标、亮度的极性和时间戳，所以首先将事件转为图像。这是因为目前基于图像的目标检测技术已经很成熟，通过图像的检测技术实现对事件的检测。然后将帧图像(APS)和事件图像(DVS)同时送入融合卷积网络的框架(ADF)中进行卷积操作，在网络框架中进行特征提取的同时进行特征的融合。这样可以保证在提取各自图像的特征的同时，也使得最后提取到的特征具有两者的有效的特征信息。最后通过修改模型的损失函数，在只对APS进行损失项的基础上，也增加了对DVS的损失项。本方法的整体框架图如附图1所示，可以分为以下四个步骤：事件数据转为事件图像，融合卷积神经网络的整体框架提取特征，通过融合模块特征融合，将提取到的特征通过检测层进行目标检测。

(1)事件数据转为事件图像

考虑到目前对图像进行目标检测算法相对成熟，所以将DVS通道的事件数据转为图像后与APS图像同时送入网络中进行目标检测。事件数据总共为5部分，像素的横坐标x，像素的纵坐标y，亮度极性增加+1，亮度极性减少-1和时间戳。根据像素的坐标和极性的变化，在累计时间内将事件数据转为和帧图像相同大小的事件图像。

(2)特征提取整体框架

本发明用darknet-53作为基础框架，只对APS图像进行卷积操作操作的基础上增加对DVS图像提取特征的卷积层。因为DVS通道的数据是稀疏的，在不同的分辨率下用更少的卷积层来提取特征。借鉴Darknet-53，DVS通道仍然采用连续的3×3和1×1的卷积层。具体的卷积层数如表1所示。

(3)融合模块

在网络结构中，参考ResNet设计融合模块。融合模块在不同的分辨率下提取DVS主要特征之后与相同尺寸的APS的特征进行融合，以引导网络同时学习到APS和DVS更多的细节特征。融合模块如图2所示。

(4)将提取到的特征通过检测层进行目标检测

在检测层修改网络的损失函数，对APS特征进行的损失函数是采用交叉熵损失函数，其中包括对坐标、类别和置信度的损失。在此基础上同样采用交叉熵的损失函数对DVS特征进行损失计算。最后将APS的检测结果和DVS的检测结果合并。对于APS或DVS单独出现的结果仍可能是正确的结果。仅取二者的交集，会丢失许多正确的检测结果。将二者的结果取并集，可以降低误差，提高正确率。

本发明与现有技术相比，具有以下明显的优势和有益效果：

本发明基于事件相机生成的APS图像和DVS数据，采用卷积神经网络技术，对极端场景中的车辆进行目标检测。首先相比于只使用传统的APS图像，将事件数据转为事件图像，利用成熟的深度学习对图像进行识别。然后在卷积神经网络中增加融合模块，将两部分信息进行特征层面的融合。最后通过重新修改损失函数，提高了图像中存在目标模糊、光照不适等问题时网络进行目标识别的能力，在极端场景中取得很好的效果。

附图说明

图1网络结构整体框架图；

图2融合模块示意图；

图3实验效果图；

具体实施方式

根据上述描述，以下是一个具体的实施流程，但本专利所保护的范围并不限于该实施流程。

步骤1：事件数据转为事件图像

基于事件的生成机制，有三种重构的方法将事件转为帧。它们分别是固定事件数法、泄漏积分器法和固定时间间隔法。在本项发明中，的目的是能够检测出快速运动的物体。所以采用固定时间间隔法，将事件重构设置为10ms的固定帧长。在每个时间间隔内，根据事件生成的像素位置，在有极性生成的对应像素点，极性增加的事件被绘制成白色像素，极性减少的事件被绘制成黑色像素，图像的背景颜色为灰色。最后生成与APS图像相同大小的事件图像。

步骤2：经过网络整体框架进行特征提取

将APS图像和DVS图像同时输入网络框架中，通过各自的3×3和1×1的卷积层提取特征，不同的是各自提取特征的卷积层层数不同，DVS的要比APS的少。的网络在对输入的APS图像进行预测的同时，也对DVS图像进行了预测。APS图像和DVS图像都被划分为S×S的网格，每个网格预测B个边界框，共预测C类。每个bbox被引入高斯模型，共预测8个坐标值，μ_x，ε_x，μ_y，ε_y，μ_w，ε_w，μ_h,ε_h。此外还要预测一个置信度得分p。所以在网络的最后输入检测层的是2×S×S×B×(C+9)的张量。APS通道的三个尺寸的张量和DVS通道的三个相同尺寸的张量分别被送入检测层。

步骤3：融合模块

将APS和DVS经过各自的卷积层之后分别得到特征F_aps和F_dvs送入融合模型，先将F_aps和F_dvs经过一个给定的变换操作Tc:F→U,F∈R,U∈R^M×N×C,U＝[u₁,u₂,…,u_C]，得到变换特征U_aps和U_dvs，其中u_c是在C通道中第c个通道的大小为M×N的特征矩阵。简单来说，将Tc操作作为一个卷积操作；

得到变换特征U_dvs之后，我们考虑特征中所有通道的全局信息，将这个全局信息压缩到一个通道中得到聚集信息z_c。通过全局平均池化操作Tst(U_dvs)来完成，形式上表示为：

其中，u_c(i,j)为特征矩阵中第(i,j)个值。为了利用在压缩操作中的聚集信息z_c，进行激励操作，融合各个通道的卷积特征信息，获取通道上的依赖关系s，即：

s＝Tex(z,E)＝δ(E₂σ(E₁z))#(2)

其中，σ表示ReLU激活函数，δ表示sigmoid激活函数，E₁和E₂为两个权重。使用两个全连接层来实现这一操作；

通过Tscale操作使用s激活转换U_aps的缩放，获得特征块U′：

U′＝Tscale(U_aps,s)＝U_aps·s#(3)

最终将DVS的特征块与APS的特征进行融合，得到最终的融合特征F_aps′：

具体实现中采用拼接操作。

步骤4：将提取到的特征通过检测层进行目标检测

和APS部分相同，在检测层增加DVS检测结果，对DVS检测到的对象和类进行二元交叉熵损失，坐标框的负对数似然损失函数(NLL)如下：

其中

为DVS的x坐标的NLL损失。W和H分别为每个宽度和高度的网格数，K为先验框数。在(i,j)网格第k个先验框检测层的输出是:

和

表示x的坐标，

表示x坐标的不确定性。

是x坐标的Ground Truth，它是根据在GaussianYOLOv3中调整后的图像的宽度和高度以及第k个先验框先验来计算的。ξ是10-9的固定值。

与x坐标相同，表示其余坐标y、w、h的损失。

ω_scale＝2-w^G×h^G#(7)

ω_scale在训练过程中根据对象大小(w^G,h^G)提供不同的权重。(6)中的

是仅在先验框中存在最适合当前对象的锚点时才应用于损失中的参数。此参数的值为1或0，这由GroundTruth与(i,j)个网格中第k个先验框的交集相交(IOU)确定。

C_ijk的值取决于网格单元的边界框是否适合预测对象。如果合适，则C_ijk＝1；否则，C_ijk＝0。τ_noobj指示网格的第k个先验框不适合目标。

代表正确的类别。

指示网格的第k个先验框不负责预测目标。

类别损失如下：

P_ij表示当前检测到的目标是正确目标的概率。

DVS部分的损失函数为：

其中L_DVS表示DVS通道坐标值损失、类别损失和置信度损失之和。

L_APS和L_DVS形式上保持一致。所以整个网络的损失函数为：

L＝L_APS+L_DVS#(11)

通过增加DVS通道的损失函数使得模型检测极端环境的数据具有更强的鲁棒性，提高算法的精度。

为了验证本发明提出方案的有效性，首先在自定义的数据集上进行实验。对仅输入APS图像、仅输入DVS图像、输入APS和DVS像素的叠加图像和同时输入两种图像等不同方法进行对比实验，实验结果如表2所示。此外，不同输入方式的效果如图3所示。图中的每一列对应一种输入方式。每一种方法都选择了四种场景(快速移动、光照过强、光照过暗和正常场景)。在物体快速运动的场景中，输入DVS图像可以检测到快速运动的车辆，但不能检测到相对静止的车辆。相对的输入APS图像能检测相对静止的车辆，而不能检测快速移动的车辆。输入APS和DVS像素叠加之后的图像的效果跟仅输入APS图像的效果相当。而通过同时输入两张图像后，无论快速移动或者静止的车辆能取得不错的检测效果。在光照过强或过暗的情况下，无论是输入APS图像还是APS和DVS像素的叠加图像都没有很好的检测效果。相比较而言，同时输入APS图像和DVS图像可以很好的融合两部分特征，通过DVS弥补APS的不足。在正常场景中DVS图像检测效果是最差的，这是因为图像中只有亮度变化的能产生信息，而没有亮度变化的区域相当于背景而不能被识别。总体而言，在使用ADF网络的同时输入两种图像在网络中融合的方法明显优于其他方法。

同时，还选择几种最先进的单输入网络与的方法进行比较，如表3所示。单张图像输入的网络比较结果均在自定义数据集上比较。从表中可以看出，本发明的模型仅输入单张图像的情况下，网络性能并没有其他网络的效果好，这是因为网络本身就是为了实现双输入而设计的网络。所以当模型同时输入帧和事件后，实验结果有所提升，这也证明了利用事件数据可以提高识别的效果。

除此之外，本发明在PKU-DDD17-CAR数据集上与输入两种数据的JDF网络进行比较，结果如表4所示。将数据集中事件数据转为图像之后送入ADF网络。分别比较了在只输入帧图像和同时输入帧图像和事件数据的结果。虽然的网络在只输入帧图像的情况下比JDF网络差，但是在同时输入两种数据的情况下的网络是比JDF网络效果要好。

表1网络框架中卷积层数

表2自定义数据集上的实验结果

表3与单图像输入网络的比较结果

表4与两种数据输入不同网络的比较结果

Claims (5)

1.基于事件相机的车辆目标检测方法，其特征在于：基于事件相机生成的APS图像和DVS数据，采用卷积神经网络技术，对极端场景中的车辆进行目标检测，将事件数据转为事件图像；根据像素的坐标和极性的变化，在累计时间内将事件数据转为和帧图像相同大小的事件图像；利用成熟的卷积神经网络，在darknet-53框架基础上，只对APS图像进行卷积操作操作的基础上增加对DVS图像提取特征的卷积层，DVS通道仍然采用连续的3×3和1×1的卷积层；然后在卷积神经网络中增加融合模块，在不同分辨率下提取DVS特征之后对相同尺寸的APS的特征进行加权，以引导网络同时学习到APS和DVS更多的细节特征；在检测层修改网络的损失函数，对APS特征进行的损失函数是采用交叉熵损失函数，其中包括对坐标、类别和置信度的损失；交叉熵的损失函数对DVS特征进行损失计算。

2.根据权利要求1所述的基于事件相机的车辆目标检测方法，其特征在于，将事件转为图像采用固定时间间隔法；为了以每秒100帧的速度FPS实现检测，帧重建设置为10ms的固定帧长；在每个时间间隔内，根据事件生成的像素位置，在有极性生成的对应像素点，极性增加的事件被绘制成白色像素，极性减少的事件被绘制成黑色像素，图像的背景颜色为灰色；最后生成与APS图像相同大小的事件图像。

3.根据权利要求1所述的基于事件相机的车辆目标检测方法，其特征在于，增加对DVS图像提取特征的连续的3×3和1×1的卷积层；将APS图像和DVS图像同时输入网络框架中，通过各自的3×3和1×1的卷积层提取特征，不同的是各自提取特征的卷积层层数不同，DVS的要比APS的少；网络在对输入的APS图像进行预测的同时，也对DVS图像进行了预测；APS图像和DVS图像都被划分为S×S的网格，每个网格预测B个边界框，共预测C类；每个bbox被引入高斯模型，共预测8个坐标值，μ_x，ε_x，μ_y，ε_y，μ_w，ε_w，μ_h，ε_h；此外还要预测一个置信度得分p；所以在网络的最后输入检测层的是2×S×S×B×(C+9)的张量；APS通道的三个尺寸的张量和DVS通道的三个相同尺寸的张量分别被送入检测层。

4.根据权利要求1所述的基于事件相机的车辆目标检测方法，其特征在于，融合模块中将两部分特征进行有效的融合；将APS和DVS经过各自的卷积层之后分别得到特征F_aps和F_dvs送入融合模型，先将F_aps和F_dvs经过一个给定的变换操作Tc：F→U，F∈R，U∈R^M×N×C，U＝[u₁，u₂，...，u_C]，得到变换特征U_aps和U_dvs，其中u_c是在C通道中第c个通道的大小为M×N的特征矩阵；简单来说，将Tc操作作为一个卷积操作；

得到变换特征U_dvs之后，我们考虑特征中所有通道的全局信息，将这个全局信息压缩到一个通道中得到聚集信息z_c；通过全局平均池化操作Tsq(U_dvs)来完成，形式上表示为：

其中，u_c(i，j)为特征矩阵中第(i，j)个值；为了利用在压缩操作中的聚集信息z_c，进行激励操作，融合各个通道的卷积特征信息，获取通道上的依赖关系s，即：

s＝Tex(z，E)＝δ(E₂σ(E₁z))#(2)

其中，σ表示ReLU激活函数，δ表示sigmoid激活函数；E₁和E₂为两个权重；使用两个全连接层来实现这一操作；

通过Tscale操作使用s激活转换U_aps的缩放，获得特征块U′：

U′＝Tscale(U_aps，s)＝U_aps·s#(3)

最终将DVS的特征块与APS的特征进行融合，得到最终的融合特征F_aps′：

具体实现中采用拼接操作。

5.根据权利要求1所述的基于事件相机的车辆目标检测方法，其特征在于，在检测层增加对DVS特征的损失项；和APS部分相同，在检测层增加DVS检测结果，对DVS检测到的对象和类进行二元交叉熵损失，坐标框的负对数似然损失函数(NLL)如下：

其中

为DVS的x坐标的NLL损失；W和片分别为每个宽度和高度的网格数，K为先验框数；在(i，j)网格第k个先验框检测层的输出是：

和

表示x的坐标，

表示x坐标的不确定性；

是x坐标的Ground Truth，它是根据在GaussianYOLOv3中调整后的图像的宽度和高度以及第k个先验框先验来计算的；ξ是10-9的固定值；

与x坐标相同，表示其余坐标y、w、h的损失；

ω_scale＝2-w^G×h^G#(7)

ω_scale在训练过程中根据对象大小(w^G，h^G)提供不同的权重；(7)中的

是仅在先验框中存在最适合当前对象的锚点时才应用于损失中的参数；此参数的值为1或0，这由GroundTruth与(i，j)个网格中第k个先验框的交集相交(IOU)确定；

C_ijk的值取决于网格单元的边界框是否适合预测对象；如果合适，则C_ijk＝1；否则，C_ijk＝0；τ_noobj指示网格的第k个先验框不适合目标；

代表正确的类别；

指示网格的第k个先验框不负责预测目标；

类别损失如下：

P_ij表示当前检测到的目标是正确目标的概率；

DVS部分的损失函数为：

其中L_DVS表示DVS通道坐标值损失、类别损失和置信度损失之和；

L_APS和L_DVS形式上保持一致；所以整个网络的损失函数为：

L＝L_APS+L_DVS#(11) 。

Images