CN109800712B - 一种基于深度卷积神经网络的车辆检测计数方法及设备 - Google Patents

Abstract

本发明公开了一种基于深度卷积神经网络的车辆检测计数方法及设备，该方法包括：通过预先构建的基本网络提取待检测图像的底层特征；采用基于期望损失的锚点生成方法选取锚点窗口，在特征谱的每个位置产生锚点窗口大小的多个待检测窗口；对每个待检测窗口进行特征提取，输出特征谱；预测每个待检测窗口的目标打分、位置偏移和数量，输出待检测图像上车辆的位置和数量。本发明能够高效准确地检测出视频中的车辆数量，并以窗口的形式显示出其位置，且能够将航拍图像车辆检测的精度提升9个百分点的平均准确率，同时能够更大程度地减少数量的误差。

Description

一种基于深度卷积神经网络的车辆检测计数方法及设备

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于深度卷积神经网络的车辆检测计数方法及设备。

背景技术

近年来，工业界普遍认为航拍无人机技术是工业4.0必不可少组成部分。由于其具有机动性和快速性的特点，实现无人机航拍图像的车辆自动检测与计数无疑是人工智能***中的一项重要技术。航拍图像的车辆检测和计数技术可以广泛应用于犯罪追踪、异常检测、场景理解、停车场管理等实际场景中。然而，该技术当前面临着许多挑战。例如，不同于自然场景，航拍图像中的目标具有三个显著的特点：高度密集数量巨大、分布不均场景复杂、尺度变化大。目前，很多优秀的通用目标检测方法相继提出，这些方法在自然场景的车辆检测与计数任务中均取得了较好的性能，例如Faster-rcnn,Yolo,SSD。然而，在自然场景中，往往一幅图像中只有少量的几个目标，由于航拍图像与自然图像具有较大的差异性，这些方法直接应用于航拍图像的检测任务，往往会造成许多漏检和错检，不能够满足实际应用的需求。

现有的模型主要有两方面的缺陷：1)经验性地设定锚点框的大小，不能很好地匹配目标的尺度；2)特征提取层丢失许多重要的细节。

发明内容

本发明所要解决的技术问题是：针对现有技术存在的问题，本发明针对图像中的车辆检测与计数问题，提出一种基于深度卷积神经网络的车辆检测计数方法及设备，尤其适用于航拍图像中车辆的检测与计数，提升该任务的性能。在这种复杂场景下，车辆具有高度密集、分布不均、尺度变化大的特点。针对这些特点，本发明主要解决三个方面的问题：1)解决经验性设定锚点不匹配的问题；2)解决特征提取层丢失重要细节的问题；3)解决如何同时处理车辆检测与计数任务。具体地，解决问题1的前提，我们需要分析标注的目标车辆的尺度特点，然后从中选取最合适的锚点。对于问题2，我们需要定性、定量地构建具有代表性的特征，包含丰富的细节。对于问题3，如何统筹检测和计数，让二者相互补充将成为关键。

本发明提供的一种基于深度卷积神经网络的车辆检测计数方法，包括以下步骤：

通过预先构建的基础网络提取待检测图像的底层特征；

采用基于期望损失的锚点生成方法选取锚点窗口，在特征谱的每个位置产生锚点窗口大小的多个待检测窗口；

对每个待检测窗口进行特征提取，输出特征谱；

预测每个待检测窗口的目标打分、位置偏移和数量，输出待检测图像上车辆的位置和数量。

进一步，所述预先构建的基础网络为三个残差模块堆叠而成的神经网络。

进一步，基于期望损失的锚点生成方法选取锚点窗口包括：计算衡量锚点窗口和标注的车辆窗口之间的匹配程度的损失

将L_match最小值对应的锚点窗口选取为最终的锚点窗口，式中，n表示所有标注的车辆窗口个数，K为锚点窗口的个数，S_k表示与锚点窗口A_k最匹配的标注车辆窗口。

进一步，对每个待检测窗口进行特征提取包括：在基本网络输出的特征谱F后，经过一个卷积层，再经过一个上采样层，输出一个大小和特征谱F一样的特征谱F’，最后形成一种反馈回路，将F与F’串联的特征作为融合后的特征。

进一步，预测每个待检测窗口的目标数量包括：利用预先构建的损失函数L＝L_conf+L_loc+L_count对网络参数进行训练，其中，L_conf表示分类损失，L_loc表示定位损失，L_count表示计数损失，且L_count＝|w_cf_c-T_gt|，f_c表示用于计数分支的特征，w_c表示训练的参数，T_gt表示训练样本中车辆的数量；对特征谱做平均池化操作，利用卷积滤波器输出车辆数量。

本发明另一方面提供的一种基于深度卷积神经网络的车辆检测计数设备，包括：

底层特征提取装置，用于通过预先构建的基础网络提取待检测图像的底层特征；

锚点生成器，用于采用基于期望损失的锚点生成方法选取锚点窗口，在特征谱的每个位置产生锚点窗口大小的多个待检测窗口；

特征提取装置，用于对每个待检测窗口进行特征提取，输出特征谱；

检测装置，用于预测每个待检测窗口的目标打分、位置偏移和数量，输出待检测图像上车辆的位置和数量。

进一步，锚点生成器基于期望损失的锚点生成方法选取锚点窗口的方法包括：计算衡量锚点窗口和标注的车辆窗口之间的匹配程度的损失

将L_match最小值对应的锚点窗口选取为最终的锚点窗口，式中，n表示所有标注的车辆窗口个数，K为锚点窗口的个数，S_k表示与锚点窗口A_k最匹配的标注车辆窗口。

进一步，特征提取装置对每个待检测窗口进行特征提取的方法包括：在基本网络输出的特征谱F后，经过一个卷积层，再经过一个上采样层，输出一个大小和特征谱F一样的特征谱F’，最后形成一种反馈回路，将F与F’串联的特征作为融合后的特征。

进一步，检测装置预测每个待检测窗口的目标数量的方法包括：利用预先构建的损失函数L＝L_conf+L_loc+L_count对网络参数进行训练，其中，L_conf表示分类损失，L_loc表示定位损失，L_count表示计数损失，且L_count＝|w_cf_c-T_gt|，f_c表示用于计数分支的特征，w_c表示训练的参数，T_gt表示训练样本中车辆的数量；对特征谱做平均池化操作，利用卷积滤波器输出车辆数量。

本发明另一方面提供的一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的方法的步骤。

给定一段包含车辆的航拍视频，本发明能够高效准确地检测出视频中的车辆数量，并以窗口的形式显示出其位置。本发明采用检测公认的评估测度平均准确率验证所提出的方案的有效性。本发明能够将航拍图像车辆检测的精度提升9个百分点的平均准确率，同时能够更大程度地减少数量的误差。

附图说明

本发明将通过例子并参照附图的方式说明，其中：

图1为本发明实施例的车辆检测计数方法流程图；

图2为本发明实施例的深度卷积神经网络框图；

图3为本发明实施例的卷积网络结构示例；

图4(a)和4(b)分别为现有方法和本发明实施例生成的锚点窗口效果示意图；

图5为本发明实施例的特征提取策略示意图。

具体实施方式

本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。

本说明书中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。

如图1所示，本发明的车辆检测计数方法包括以下基本步骤：

S1、输入一幅图像或视频帧；

S2、将输入图像(即待检测图像)输入到基本网络模块，提取输入图像的底层特征；

S3、然后输入到特征提取模块，对每个待检测窗口提取特征；

S4、紧接着，利用检测模块，对每个待检测窗口进行检测和计数，输出结果。

以上所述，每个模块的详细过程如图2所示，只要以图2中相同手段达到本发明的技术效果，都属于本发明的保护范围。

如图2所示，输入一幅图像或视频帧，输出其中的车辆的位置窗口和数量，位置窗口用置信打分和窗口回归表示。所提出的深度卷积网络模型包括三个部分：

1)基础网络：主要用于提取输入图像的底层特征。优选地，和现有技术101层的残差网络类似，采用三个残差模块堆叠而成的神经网络作为基准模型。图像输入大小优选为300*300。

2)特征提取层：主要用于每个待检测窗口的特征提取。整个网络结构配置如图3所示，第一列表示卷积神经网络的各个层的名称，其中，Res1-Res3表示基本网络，第二列表示各个模块网络的配置，conv(a)-(b)-(c)表示一个滤波器大小为a，通道数为b，扩张率为c的卷积操作，Bilinear表示双线性插值的上采样操作，(F，F')表示两个特征谱串联操作，K表示锚点的个数。优选地，特征提取层的输出是尺寸为38*38大小的特征谱，通道个数为1536。锚点生成器采用基于期望损失的锚点生成方法选取锚点窗口。待检测窗口由锚点生成器产生。在特征谱的每个位置产生锚点窗口大小的多个待检测窗口。每个待检测窗口的特征用特征谱上每个位置的沿着通道方向的1536维的向量表示。下面具体介绍基于期望损失的锚点生成方法和基于流动环的特征提取策略。

基于期望损失的锚点生成方法：一个好的锚点窗口集合必须与标注的车辆窗口具有较好的匹配程度，只有这样才能保证初始的预置窗口有利于随后分类器的学习。本实施例采用期望损失衡量锚点窗口和标注的车辆窗口之间的匹配程度。假设A＝{A₁,...,A₂,A_k,...,A_K}表示锚点窗口，锚点窗口的个数为K个。S_k表示与锚点A_k最匹配的标注车辆窗口，B'表示其中的一个窗口，B'＝E[B|B∈S_k]，B定义为标注窗口的随机变量。则衡量匹配程度的损失可以计算为：

公式(1)中，P(B∈S_k)表示标注窗口输入第k个锚点的概率，Var[B|B∈S_k]表示条件方差。n表示所有标注车辆的窗口个数。进一步，经过优化的锚点窗口集A'可以计算为：

在具体实施中，首先计算L_match，然后将L_match最小值对应的锚点窗口选取为最终的锚点窗口。采用基于期望损失的锚点生成方法选取最合适的锚点窗口，所选取的锚点窗口能够较好地匹配标注车辆的窗口，效果如图4(b)所示。从图4(a)和4(b)中可以看出，本发明所提出的技术生成的锚点窗口能够有效操纵航拍图像尺度的变化。该方法能够带来平均准确率3个百分点的提升。

基于流动环的特征提取策略：本实施例首先利用类激活谱衡量特征的表达能力。假设卷积网络最后一层的特征谱表示为X∈R^W×H×D，其中，W、H分别表示特征谱的宽、高，D表示通道个数，R为实数。类激活谱可以表示为：

式(3)中，d表示特征谱的通道索引，w_k表示对应于第k个锚点的分类器。然后分析在不同的策略下，类激活谱在目标车辆区域的响应强弱，从而衡量不同策略下特征的表达能力。

在具体实施中，首先分析在不同的策略下，类激活谱在目标车辆区域的响应强弱，然后将响应最强的类激活谱对应的特征进行提取。本实施例分析了两种不同的特征提取策略：1)直接将基本网络输出的特征谱作为特征；2)采用流动环的提取策略，在基本网络输出的特征谱F后，经过一个卷积层，再经过一个上采样层，输出一个大小和特征谱F一样的特征谱F’，最后形成一种反馈回路，将F与F’串联的特征作为融合后的特征，如图5所示。具体地，在Res3后接卷积层Res4，然后将Res4进行上采样操作，所得特征谱大小和Res3保持一致。基于流动环的特征提取策略，用于航拍车辆的特征提取，当采用流动环的特征提取策略时，类激活谱在目标车辆的区域具有较高的响应。该特征策略能够给性能带来5个百分点的提升，并且大大提升定位的准确度。

3)检测层：主要用于预测每个窗口的目标打分、位置偏移和数量。其中数量预测分支，首先将大小为38*38*1536的特征谱做平均池化操作，然后利用大小1*1*1536的卷积滤波器输出目标数量。在训练阶段需要利用预先构建的损失函数对网络参数进行训练，损失函数包括分类损失、位置损失和计数损失三个部分。采用随机梯度下降法进行整个网络模型的训练，直至收敛。在测试阶段，给定一幅图像，利用训练好的模型，直接输出检测车辆的位置和数量。下面具体介绍如何构建损失函数。

构建计数正则化的目标损失函数：本实施例利用L₁范数构建计数损失，即

L_count＝|w_cf_c-T_gt|  (4)

式(4)中，f_c表示用于计数分支的特征，w_c表示训练的参数，T_gt表示训练样本中车辆的数量。总的全局目标函数定义为；

L＝L_conf+L_loc+L_count  (5)

本实施例沿用现有的经典方法，L_conf表示分类损失，采用softmax，L_loc表示定位损失，采用smooth L1。

在一个具体实施例中，车辆检测计数的方法包括训练与测试两个阶段：

训练阶段：首先收集航拍图像中车辆的样本，本实施例采用公认的Pascal VOC标注标准对每一帧视频进行标注。根据图2所示的框图设计深度卷积神经网络模型，卷积层滤波器的大小和通道个数可参照现有经典网络来进行构建。最后，将训练样本送入设计的网络中进行模型训练。

测试阶段：给定一幅图像，输入到训练好的模型中，随后紧跟着非最大抑制挑选最终的检测结果。

本发明还提供一种基于深度卷积神经网络的车辆检测计数设备，包括：底层特征提取装置，用于通过预先构建的基本网络提取待检测图像的底层特征；锚点生成器，用于采用基于期望损失的锚点生成方法选取锚点窗口，在特征谱的每个位置产生锚点窗口大小的多个待检测窗口；特征提取装置，用于对每个待检测窗口进行特征提取，输出特征谱；检测装置，用于预测每个待检测窗口的目标打分、位置偏移和数量，输出待检测图像上车辆的位置和数量。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random AccessMemory)、磁盘或光盘等。

本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。

Claims (5)

1.一种基于深度卷积神经网络的车辆检测计数方法，其特征在于，包括以下步骤：

通过预先构建的基础网络提取待检测图像的底层特征，该底层特征记为特征谱F；

利用特征谱F，采用基于期望损失的锚点生成方法选取锚点窗口，在特征谱F的每个位置产生锚点窗口大小的多个待检测窗口；

对每个待检测窗口进行特征提取，输出特征谱F’，然后输出将F与F’串联融合后的特征；

利用F与F’串联融合后的特征预测每个待检测窗口的目标打分、位置偏移和数量，输出待检测图像上车辆的位置和数量；

所述预先构建的基础网络为三个残差模块堆叠而成的神经网络；

基于期望损失的锚点生成方法选取锚点窗口包括：计算衡量锚点窗口和标注的车辆窗口之间的匹配程度的损失,将L_match最小值对应的锚点窗口选取为最终的锚点窗口，式中，n表示所有标注的车辆窗口个数，K为锚点窗口的个数，S_k表示与锚点窗口A_k最匹配的标注车辆窗口，b表示标注窗口的随机变量；

对每个待检测窗口进行特征提取包括：在基础网络输出的特征谱F后，经过一个卷积层，再经过一个上采样层，输出一个大小和特征谱F一样的特征谱F’，最后形成一种反馈回路，将F与F’串联的特征作为融合后的特征。

2.根据权利要求1所述的一种基于深度卷积神经网络的车辆检测计数方法，其特征在于，预测每个待检测窗口的数量包括：利用预先构建的损失函数L＝L_conf+L_loc+L_count对网络参数进行训练，其中，L_conf表示分类损失，L_loc表示定位损失，L_count表示计数损失，且L_count＝|w_cf_c-T_gt|，f_c表示用于计数分支的特征，w_c表示训练的参数，T_gt表示训练样本中车辆的数量；对F与F’串联融合后的特征做平均池化操作，利用卷积滤波器输出车辆数量。

3.一种基于深度卷积神经网络的车辆检测计数设备，其特征在于，包括：

底层特征提取装置，用于通过预先构建的基础网络提取待检测图像的底层特征，该底层特征记为特征谱F；

锚点生成器，用于利用特征谱F，采用基于期望损失的锚点生成方法选取锚点窗口，在特征谱F的每个位置产生锚点窗口大小的多个待检测窗口；

特征提取装置，用于对每个待检测窗口进行特征提取，输出特征谱F’，然后输出将F与F’串联融合后的特征；

检测装置，用于利用F与F’串联融合后的特征预测每个待检测窗口的目标打分、位置偏移和数量，输出待检测图像上车辆的位置和数量；

所述预先构建的基础网络为三个残差模块堆叠而成的神经网络；

锚点生成器基于期望损失的锚点生成方法选取锚点窗口的方法包括：计算衡量锚点窗口和标注的车辆窗口之间的匹配程度的损失,将L_match最小值对应的锚点窗口选取为最终的锚点窗口，式中，n表示所有标注的车辆窗口个数，K为锚点窗口的个数，S_k表示与锚点窗口A_k最匹配的标注车辆窗口，b表示标注窗口的随机变量；

特征提取装置对每个待检测窗口进行特征提取的方法包括：在基础网络输出的特征谱F后，经过一个卷积层，再经过一个上采样层，输出一个大小和特征谱F一样的特征谱F’，最后形成一种反馈回路，将F与F’串联的特征作为融合后的特征。

4.根据权利要求3所述的一种基于深度卷积神经网络的车辆检测计数设备，其特征在于，检测装置预测每个待检测窗口的数量的方法包括：利用预先构建的损失函数L＝L_conf+L_loc+L_count对网络参数进行训练，其中，L_conf表示分类损失，L_loc表示定位损失，L_count表示计数损失，且L_count＝|w_cf_c-T_gt|，f_c表示用于计数分支的特征，w_c表示训练的参数，T_gt表示训练样本中车辆的数量；对F与F’串联融合后的特征做平均池化操作，利用卷积滤波器输出车辆数量。

5.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1所述的方法的步骤。

Images