CN110889343A - 基于注意力型深度神经网络的人群密度估计方法及装置 - Google Patents

Abstract

本发明提供一种基于注意力型深度神经网络的人群密度估计方法，其特征在于，采用基于注意力机制的深度神经网络模型从待测图像中检测出人群密度，包括如下步骤：步骤S1，对待测图像进行预处理获得预处理图像；步骤S2，搭建基于注意力机制的分组扩张深度神经网络模型；步骤S3，根据训练集对分组扩张深度神经网络模型进行训练；步骤S4，将预处理图像输入训练完成的分组扩张深度神经网络模型，从而得出各个预处理图像中的人群密度结果并进行输出，其中，分组扩张深度神经网络模型具有两个模块，包括普通卷积模块以及带有注意力机制的解码卷积模块，解码卷积模块的每一个卷积操作之后都跟着一个通道注意力加成以及一个空间注意力加成。

Description

基于注意力型深度神经网络的人群密度估计方法及装置

技术领域

本发明属于计算机视觉以及人工智能技术领域，涉及一种高密度人群场景下的人群密度估计方法及装置，具体涉及一种基于注意力机制的深度神经网络模型的人群密度估计方法及装置。

背景技术

在当前机器学习技术及计算机硬件性能高速提升的情况下，近年来计算机视觉、自然语言处理和语音检测等应用领域取得了突破性进展。人群密度估计作为计算机视觉领域一项基础的任务，其精度也得到了大幅提升。

人群密度估计任务可具体描述如下：

对于拍摄的图片或者录制的视频以及摄像头下的人群场景，生成密度图用以表示单位面积内人群的密度，再以该密度图为基础，将密度图中单位面积人群密度加和，得到最终整体场景的人群密度，或者是整个视频的人群密度变化。

人群密度估计对计算机视觉领域和实际应用具有重要意义，在过去几十年里激励大批研究人员密切关注并投入研究。随着强劲的机器学习理论和特征分析技术的发展，近十几年人群密度估计课题相关的研究活动有增无减，每年都有最新的研究成果和实际应用发表和公布。不仅如此，人群密度估计也被应用到很多实际任务，例如智能视频监控、人群态势分析等。

然而，现有技术的多种人群密度估计方法的检测准确率仍然较低而不能应用于实际通用的估计任务。因此，人群密度估计还远未被完美解决，仍旧是重要的挑战性的研究课题。

为了提高密度估计的准确率，目前常用的方法是增加预测模型训练时的训练数据。然而，一方面，收集大量的训练数据是一件极其困难的工作，另一方面，训练数据量增多也导致模型训练时间延长，甚至有可能然后训练无法实际完成。

发明内容

为解决上述问题，提供一种结构简单、训练消耗少、同时还能保证检测精度的人群密度估计方法及装置，本发明采用了如下技术方案：

本发明提供了一种基于注意力型深度神经网络的人群密度估计方法，用于人群密度的估计，其特征在于，采用基于注意力机制的深度神经网络模型从待测图像中检测出人群密度，包括如下步骤：步骤S1，对待测图像进行预处理获得预处理图像；步骤S2，搭建基于注意力机制的分组扩张深度神经网络模型；步骤S3，把包含多张训练图像的训练集输入搭建好的分组扩张深度神经网络模型从而进行模型训练；步骤S4，将预处理图像输入训练完成的分组扩张深度神经网络模型，从而得出各个预处理图像中的人群密度结果并进行输出，其中，分组扩张深度神经网络模型具有两个模块，包括普通卷积模块以及带有注意力机制的解码卷积模块，解码卷积模块的每一个卷积操作之后都跟着一个通道注意力加成以及一个空间注意力加成。

本发明提供的基于注意力型深度神经网络的人群密度估计方法，还可以具有这样的技术特征，其中，分组扩张深度神经网络模型包含的模型优化器为随机梯度下降，学习率为十的负七次方，步骤S3包括如下子步骤：步骤S3-1，将训练集中的各个训练图像依次输入分组扩张深度神经网络模型并进行一次迭代；步骤S3-2，采用分组扩张深度神经网络模型最后一层的模型参数分别计算出损失误差；步骤S3-3，将损失误差反向传播从而更新分组扩张深度神经网络模型的模型参数；步骤S3-4，重复步骤S3-2至步骤S3-3直至达到训练完成条件，得到训练后的分组扩张深度神经网络模型。

本发明提供的基于注意力型深度神经网络的人群密度估计方法，还可以具有这样的技术特征，其中，待测图像为高密度人群图像，步骤S1中进行的预处理包括对待测图像进行图像分割。

本发明提供的基于注意力型深度神经网络的人群密度估计方法，还可以具有这样的技术特征，其中，图像的分割方法为将图像均等分成9份。

本发明提供的基于注意力型深度神经网络的人群密度估计方法，还可以具有这样的技术特征，其中，步骤S1的预处理还包括将分割得到的图像进行正则化。

本发明还提供了一种基于注意力型深度神经网络的人群密度估计装置，用于人群密度的估计，其特征在于，采用基于注意力机制的深度神经网络模型从待测图像中检测出人群密度，包括：预处理部，用于对待测图像进行预处理获得预处理图像；密度预测部，用于从预处理图像中预测出人群密度结果并进行输出，该密度预测部包含一个训练好的基于注意力机制的分组扩张深度神经网络模型，其中，分组扩张深度神经网络模型具有两个模块，包括普通卷积模块以及带有注意力机制的解码卷积模块，解码卷积模块的每一个卷积操作之后都跟着一个通道注意力加成以及一个空间注意力加成。

发明作用与效果

根据本发明的基于注意力型深度神经网络的人群密度估计方法及装置，由于引入了包括通道注意力和空间注意力在内的两种注意力机制的分组扩张深度神经网络模型作为预测模型，从而使模型能够更好的定位到人群和识别人群的密度，因此，此模型能够学习到更多的特征，更好地进行特征表达，更加适合高密度人群的人群密度估计任务，能够最终提高人群密度估计的精度。另外，本实施例的分组扩张深度神经网络模型仅具有一个普通卷积模块以及一个解码卷积模块，因此其结构简单，不需要使用模型混合、多任务训练以及度量学习等方法，因此，与现有的高精度模型相比，该分组扩张深度神经网络模型的构建快速方便，且训练过程所消耗的计算量也较小。

附图说明

图1是本发明实施例中基于注意力型深度神经网络的人群密度估计方法的流程图；

图2是本发明实施例中分组扩张深度神经网络模型的结构示意图；

图3是本发明实施例中注意力模块的结构示意图；以及

图4是本发明实施例中通道注意力的结构示意图。

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，以下结合实施例及附图对本发明的AAA作具体阐述。

<实施例>

本实施例所采用的数据集为UCF-QNRF。UCF-QNRF是一个具有挑战性的高密度场景的数据集，该数据集包含了1535张标记图片和总数为1251642个人头的标注信息，该数据集中每张图片的人数范围为49到12865，并且该数据集图片的平均分辨率为2013乘2902，是一个高分辨率的数据集。

另外，本实施例的基于注意力型深度神经网络的人群密度估计方法所实现的硬件平台需要一张NVIDIA 1080Ti显卡(GPU加速)。

本实施例首先对数据集图片进行预处理，然后训练基于注意力机制的深度神经网络模型，最后通过该深度神经网络模型得到图片的人群密度。具体包括4个过程：预处理、搭建模型、训练模型及密度预测。

图1是本发明实施例中基于注意力型深度神经网络的人群密度估计方法的流程图。

如图1所示，基于注意力型深度神经网络的人群密度估计方法包括如下步骤：

步骤S1，对待测图像进行预处理获得预处理图像。

本实施例中，待测图像为从UCF-QNRF数据集中得到的图像，由于该数据集的高分比率，无法将图像直接输入到模型中，需要对图像进行分割，将其平均分成9等份，然后输入模型中，并且将分割后的数据集进行复制，这样就得到了两倍的训练数据，增大了数据量，从而增加了模型的预测精度。

本实施例的上述过程中，分割图像是针对图像分辨率过高的措施；复制一份训练数据是为了增加获取的图像数量，实现数据扩充从而让从待测图像中获取的数据量更为丰富，进而增加迭代的epoch。

在其他实施例中，待测图像也可以是单张图像(例如照片等)，这种情况下不需要分割操作。另外，在其他实施例中，也可以不对图像进行复制，或者采用其他的现有技术中的数据扩充方式(例如垂直翻转、水平翻转与垂直翻转结合等)。

步骤S2，搭建分组扩张深度神经网络模型(以下简称深度神经网络模型或是模型)。

本实施例中的步骤S2中，利用现有的深度学习框架，搭建基于注意力机制的深度神经网络模型。该基于注意力机制的深度神经网络模型是引入注意力机制的深度神经网络模型，主要可以分为两个模块，一是基于VGG-16的前层网络模块(即普通卷积模块)，一是引入包括通道注意力和空间注意力在内的两种注意力的解码卷积模块。

具体地，本实施例的深度神经网络模型由卷积层、池化层、通道注意力和空间注意力组成，其中在解码卷积模块中，每一个卷积操作后都跟着一个注意力模块。

图2是本发明实施例中分组扩张深度神经网络模型的结构示意图。

如图2所示，分组扩张深度神经网络模型包括依次设置的输入层I、基于VGG-16的前十层网络B1、卷积层C1、卷积层C2、注意力模块A1、卷积层C3、注意力模块A2、卷积层C4、注意力模块A3、卷积层C5、注意力模块A4、卷积层C6、注意力模块A5、卷积层C7和卷积层C8。具体如下：

(1)输入层I，用于输入各个经过预处理的图像

(2)多个卷积结构，包括卷积结构C1(卷积核大小为3×3，滑动步长为1，填充为0，输出为输入图像的1/64大小)、卷积结构C2(卷积核大小为3×3，滑动步长为1，填充为0，输出为输入图像的1/64大小)、卷积结构C3(卷积核大小为3×3，滑动步长为1，填充为0，输出为输入图像的1/64大小)、卷积结构C4(卷积核大小为3×3，滑动步长为1，填充为0，输出为输入图像的1/64大小)、卷积结构C5(卷积核大小为3×3，滑动步长为1，填充为0，输出为输入图像的1/64大小)、卷积结构C6(卷积核大小为3×3，滑动步长为1，填充为0，输出为输入图像的1/64大小)、卷积结构C7(卷积核大小为1×1，滑动步长为1，填充为0，输出为输入图像的1/64大小)；

(3)多个注意力模块：A1、A2、A3、A4、A5，如图3所示，各个注意力模块皆由通道注意力和空间注意力组成，并且和原输入组合在一起。同时，每个注意力后都要进行sigmoid函数合并操作。

图4本发明实施例中通道注意力的结构图。

如图4所示，首先对输入的特征图进行最大池化和平均池化，再将这两个结果加和，通过sigmoid函数就得到了通道注意力。

步骤S3，把训练数据输入搭建好的基于注意力机制的深度神经网络模型，从而进行模型训练。

本实施例中，采用人群数据集UCF-QNRF作为训练集。对于该训练集，采用与步骤S1相同的预处理方法，从而获得了包含1251642个人头的1535张图像；进一步将这些图像做分割和复制，以实现数据增强，然后再进行正则化处理，得到的多张图像即为本实施例的训练集。

上述训练集中的图像分批次进入网络模型进行训练，每次进入网络模型的训练图像批次大小为1，一共迭代训练2000次。

本实施例的基于注意力机制的深度神经网络模型的包含的模型参数为随机设置，优化器为随机梯度下降(SGD)，学习率为十的负七次方。

模型训练过程中，每次迭代(即训练集图像通过模型)后，最后一层的模型参数分别计算出损失误差(Square Loss平方差损失)，然后将计算得到的损失误差(Square Loss)反向传播，从而更新模型参数。另外，模型训练的训练完成条件与常规的深度神经网络模型相同，即，各层的模型参数收敛后就完成训练。

经过上述迭代训练并在迭代过程中进行误差计算和反向传播的过程，即可获得训练完成的基于注意力机制的深度神经网络模型。本实施例用该训练完成的模型在复杂场景下进行人群密度估计。

步骤S4，将经过预处理得到的预处理图像输入训练完成的基于注意力机制的深度神经网络模型，从而通过该模型得出人群密度结果并输出。

本实施例中，预处理图像通过基于注意力机制的深度神经网络模型后输出了对应的密度图，根据该密度图就能得到该张图片的人群密度。

另外，本实施例还采用UCF-QNRF测试集作为待测图像来对上述模型进行测试，其中的场景就是高密度人群场景。具体过程为：

利用UCF-QNRF数据集，对其数据集中的多个图像进行如步骤S1所描述的预处理，得到334张图像(即预处理后的预处理图像)作为测试集，依次输入训练好的基于注意力机制的深度神经网络模型，生成对应的密度图并计算得到人群密度结果。另外，还采用了现有技术中的其他人群密度估计模型对同样的测试集进行了对比测试，结果如下表所示：

表1本发明与其他常规技术在UCF-QNRF数据集上进行人群密度估计的对比测试结果

表1中，MCNN、CP-CNN、TDF-CNN、ic-CNN、D-ConvNet、CSRNet为现有技术中常见人群密度估计准确率较高的几种模型。MAE代表平均绝对误差，MSE代表均方误差，表示了预测结果与实际结果直接的绝对值差以及方差。

上述测试表明，本实施例的基于注意力机制的深度神经网络模型的人群密度估计方法对测试集的人群密度估计生成的平均绝对误差(MAE)为237.0，均方误差(MSE)为276.9，其在人群密度估计上的预测结果是当前已有方法中准确率最高的。经过测试，本发明方法在大规模密集人群中的误差率只有10％左右。

实施例作用与效果

根据本实施例提供的基于注意力型深度神经网络的人群密度估计方法及装置，由于引入了包括通道注意力和空间注意力在内的两种注意力机制的分组扩张深度神经网络模型作为预测模型，从而使模型能够更好的定位到人群和识别人群的密度，因此，此模型能够学习到更多的特征，更好地进行特征表达，更加适合高密度人群的人群密度估计任务，能够最终提高人群密度估计的精度。另外，本实施例的分组扩张深度神经网络模型仅具有一个普通卷积模块以及一个解码卷积模块，因此其结构简单，不需要使用模型混合、多任务训练以及度量学习等方法，因此，与现有的高精度模型相比，该分组扩张深度神经网络模型的构建快速方便，且训练过程所消耗的计算量也较小。

另外，实施例中，通过表1的结果也可以证明，相比于传统的计算机视觉方法，本实施例的方法大幅提升了目标检测的准确率，在不同检测难度、不同检测环境下均具有良好的检测精度，尤其是在复杂场景中精度更好。

另外，上述实施例的基于注意力机制的深度神经网络的人群密度估计方法中，引入了包括通道注意力和空间注意力的两种注意力机制，其中空间注意力起到了很显著的作用，同时通道注意力也有小幅的提升，同时引入两个注意力，相辅相成使得精度同时变高。

上述实施例仅用于举例说明本发明的具体实施方式，而本发明不限于上述实施例的描述范围。

例如，上述实施例提供了一种基于注意力机制和深度神经网络的人群密度估计方法及装置，该方法主要包括预处理、搭建模型、训练模型及估计人群密度的步骤。然而，为了实际使用时更为方便，本发明中训练好的分组扩张深度神经网络模型也可以打包形成一个密度估计部，该密度估计部可以与用于对待测图像进行预处理的预处理部构成基于注意力型深度神经网络模型的人群密度估计装置，使得待测图像经过预处理部处理后由密度估计部估计并输出相应的人群密度。

Claims (6)

1.一种基于注意力型深度神经网络的人群密度估计方法，用于人群密度的估计，其特征在于，采用基于注意力机制的深度神经网络模型从待测图像中检测出人群密度，包括如下步骤：

步骤S1，对所述待测图像进行预处理获得预处理图像；

步骤S2，搭建基于注意力机制的分组扩张深度神经网络模型；

步骤S3，把包含多张训练图像的训练集输入搭建好的所述分组扩张深度神经网络模型从而进行模型训练；

步骤S4，将所述预处理图像输入训练完成的所述分组扩张深度神经网络模型，从而得出各个预处理图像中的人群密度结果并进行输出，

其中，所述分组扩张深度神经网络模型具有两个模块，包括普通卷积模块以及带有注意力机制的解码卷积模块，

所述解码卷积模块的每一个卷积操作之后都跟着一个通道注意力加成以及一个空间注意力加成。

2.根据权利要求1所述的基于注意力型深度神经网络的人群密度估计方法，其特征在于：

其中，所述分组扩张深度神经网络模型包含的模型优化器为随机梯度下降，学习率为十的负七次方，

所述步骤S3包括如下子步骤：

步骤S3-1，将所述训练集中的各个所述训练图像依次输入所述分组扩张深度神经网络模型并进行一次迭代；

步骤S3-2，采用所述分组扩张深度神经网络模型最后一层的模型参数分别计算出损失误差；

步骤S3-3，将所述损失误差反向传播从而更新所述分组扩张深度神经网络模型的模型参数；

步骤S3-4，重复步骤S3-2至步骤S3-3直至达到训练完成条件，得到训练后的所述分组扩张深度神经网络模型。

3.根据权利要求1所述的基于注意力型深度神经网络的人群密度估计方法，其特征在于：

其中，所述待测图像为高密度人群图像，

所述步骤S1中进行的所述预处理包括对所述待测图像进行图像分割。

4.根据权利要求3所述的基于注意力型深度神经网络的人群密度估计方法，其特征在于：

其中，所述图像的分割方法为将图像均等分成9份。

5.根据权利要求1所述的基于注意力型深度神经网络的人群密度估计方法，其特征在于：

其中，步骤S1的所述预处理还包括将分割得到的所述图像进行正则化。

6.一种基于注意力型深度神经网络的人群密度估计装置，用于人群密度的估计，其特征在于，采用基于注意力机制的深度神经网络模型从待测图像中检测出人群密度，包括：

预处理部，用于对所述待测图像进行预处理获得预处理图像；

密度预测部，用于从所述预处理图像中预测出人群密度结果并进行输出，该密度预测部包含一个训练好的基于注意力机制的分组扩张深度神经网络模型，

其中，所述分组扩张深度神经网络模型具有两个模块，包括普通卷积模块以及带有注意力机制的解码卷积模块，

所述解码卷积模块的每一个卷积操作之后都跟着一个通道注意力加成以及一个空间注意力加成。

Images