CN114332921A - 基于改进聚类算法的Faster R-CNN网络的行人检测方法 - Google Patents

Abstract

本发明公开了一种基于改进聚类算法的Faster R‑CNN网络的行人检测方法，包括把行人训练集图片输入regnet骨干网络，提取特征图；将特征图输入FPN特征金字塔进行融合，得到新的特征图；采用改进聚类算法得到不同比例和大小的anchors，通过RPN区域建议网络对新特征图进行建议框的提取，初步判断是否检测到行人；把新特征图和建议框输入RoI align进行池化综合，并经过全连接网络进行分类和回归，得到检测结果和相应的损失；完成一个轮次的训练后，重复上述步骤，直至达到设定的迭代轮次，把网络中的参数输出并保存，得到行人检测模型；将待检测的行人图片输入行人检测模型，即可输出待检测行人图片的位置和置信度信息。

Description

基于改进聚类算法的Faster R-CNN网络的行人检测方法

技术领域

本发明涉及计算机视觉的行人检测技术领域，尤其涉及一种基于改进聚类算法的Faster R-CNN网络的行人检测方法。

背景技术

行人检测技术具有很强的应用价值，它可以与行人跟踪、行人重识别等技术相结合，广泛应用于自动驾驶、道路监控、视频安防和智慧城市等领域。传统的行人检测方法依靠人体自身的外观属性进行特征提取和分类，该类方法往往受限于特定环境条件，导致特征表达能力不足，无法满足实际场景应用要求。基于深度学习学到的特征具有较好的层次表达能力和鲁棒性，可以比较好地解决这类视觉问题。

深度学习中的行人检测可以采用两阶段的深度神经网络来学习和建模。由卷积神经网络对图像进行特征提取，提取出来的特征图对光照、位移等变化不敏感，鲁棒性较好。由区域建议网络和分类回归网络组成了一个两阶段目标检测器，区域提议网络负责生成目标可能所在区域的建议，分类回归网络对建议的区域进行分类，并对标注框进行微调。网络的函数由分类损失和回归损失加权组成，并采用随机梯度下降法进行反向传播迭代。

现有的两阶段深度学习目标检测器例如Faster R-CNN，精度较高，通用性也较好，但在经典Faster R-CNN模型中，建议框的产生是使用一组固定尺寸和比例的anchors，对行人检测图片的具体目标尺寸特点无法更好地匹配，造成检测效果不佳。

现有技术一的技术方案：

如图1所示，首先，输入图片，图片经过预训练网络(实验中采用的是DetNet)，提取出图片的特征；其次，将提取的特征经过RPN网络，产生一定数量的候选框(每张图上都有2000个候选框)；最后则是预测的分类与回归结果，将候选框和图像特征都输入到ROI head里面，对候选区域进行分类，判断其类别，与此同时还会对候选区域的位置进行微调。

上述技术方案一的技术存在以下缺点：

采用的是传统Faster RCNN模型选择候选框的方法，即在每个候选目标位置设计9种锚点，分为3种固定长宽比和尺度的anchors，在一个位置产生9种固定比例的候选框。该方法的缺点是对行人检测图片的具体目标尺寸特点无法更好地匹配，造成检测效果不佳。

现有技术二的技术方案：

针对复杂环境中由于行人间相互遮挡导致检测准确率低的问题，考虑到行人头部与行人是一一对应关系，且头部在行人运动过程中不易被遮挡，提出了一种基于聚类与Faster R CNN的行人头部检测算法。设计一种新的距离度量方法，并结合k-means++算法对已标注人头检测框进行聚类，以确定anchor大小与长宽比；优化NMS算法惩罚函数剔除无效人头预测框，改善行人之间由于遮挡导致的召回率低的问题。该技术方案见图2所示。

在该技术中心，提出一种距离度量公式，anchor大小的确定与标注框的长和宽尺寸没有直接关系，而传统的欧氏距离度量方法对标注框的长和宽的取值敏感，尺寸较大的边界框容易出错，聚类结果更加偏向尺寸较小的标注框，对此，该技术设计一种新的距离度量公式，如式(1)。

其中，b和cluster_i分别为标注框和第i个聚类中心，IOU-C(b，cluster_i)实质是b和cluster_i的交并比值，但与传统交并比计算不同的是需要将b和cluster_i两个边界框中心点重合之后再计算交并比；a是可调因子，实验中α取2；由式(1)可知，本文设计的距离度量公式可以保证距离越小，标注框与聚类中心的面积越接近，IOU值越大，改善了欧氏距离度量方法对标注框长和宽尺寸敏感的现象。

上述技术方案二的技术存在以下缺点：

在提出的距离度量公式中，没有考虑两个边界框的高宽比。高宽比这个信息非常重要，因为在遮挡、蹲下、跑步等状态下，行人高宽比会出现变化，如果行人目标建议框anchors不考虑高宽比的因素，会出现漏检现象，降低检测精度。

发明内容

为解决上述技术问题，本发明的目的是提供一种基于改进聚类算法的Faster R-CNN网络的行人检测方法，避免采用传统的行人检测方法的缺陷，基于深度学习学到的特征具有较好的层次表达能力和鲁棒性；在本发明方法提出的神经网络模型中，采用改进的聚类方法，基于几何先验知识的生成方法，通过聚类得到“知识”，获得更适应行人目标的anchors，可有效提高行人检测的效果。

本发明的目的通过以下的技术方案来实现：

一种基于改进聚类算法的Faster R-CNN网络的行人检测方法，包括：

步骤1)把行人训练集图片输入regnet骨干网络，提取特征图；

步骤2)将特征图输入FPN特征金字塔进行融合，得到新的特征图；

步骤3)采用改进聚类算法得到不同比例和大小的anchors，通过RPN区域建议网络对得到的新的特征图进行建议框的提取，初步判断是否检测到行人；

步骤4)把新特征图和建议框输入RoI align进行池化综合，并经过全连接网络进行分类和回归，得到检测结果和相应的损失；

步骤5)完成一个轮次的训练后，重复执行步骤1)至步骤4)，直至达到设定的迭代轮次，把网络中的参数输出并保存，得到行人检测模型；

步骤6)将待检测的行人图片输入行人检测模型，即可输出待检测行人图片的位置和置信度信息。

与现有技术相比，本发明的一个或多个实施例可以具有如下优点：

采用深度学习算法来建立整体的行人检测框架，避免采用传统的行人检测方法常常出现的受限于特定环境条件、特征表达能力不足和无法满足实际场景应用要求等问题。基于深度学习学到的特征具有较好的层次表达能力和鲁棒性，可以比较好地解决行人检测这类视觉问题。

该网络模型采用改进的聚类方法，基于几何先验知识的生成方法，通过聚类得到“知识”，获得更适应行人目标的anchors。

基于改进聚类算法的Faster R-CNN神经网络模型中，选取合适的距离度量方法是确定合适anchor的关键。为了既计算出标注框和anchor的欧氏距离，又体现出二者高宽比的差异性，本发明引入标注框宽高比的度量，在欧式距离的基础上设计一种新的距离方式，通过聚类获得最佳的anchors，可有效提高行人检测的效果。

基于改进聚类算法的Faster R-CNN深度学习神经网络模型，具有通用性，该方法可以推广到其他计算机视觉的目标检测领域，具有较好的推广性。

附图说明

图1是现有技术提供的基于改进Faster R-CNN算法的行人检测方法图；

图2是为现有技术提供的Faster RCNN结构示意图；

图3是基于改进聚类算法的Faster R-CNN网络的行人检测方法流程图；

图4是基于改进聚类算法的Faster R-CNN网络结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合实施例及附图对本发明作进一步详细的描述。

实例可以采用Caltech数据集。Caltech是一个10小时左右车载视频库，分辨率640×480，将视频切分成帧进行训练和测试，训练数据集共42782幅图像，标准测试集中的4024幅图像用于在不同的设置下进行评估。

如图3和图4所示，分别为基于改进聚类算法的Faster R-CNN网络的行人检测方法流程和Faster R-CNN网络结构示意图；所述方法包括以下步骤：

步骤1)对行人图片集进行尺寸标准化操作，对所有图片尺寸统一缩放，使所有图片均为640×480的RGB图片，把行人训练集图片输入regnet骨干网络，提取特征图C2、C3、C4、C5；

步骤2)将特征图C2、C3、C4、C5输入FPN特征金字塔进行融合，得到新的特征图P2、P3、P4、P5；

步骤3)采用改进聚类算法得到不同比例和大小的anchors，通过RPN区域建议网络对特征图P2、P3、P4、P5进行建议框的提取，初步判断是否检测到行人；

步骤4)把特征图P2、P3、P4、P5和建议框输入RoI align进行池化综合，再经过全连接网络进行分类和回归，得到检测结果和相应的损失；

步骤5)完成一个轮次的训练后，重复进行步骤1)至步骤4)，直至达到设定的迭代轮次，把网络中的参数输出并保存，得到行人检测模型；

步骤6)将待检测的行人图片输入行人检测模型，即可输出待检测行人图片的位置和置信度信息。

在步骤1)中，所述特征提取模块，用于提取行人的特征，得到各层特征图C2、C3、C4、C5，包含以下操作：

定义一个瓶颈层bottleneck，其中一条支路依次通过卷积核大小为1x1的组卷积层、正则化BN层、卷积核大小为3x3的组卷积层、正则化BN层、卷积核大小为1x1的卷积层、正则化BN层、relu激活函数，另一条支路是恒等映射，两条支路的输出相加得到bottleneck的输出；把训练集中的行人图片归一化输入regnet骨干网络，依次经过卷积核大小为3x3、步长为2、填充为1、输出通道为48的卷积层，正则化BN层，激活函数relu，经过2个输出通道为96的bottleneck得到特征图C2，经过6个输出通道为192的bottleneck得到特征图C3，经过15个输出通道为432的bottleneck得到特征图C4，经过2个输出通道为1008的bottleneck得到特征图C5。

在步骤2)中，所述FPN特征金字塔模块，用于融合各层特征图C2、C3、C4、C5，得到增强后的各层特征图P2、P3、P4、P5，包含以下操作：

C5经过卷积核大小为1x1、输出通道为256的卷积层得到特征图M5，再经过卷积核大小为3x3的卷积层输出为特征图P5；

C4经过卷积核大小为1x1、输出通道为256的卷积层，与M5经过采样倍率为2的上采样得到的特征图相加得到特征图M4，再经过卷积核大小为3x3的卷积层输出为特征图P4；

C3经过卷积核大小为1x1、输出通道为256的卷积层，与M4经过采样倍率为2的上采样得到的特征图相加得到特征图M3，再经过卷积核大小为3x3的卷积层输出为特征图P3；

C2经过卷积核大小为1x1、输出通道为256的卷积层输出通道为256，与M3经过采样倍率为2的上采样得到的特征图相加得到特征图M2，再经过卷积核大小为3x3的卷积层输出为特征图P2。

在步骤3)中，所述区域建议模块，基于改进聚类算法得到更贴合行人比例和大小的anchors，对特征图P2、P3、P4、P5进行建议框的提取，包含以下操作：

根据训练数据中标注框的信息，采用改进型K-means++聚类算法自适应设计anchor的参数，使所获得的k个anchors的比例和大小与真实的标注框最相似。设初始聚类点的个数是k，假设K-means++聚类算法已经选择n个初始聚类中心点(1≤n＜k)，在选取第n+1个初始聚类中心点时，距离当前n个聚类中心越远的点会有更高的概率被选为第n+1个聚类中心。对所有标注框和anchors基于左下角顶点进行对齐处理。在聚类算法中，选取合适的距离度量方法是确定合适anchor的关键。为了既可计算出标注框和anchor的欧氏距离，又体现出二者高宽比的差异性，本发明引入标注框宽高比的度量，在欧式距离的基础上设计一种新的距离方式，对标注框和anchor的距离进行重新定义，公式如下：

其中D(i，n)是第i个标注框和第n个anchor之间的距离，0＜i≤M，M是标注框的总数；0＜n≤k，k为anchors的个数；a是权重；x_i和y_i代表标注框的高和宽，x_n和y_n代表anchor的高和宽。

具体的实现过程如下：

步骤3.1)将所有的训练数据中标注框的坐标提取出来，对标注框基于左下角顶点进行对齐处理，即所有标注框左下角顶点坐标为(0，0)，获得标注框的高宽坐标，即右上角高宽坐标

步骤3.2)根据K-means++算法选出k个anchors的初始聚类中心。

步骤3.3)计算每个标注框与每个anchor的距离D(i，n)值。接着进行分类操作，求出每个标注框对于每个anchor的距离D(i，n)，比较每个标注框其对于每个anchor的距离大小{D(i，1)，D(i，2)，…，D(i，k)}。

步骤3.4)选取最小距离的那个anchor，将这个标注框分类给它。对于每个anchor中的那些标注框，分别求这些标注框高宽的平均值进行更新，将其作为该anchor新的坐标。

步骤3.5)重复操作第3.3)步和第3.4)步，直到在第3.4)步中发现对于全部标注框其所属的anchor类与之前所属的anchor类完全一样。计算完毕。

RPN首先对特征提取网络得到的特征图进行一个3×3卷积以融合特征图信息；然后，根据改进型聚类获得合适的anchor boxes；再设置两组并联的1×1卷积，对特征图分别进行分类和回归；分类层将每个anchor box进行二分类，判断anchor box属于前景还是背景，对于特征图上的每个anchor输出结果；回归层对于每个anchor box预测它和真实标注框之间的偏移量，包括了中心坐标的偏移量Δx和Δy，宽度和高度的偏移量Δw和Δh，因此其对于特征图上的每个anchor输出结果；最后，将这两个分支的结果进行整合，选取分类层预测结果为前景的anchor box，并使用回归层计算得到的偏移量对anchor box的中心点及长宽进行调整。

RPN中分类层的损失函数使用交叉熵损失(Cross Entropy Loss)，其计算公式如下：

其中，p_i为分类层预测的候选框标签，

为候选框的真实标签，其真实标签由候选框与真实标注框的IoU得到，若一候选框与真实标注框的IoU大于设定的阈值，则认为该候选框的真实标签为目标，反之则认为是无关背景，该阈值通常设置为0.5。

RPN中回归层的损失函数使用平滑L1损失(SmoothL1 Loss)，其公式如下：

其中

表示的是真实的候选框与标记框之间的变换，t_i表示的是回归层预测的候选框与标记框之间的变换，smooth_L1的具体计算公式为：

在回归层使用平滑L1损失的好处是：在训练初期，候选框和真实框差距过大时，相比L1损失，平滑L1损失的梯度上限为1，不会出现梯度过大的情况；在训练后期，候选框和真实框差距较小时，相比L2损失，平滑L1损失的梯度下限足够小，使得网络收敛效果更优。

RPN层的损失函数由分类损失和回归损失加权得到，其公式为：

其中，N_cls为参与分类的anchor box数量，N_reg为参与回归的anchor box数量，λ为分类和回归损失的加权系数，一般设置为1。

在步骤4)中，把各个特征图和RPN区域建议网络输出的建议框输入RoI align进行池化综合，得到尺寸统一为7x7的各个特征图的建议框，合并再输入全连接网络，得到6通道和24通道的输出，代表分类和回归结果，并且计算行人检测损失。

完成一个轮次的训练后，重复进行以上步骤，直至达到设定的迭代轮次，把网络中的参数输出并保存，得到行人检测模型；

在步骤6)中，将待检测的行人图片输入行人检测模型，即可输出待检测行人图片的位置和置信度信息。检测过程如下：

6.1)对于一张待检测的行人图片，使用步骤5)得到的行人检测模型在待检测图片上进行检测，再将结果映射回原图的区域上，得到每一条目标的类别、预测框和置信度，置信度取值为(0，1)之间；

6.2)对步骤6.1)中得到的目标进行过滤，对于每一条目标，若它的置信度大于设定阈值，则予以保留，否则删除；

6.3)对6.2)中得到的待检测的行人图片上的结果，输出行人图片的位置和置信度信息。

本实施例提出的基于改进聚类算法的Faster R-CNN网络的行人检测方法，引入标注框宽高比的度量，在欧式距离的基础上设计一种新的距离方式，既可计算出标注框和anchor的欧氏距离，又可体现出二者高宽比的差异性，通过聚类获得最佳的anchors，可有效提高行人检测的效果。

虽然本发明所揭露的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (7)

1.基于改进聚类算法的Faster R-CNN网络的行人检测方法，其特征在于，包括以下步骤：

步骤1)把行人训练集图片输入regnet骨干网络，提取特征图；

步骤2)将特征图输入FPN特征金字塔进行融合，得到新的特征图；

步骤3)采用改进聚类算法得到不同比例和大小的anchors，通过RPN区域建议网络对得到的新特征图进行建议框的提取，初步判断是否检测到行人；

步骤4)把新特征图和建议框输入RoI align进行池化综合，并经过全连接网络进行分类和回归，得到检测结果和相应的损失；

步骤5)完成一个轮次的训练后，重复执行步骤1)至步骤4)，直至达到设定的迭代轮次，把网络中的参数输出并保存，得到行人检测模型；

步骤6)将待检测的行人图片输入行人检测模型，即可输出待检测行人图片的位置和置信度信息。

2.根据权利要求1所述的基于改进聚类算法的Faster R-CNN网络的行人检测方法，其特征在于，所述基于改进聚类算法的Faster R-CNN网络是一种深度学习方法，该网络包含四个模块：特征提取模块、FPN特征金字塔模块、基于改进聚类算法的RPN区域建议模块、RoIalign和全连接网络模块。

3.根据权利要求1所述的基于改进聚类算法的Faster R-CNN网络的行人检测方法，其特征在于，所述步骤1)中通过特征提取模块提取行人特征，得到不同阶段的特征图：C2、C3、C4、C5。

4.根据权利要求1所述的基于改进聚类算法的Faster R-CNN网络的行人检测方法，其特征在于，所述步骤2)中，通过FPN特征金字塔模块融合特征图C2、C3、C4、C5，得到增强后的新的特征图P2、P3、P4、P5。

5.根据权利要求1所述的基于改进聚类算法的Faster R-CNN网络的行人检测方法，其特征在于，步骤3)中：对得到的新特征图进行建议框的提取包括以下步骤：

步骤3.1)提取所有训练数据中标注框的坐标，对标注框基于左下角顶点进行对齐处理，即所有标注框左下角顶点坐标为(0,0)，获得标注框的高宽坐标，即右上角高宽坐标；

步骤3.2)根据K-means++算法选出k个anchors的初始聚类中心；

步骤3.3)计算每个标注框与每个anchor的距离D(i，n)值，然后进行分类操作，求出每个标注框对于每个anchor的距离D(i,n)(0＜n≤k)，比较每个标注框其对于每个anchor的距离大小{D(i,1)，D(i,2)，…,D(i,k)}；标注框与anchor的距离的计算公式为：

其中D(i，n)是第i个标注框和第n个anchor之间的距离，0＜i≤M，M是标注框的总数；0＜n≤k，k为anchors的个数；a是权重；x_i和y_i代表标注框的高和宽,x_n和y_n代表anchor的高和宽；

步骤3.4)选取最小距离的那个anchor，将这个标注框分类给它；

步骤3.5)重复执行步骤3.3)和步骤3.4)，直到在步骤3.4)中发现对于全部标注框其所属的anchor类与之前所属的anchor类完全一样，完成计算。

6.根据权利要求1所述的基于改进聚类算法的Faster R-CNN网络的行人检测方法，其特征在于，所述步骤4)中：把新特征图和建议框输入RoI align进行池化综合，得到尺寸相同的7x7的各个特征图的建议框，合并再输入全连接网络，得到6通道和24通道的输出，代表分类和回归结果，并且计算行人检测损失。

7.根据权利要求1所述的基于改进聚类算法的Faster R-CNN网络的行人检测方法，其特征在于，所述步骤6)中：将待测图像导入所述卷积神经网络，输出行人图片的位置和置信度信息。

Images