CN111783683A - 一种基于特征平衡和关系增强的人体检测方法 - Google Patents

Abstract

本发明公开了一种基于特征平衡和关系增强的人体检测方法，该方法应用于检测多尺度下不同场景的人体目标，通过融合多尺度特征信息来平衡各个尺度的特征信息，并利用背景与人体之间的隐含关系进一步增强特征表达，对于不同尺度、姿态的人体具有较好的特征提取能力和检测性能。本发明与现有技术相比使用一种特征平衡和关系增强的人体检测方法，通过融合并增强多层特征的语义信息，提升模型对于多尺度人体的特征提取能力，以应对不同场景下多样化的人体预测任务，利用多种预训练算法和平衡训练采样技术，较其他人体检测方法，需要的人体训练样本数量较少，并提升了模型对于不同场景人体检测的泛化能力和鲁棒性，适于广泛推广。

Description

一种基于特征平衡和关系增强的人体检测方法

技术领域

本发明涉及计算机视觉中的人体检测技术领域，特别涉及，一种基于特征平衡和关系增强的人体检测方法。

背景技术

人体检测的目标是在图像场景中检测出是否存在人体目标并给出目标的位置。在各种应用场景中，人体检测技术的难点主要在于人体动作、姿势的多样性，背景的复杂性，建筑物、车辆等对人体的遮挡，人体之间的互相遮挡，光照变化，视角的变化，以及由拍摄距离和场景变化造成的人体尺度的多样性等问题。这些难点使得人体检测技术的研究面临诸多挑战，降低了现有算法在多样化场景下的人体检测精度。

目前人体检测方法主要是将人看成一个整体，用矩形框表示人体，对其进行传统手工特征提取如小波特征、方向梯度直方图特征等，然后用分类器进行分类。复杂背景下常用图像金字塔或特征金字塔来拟合不同尺度下的人体特征，以此提高多尺度人体目标的检测精度，然而对于一些极小目标仍会出现边界模糊和外观模糊的问题，很难将其与杂乱的背景以及其他重叠的目标进行区分。将人体躯干划分为若干个部分，分析或预测各个部分的遮挡情况来解决遮挡问题，该方法需要较复杂的标注数据和模型推理过程导致具有较高的模型成本。

针对现有技术的缺点，急需设计一种解决在多样化场景下的人体检测精度低，极小目标出现边界模糊和外观模糊，模型成本高，模型对于不同场景人体检测的泛化能力和鲁棒性过低，无法应对翻拍重放等手段欺骗攻击问题的人体检测方法。

发明内容

针对上述缺陷，本发明解决的技术问题在于，提供一种基于特征平衡和关系增强的人体检测方法，以解决现在技术所存在的在多样化场景下的人体检测精度低，极小目标出现边界模糊和外观模糊，模型成本高，模型对于不同场景人体检测的泛化能力和鲁棒性过低，无法应对翻拍重放等手段欺骗攻击的问题。

本发明提供了一种基于特征平衡和关系增强的人体检测方法具体步骤包括：

步骤1、对检测模型进行模型预训练，得到对人体特有特征的提取能力和敏感程度更优的检测模型；

步骤2、对检测模型进行多尺度特征融合，得到多尺度特征金字塔；

步骤3、对多尺度特征融合后的图像特征进行图像特征的关系增强，得到关系增强后的融合特征；

步骤4、基于先前融合并增强后的特征结果，对检测模型的特征进行多尺度特征重分配；

步骤5、对检测模型中的真实样本框数据采用负样本采样和正样本采样方法进行平衡采样；

步骤6、根据调整后的特征金字塔，对不同尺度的人体分别在不同层级上的特征用检测模型进行预测和训练。

优选地，所述步骤1具体步骤包括：

步骤1.1、采用庞大的通用物体检测数据集对检测模型进行首轮预训练，得到泛化特征提取能力更高的检测模型；

步骤1.2、完成首轮预训练后，调整检测模型顶层结构；

步骤1.3、通过混入通用场景下包含人体目标的样本进行二次预训练，得到对人体特有特征的提取能力和敏感程度更优的检测模型。

优选地，所述步骤2具体步骤包括：

步骤2.1、选取合适的中间尺度，其中，中间尺度的选取规则为：特征金字塔层数为n时，选择第floor(n/2)(向下取整)层特征的尺度作为中间尺度；

步骤2.2、使用双线性插值对检测模型进行图像缩放，得到保留原特征中尽可能多的信息的特征金字塔；

步骤2.3、在通道上简单叠加，融合得到包含所有层级信息的新特征图；

步骤2.4、使用额外的模块将新特征图的通道数量压缩到融合前的通道数量，得到融合后的多尺度特征金字塔。

优选地，所述步骤2.2的具体步骤包括：

步骤2.2.1、设置相关参数，所述参数包括中心值需要乘以的系数；

步骤2.2.2、利用待求像素的四个相邻像素的灰度在两个方向上进行线性内插，依据f(i，j)到f(i，j+1)的灰度变化为线性关系得到：

对于(i,j+v)，f(i,j+v)＝[f(i,j+1)-f(i,j)]×v+f(i,j)，

对于(i+1,j+v)，f(i+1,j+v)＝[f(i+1,j+1)-f(i+1,j)]×v+f(i+1,j)；

步骤2.2.3、依据f(i，j+v)到f(i+1，j+v)的灰度变化也为线性关系，得出双线性插值的像素灰度值：

优选地，所述步骤3中关系增强的具体方法包括，使用训练过程中的关系衡量函数

推导得出，256的一维向量H与256的一维向量G之间的关系衡量函数值为：

进而得到关系增强后的融合特征F′_m为：

其中，α、β为训练中可学习的参数，F_m表示融合后的特征，256的一维向量H为人体实例的池化后特征，256的一维向量G为周边某区域的池化后特征。

优选地，所述步骤4包括：

步骤4.1、将融合并增强后的特征F′_m进行相应的放缩操作；

步骤4.2、对于原有尺度小于融合后中间尺度的特征，采用池化层进行下采样；

步骤4.3、对于原有尺度大于融合后中间尺度的特征，采用双线性插值进行上采样；

步骤4.4、对于原有尺度等于融合后中间尺度的特征，采用不改变大小的卷积层进行调整。

优选地，所述步骤5具体步骤包括：

步骤5.1、通过使用负样本框与真实样本框的交并比(IOU)大小来代表负样本框的训练难度的方法，对检测模型的样本数据进行基于交并比平衡的负样本采样方法；

步骤5.2、通过使用对应真实样本框的正样本匹配数量来衡量正样本采样的代表性的方法，对检测模型的样本数据进行基于实例平衡的正样本采样方法。

优选地，所述步骤5.1的方法具体的是，利用图像的标注信息将所有的负样本划分为K个阶层，在第k阶层上随机抽样的负样本数量为：

其中N为需要抽取的负样本的总个数，如果出现第k阶层的负样本数量N_k小于 M_k情况，则抽取第k阶层中的所有负样本，并将第k+1阶层的负样本按照IOU 排序，按照升序选取M_k-N_k个负样本作为第k阶层的负样本补充。

优选地，所述步骤5.2的方法具体的是，将所有的正样本对应到P个人体标注框，每个人体标注框周围随机抽取的正样本数量为：

其中M为需要抽取进行训练的正样本的个数，P为图像中存在的个人体标注框的总数。

优选地，所述步骤6具体的是：

步骤6.1、在训练过程中，将不同尺度的人体单独匹配在某一最优的层级进行训练，相互独立；

步骤6.2、在预测过程中，使用多层结果融合的方式，将所有层的预测结果按照同等优先级进行排序，并使用单类别的NMS算法得到最终的预测结果。

由上述方案可知，本发明提供的一种基于特征平衡和关系增强的人体检测方法克服现有通用人体检测技术的不足，提供一种基于多尺度特征融合和融合特征增强的检测方法，应用于检测多尺度下不同场景的人体目标，通过融合多尺度特征信息来平衡各个尺度的特征信息，并利用背景与人体之间的隐含关系进一步增强特征表达，对于不同尺度、姿态的人体具有较好的特征提取能力和检测性能。本发明与现有技术相比使用一种特征平衡和关系增强的人体检测方法，通过融合并增强多层特征的语义信息，提升模型对于多尺度人体的特征提取能力，以应对不同场景下多样化的人体预测任务，利用多种预训练算法和平衡训练采样技术，较其他人体检测方法，需要的人体训练样本数量较少，并提升了模型对于不同场景人体检测的泛化能力和鲁棒性，适于广泛推广。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种基于特征平衡和关系增强的人体检测方法的过程框图一；

图2为本发明实施例提供的一种基于特征平衡和关系增强的人体检测方法的过程框图二；

图3为本发明实施例提供的一种基于特征平衡和关系增强的人体检测方法的过程框图三；

图4为本发明实施例提供的一种基于特征平衡和关系增强的人体检测方法的过程框图四。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1至图4，现对本发明提供的一种基于特征平衡和关系增强的人体检测方法的一种具体实施方式进行说明。该种基于特征平衡和关系增强的人体检测方法通过融合多尺度特征信息来平衡各个尺度的特征信息，并利用背景与人体之间的隐含关系进一步增强特征表达，该方法具体步骤包括：

S1、对检测模型进行模型预训练，得到对人体特有特征的提取能力和敏感程度更优的检测模型。

模型预训练：通过大规模数据集进行相同或类似的学习任务，对使用的模型所有参数或部分参数进行更为合理的初始化。

该步解决单个数据集中的人体样本场景单一、样本多样性低等原因导致直接进行训练出现过拟合，难以得到泛化性、鲁棒性较好的检测模型的问题。通过预训练学习相似类别或其他类别物体的特征提取能力，有利于检测模型避免最终学习的数据集规模较小或具有较高的样本相似性导致的问题，最终提取到泛化性更好、鲁棒性更好的特征，防止过拟合，提升检测模型性能。

本步骤具体的实现步骤可以为：

S1.1、采用庞大的通用物体检测数据集对检测模型进行首轮预训练，得到泛化性能更优的模型参数，提升模型的特征提取能力，最终得到泛化特征提取能力更高的检测模型；

具体的通用物体检测数据集如，PASCAL VOC，MS COCO和ImageNet。

S1.2、完成首轮预训练后，调整模型顶层结构；

示例性的：通用物体检测数据集的类别数量为80时，模型顶层的分类卷积通道数为80。此时删除该分类卷积的参数值，将卷积通道数量改为人体检测需要的类别数量，并对新卷积的参数值进行随机初始化。

S1.3、通过混入通用场景下包含人体目标的样本进行二次预训练，提升模型对于人体特有特征的提取能力和敏感程度，得到对人体特有特征的提取能力和敏感程度更优的检测模型。

S2、对检测模型进行多尺度特征融合，基于特征金字塔框架，得到多尺度特征金字塔。

特征金字塔是用于检测不同尺度的对象的识别***中的基本组件。

本步骤具体的实现步骤可以为：

S2.1、选取合适的中间尺度，其中，中间尺度的选取规则为：特征金字塔层数为n时，选择第floor(n/2)(向下取整)层特征的尺度作为中间尺度；

S2.2、使用双线性插值进行缩放，得到保留原特征中尽可能多的信息的特征金字塔；

该步骤解决基于特征金字塔框架得到的多尺度特征金字塔，由于各层特征具有不同的特征大小带来的影响，以此尽可能地保留原特征中尽可能多的信息。

双线性插值用于图像或特征的上采样过程，双线性内插法没有灰度不连续的缺点，结果令人满意，具体的计算步骤是：

S2.2.1、设置相关参数，该参数包括中心值需要乘以的系数；

S2.2.2、利用待求像素的四个相邻像素的灰度在两个方向上进行线性内插，依据f(i，j)到f(i，j+1)的灰度变化为线性关系得到：

对于f(i,j+v)，f(i,j+v)＝[f(i,j+1)-f(i,j)]×v+f(i,j)

对于(i+1,j+v)，f(i+1,j+v)＝[f(i+1,j+1)-f(i+1,j)]×v+f(i+1,j)

S2.2.3、依据f(i，j+v)到f(i+1，j+v)的灰度变化也为线性关系，得出双线性插值的像素灰度值：

S2.3、在通道上简单叠加，融合得到包含所有层级信息的新特征图，尽可能不破坏缩放后特征的原有的语义和空间信息；

S2.4、使用额外的模块将新特征图的通道数量压缩到融合前的通道数量，完成整个特征融合过程。

特征均为三维矩阵，维度分别为(C，H，W)，C代表的方向则表示通道， C的取值为256，即特征具有256个通道。

特征融合时具有两种方式，示例性的：2个特征融合在一起，方法一：直接逐元素相加，相加后仍为(C，H，W)大小的特征；方法二：在通道维度上放在一起，得到大小为(n×C，H，W)的特征，此时采用的额外的模块为(3 ×3的卷积+ReLU激活函数)，将(n×C，H，W)的特征重新转换回到(C，H， W)大小的特征。

S3、对多尺度特征融合后的图像特征进行图像特征的关系增强，得到关系增强后的融合特征。

具体的是，使用F_m表示融合后的特征，利用图像中隐含的人体实例与周边背景出现的相关性，在训练过程中使用关系衡量函数

计算。

使用训练过程中的关系衡量函数

推导得出，256的一维向量H与256的一维向量G之间的关系衡量函数值为：

，进而得到关系增强后的融合特征F′_m为：

其中，α、β为训练中可学习的参数，F_m表示融合后的特征，256的一维向量H为人体实例的池化后特征，256的一维向量G为周边某区域的池化后特征。

背景与人体之间的隐含关系计算方法为，设特征为F(C，H，W)，则在(h,w) 位置的关系值为f(h,w)(C×1的向量)与周围4×4范围内的15个向量 (f(h-2,w-2)，f(h-2,w-1)，…，f(h+2,w+2))的平均余弦值。当周边的某个向量不存在时，如h＝1，则用零向量代替。

S4、基于先前融合并增强后的特征结果，对检测模型的特征进行多尺度特征重分配。

本步骤具体的实现步骤可以为：

S4.1、基于先前融合前的特征金字塔尺寸，根据先前特征金字塔中各层特征的尺度，将融合并增强后的特征F′_m进行相应的放缩操作；

S4.2、对于原有尺度小于融合后中间尺度的特征，采用池化层进行下采样；

S4.3、对于原有尺度大于融合后中间尺度的特征，采用双线性插值进行上采样；

上采样双线性插值中，示例性的：原特征尺度某像素值为f(i，j)时，上采样后的(i，j)、(2×i+1，2×j)、(2×i，2×j+1)、(2×i+1，2×j+1)位置的相邻四个像素值等于f(i，j)。

S4.4、对于原有尺度等于融合后中间尺度的特征，采用不改变大小的卷积层进行调整。

S5、对检测模型中的真实样本框数据采用负样本采样和正样本采样方法进行平衡采样。

示例性的，在每次训练的256个样本中，选取128个负样本和128个正样本。

本步骤具体的实现步骤可以为：

S5.1、通过使用负样本框与真实样本框的交并比(IOU)大小来代表负样本框的训练难度的方法，对检测模型的样本数据进行基于交并比平衡的负样本采样方法。

具体的是，通过增加难样本的选择概率从而提升采样的负样本的代表性，利用图像的标注信息，将所有的负样本根据与真实人体框的IOU(Intersection over Union一种测量在特定数据集中检测相应物体准确度的一个标准)划分为 K个阶层，在第k阶层上随机抽样的负样本数量为：

其中N为需要抽取的负样本的总个数，如果出现第k阶层的负样本数量N_k小于M_k情况，则抽取第k阶层中的所有负样本，并将第k+1阶层的负样本按照IOU排序，按照升序选取M_k-N_k个负样本作为第k阶层的负样本补充。最终抽取的负样本与真实框具有不同的IOU且分布均匀。

S5.2、通过使用对应真实样本框的正样本匹配数量来衡量正样本采样的代表性的方法，对检测模型的样本数据进行基于实例平衡的正样本采样方法。

具体的是，将所有的正样本对应到P个人体标注框，每个人体标注框周围随机抽取的正样本数量为：

其中M为需要抽取进行训练的正样本的个数，P为图像中存在的个人体标注框的总数。

S6、根据调整后的特征金字塔，对不同尺度的人体分别在不同层级上的特征用检测模型进行预测和训练。

本步骤具体的实现步骤可以为：

S6.1、在训练过程中，将不同尺度的人体单独匹配在某一最优的层级进行训练，相互独立；

最优层级与模型的锚点框设计有关，不同层级的锚点框大小不同，在与具体人体的标注框大小对比后，选择框大小相差较小的层级作为训练时使用的最优层级，而不在其他层级上进行训练。

S6.2、在预测过程中，使用多层结果融合的方式，将所有层的预测结果按照同等优先级进行排序，并使用单类别的NMS算法(Non-maximum suppression非极大值抑制算法)得到最终的预测结果。

多层结果融合和同等优先级为将所有层级的预测结果放在一起并直接按照预测分数排序，最终的预测结果只选取分数最高的预测框。

本发明应用于检测多尺度下不同场景的人体目标，通过融合多尺度特征信息来平衡各个尺度的特征信息，并利用背景与人体之间的隐含关系进一步增强特征表达，对于不同尺度、姿态的人体具有较好的特征提取能力和检测性能，克服现有针对人体检测技术的不足，基于特征平衡和关系增强的人体检测方法，通过融合不同深度特征的语义信息和周边背景信息来提升人体检测的鲁棒性，进而具备更好的人体检测性能，本发明未详细描述的部分属于本领域公知技术。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种基于特征平衡和关系增强的人体检测方法，其特征在于，具体步骤包括：

步骤1、对检测模型进行模型预训练，得到对人体特有特征的提取能力和敏感程度更优的检测模型；

步骤2、对检测模型进行多尺度特征融合，得到多尺度特征金字塔；

步骤3、对多尺度特征融合后的图像特征进行图像特征的关系增强，得到关系增强后的融合特征；

步骤4、基于先前融合并增强后的特征结果，对检测模型的特征进行多尺度特征重分配；

步骤5、对检测模型中的真实样本框数据采用负样本采样和正样本采样方法进行平衡采样；

步骤6、根据调整后的特征金字塔，对不同尺度的人体分别在不同层级上的特征用检测模型进行预测和训练。

2.根据权利要求1所述的一种基于特征平衡和关系增强的人体检测方法，其特征在于，所述步骤1具体步骤包括：

步骤1.1、采用庞大的通用物体检测数据集对检测模型进行首轮预训练，得到泛化特征提取能力更高的检测模型；

步骤1.2、完成首轮预训练后，调整检测模型顶层结构；

步骤1.3、通过混入通用场景下包含人体目标的样本进行二次预训练，得到对人体特有特征的提取能力和敏感程度更优的检测模型。

3.根据权利要求2所述的一种基于特征平衡和关系增强的人体检测方法，其特征在于，所述步骤2具体步骤包括：

步骤2.1、选取合适的中间尺度，其中，中间尺度的选取规则为：特征金字塔层数为n时，选择第floor(n/2)(向下取整)层特征的尺度作为中间尺度；

步骤2.2、使用双线性插值对检测模型进行图像缩放，得到保留原特征中尽可能多的信息的特征金字塔；

步骤2.3、在通道上简单叠加，融合得到包含所有层级信息的新特征图；

步骤2.4、使用额外的模块将新特征图的通道数量压缩到融合前的通道数量，得到融合后的多尺度特征金字塔。

4.根据权利要求3所述的一种基于特征平衡和关系增强的人体检测方法，其特征在于，所述步骤2.2的具体步骤包括：

步骤2.2.1、设置相关参数，其中，相关参数包括中心值需要乘以的系数；

步骤2.2.2、利用待求像素的四个相邻像素的灰度在两个方向上进行线性内插，依据f(i，j)到f(i，j+1)的灰度变化为线性关系得到：

对于(i,j+v)，f(i,j+v)＝[f(i,j+1)-f(i,j)]×v+f(i,j)，

对于(i+1,j+v)，f(i+1,j+v)＝[f(i+1,j+1)-f(i+1,j)]×v+f(i+1,j)；

步骤2.2.3、依据f(i，j+v)到f(i+1，j+v)的灰度变化也为线性关系，得出双线性插值的像素灰度值：

5.根据权利要求4所述的一种基于特征平衡和关系增强的人体检测方法，其特征在于，所述步骤3中关系增强的具体方法包括，使用训练过程中的关系衡量函数

推导得出，256的一维向量H与256的一维向量G之间的关系衡量函数值为：

进而得到关系增强后的融合特征F_m′为：

其中，α、β为训练中可学习的参数，F_m表示融合后的特征，256的一维向量H为人体实例的池化后特征，256的一维向量G为周边某区域的池化后特征。

6.根据权利要求5所述的一种基于特征平衡和关系增强的人体检测方法，其特征在于，所述步骤4包括：

步骤4.1、将融合并增强后的特征F_m′进行相应的放缩操作；

步骤4.2、对于原有尺度小于融合后中间尺度的特征，采用池化层进行下采样；

步骤4.3、对于原有尺度大于融合后中间尺度的特征，采用双线性插值进行上采样；

步骤4.4、对于原有尺度等于融合后中间尺度的特征，采用不改变大小的卷积层进行调整。

7.根据权利要求6所述的一种基于特征平衡和关系增强的人体检测方法，其特征在于，所述步骤5具体步骤包括：

步骤5.1、通过使用负样本框与真实样本框的交并比(IOU)大小来代表负样本框的训练难度的方法，对检测模型的样本数据进行基于交并比平衡的负样本采样方法；

步骤5.2、通过使用对应真实样本框的正样本匹配数量来衡量正样本采样的代表性的方法，对检测模型的样本数据进行基于实例平衡的正样本采样方法。

8.根据权利要求7所述的一种基于特征平衡和关系增强的人体检测方法，其特征在于，所述步骤5.1的方法具体的是，利用图像的标注信息将所有的负样本划分为K个阶层，在第k阶层上随机抽样的负样本数量为：

其中N为需要抽取的负样本的总个数，如果出现第k阶层的负样本数量N_k小于M_k情况，则抽取第k阶层中的所有负样本，并将第k+1阶层的负样本按照IOU排序，按照升序选取M_k-N_k个负样本作为第k阶层的负样本补充。

9.根据权利要求8所述的一种基于特征平衡和关系增强的人体检测方法，其特征在于，所述步骤5.2的方法具体的是，将所有的正样本对应到P个人体标注框，每个人体标注框周围随机抽取的正样本数量为：

其中M为需要抽取进行训练的正样本的个数，P为图像中存在的个人体标注框的总数。

10.根据权利要求9所述的一种基于特征平衡和关系增强的人体检测方法，其特征在于，所述步骤6具体的是：

步骤6.1、在训练过程中，将不同尺度的人体单独匹配在某一最优的层级进行训练，相互独立；

步骤6.2、在预测过程中，使用多层结果融合的方式，将所有层的预测结果按照同等优先级进行排序，并使用单类别的NMS算法得到最终的预测结果。

Images