CN110688994A - 基于交并比的多模型融合的人脸检测方法、装置与计算机可读取存储介质 - Google Patents

Abstract

本发明提供一种基于交并比的多模型融合的人脸检测方法、装置与计算机可读取存储介质，其中包括人脸检测器训练部、交并比计算部、融合置信度获取部以及检测器判断部，通过本发明的基于交并比IOU的多模型的人脸检测（定位）方法，在进行人脸检测器的模型融合时，基于交并比以重新确定置信度，以保留正确的检测框，舍弃误检。尤其是通过交并比以及归一化权重处理，衡量每个检测器在整个过程的权重，从而降低每个检测器其误检的置信度，且尽可能保证真正人脸置信度。

Description

基于交并比的多模型融合的人脸检测方法、装置与计算机可 读取存储介质

技术领域

本发明涉及人脸检测技术领域，具体而言涉及一种基于交并比的多模型融合的人脸检测方法、装置与计算机可读取存储介质。

背景技术

人脸检测技术是指基于图像处理技术，对于输入的视频帧图像，可以检测到人脸并输出人脸的位置，最终的输出为人脸框在图像中的坐标以及人脸框的置信度。

在人脸检测领域，存在各种各样的人脸检测的算法，在简单的场景下，基本都能检测到人脸，但是在面临复杂的场景时，单个的检测器往往会存在一些漏检或者误检，而每个检测器的漏检和误检都不一样。如果只是把每个检测器的结果都保留下来，则反而会增加误检和漏检的个数。如何可以在融合检测器的时候尽量保留正确的结果，而舍弃误检，是现在存在的问题。

例如现有技术中的CN108171223提出的基于多模型多通道的人脸识别方法及***，尽管是一种融合多模型的人脸识别，但我们看到，无论是活体检测还是人脸识别，其与人脸检测的任务和解决问题的差异很大。在活体检测中，主要目的是判断输入的图片是否是活体，避免产生错误的活体识别（活体攻击）。而在人脸识别中，主要任务和目标是得到人脸的特征向量在计算相似度，是基于已经得到图片中的人脸的坐标的基础上进行计算。而人脸检测，是要从输入的图片中去定位图片中人脸的位置。所以人脸检测的输出是每一个检测框的坐标以及这个检测框是人脸的概率，相当于是一个多任务的模型。假设在一个图片中，存在多个人脸，那么每个模型都会输出多个人脸框，首先就需要判断，不同模型的人脸框是定位在同一个人脸上，才能再去考虑把检测的信息进行融合，例如在图1所示的识别场景中，有三个人脸A、B和C，假设有两个检测器，对每个人脸进行检测和输出，在不考虑误检的情况下，我们在进行模型融合的时候我们只能让同样检测器的两个框进行融合，即只可对同种检测器的检测框进行融合，而不能直接把模型的输出简单的叠加或者加权求和等方式，上述现有技术的基于多模型多通道的人脸识别方法及***不能解决这一问题。

发明内容

本发明目的在于提供一种基于交并比的多模型融合的人脸检测方法，采用多模型融合的人脸检测方法，把多个人脸检测器的结果进行融合，降低误检的同时，提升检测率。

为实现上述目的，本方法提出一种基于交并比的多模型融合的人脸检测方法，包括：

步骤1、在同一个人脸检测训练集中训练多个用于人脸检测的检测器，并在同一个验证集中验证每个检测器的性能，得到P个处于同一性能水平的检测器，P为大于等于3的正整数；

步骤2、输入一张待检测的图片到训练好的P个检测器中，每个检测器输出从图片中预测的人脸框的坐标和置信度；

步骤3、计算每个检测器的输出的人脸框与其他检测器的人脸框的交并比,响应于交并比大于设定的第一阈值M，则判定两侧检测器检测到的是同一个人脸框，即公共人脸框；否则判定不是公共人脸框；

步骤4、统计所有检测器检测到的公共人脸框的个数为m；

步骤5、计算公共人脸框占各自检测器的人脸框的比值，得到P个占比；

步骤6、对P个占比进行归一化处理并计算归一化后的权重，得到各个检测器最终的权重占比；

步骤7、通过非极大值抑制对P个检测器中所有输出的人脸框进行去重，得到去重后的人脸框；

步骤8、对于去重后的人脸框，根据人脸框在对应人脸检测器中的置信度重新计算其置信度，得到融合后的检测器的置信度ConfFace；

步骤9、判断每个检测器融合后的置信度ConfFace是否超过设定的第二阈值Q，如果低于阈值Q，则认为检测器的人脸框为误检，舍弃掉，如果置信度ConfFace高于设定的第二阈值Q，则认为检测器检测到的人脸为正确的检测结果。

进一步优选地，所述步骤1中，在同一个人脸检测训练集和验证集中，若P个检测器的接收者操作特征曲线(receiver operating characteristic, ROC)在负正类率(FalsePostive Rate,FPR)为0.01时，对应的真正类率(True Postive Rate, TPR)最大与最小的差异低于5%,则判定检测器的性能在同一水平。

进一步优选地，所述步骤3中，定义P个检测器检测到的人脸框的个数为Na，Nb，Nc,…，Np，其中p小于等于P；

则任意两个检测器的交并比的交并比的计算如下：

交并比 = 两个人脸框的交集的面积/两个人脸框并集的面积

两个人脸框都通过其左上角的坐标以及右下角的坐标确定：

第一个人脸框的左上角坐标定义为：GX(lt),GY(lt)

第一个人脸框的右下角坐标定义为:GX(rb),GY(rb)

第二个人脸框的左上角坐标定义为:RX(lt),RY(lr)

第二个人脸框的右下角坐标定义为： RX(rb),RY(rb)

首先计算两个人脸框的交集的面积:

取两个框左上角的最大值以及右下角的最小值：

左上角的X坐标的最大值maxX(lt) = max(GX(lt), RX(lt))

左上角的Y坐标的最大值maxY(lt) = max(GY(lt), RY(lt))

右下角的X坐标的最小值 minX(br) = min(GX(br), RX(br))

右下角的Y坐标的最小值 minY(br) = min(GY(br), RY(br))

则两个框交集的面积为： (minX(br) – maxX(lt))*(minY(br)-maxY(lt))

两个框的并集面积：(RX(rb) – RX(lt)) * (RY(rb)-RY(lt)) + (GX(rb) – GX(lt))* (GY(rb)-GY(lt)) - (minX(br) – maxX(lt))*(minY(br)-maxY(lt))

由此，得到任意两个检测器的交并比。

进一步优选地，所述步骤5中，所述公共人脸框占各自检测器的人脸框的比值计算，具体处理如下：

Ra=m/Na；

Rb=m/Nb；

Rc=m/Nc；

…

Rp=m/Np，

其中，p小于等于P；

由此得到P个占比。

进一步优选地，所述步骤6中，所述对P个占比的归一化并计算归一化后的权重，具体包括：

NRa = Ra/(Ra + Rb + Rc+…+ Rp)

NRb = Rb/((Ra + Rb + Rc+…+ Rp)

NRc = Rc/(Ra + Rb + Rc+…+ Rp)

…

NRp = Rp/(Ra + Rb + Rc+…+ Rp)

得到的NRa，NRb，NRc，…,NRp即为各个检测器在最终的权重占比。

进一步优选地，所述步骤8中，融合后的置信度计算如下：

ConfFace = Ca*(NRa) + Cb*(NRb) + Cc*(NRc)+…+ Cp*(NRp)

其中，Ca，Cb，Cc，…,Cp表示人脸框在在对应的检测器中的置信度，如果某一检测器没有检测到其Ca所对应的人脸框，则表示置信度Ca为0，Cb，Cc，…，Cp采用与Ca统一的取值规则。

进一步优选地，所述第一阈值M和第二阈值Q的取值均为0.5。

根据本发明的第二方面，还提出一种基于交并比的多模型融合的人脸检测装置，包括：

用于在同一个人脸检测训练集中训练多个用于人脸检测的检测器，并在同一个验证集中验证每个检测器的性能，得到P个处于同一性能水平的检测器的模块，P为大于等于3的正整数；

用于输入一张待检测的图片到训练好的P个检测器中，使得每个检测器输出从图片中预测的人脸框的坐标和置信度的模块；

用于计算每个检测器的输出的人脸框与其他检测器的人脸框的交并比,响应于交并比大于设定的第一阈值M，则判定两侧检测器检测到的是同一个人脸框，即公共人脸框；否则判定不是公共人脸框的模块；

用于统计所有检测器检测到的公共人脸框的个数为m的模块；

用于计算公共人脸框占各自检测器的人脸框的比值，得到P个占比的模块；

用于对P个占比进行归一化处理并计算归一化后的权重，得到各个检测器最终的权重占比的模块；

用于通过非极大值抑制对P个检测器中所有输出的人脸框进行去重，得到去重后的人脸框的模块；

用于对于去重后的人脸框，根据人脸框在对应人脸检测器中的置信度重新计算其置信度，得到融合后的检测器的置信度ConfFace的模块；

用于判断每个检测器融合后的置信度ConfFace是否超过设定的第二阈值Q，如果低于阈值Q，则认为检测器的人脸框为误检，舍弃掉；如果置信度ConfFace高于设定的第二阈值Q，则认为检测器检测到的人脸为正确的检测结果的模块。

根据本发明的第三方面，还提出一种计算机***，包括：

一个或多个处理器；

存储器，存储可***作的指令，所述指令在通过所述一个或多个处理器执行时使得所述一个或多个处理器执行操作，所述操作包括：

步骤1、在同一个人脸检测训练集中训练多个用于人脸检测的检测器，并在同一个验证集中验证每个检测器的性能，得到P个处于同一性能水平的检测器，P为大于等于3的正整数；

步骤2、输入一张待检测的图片到训练好的P个检测器中，每个检测器输出从图片中预测的人脸框的坐标和置信度；

步骤3、计算每个检测器的输出的人脸框与其他检测器的人脸框的交并比,响应于交并比大于设定的第一阈值M，则判定两侧检测器检测到的是同一个人脸框，即公共人脸框；否则判定不是公共人脸框；

步骤4、统计所有检测器检测到的公共人脸框的个数为m；

步骤5、计算公共人脸框占各自检测器的人脸框的比值，得到P个占比；

步骤6、对P个占比进行归一化处理并计算归一化后的权重，得到各个检测器最终的权重占比；

步骤7、通过非极大值抑制对P个检测器中所有输出的人脸框进行去重，得到去重后的人脸框；

步骤8、对于去重后的人脸框，根据人脸框在对应人脸检测器中的置信度重新计算其置信度，得到融合后的检测器的置信度ConfFace；

步骤9、判断每个检测器融合后的置信度ConfFace是否超过设定的第二阈值Q，如果低于阈值Q，则认为检测器的人脸框为误检，舍弃掉，如果置信度ConfFace高于设定的第二阈值Q，则认为检测器检测到的人脸为正确的检测结果。

根据本发明的第四方面，还提出一种存储软件的计算机可读取介质，所述软件包括能通过一个或多个计算机执行的指令，所述指令通过这样的执行使得所述一个或多个计算机执行操作，所述操作包括：

步骤1、在同一个人脸检测训练集中训练多个用于人脸检测的检测器，并在同一个验证集中验证每个检测器的性能，得到P个处于同一性能水平的检测器，P为大于等于3的正整数；

步骤2、输入一张待检测的图片到训练好的P个检测器中，每个检测器输出从图片中预测的人脸框的坐标和置信度；

步骤3、计算每个检测器的输出的人脸框与其他检测器的人脸框的交并比,响应于交并比大于设定的第一阈值M，则判定两侧检测器检测到的是同一个人脸框，即公共人脸框；否则判定不是公共人脸框；

步骤4、统计所有检测器检测到的公共人脸框的个数为m；

步骤5、计算公共人脸框占各自检测器的人脸框的比值，得到P个占比；

步骤6、对P个占比进行归一化处理并计算归一化后的权重，得到各个检测器最终的权重占比；

步骤7、通过非极大值抑制对P个检测器中所有输出的人脸框进行去重，得到去重后的人脸框；

步骤8、对于去重后的人脸框，根据人脸框在对应人脸检测器中的置信度重新计算其置信度，得到融合后的检测器的置信度ConfFace；

步骤9、判断每个检测器融合后的置信度ConfFace是否超过设定的第二阈值Q，如果低于阈值Q，则认为检测器的人脸框为误检，舍弃掉，如果置信度ConfFace高于设定的第二阈值Q，则认为检测器检测到的人脸为正确的检测结果。

由此，通过以上技术方案的基于交并比IOU的多模型的人脸检测（定位）方法，在进行人脸检测器的模型融合时，基于交并比以重新确定置信度，以保留正确的检测框，舍弃误检。尤其是通过交并比以及归一化权重处理，衡量每个检测器在整个过程的权重，从而降低每个检测器其误检的置信度，且尽可能保证真正人脸置信度。

应当理解，前述构思以及在下面更加详细地描述的额外构思的所有组合只要在这样的构思不相互矛盾的情况下都可以被视为本公开的发明主题的一部分。另外，所要求保护的主题的所有组合都被视为本公开的发明主题的一部分。

结合附图从下面的描述中可以更加全面地理解本发明教导的前述和其他方面、实施例和特征。本发明的其他附加方面例如示例性实施方式的特征和/或有益效果将在下面的描述中显见，或通过根据本发明教导的具体实施方式的实践中得知。

附图说明

附图不意在按比例绘制。在附图中，在各个图中示出的每个相同或近似相同的组成部分可以用相同的标号表示。为了清晰起见，在每个图中，并非每个组成部分均被标记。现在，将通过例子并参考附图来描述本发明的各个方面的实施例，其中：

图1是现有技术中多检测器融合对人脸检测的示意图。

图2是本发明的基于交并比IOU的多模型的人脸检测装置的***配置示意图。

图3是本发明的基于交并比IOU的多模型的人脸检测方法的流程图。

图4是本发明的各个检测器的权重获取流程图。

图5是本发明的基于交并比IOU的多模型的人脸检测方法的硬件配置图。

图6是在夜晚场景下的测试例图片。

图7是使用DSFD_BIMEF人脸检测模型的检测效果。

图8是使用DSFD_LIME人脸检测模型的检测效果。

图9是使用DSFD_MSRCR人脸检测模型的检测效果。

图10是使用本发明融合的人脸检测方法的检测效果。

具体实施方式

为了更了解本发明的技术内容，特举具体实施例并配合所附图式说明如下。

在本公开中参照附图来描述本发明的各方面，附图中示出了许多说明的实施例。本公开的实施例不必定意在包括本发明的所有方面。应当理解，上面介绍的多种构思和实施例，以及下面更加详细地描述的那些构思和实施方式可以以很多方式中任意一种来实施，这是应为本发明所公开的构思和实施例并不限于任何实施方式。另外，本发明公开的一些方面可以单独使用，或者与本发明公开的其他方面的任何适当组合来使用。

结合图2-5所示，根据本发明的实施例，按照下述顺序进行描述。

{***配置}

结合图2所示，本发明的实施例的基于交并比IOU的多模型的人脸检测方案的***配置包括：人脸检测器训练部100、交并比计算部200、融合置信度获取部300以及检测器判断部400。

可选地，人脸检测器训练部100、交并比计算部200、融合置信度获取部300以及检测器判断部400可被配置成部署于计算机***或者服务器***内，这些计算机***以及服务器***具有内部、外部之间通信处理的总线与接口，尤其是具有数据存储、运算和传输功能的软硬件配置。

应当理解，前述的计算机***或者服务器***可以是被配置在物理实体空间的，或者是利于配置于云端的云计算***或者云服务器***实现。

在另一些可选的实施例中，人脸检测器训练部100、交并比计算部200、融合置信度获取部300以及检测器判断部400还可以被集中地布置在计算机***或者服务器***内，或者相互分隔开地部分在这些一个或者多个计算机***或者服务器***中。

人脸检测器训练部100，被配置成用于在同一个人脸检测训练集中训练多个用于人脸检测的检测器，并在同一个验证集中验证每个检测器的性能，得到P个处于同一性能水平的检测器，P为大于等于3的正整数。

交并比计算部200，被配置成用于计算某一个待检测的图片被输入到P个检测器后得到的人脸框之间的任意两个检测器的人脸框的交并比IOU，如果交并比IOU大于设定的第一阈值M，则判定两侧检测器检测到的是同一个人脸框，即公共人脸框；否则判定不是公共人脸框。

融合置信度获取部300，被配置成用于基于交并比计算部200的公共人脸框的判定结果，根据人脸框在对应人脸检测器中的置信度重新计算其置信度，得到融合后的检测器的置信度ConfFace。

在例如图3所示的示例性流程中将要更加具体描述的，融合置信度获取部300基于公共人脸框以及公共人脸框占各自检测器的人脸框的比值，确定归一化后的置信度权重，并据此重新确定融合后的每个检测器的置信度ConfFace。

检测器判断部400，被配置成用于判断每个检测器融合后的置信度ConfFace是否超过设定的第二阈值Q，如果低于阈值Q，则认为检测器的人脸框为误检，舍弃掉，如果置信度ConfFace高于设定的第二阈值Q，则认为检测器检测到的人脸为正确的检测结果。

{多模型的人脸检测方法}

结合图2、3所示，根据本发明的示例性实施例的基于IOU的多模型的人脸检测方法，其包括以下过程：

步骤1、在同一个人脸检测训练集中训练多个用于人脸检测的检测器，并在同一个验证集中验证每个检测器的性能，得到P个处于同一性能水平的检测器，P为大于等于3的正整数；

步骤2、输入一张待检测的图片到训练好的P个检测器中，每个检测器输出从图片中预测的人脸框的坐标和置信度；

步骤3、计算每个检测器的输出的人脸框与其他检测器的人脸框的交并比,响应于交并比大于设定的第一阈值M，则判定两侧检测器检测到的是同一个人脸框，即公共人脸框；否则判定不是公共人脸框；

步骤4、统计所有检测器检测到的公共人脸框的个数为m；

步骤5、计算公共人脸框占各自检测器的人脸框的比值，得到P个占比；

步骤6、对P个占比进行归一化处理并计算归一化后的权重，得到各个检测器最终的权重占比；

步骤7、通过非极大值抑制对P个检测器中所有输出的人脸框进行去重，得到去重后的人脸框；

步骤8、对于去重后的人脸框，根据人脸框在对应人脸检测器中的置信度重新计算其置信度，得到融合后的检测器的置信度ConfFace；

步骤9、判断每个检测器融合后的置信度ConfFace是否超过设定的第二阈值Q，如果低于阈值Q，则认为检测器的人脸框为误检，舍弃掉，如果置信度ConfFace高于设定的第二阈值Q，则认为检测器检测到的人脸为正确的检测结果。

进一步优选地，所述步骤1中，在同一个人脸检测训练集和验证集中，若P个检测器的接收者操作特征曲线(receiver operating characteristic, ROC)在负正类率(FalsePostive Rate,FPR)为0.01时，对应的真正类率(True Postive Rate, TPR)最大与最小的差异低于5%,则判定检测器的性能在同一水平。

进一步优选地，所述步骤3中，定义P个检测器检测到的人脸框的个数为Na，Nb，Nc,…，Np，其中p小于等于P；

则任意两个检测器的交并比的交并比的计算如下：

交并比IOU = 两个人脸框的交集的面积/两个人脸框并集的面积

两个人脸框都通过其左上角的坐标以及右下角的坐标确定：

第一个人脸框的左上角坐标定义为：GX(lt),GY(lt)

第一个人脸框的右下角坐标定义为:GX(rb),GY(rb)

第二个人脸框的左上角坐标定义为:RX(lt),RY(lr)

第二个人脸框的右下角坐标定义为： RX(rb),RY(rb)

首先计算两个人脸框的交集的面积:

取两个框左上角的最大值以及右下角的最小值：

左上角的X坐标的最大值maxX(lt) = max(GX(lt), RX(lt))

左上角的Y坐标的最大值maxY(lt) = max(GY(lt), RY(lt))

右下角的X坐标的最小值 minX(br) = min(GX(br), RX(br))

右下角的Y坐标的最小值 minY(br) = min(GY(br), RY(br))

则两个框交集的面积为： (minX(br) – maxX(lt))*(minY(br)-maxY(lt))

两个框的并集面积：(RX(rb) – RX(lt)) * (RY(rb)-RY(lt)) + (GX(rb) – GX(lt))* (GY(rb)-GY(lt)) - (minX(br) – maxX(lt))*(minY(br)-maxY(lt))

由此，得到任意两个检测器的交并比IOU。

进一步优选地，所述步骤5中，所述公共人脸框占各自检测器的人脸框的比值计算，具体处理如下：

Ra=m/Na；

Rb=m/Nb；

Rc=m/Nc；

…

Rp=m/Np，

其中，p小于等于P；

由此得到P个占比。

进一步优选地，所述步骤6中，所述对P个占比的归一化并计算归一化后的权重，具体包括：

NRa = Ra/(Ra + Rb + Rc+…+ Rp)

NRb = Rb/((Ra + Rb + Rc+…+ Rp)

NRc = Rc/(Ra + Rb + Rc+…+ Rp)

…

NRp = Rp/(Ra + Rb + Rc+…+ Rp)

得到的NRa，NRb，NRc，…,NRp即为各个检测器在最终的权重占比。

本发明的实施例中，归一化处理的目的在于为了保证最终根据检测器融合之后人脸框的置信度是在[0,1]之内，即衡量这个检测出的框是人脸的概率。

进一步优选地，所述步骤8中，融合后的置信度计算如下：

ConfFace = Ca*(NRa) + Cb*(NRb) + Cc*(NRc)+…+ Cp*(NRp)

其中，Ca，Cb，Cc，…,Cp表示人脸框在在对应的检测器中的置信度，如果某一检测器没有检测到其Ca所对应的人脸框，则表示置信度Ca为0，Cb，Cc，…，Cp采用与Ca统一的取值规则。

本发明的前述实施例中，第一阈值M和第二阈值Q的取值，可以采用经验阈值为0.5。

下面以三个检测器为例进行说明：

步骤1、假定训练好A,B,C三个检测器。在已有的测试集中，若A，B，C三个检测器的接收者操作特征曲线在负正类率为0.01时，对应的真正类率最大与最小的差异低于5%,则认为检测器的性能在同一水平；

步骤2、输入一张需要检测的图片到训练好的每一个检测器中，每一个检测器会输出在图片中预测的人脸框的坐标和置信度。定义三个检测器检测到的人脸框的个数为Na，Nb，Nc；

步骤3、计算每个检测器的输出的人脸框与其他检测器的人脸框的交并比(IOU),若IOU大于0.5(此值是在人脸检测中范用的阈值),则视为两个检测器检测到的是同一个人脸框，即为公共人脸框；

步骤4、统计所有检测器的都检测公共人脸框的个数为m；

步骤5、计算公共人脸框占各自人脸框的比值，Ra = m/Na，Rb = m/Nb，Rc=m/Nc；

步骤6、对占比进行归一化，计算归一化之后的权重，计算公式如下：

NRa = Ra/(Ra + Rb + Rc)

NRb = Rb/((Ra + Rb + Rc)

NRc = Rc/(Ra + Rb + Rc)

得到的NRa，NRb，NRc即为各个检测器在最终的权重占比，归一化是为了保证最终根据模型融合之后人脸框的置信度是在[0,1]之内，即衡量这个检测出的框是人脸的概率；

从3-6步是为了得到各个检测器所占的权重的步骤；

步骤7、然后通过非极大值抑制(nms)对三个检测器中所有输出框进行去重，得到去重后的人脸框；

步骤8、对于去重后的人脸框，重新计算其置信度，得到融合后模型的置信度，计算公式如下

ConfFace = Ca*(NRa) + Cb*(NRb) + Cc*(NRc)

其中Ca，Cb，Cc都是这个人脸框在A，B，C检测器中的置信度，假若A检测器没有检测到这个人脸框，则Ca为0。Cb，Cc同理；

步骤9、对于最终得到的每个人脸框的置信度判断是否超过了阈值，常用阈值为0.5，若低于阈值，则认为不是人脸并舍弃。

{硬件配置}

图5示例性地表示了根据本公开的实施方案的实施多模型融合的人脸检测方法的的硬件配置的实例示意。

***600可以包括CPU 601、ROM 603、RAM 604、用户交互界面609、通信模块613和显示器615。这些部件通过例如总线相互连接，以集成或者独立的方式设置在板卡或者集成电路内。

通信模块613，可选有线或者无线通信模块，例如4G、5G等无线网络通信模块。

CPU 601、ROM 603和RAM 604通过读取和执行例如被记录在外置存储器611中的程序指令，用软件实施各种类型的功能。在本公开的实施方案中，图片处理过程的控制可以例如由CPU 601、ROM 603和RAM 604来实施。

用户交互界面609为例如接收用户操作的输入装置(诸如触控面板、虚拟按键)。

显示器615由能够视觉上向用户通知信息的装置构成。例如，显示器615可以是显示设备(诸如液晶显示器LCD)。显示器615输出通过CPU 601、ROM603和RAM 604中的软件实施人脸融合检测后输出的结果以图像形式，例如图1所示的样式，展示给用户。

应当理解，每个上述构成部分可以通过使用通用部件构成，或可以由专门用于每个构成部分的功能的硬件构成。图5的硬件配置可以在实施时适当地改变。

结合图6-10所示为根据本发明的实施例的人脸检测方法的检测结果与传统检测方法的对比。如下表1是三个传统人脸检测模型（DSFD_MSRCR、DSFD_LIME、DSFD_BIMEF）在黑暗场景和在正常场景下的人脸检测的指标，结合图7-9所示。

表1

如图10所示的检测结果，采用本发明的检测方法进行检测后得到的检测指标如下：

从表2可见，相比常规方式， 两种场景（黑暗和正常光照）下，相比普通方案，采用本发明检测方式的检测性能得到显著的提升，精度分别从62.5%->70.5% 和74.4%->81.6%

如此，通过以上描述的过程以及测试结果可见，本发明的实施例提出的模型融合的方法，可以有效的提升检测精度，且根据融合模型个数越多，提升的幅度越明显。

结合图示，本发明的前述实施例还可以根据具体实施配置如下。

{人脸检测融合装置}

一种基于交并比的多模型融合的人脸检测装置，包括：

用于在同一个人脸检测训练集中训练多个用于人脸检测的检测器，并在同一个验证集中验证每个检测器的性能，得到P个处于同一性能水平的检测器的模块，P为大于等于3的正整数；

用于输入一张待检测的图片到训练好的P个检测器中，使得每个检测器输出从图片中预测的人脸框的坐标和置信度的模块；

用于计算每个检测器的输出的人脸框与其他检测器的人脸框的交并比,响应于交并比大于设定的第一阈值M，则判定两侧检测器检测到的是同一个人脸框，即公共人脸框；否则判定不是公共人脸框的模块；

用于统计所有检测器检测到的公共人脸框的个数为m的模块；

用于计算公共人脸框占各自检测器的人脸框的比值，得到P个占比的模块；

用于对P个占比进行归一化处理并计算归一化后的权重，得到各个检测器最终的权重占比的模块；

用于通过非极大值抑制对P个检测器中所有输出的人脸框进行去重，得到去重后的人脸框的模块；

用于对于去重后的人脸框，根据人脸框在对应人脸检测器中的置信度重新计算其置信度，得到融合后的检测器的置信度ConfFace的模块；

用于判断每个检测器融合后的置信度ConfFace是否超过设定的第二阈值Q，如果低于阈值Q，则认为检测器的人脸框为误检，舍弃掉；如果置信度ConfFace高于设定的第二阈值Q，则认为检测器检测到的人脸为正确的检测结果的模块。

{计算机***}

一种计算机***，包括：

一个或多个处理器；

存储器，存储可***作的指令，所述指令在通过所述一个或多个处理器执行时使得所述一个或多个处理器执行操作，所述操作包括：

步骤1、在同一个人脸检测训练集中训练多个用于人脸检测的检测器，并在同一个验证集中验证每个检测器的性能，得到P个处于同一性能水平的检测器，P为大于等于3的正整数；

步骤2、输入一张待检测的图片到训练好的P个检测器中，每个检测器输出从图片中预测的人脸框的坐标和置信度；

步骤3、计算每个检测器的输出的人脸框与其他检测器的人脸框的交并比,响应于交并比大于设定的第一阈值M，则判定两侧检测器检测到的是同一个人脸框，即公共人脸框；否则判定不是公共人脸框；

步骤4、统计所有检测器检测到的公共人脸框的个数为m；

步骤5、计算公共人脸框占各自检测器的人脸框的比值，得到P个占比；

步骤6、对P个占比进行归一化处理并计算归一化后的权重，得到各个检测器最终的权重占比；

步骤7、通过非极大值抑制对P个检测器中所有输出的人脸框进行去重，得到去重后的人脸框；

步骤8、对于去重后的人脸框，根据人脸框在对应人脸检测器中的置信度重新计算其置信度，得到融合后的检测器的置信度ConfFace；

步骤9、判断每个检测器融合后的置信度ConfFace是否超过设定的第二阈值Q，如果低于阈值Q，则认为检测器的人脸框为误检，舍弃掉，如果置信度ConfFace高于设定的第二阈值Q，则认为检测器检测到的人脸为正确的检测结果。

{计算机可读取介质}

一种存储软件的计算机可读取介质，所述软件包括能通过一个或多个计算机执行的指令，所述指令通过这样的执行使得所述一个或多个计算机执行操作，所述操作包括：

步骤1、在同一个人脸检测训练集中训练多个用于人脸检测的检测器，并在同一个验证集中验证每个检测器的性能，得到P个处于同一性能水平的检测器，P为大于等于3的正整数；

步骤2、输入一张待检测的图片到训练好的P个检测器中，每个检测器输出从图片中预测的人脸框的坐标和置信度；

步骤3、计算每个检测器的输出的人脸框与其他检测器的人脸框的交并比,响应于交并比大于设定的第一阈值M，则判定两侧检测器检测到的是同一个人脸框，即公共人脸框；否则判定不是公共人脸框；

步骤4、统计所有检测器检测到的公共人脸框的个数为m；

步骤5、计算公共人脸框占各自检测器的人脸框的比值，得到P个占比；

步骤6、对P个占比进行归一化处理并计算归一化后的权重，得到各个检测器最终的权重占比；

步骤7、通过非极大值抑制对P个检测器中所有输出的人脸框进行去重，得到去重后的人脸框；

步骤8、对于去重后的人脸框，根据人脸框在对应人脸检测器中的置信度重新计算其置信度，得到融合后的检测器的置信度ConfFace；

步骤9、判断每个检测器融合后的置信度ConfFace是否超过设定的第二阈值Q，如果低于阈值Q，则认为检测器的人脸框为误检，舍弃掉，如果置信度ConfFace高于设定的第二阈值Q，则认为检测器检测到的人脸为正确的检测结果。

虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。

Claims (10)

1.一种基于交并比的多模型融合的人脸检测方法，其特征在于，包括：

步骤1、在同一个人脸检测训练集中训练多个用于人脸检测的检测器，并在同一个验证集中验证每个检测器的性能，得到P个处于同一性能水平的检测器，P为大于等于3的正整数；

步骤2、输入一张待检测的图片到训练好的P个检测器中，每个检测器输出从图片中预测的人脸框的坐标和置信度；

步骤3、计算每个检测器的输出的人脸框与其他检测器的人脸框的交并比,响应于交并比大于设定的第一阈值M，则判定两侧检测器检测到的是同一个人脸框，即公共人脸框；否则判定不是公共人脸框；

步骤4、统计所有检测器检测到的公共人脸框的个数为m；

步骤5、计算公共人脸框占各自检测器的人脸框的比值，得到P个占比；

步骤6、对P个占比进行归一化处理并计算归一化后的权重，得到各个检测器最终的权重占比；

步骤7、通过非极大值抑制对P个检测器中所有输出的人脸框进行去重，得到去重后的人脸框；

步骤8、对于去重后的人脸框，根据人脸框在对应人脸检测器中的置信度重新计算其置信度，得到融合后的检测器的置信度ConfFace；

步骤9、判断每个检测器融合后的置信度ConfFace是否超过设定的第二阈值Q，如果低于阈值Q，则认为检测器的人脸框为误检，舍弃掉，如果置信度ConfFace高于设定的第二阈值Q，则认为检测器检测到的人脸为正确的检测结果。

2.根据权利要求1所述的基于交并比的多模型融合的人脸检测方法，其特征在于，所述步骤1中，在同一个人脸检测训练集和验证集中，若P个检测器的接收者操作特征曲线(receiver operating characteristic, ROC)在负正类率(False Postive Rate,FPR)为0.01时，对应的真正类率(True Postive Rate, TPR)最大与最小的差异低于5%,则判定检测器的性能在同一水平。

3.根据权利要求1所述的基于交并比的多模型融合的人脸检测方法，其特征在于，所述步骤3中，定义P个检测器检测到的人脸框的个数为Na，Nb，Nc,…，Np，其中p小于等于P；

则任意两个检测器的交并比的交并比的计算如下：

交并比 = 两个人脸框的交集的面积/两个人脸框并集的面积

两个人脸框都通过其左上角的坐标以及右下角的坐标确定：

第一个人脸框的左上角坐标定义为：GX(lt),GY(lt)

第一个人脸框的右下角坐标定义为:GX(rb),GY(rb)

第二个人脸框的左上角坐标定义为:RX(lt),RY(lr)

第二个人脸框的右下角坐标定义为： RX(rb),RY(rb)

首先计算两个人脸框的交集的面积:

取两个框左上角的最大值以及右下角的最小值：

左上角的X坐标的最大值maxX(lt) = max(GX(lt), RX(lt))

左上角的Y坐标的最大值maxY(lt) = max(GY(lt), RY(lt))

右下角的X坐标的最小值 minX(br) = min(GX(br), RX(br))

右下角的Y坐标的最小值 minY(br) = min(GY(br), RY(br))

则两个框交集的面积为： (minX(br) – maxX(lt))*(minY(br)-maxY(lt))

两个框的并集面积：(RX(rb) – RX(lt)) * (RY(rb)-RY(lt)) + (GX(rb) – GX(lt))* (GY(rb)-GY(lt)) - (minX(br) – maxX(lt))*(minY(br)-maxY(lt))

由此，得到任意两个检测器的交并比。

4.根据权利要求3所述的基于交并比的多模型融合的人脸检测方法，其特征在于，所述步骤5中，所述公共人脸框占各自检测器的人脸框的比值计算，具体处理如下：

Ra=m/Na；

Rb=m/Nb；

Rc=m/Nc；

…

Rp=m/Np，

其中，p小于等于P；

由此得到P个占比。

5.根据权利要求4所述的基于交并比的多模型融合的人脸检测方法，其特征在于，所述步骤6中，所述对P个占比的归一化并计算归一化后的权重，具体包括：

NRa = Ra/(Ra + Rb + Rc+…+ Rp)

NRb = Rb/((Ra + Rb + Rc+…+ Rp)

NRc = Rc/(Ra + Rb + Rc+…+ Rp)

…

NRp = Rp/(Ra + Rb + Rc+…+ Rp)

得到的NRa，NRb，NRc，…,NRp即为各个检测器在最终的权重占比。

6.根据权利要求5所述的基于交并比的多模型融合的人脸检测方法，其特征在于，所述步骤8中，融合后的置信度计算如下：

ConfFace = Ca*(NRa) + Cb*(NRb) + Cc*(NRc)+…+ Cp*(NRp)

其中，Ca，Cb，Cc，…,Cp表示人脸框在在对应的检测器中的置信度，如果某一检测器没有检测到其Ca所对应的人脸框，则表示置信度Ca为0，Cb，Cc，…，Cp采用与Ca统一的取值规则。

7.根据权利要求1-6中任意一项所述的基于交并比的多模型融合的人脸检测方法，其特征在于，所述第一阈值M和第二阈值Q的取值均为0.5。

8.一种基于交并比的多模型融合的人脸检测装置，其特征在于，包括：

用于在同一个人脸检测训练集中训练多个用于人脸检测的检测器，并在同一个验证集中验证每个检测器的性能，得到P个处于同一性能水平的检测器的模块，P为大于等于3的正整数；

用于输入一张待检测的图片到训练好的P个检测器中，使得每个检测器输出从图片中预测的人脸框的坐标和置信度的模块；

用于计算每个检测器的输出的人脸框与其他检测器的人脸框的交并比,响应于交并比大于设定的第一阈值M，则判定两侧检测器检测到的是同一个人脸框，即公共人脸框；否则判定不是公共人脸框的模块；

用于统计所有检测器检测到的公共人脸框的个数为m的模块；

用于计算公共人脸框占各自检测器的人脸框的比值，得到P个占比的模块；

用于对P个占比进行归一化处理并计算归一化后的权重，得到各个检测器最终的权重占比的模块；

用于通过非极大值抑制对P个检测器中所有输出的人脸框进行去重，得到去重后的人脸框的模块；

用于对于去重后的人脸框，根据人脸框在对应人脸检测器中的置信度重新计算其置信度，得到融合后的检测器的置信度ConfFace的模块；

用于判断每个检测器融合后的置信度ConfFace是否超过设定的第二阈值Q，如果低于阈值Q，则认为检测器的人脸框为误检，舍弃掉；如果置信度ConfFace高于设定的第二阈值Q，则认为检测器检测到的人脸为正确的检测结果的模块。

9.一种计算机***，其特征在于，包括：

一个或多个处理器；

存储器，存储可***作的指令，所述指令在通过所述一个或多个处理器执行时使得所述一个或多个处理器执行操作，所述操作包括：

步骤1、在同一个人脸检测训练集中训练多个用于人脸检测的检测器，并在同一个验证集中验证每个检测器的性能，得到P个处于同一性能水平的检测器，P为大于等于3的正整数；

步骤2、输入一张待检测的图片到训练好的P个检测器中，每个检测器输出从图片中预测的人脸框的坐标和置信度；

步骤3、计算每个检测器的输出的人脸框与其他检测器的人脸框的交并比,响应于交并比大于设定的第一阈值M，则判定两侧检测器检测到的是同一个人脸框，即公共人脸框；否则判定不是公共人脸框；

步骤4、统计所有检测器检测到的公共人脸框的个数为m；

步骤5、计算公共人脸框占各自检测器的人脸框的比值，得到P个占比；

步骤6、对P个占比进行归一化处理并计算归一化后的权重，得到各个检测器最终的权重占比；

步骤7、通过非极大值抑制对P个检测器中所有输出的人脸框进行去重，得到去重后的人脸框；

步骤8、对于去重后的人脸框，根据人脸框在对应人脸检测器中的置信度重新计算其置信度，得到融合后的检测器的置信度ConfFace；

步骤9、判断每个检测器融合后的置信度ConfFace是否超过设定的第二阈值Q，如果低于阈值Q，则认为检测器的人脸框为误检，舍弃掉，如果置信度ConfFace高于设定的第二阈值Q，则认为检测器检测到的人脸为正确的检测结果。

10.一种存储软件的计算机可读取介质，其特征在于，所述软件包括能通过一个或多个计算机执行的指令，所述指令通过这样的执行使得所述一个或多个计算机执行操作，所述操作包括：

步骤1、在同一个人脸检测训练集中训练多个用于人脸检测的检测器，并在同一个验证集中验证每个检测器的性能，得到P个处于同一性能水平的检测器，P为大于等于3的正整数；

步骤2、输入一张待检测的图片到训练好的P个检测器中，每个检测器输出从图片中预测的人脸框的坐标和置信度；

步骤3、计算每个检测器的输出的人脸框与其他检测器的人脸框的交并比,响应于交并比大于设定的第一阈值M，则判定两侧检测器检测到的是同一个人脸框，即公共人脸框；否则判定不是公共人脸框；

步骤4、统计所有检测器检测到的公共人脸框的个数为m；

步骤5、计算公共人脸框占各自检测器的人脸框的比值，得到P个占比；

步骤6、对P个占比进行归一化处理并计算归一化后的权重，得到各个检测器最终的权重占比；

步骤7、通过非极大值抑制对P个检测器中所有输出的人脸框进行去重，得到去重后的人脸框；

步骤8、对于去重后的人脸框，根据人脸框在对应人脸检测器中的置信度重新计算其置信度，得到融合后的检测器的置信度ConfFace；

步骤9、判断每个检测器融合后的置信度ConfFace是否超过设定的第二阈值Q，如果低于阈值Q，则认为检测器的人脸框为误检，舍弃掉，如果置信度ConfFace高于设定的第二阈值Q，则认为检测器检测到的人脸为正确的检测结果。

Images