CN112418184A - 基于鼻部特征的人脸检测方法、装置、电子设备及介质 - Google Patents

Abstract

本发明公开了一种基于鼻部特征的人脸检测方法、装置、电子设备及介质，涉及人脸检测技术领域，用于解决相关技术中人脸检测的过程复杂且处理效率低的问题。该方法包括：获取待检测图像；将待检测图像输入人脸关键点检测模型，得到第一关键点组，第一关键点组中的关键点均与鼻部关联；根据第一关键点组在待检测图像上抠取鼻部区域；将鼻部区域输入分类模型，得到鼻部区域是否合格的检测结果，若是，则判定待检测图像包括人脸。本发明具有过程简单且处理效率高的优点。

Description

基于鼻部特征的人脸检测方法、装置、电子设备及介质

技术领域

本发明涉及人脸检测技术领域，尤其是涉及一种基于鼻部特征的人脸检测方法、装置、电子设备及介质。

背景技术

人脸识别，是基于人脸特征信息进行身份识别的一种生物识别技术。为了避免无意义的人脸识别，通常需要对相应的图片进行人脸检测，在判定其具有人脸的情况下，才能进行人脸识别。

在相关技术中，人脸检测通常基于人脸的全部关键点进行处理，因此，不仅需要采集人脸的全部关键点，还需要依靠基于CNN模型的深度学习方法对该全部关键点进行处理，其不仅过程复杂，还处理效率低。

目前针对相关技术中人脸检测的过程复杂且处理效率低的问题，尚未提出有效的解决方案。

发明内容

为了克服相关技术的不足，本发明的目的在于提供一种基于鼻部特征的人脸检测方法、装置、电子设备及介质，其具有过程简单且处理效率高的优点。

本发明的目的之一采用如下技术方案实现：

一种基于鼻部特征的人脸检测方法，所述方法包括：

获取待检测图像；

将所述待检测图像输入人脸关键点检测模型，得到第一关键点组，所述第一关键点组中的关键点均与鼻部关联；

根据所述第一关键点组在所述待检测图像上抠取鼻部区域；

将所述鼻部区域输入分类模型，得到所述鼻部区域是否合格的检测结果，若是，则判定所述待检测图像包括人脸。

在其中一些实施例中，所述人脸关键点检测模型采用mobilenet-v1模型、mobilenet-v2模型、shuffle-net模型中的任意一种。

在其中一些实施例中，所述分类模型采用mobilenet-v1模型、mobilenet-v2模型、shuffle-net模型中的任意一种。

在其中一些实施例中，在将所述待检测图像输入人脸关键点检测模型之后，所述人脸关键点检测模型输出98个关键点，所述第一关键点组包括第52关键点，第76关键点，第79关键点，第82关键点。

在其中一些实施例中，所述根据所述第一关键点组在所述待检测图像上抠取鼻部区域包括：

以所述第52关键点和所述第79关键点的连线为长，以所述第76关键点和第82关键点的连线平移至所述第79关键点的线段为宽，得到一矩形区域；

所述矩形区域以长度方向自所述第52关键点收缩[0，0.1]，以长度方向自所述第79关键点收缩[0，0.2]，以宽度方向分别自所述第76关键点和所述第82关键点收缩[0，0.2]，得到中间区域；

在所述待检测图像上对应抠取所述中间区域，作为所述鼻部区域。

在其中一些实施例中，在判定所述待检测图像包括人脸的情况下，所述方法还包括：

根据所述人脸关键点检测模型输出的全部人脸关键点抠取脸部区域；

将所述脸部区域调整至脸部预设尺寸并作为人脸识别的输入。

在其中一些实施例中，在将所述鼻部区域输入分类模型之前，所述方法还包括：

将所述鼻部区域调整至鼻部预设尺寸。

本发明的目的之二采用如下技术方案实现：

一种基于鼻部特征的人脸检测装置，所述装置包括：

获取模块，用于获取待检测图像；

处理模块，用于将所述待检测图像输入人脸关键点检测模型，得到第一关键点组，所述第一关键点组中的关键点均与鼻部关联；

抠取模块，用于根据所述第一关键点组在所述待检测图像上抠取鼻部区域；

检测模块，用于将所述鼻部区域输入分类模型，得到所述鼻部区域是否合格的检测结果，若是，则判定所述待检测图像包括人脸。

本发明的目的之三在于提供执行发明目的之一的电子设备，其包括存储器和处理器，所处存储器中存储有计算机程序，所述处理器被设置为执行所述计算机程序时实现上述的方法。

本发明的目的之四在于提供存储发明目的之一的计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法。

相比相关技术，本发明的有益效果在于：在将待检测图像输入人脸关键点检测模型之后，选取与鼻部关联的关键点以组成第一关键点组，按照第一关键点得到鼻部区域，然后利用该鼻部区域经由分类模型以检测是否合格，并将该检测结果作为为人脸判定的基础，即本发明通过对鼻部的局部判断代替对人脸的整体判断，从而可以降低对分类模型的要求，使得该检测过程更为简单，相应地提高了处理效率。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是本申请实施例一所示基于鼻部特征的人脸检测方法的流程图；

图2是本申请实施例二所示步骤S103的流程图；

图3为本申请实施例二所示人脸关键点的示意图；

图4是本申请实施例四所示基于鼻部特征的人脸检测装置的结构框图；

图5是本申请实施例五所示电子设备的结构框图。

附图说明：41、获取模块；42、处理模块；43、抠取模块；44、检测模块。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。

实施例一

本实施例一提供了一种基于鼻部特征的人脸检测方法，旨在解决相关技术中人脸检测的过程复杂且处理效率低的问题。

图1是本申请实施例一所示基于鼻部特征的人脸检测方法的流程图，参照图1所示，本方法包括步骤S101至步骤S104。

步骤S101、获取待检测图像。可以理解，该待检测图像为RGB图像，该待检测图像可以具有人脸，也可以不具有人脸。

步骤S102、将待检测图像输入人脸关键点检测模型，得到第一关键点组，第一关键点组内的关键点均与鼻部关联。可以理解，经由人脸关键点检测模型得到的人脸关键点组可能存在异常，例如：不包括人脸的待检测图像在输入人脸关键点检测模型之后，也可以得到人脸关键点组。

可以理解，人脸关键点检测为现有技术，其可以采用为4点标注、5点标注、6点标注、21点标注、29点标注、68点标注、96点标注、98点标注、106点标注、108点标注等方式中的任意一种，优选再用98点标注的方式。

在此值得说明的是，该第一关键点组也为人脸关键点组的一部分，第一关键点组内的关键点对应同一人脸。第一关键点组内的关键点均与鼻部关联，但并不是鼻部的关键点，其仅是作为得到鼻部区域的基础条件。该人脸关键点检测模型的输出在此不做限定，其可以仅输出第一关键点组，也可以输出人脸关键点组并对该人脸关键点组进行筛选以得到第一关键点组。

步骤S103、根据第一关键点组在待检测图像上抠取鼻部区域。该鼻部区域也为RGB图像。可以理解，各个关键点均具有坐标，而该第一关键点组与鼻部关联，因此，可以通过对第一关键点组进行处理，以确定鼻部区域。

步骤S104、将鼻部区域输入分类模型，得到鼻部区域是否合格的检测结果。该分类模型具体类型在此不做限制。可以理解，在检测结果为合格的情况下，则该鼻部区域包括鼻部特征，相应地，该待检测图像包括人脸；在检测结果为不合格的情况下，则该鼻部区域包括不鼻部特征，相应地，该待检测图像可能不包括人脸。

在此值得说明的是，当一个待检测图像具有一个以上的人脸时，则该待检测图像仅输入一次人脸检测模型，便得到一个以上的第一关键点组，因此可以抠取一个以上的鼻部区域并分别输入分类模型，以得到一个以上的检测结果，只有在所有检测结果均不合格的情况下，方能判定该待检测图像不包括人脸。

综上，在将待检测图像输入人脸关键点检测模型之后，选取与鼻部关联的关键点以组成第一关键点组，按照第一关键点得到鼻部区域，然后利用该鼻部区域经由分类模型以检测是否合格，并将该检测结果作为为人脸判定的基础，即本发明通过对鼻部的局部判断代替对人脸的整体判断，从而可以降低对分类模型的要求，使得该检测过程更为简单，相应地提高了处理效率。

值得说明的是，该方法的步骤是基于执行设备完成的。具体地，该执行设备可以为服务器、云服务器、用户端以及处理器等设备，但该执行设备不限于上述类型。

可以理解，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

作为可选的实施方式，在步骤S102中，若第一关键点组内的关键点数量少于预设数量，则判定该第一关键点组无效，即该第一关键点组不执行步骤S103等步骤，以避免服务设备资源的浪费。

作为可选的实施方式，人脸关键点检测模型可以采用mobilenet-v1模型、mobilenet-v2模型、shuffle-net模型中的任意一种。可以理解，mobilenet-v1模型、mobilenet-v2模型以及shuffle-net模型均为轻量型网络模型，其在满足精度的前提下，可以减少计算量，进一步地提高处理效率。当然，该人脸关键点检测模型不限于上述类型，但优选采用mobilenet-v2模型。

作为可选的实施方式，分类模型可以采用mobilenet-v1模型、mobilenet-v2模型、shuffle-net模型中的任意一种。可以理解，mobilenet-v1模型、mobilenet-v2模型以及shuffle-net模型均为轻量型网络模型，其在满足精度的前提下，可以减少计算量，进一步地提高处理效率。当然，该分类模型不限于上述类型，但优选采用mobilenet-v2模型。

在此对分类模型的生成进行说明：获取训练集，该训练集经过了数据清洗和数据预处理，其包括鼻部图像和非鼻部图像，将训练集内的图像作为分类模型的输入，将是否合格作为分类模型的输出，以训练该分类模型，并在训练过程中不断调整分类模型的深度、宽度和以及分类模型中相关参数，在满足精度的前提下，尽量减小分类模型计算量；在完成对分类模型的训练之后，获取测试集，该测试集经过了数据清洗和数据预处理，其包括鼻部图像和非鼻部区域图像，但该测试集与训练集互斥；将训练集的图像输入该分类模型，判定其输出是否符合正确，以对该分类模型的进行测试。

实施例二

本实施例二提供了一种基于鼻部特征的人脸检测方法，本实施例二是在实施例一的基础上进行的。

在此值得说明的是，本实施方式以上述98点标注的方式实现人脸关键点检测，图2是本申请实施例二所示步骤S103的流程图，图3为本申请实施例二所示人脸关键点的示意图。

参照图2和图3所示，该步骤S103可以包括步骤S201至步骤S203。

步骤S201、以第52关键点和第79关键点的连线为长，以第76关键点和第82关键点的连线平移至第79关键点的线段为宽，得到一矩形区域。在此值得说明的是，第一关键点组包括第52关键点，第76关键点，第79关键点，第82关键点。

步骤S201、矩形区域以长度方向自第52关键点收缩[0，0.1]，以长度方向自第79关键点收缩[0，0.2]，以宽度方向分别自第76关键点和第82关键点收缩[0，0.2]，得到中间区域。在此值得说明的是，上述各个收缩操作均以步骤S201中的矩形区域为对象，且执行顺序不限，以避免相互干扰而影响该中间区域。

在此值得说明的是，当各个收缩操作的相应取值均选取0时，则该中间区域等于矩形区域，由此可见，该矩形区域为鼻部区域的最大抠取范围，以保证抠取得到的鼻部区域仅具有鼻部特征。各个收缩操作的相应取值均优选选取0.1，以在保证鼻部特征完整的同时，尽量增大鼻部特征的占比，降低分类模型的计算量。

步骤S203、在待检测图像上对应抠取中间区域，作为鼻部区域。该抠取方式为本领域的常规操作，具体在此不做赘述。

通过该技术方案可以得到鼻部区域，且该鼻部区域仅包含鼻部特征，从而符合分类模型的要求。

作为可选的实施方式，步骤S103还可以采用以下方式，具体包括：第一关键点组包括第52关键点，第55关键点，第57关键点，第59关键点，以第52关键点和第57关键点的连线为长，以第55关键点和第59关键点的连线为宽，得到一矩形区域；矩形区域以长度方向自第52关键点收缩[0，0.1]，以长度方向向第57关键点扩充[0，0.2]，以宽度方向分别向第55关键点和第59关键点扩充[0.1，0.4]，得到中间区域；在待检测图像上对应抠取中间区域，作为鼻部区域。

当然，步骤S103不限于上述方式，其还可以基于第52关键点，第57关键点，第76关键点，第82关键点等组成的第一关键点组，具体步骤进行调整即可，只要鼻部区域仅包含鼻部特征且该鼻部特征完整即可。

实施例三

本实施例三提供一种基于鼻部特征的人脸检测方法，本实施例三在实施例一和/或实施例二的基础上进行的。

在分类模型输出鼻部区域合格的检测结果的情况下，则判定待检测图像包括人脸，则为了便于后续的人脸识别，该方法还可以包括第一调整步骤。

该第一调整步骤包括：

根据人脸关键点检测模型输出的全部人脸关键点抠取脸部区域。即上述人脸关键点检测模型优选采用输出全部人脸关键点，并在全部的人脸关键点中筛选得到第一关键点组。

将脸部区域调整至脸部预设尺寸并作为人脸识别的输入。可以理解，该脸部预设尺寸在此不做限制，只要可以实现脸部区域统一即可，以降低人脸识别的计算量，提高人脸识别的处理效率。

作为可选的实施方式，该方法还可以包括：将鼻部区域调整至鼻部预设尺寸。该步骤在步骤S103之后、步骤S104之前执行。该鼻部预设尺寸在此不做限制，只要可以实现鼻部区域统一即可，以减低分类模型的计算量，提高人脸检测的处理效率。

实施例四

本实施例四提供一种基于鼻部特征的人脸检测装置，其为上述实施例的虚拟装置结构。图4是本申请实施例四所示基于鼻部特征的人脸检测装置的结构框图，参照图4所示，该装置包括获取模块41、处理模块42、抠取模块43、检测模块44。

获取模块41用于获取待检测图像。

处理模块42用于将待检测图像输入人脸关键点检测模型，得到第一关键点组，第一关键点组中的关键点均与鼻部关联。

抠取模块43用于根据第一关键点组在待检测图像上抠取鼻部区域。

检测模块44用于将鼻部区域输入分类模型，得到鼻部区域是否合格的检测结果，若是，则判定待检测图像包括人脸。

需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。

实施例五

本实施例五提供了一种电子设备，图5是本申请实施例五所示电子设备的结构框图，参照图5所示，该电子设备包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行实现上述实施例中的任意一种基于鼻部特征的人脸检测方法，具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

可选地，上述电子设备还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

另外，结合上述实施例中的基于鼻部特征的人脸检测方法，本申请实施例五可提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种基于鼻部特征的人脸检测方法，该方法包括：

获取待检测图像；

将待检测图像输入人脸关键点检测模型，得到第一关键点组，第一关键点组中的关键点均与鼻部关联；

根据第一关键点组在待检测图像上抠取鼻部区域；

将鼻部区域输入分类模型，得到鼻部区域是否合格的检测结果，若是，则判定待检测图像包括人脸。

如图5所示，以一个处理器为例，电子设备中的处理器、存储器、输入装置和输出装置可以通过总线或其他方式连接，图5中以通过总线连接为例。

存储器作为一种计算机可读存储介质，可以包括高速随机存取存储器、非易失性存储器等，可用于存储操作***、软件程序、计算机可执行程序和数据库，如本发明实施例一的基于鼻部特征的人脸检测方法对应的程序指令/模块，还可以包括内存，可用于为操作***和计算机程序提供运行环境。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至电子设备。

处理器用于提供计算和控制能力，可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。处理器通过运行存储在存储器中的计算机可执行程序、软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现实施例一的基于鼻部特征的人脸检测方法。

该电子设备的输出装置可以是液晶显示屏或者电子墨水显示屏，该电子设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

该电子设备还可包括网络接口/通信接口，该电子设备的网络接口用于与外部的终端通过网络连接通信。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)、DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

值得注意的是，在该基于鼻部特征的人脸检测方法的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。

以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于鼻部特征的人脸检测方法，其特征在于，所述方法包括：

获取待检测图像；

将所述待检测图像输入人脸关键点检测模型，得到第一关键点组，所述第一关键点组中的关键点均与鼻部关联；

根据所述第一关键点组在所述待检测图像上抠取鼻部区域；

将所述鼻部区域输入分类模型，得到所述鼻部区域是否合格的检测结果，若是，则判定所述待检测图像包括人脸。

2.根据权利要求1所述的方法，其特征在于，所述人脸关键点检测模型采用mobilenet-v1模型、mobilenet-v2模型、shuffle-net模型中的任意一种。

3.根据权利要求1所述的方法，其特征在于，所述分类模型采用mobilenet-v1模型、mobilenet-v2模型、shuffle-net模型中的任意一种。

4.根据权利要求1所述的方法，其特征在于，在将所述待检测图像输入人脸关键点检测模型之后，所述人脸关键点检测模型输出98个关键点，所述第一关键点组包括第52关键点，第76关键点，第79关键点，第82关键点。

5.根据权利要求4所述的方法，其特征在于，所述根据所述第一关键点组在所述待检测图像上抠取鼻部区域包括：

以所述第52关键点和所述第79关键点的连线为长，以所述第76关键点和第82关键点的连线平移至所述第79关键点的线段为宽，得到一矩形区域；

所述矩形区域以长度方向自所述第52关键点收缩[0，0.1]，以长度方向自所述第79关键点收缩[0，0.2]，以宽度方向分别自所述第76关键点和所述第82关键点收缩[0，0.2]，得到中间区域；

在所述待检测图像上对应抠取所述中间区域，作为所述鼻部区域。

6.根据权利要求1至5中任意一项所述的方法，其特征在于，在判定所述待检测图像包括人脸的情况下，所述方法还包括：

根据所述人脸关键点检测模型输出的全部人脸关键点抠取脸部区域；

将所述脸部区域调整至脸部预设尺寸并作为人脸识别的输入。

7.根据权利要求1至5中任意一项所述的方法，其特征在于，在将所述鼻部区域输入分类模型之前，所述方法还包括：

将所述鼻部区域调整至鼻部预设尺寸。

8.一种基于鼻部特征的人脸检测装置，其特征在于，所述装置包括：

获取模块，用于获取待检测图像；

处理模块，用于将所述待检测图像输入人脸关键点检测模型，得到第一关键点组，所述第一关键点组中的关键点均与鼻部关联；

抠取模块，用于根据所述第一关键点组在所述待检测图像上抠取鼻部区域；

检测模块，用于将所述鼻部区域输入分类模型，得到所述鼻部区域是否合格的检测结果，若是，则判定所述待检测图像包括人脸。

9.一种电子设备，其包括存储器和处理器，其特征在于，所处存储器中存储有计算机程序，所述处理器被设置为执行所述计算机程序时实现权利要求1至7中任意一项所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任意一项所述的方法。

Images