CN113158706A - 脸部抓拍方法、装置、介质以及电子设备 - Google Patents

Abstract

公开了一种脸部抓拍方法、装置、介质以及电子设备，其中的脸部抓拍方法包括：根据检测到的图像序列中的脸部区域和头部区域，确定基于脸部的第一跟踪结果和基于头部的第二跟踪结果；根据所述第一跟踪结果和所述第二跟踪结果，确定待抓拍目标的脸部序列；基于所述脸部序列，确定所述待抓拍目标的脸部抓拍图。本公开提供的技术方案有利于降低脸部抓拍的重抓率，并有利于提高脸部抓拍的准确性。

Description

脸部抓拍方法、装置、介质以及电子设备

技术领域

本公开涉及计算机视觉技术，尤其是涉及了一种脸部抓拍方法、脸部抓拍装置、存储介质以及电子设备。

背景技术

脸部抓拍在安防监控以及智慧商业等领域，具有较大的应用价值。脸部抓拍的要求通常包括：对一段图像序列中出现的具有正脸的人进行抓拍，且对该段图像序列中的具有正脸的一个人只抓拍一次。

如何准确的实现脸部抓拍是一个值得关注的技术问题。

发明内容

为了解决上述技术问题，提出了本公开。本公开的实施例提供了一种脸部抓拍方法、装置、存储介质以及电子设备。

根据本公开实施例的一个方面，提供一种脸部抓拍方法，包括：根据检测到的图像序列中的脸部区域和头部区域，确定基于脸部的第一跟踪结果和基于头部的第二跟踪结果；根据所述第一跟踪结果和所述第二跟踪结果，确定待抓拍目标的脸部序列；基于所述脸部序列，确定所述待抓拍目标的脸部抓拍图。

根据本公开实施例的再一个方面，提供了一种脸部抓拍装置，包括：检测模块，用于根据检测到的图像序列中的脸部区域和头部区域，确定基于脸部的第一跟踪结果和基于头部的第二跟踪结果；确定脸部序列模块，用于根据所述检测模块确定出的第一跟踪结果和所述第二跟踪结果，确定待抓拍目标的脸部序列；确定抓拍图模块，用于基于所述确定脸部序列模块确定出的脸部序列，确定所述待抓拍目标的脸部抓拍图。

根据本公开实施例的再一方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于实现上述方法。

根据本公开实施例的又一方面，提供了一种电子设备，该电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述方法。

基于本公开上述实施例提供的一种脸部抓拍方法和装置，通过利用基于脸部的第一跟踪结果和基于头部的第二跟踪结果，确定待抓拍目标的脸部序列，有利于避免待抓拍目标的脸部序列不完整的现象，从而有利于获得待抓拍目标的更为准确的脸部序列。通过利用更为准确的脸部序列来获得待抓拍目标的脸部抓拍图，不但有利于避免针对同一个待抓拍目标重复获得脸部抓拍图的现象，而且有利于从脸部序列中选取出更为合适的脸部抓拍图。由此可知，本公开提供的技术方案有利于降低脸部抓拍的重抓率，并有利于提高脸部抓拍的准确性。

下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。

附图说明

通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目的、特征以及优势将变得更加明显。附图用来提供对本公开实施例的进一步的理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1是本公开所适用的场景示意图；

图2为本公开的脸部抓拍方法一个实施例的流程图；

图3为本公开的结合第一跟踪结果和第二跟踪结果，确定待抓拍目标的脸部序列一个实施例的流程图；

图4为本公开的确定待抓拍目标的脸部抓拍图一个实施例的流程图；

图5为本公开的确定有效脸部的脸部质量一个实施例的流程图；

图6为本公开的脸部抓拍方法另一个实施例的流程图；

图7为本公开的脸部抓拍装置一个实施例的结构示意图；

图8是本申请一示例性实施例提供的电子设备的结构图。

具体实施方式

下面将参考附图详细地描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。

应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。

本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。

还应理解，在本公开实施例中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。

还应理解，对于本公开实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。

另外，本公开中术语“和/或”，仅是一种描述关联对象的关联关系，表示可以存在三种关系，如A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本公开中字符“/”，一般表示前后关联对象是一种“或”的关系。

还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

本公开的实施例可以应用于终端设备、计算机***、服务器等电子设备，其可与众多其它通用或者专用计算***环境或配置一起操作。适于与终端设备、计算机***或者服务器等电子设备一起使用的众所周知的终端设备、计算***、环境和/或配置的例子包括但不限于：个人计算机***、服务器计算机***、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的***、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机***、大型计算机***和包括上述任何***的分布式云计算技术环境等等。

终端设备、计算机***、服务器等电子设备可以在由计算机***执行的计算机***可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机***/服务器可以在分布式云计算环境中实施。在分布式云计算环境中，任务可以是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算***存储介质上。

本公开概述

在实现本公开的过程中，发明人发现，在脸部抓拍过程中，通常需要进行目标跟踪，并从跟踪获得的待抓拍目标的脸部序列中选取一个正脸，作为待抓拍目标的脸部抓拍图。在对待抓拍目标进行跟踪的过程中，如果待抓拍目标出现转头等动作，往往会导致待抓拍目标的脸部序列不完整。例如，跟踪获得的两个或者更多段的脸部序列其实是同一个待抓拍目标的脸部序列，但是却被作为两个或者更多待抓拍目标的脸部序列。再例如，由于待抓拍目标转头后再次出现在视频帧中的持续时间过于短暂，而被舍弃。待抓拍目标的脸部序列不完整，不但会影响脸部抓拍的重抓率，而且会对选取出的脸部抓拍图的质量产生影响，从而会影响脸部抓拍的准确性。

示例性概述

本公开提供的脸部抓拍技术可以适用于安防监控以及智慧商业等领域。一个例子如图1所示。

图1中，在银行或者机场或者证券营业厅等，需要实现安防监控的场所设置至少一个摄像装置100(图1中仅示意性的示出了一个摄像装置100)以及设备101，各摄像装置100分别与设备101连接，摄像装置100和设备101之间可以进行信息交互。设备101可以为服务器或者台式计算机等。

摄像装置100可以全天均处于录像状态。摄像装置100可以将其拍摄获得的视频实时传输给设备101，由设备101对摄像装置100拍摄的视频执行脸部抓拍处理，摄像装置100也可以在本地执行脸部抓拍处理，并将脸部抓拍处理获得的各待抓拍目标的脸部抓拍图传输给设备101。

一个例子，假设用户102、用户103和用户104同时在被安防监控的场所中活动，摄像装置100拍摄到包含有用户102、用户103和用户104的视频，该视频被实时传输给设备101。设备101针对该视频执行脸部抓拍处理，从而获得用户102的脸部序列、用户103的脸部序列和用户104的脸部序列。设备101从用户102的脸部序列中选取一张正脸且清晰的脸部图像作为用户102的脸部抓拍图。设备101从用户103的脸部序列中选取一张正脸且清晰的脸部图像作为用户103的脸部抓拍图。设备101从用户104的脸部序列中选取一张正脸且清晰的脸部图像作为用户104的脸部抓拍图。之后，设备101可以将用户102的脸部抓拍图、用户103的脸部抓拍图以及用户104的脸部抓拍图分别与底库中的用户记录进行匹配处理，在与底库中的用户记录成功匹配时，成功识别出用户，并可以进一步判断是否将脸部抓拍图添加在相应的用户记录中，或者是否利用脸部抓拍图替换用户记录中的脸部图像。在与底库中的用户记录未成功匹配时，可以在底库中为该用户创建用户记录。

示例性方法

图2为本公开的脸部抓拍方法一个实施例的流程图。如图2所示的方法主要包括：S200、S201以及S202。下面对各步骤分别进行说明。

S200、根据检测到的图像序列中的脸部区域和头部区域，确定基于脸部的第一跟踪结果和基于头部的第二跟踪结果。

本公开中的图像序列可以是指多个连续的视频帧形成的一段视频。例如，图像序列可以是摄像装置实时拍摄的视频，也可以是历史视频。在图像序列是摄像装置实时拍摄的视频的情况下，本公开中的图像序列中的图像的数量可以是实时变化的，例如，在摄像装置拍摄视频的过程中，当前拍摄获得的视频帧被陆续的作为图像加入到图像序列中。

本公开可以采用脸部检测算法(如基于多层感知器模型的脸部检测算法)以及头部检测算法(如基于多层感知器模型的头部检测算法)对图像序列进行脸部检测和头部检测，从而可以获得图像序列中的每一个图像中的所有脸部区域和所有头部区域。

本公开中的脸部区域可以是指图像中的包含有一个待抓拍目标的脸部画面的区域。本公开中的头部区域可以是指图像中的包含有一个待抓拍目标的头部画面的区域。本公开可以根据利用MOT(Multi-Object Tracking，多目标跟踪)算法，对各图像中的各脸部区域进行多目标跟踪处理，获得基于脸部的第一跟踪结果。同样的，本公开可以利用MOT算法，对各图像中的各头部区域进行多目标跟踪处理，获得基于头部的第二跟踪结果。本公开中的待抓拍目标通常是指人。

本公开中的基于脸部的第一跟踪结果可以是指对图像序列的每一个图像中的所有脸部区域进行待抓拍目标区分，从而确定出的每一个待抓拍目标在多个连续图像中的脸部区域。本公开可以通过MOT算法为每一个脸部区域设置一个脸部标识，不同的脸部标识可以认为是不同的待抓拍目标。相同的脸部标识可以认为是同一个待抓拍目标。多个连续图像中的具有相同脸部标识的脸部区域可以形成一个脸部序列，该脸部序列即为一待抓拍目标的脸部序列。也就是说，对于任一待抓拍目标而言，该待抓拍目标在多个连续图像中的脸部区域形成一个脸部序列，该脸部序列中的所有脸部区域具有相同的脸部标识，该脸部序列中的所有脸部区域的脸部标识可以认为是该待抓拍目标的标识。本步骤获得的脸部序列可以认为是待抓拍目标的初始脸部序列。所有待抓拍目标的初始脸部序列即为本公开获得的基于脸部的第一跟踪结果。

本公开中的基于头部的第二跟踪结果可以是指对图像序列的每一个图像中的所有头部区域进行待抓拍目标区分，从而确定出的每一个待抓拍目标在多个连续图像中的头部区域。本公开可以通过MOT算法为每一个头部区域设置一个头部标识，不同的头部标识可以认为是不同的待抓拍目标。相同的头部标识可以认为是同一个待抓拍目标。多个连续图像中的具有相同头部标识的头部区域可以形成一个头部序列，该头部序列即为一待抓拍目标的头部序列。也就是说，对于任一待抓拍目标而言，该待抓拍目标在多个连续图像中的头部区域形成一个头部序列，该头部序列中的所有头部区域具有相同的头部标识，该头部序列中的所有头部区域的头部标识可以认为是该待抓拍目标的标识。本步骤获得的所有待抓拍目标的头部序列即为本公开获得的基于头部的第二跟踪结果。

S201、根据第一跟踪结果和第二跟踪结果，确定待抓拍目标的脸部序列。

本公开在确定待抓拍目标的脸部序列的过程中，需要考虑基于头部的第二跟踪结果。也就是说，本公开并不会在获得各待抓拍目标的初始脸部序列后，直接将各待抓拍目标的初始脸部序列作为各待抓拍目标的脸部序列，而是需要结合第二跟踪结果来确定待抓拍目标的脸部序列，这样，在S200中被作为两个或者更多数量的待抓拍目标的初始脸部序列可能会被合并，而被作为一个待抓拍目标的脸部序列，从而使本公开获得的待抓拍目标的脸部序列的数量更有可能与图像序列中的实际待抓拍目标的数量相符，尽可能避免待抓拍目标的脸部序列的数量多于图像序列中的实际待抓拍目标的数量的现象。

S202、基于脸部序列，确定待抓拍目标的脸部抓拍图。

对于任一待抓拍目标而言，该待抓拍目标的脸部抓拍图可以是从该待抓拍目标的脸部序列中选取的一脸部区域。待抓拍目标的脸部抓拍图通常是包含待抓拍目标的正脸，且画面清晰的脸部区域。本公开可以根据预先设定的脸部抓拍图的选取策略对待抓拍目标的脸部序列进行筛选，并将筛选出的脸部区域作为待抓拍目标的脸部抓拍图。

本公开通过利用基于脸部的第一跟踪结果和基于头部的第二跟踪结果确定待抓拍目标的脸部序列，有利于避免待抓拍目标的脸部序列不完整的现象，从而有利于获得待抓拍目标的更为准确的脸部序列。通过利用更为准确的脸部序列来获得待抓拍目标的脸部抓拍图，不但有利于避免针对同一个待抓拍目标重复获得脸部抓拍图的现象，而且有利于从完整的脸部序列中选取出更为合适的脸部抓拍图。由此可知，本公开提供的技术方案有利于降低脸部抓拍的重抓率，并有利于提高脸部抓拍的准确性。本公开中的重抓率可以是指用于衡量待抓拍目标被重复抓拍的指标，即被重复抓拍的待抓拍目标的数量占被正确抓拍的待抓拍目标的数量的比例。

在一个可选示例中，本公开结合第一跟踪结果和第二跟踪结果，确定待抓拍目标的脸部序列的一种实现方式如图3所示。

图3中，S300、根据第二跟踪结果，对第一跟踪结果进行修正。

可选的，本公开中的任一个头部序列所包括的所有头部区域具有相同的头部标识，一个头部序列所包括的头部区域的标识可以认为是头部序列的标识。本公开可以先根据所有头部区域各自的头部标识，形成至少一个头部序列，如所有具有相同头部标识的头部区域形成一个头部序列；然后，确定出每一个脸部序列各自对应的头部序列，如果存在一个头部序列对应多个脸部序列的情况，则本公开需要对该头部序列所对应的多个脸部序列进行合并，使对应该头部序列的多个脸部序列成为一个待抓拍目标的脸部序列。本公开可以通过对多个脸部序列的脸部标识进行修改，使多个脸部序列具有相同的脸部标识，从而实现多个脸部序列的合并。本公开通过将一个头部序列所对应的多个脸部序列进行合并，可以避免一个待抓拍目标的脸部跟踪轨迹发生断裂的现象，进一步确保第一跟踪结果的准确性。

可选的，本公开可以根据图像序列中的一个图像中的头部区域和脸部区域的重叠情况，确定出头部区域的标识和脸部区域的标识是否对应同一个待抓拍目标，即确定出一个脸部序列所对应的头部序列。本公开也可以根据图像序列中的多个图像中的头部区域和脸部区域的重叠情况，确定出头部区域的标识和脸部区域的标识是否对应同一个待抓拍目标。

例如，对于图像序列中的第n个图像中的具有标识i的头部区域和具有标识j的脸部区域而言，如果具有标识i的头部区域和具有标识j的脸部区域的相交区域面积，占具有标识i的头部区域和具有j的脸部区域的相并区域面积的比值不小于一预定比值，则可以认为具有标识i的脸部序列所对应的头部序列为具有标识j的头部区域所形成的头部序列，即具有标识i的脸部序列和具有标识j的头部序列属于同一个待抓拍目标。

再例如，对于图像序列中的多个图像中的具有标识i的头部区域和具有标识j的脸部区域而言，可以分别计算出每一个图像中的具有标识i的头部区域和具有j的脸部区域的相交区域面积，占具有标识i的头部区域和具有j的脸部区域的相并区域面积的比值，并对多个比值计算均值，如果该均值不小于一预定比值，则可以认为具有标识i的脸部序列所对应的头部序列为具有标识j的头部区域所形成的头部序列，即具有标识i的脸部序列和具有标识j的头部序列属于同一个待抓拍目标。

S301、根据修正后的第一跟踪结果，确定待抓拍目标的脸部序列。

可选的，在出现脸部序列合并的情况下，本公开可以将合并后的脸部序列作为待抓拍目标的脸部序列。在未出现脸部序列合并的情况下，本公开可以将初始脸部序列作为待抓拍目标的脸部序列。

在摄像装置的拍摄过程中，待抓拍目标的头部姿态通常会不断发生变化。例如，由于待抓拍目标与他人谈话而会出现频频转头的现象。再例如，由于待抓拍目标查看周围环境而会出现多方向环顾的现象。在出现待抓拍目标的头部大幅度扭转或者低垂，而使其脸部无法被摄像装置捕获的情况时，本公开对该待抓拍目标的脸部跟踪处理可能会被终止，从而形成一个待抓拍目标的脸部序列，而在该待抓拍目标的脸部再次被摄像装置捕获时，往往会对该待抓拍目标再次执行多目标跟踪处理，从而再次形成一个待抓拍目标的脸部序列。然而，后一次获得的基于脸部的第一跟踪结果与前一次获得的基于脸部的第一跟踪结果并不会被作为同一个待抓拍目标的第一跟踪结果，而是会被作为两个待抓拍目标的第一跟踪结果。也就是说，一个待抓拍目标的脸部跟踪轨迹发生了断裂，使原本应属于同一个待抓拍目标的基于脸部的第一跟踪结果，被作为不同待抓拍目标的基于脸部的第一跟踪结果。由于在摄像装置无法捕获待抓拍目标的脸部时，本公开对待抓拍目标的头部跟踪轨迹很可能并没有发生断裂，即该待抓拍目标的头部跟踪轨迹很可能是连续的，因此，本公开通过利用头部跟踪处理获得的第二跟踪结果对第一跟踪结果进行修正，可以将多个初始脸部序列合并为一个脸部序列，使发生断裂的脸部跟踪轨迹连续起来，从而有利于保证待抓拍目标的脸部序列的完整性。

在一个可选示例中，本公开基于脸部序列，确定待抓拍目标的脸部抓拍图的一个例子如图4所示。

图4中，S400、确定待抓拍目标的脸部序列中的符合第一预设条件的有效脸部。

可选的，本公开中的第一预设条件可以根据实际需求设置。例如，第一预设条件可以是针对脸部检测框的位置、脸部检测框的大小、脸部是否为正脸以及脸部的遮挡情况设置的条件。

可选的，本公开中的第一预设条件可以包括：脸部检测框属于图像的预设区域范围、脸部检测框的宽达到第一预设值、脸部检测框的高达到第二预设值、脸部检测框的面积达到第三预设值、脸部检测框中的脸部属于正脸以及脸部检测框中的脸部遮挡分值小于第四预设值中的至少一个。

上述脸部检测框属于图像的预设区域范围可以是指脸部检测框不属于图像的边缘区域。例如，脸部检测框与边缘区域不重合。再例如，脸部检测框位于图像的边缘区域内的面积占该脸部检测框的总面积的比值不超过一比值等。

上述脸部检测框中的脸部属于正脸可以是指脸部的pitch值(即俯仰角)和yaw值(即偏航角)分别属于各自对应的角度范围等。

上述脸部检测框中的脸部遮挡分值用于衡量脸部遮挡情况，脸部遮挡分值可以通过脸部关键点的可见情况来体现。例如，脸部遮挡分值可以为可见的脸部关键点的数量，即可见的脸部关键点的数量应达到一定的数量。每一个脸部关键点通常具有多个置信度，如果一个脸部关键点的所有置信度中的最高置信度不小于预定置信度，则可以认为该脸部关键点为可见的脸部关键点。再例如，脸部遮挡分值可以为可见的脸部关键点的置信度的均值等。本公开不限制脸部遮挡分值的具体表现形式。

对于任一脸部序列中的任一脸部区域而言，如果该脸部区域符合本公开中的第一预设条件，则可以认为该脸部区域为有效脸部。

S401、确定有效脸部的脸部质量。

可选的，本公开中的脸部质量可以是针对脸部抓拍图的标准设置的指标。本公开可以通过对有效脸部的多个方面进行评分，来确定有效脸部的脸部质量。例如，本公开可以通过对脸部关键点、脸部姿态以及脸部检测框分别进行评分，并基于各评分结果来确定有效脸部的脸部质量。本公开确定有效脸部的脸部质量的一个具体例子如下述针对图5的描述。

S402、根据有效脸部的脸部质量，确定待抓拍目标的脸部抓拍图。

可选的，本公开可以先判断一待抓拍目标的脸部序列是否满足第二预设条件，如果满足第二预设条件，再从有效脸部中选取最高脸部质量的有效脸部，并判断最高脸部质量是否满足预设脸部质量要求，如果满足预设脸部质量要求，则将该最高脸部质量的有效脸部作为待抓拍目标的脸部抓拍图。如果不满足预设脸部质量要求，则可以根据实际情况确定后续的处理操作。例如，可以丢弃该待抓拍目标的脸部序列，也可以继续等待新的脸部区域加入到该脸部序列中。

可选的，本公开中的第二预设条件可以包括：待抓拍目标的脸部序列的长度是否达到预定序列长度、以及待抓拍目标的脸部序列在图像序列中的消失时长是否达到预定时长中的至少一个。

一个例子，本公开可以先确定待抓拍目标的脸部序列的长度，并判断该长度是否已经达到预定序列长度，如果判断结果为该长度已经达到预定序列长度，则确定待抓拍目标的脸部序列满足第二预设条件。

再一个例子，本公开可以先确定待抓拍目标的脸部序列在图像序列中的消失时长，并判断该消失时长是否已经达到预定时长，如果判断结果为该消失时长已经达到预定时长，确定待抓拍目标的脸部序列满足第二预设条件。

又一个例子，本公开可以先确定待抓拍目标的脸部序列的长度、以及待抓拍目标的脸部序列在图像序列中的消失时长，并判断待抓拍目标的脸部序列的长度是否已经达到预定序列长度、以及待抓拍目标的脸部序列在图像序列中的消失时长是否已经达到预定时长，如果判断结果为该待抓拍目标的脸部序列的长度已经达到预定序列长度，且该待抓拍目标的脸部序列在图像序列中的消失时长已经达到预定时长，确定待抓拍目标的脸部序列满足第二预设条件。

本公开通过针对脸部序列设置第二预设条件，可以避免执行获取不必要的待抓拍目标的脸部抓拍图的操作。尤其是，本公开通过针对待抓拍目标的脸部序列的长度设置预定序列长度，可以避免由于一待抓拍目标长时间出现在图像序列中，而无法及时获得该待抓拍目标的脸部抓拍图的现象；而且，还可以避免由于对一待抓拍目标的目标跟踪错误等因素而造成一新的待抓拍目标在图像序列中的闪现，并针对闪现的待抓拍目标进行脸部抓拍的现象，即有利于避免从无效脸部序列中获得脸部抓拼图的现象。本公开通过针对待抓拍目标的脸部序列的消失时长设置预定时长，在脸部跟踪轨迹断裂的情况下，有利于使两个或者多个脸部序列能够合并为一个完整的脸部序列。由此可知，本公开通过针对脸部序列设置第二预设条件，有利于保证从有效且完整的脸部序列中获得待抓拍目标的脸部抓拍图。

图5中，S500、对图像序列分别进行脸部关键点检测以及脸部姿态检测，获得图像序列中的各待抓拍目标的脸部关键点和脸部姿态。

可选的，本公开可以对图像序列中的所有图像中的所有脸部区域分别进行脸部关键点检测以及脸部姿态检测，从而可以获得每一个脸部区域各自对应的脸部关键点以及脸部姿态。脸部姿态可以包括脸部的pitch值(即俯仰角)以及yaw值(即偏航角)。当然，脸部姿态还可以包括脸部的roll值(即翻滚角)。

可选的，本公开可以将各图像中的所有脸部区域分别提供给一卷积神经网络，经由该卷积神经网络对输入的脸部区域进行特征提取以及关键点预测等处理，本公开可以根据卷积神经网络的输出，获得各脸部区域各自对应的脸部关键点。

可选的，本公开可以将各图像中的所有脸部区域分别提供给一卷积神经网络，经由卷积神经网络对输入的脸部区域进行特征提取以及角度预测等处理，本公开可以根据卷积神经网络的输出，获得各脸部区域各自对应的pitch值(即俯仰角)、yaw值(即偏航角)以及roll值(即翻滚角)。

可选的，用于预测脸部关键点的卷积神经网络和用于预测角度的卷积神经网络可以为两个相互独立的卷积神经网络，也可以为具有一个用于提取图像特征的主干网络以及两个网络分支的卷积神经网络，其中一个网络分支用于根据主干网络提取出的图像特征，预测脸部关键点，其中另一个网络分支用于根据主干网络提取出的图像特征，预测pitch值(即俯仰角)、yaw值(即偏航角)以及roll值(即翻滚角)。本公开不限制获得图像序列中的各脸部区域的脸部关键点和脸部姿态的具体实现方式。

S501、根据上述获得的脸部关键点、脸部姿态以及脸部检测框，确定有效脸部的脸部质量。

可选的，对于任一待抓拍目标的任一有效脸部而言，本公开可以利用该有效脸部的脸部关键点、脸部姿态以及脸部检测框的大小，来确定该有效脸部的脸部质量。

可选的，本公开可以根据一有效脸部的脸部关键点，确定该有效脸部的未遮挡质量。即本公开可以根据有效脸部的脸部关键点，为有效脸部的未遮挡质量进行评分。例如，本公开可以针对一有效脸部的所有可见关键点的置信度进行平均值计算，并将计算出的均值作为该有效脸部的未遮挡质量的分数。再例如，本公开可以计算一有效脸部的所有可见关键点的置信度的加权平均值，并将该加权平均值作为该有效脸部的未遮挡质量的分数。各关键点的权值可以根据各关键点的重要程度来确定。例如，眼睛关键点的权值可以略大一点，而脸部轮廓关键点的权值可以略小一点。

可选的，本公开可以根据一有效脸部的脸部姿态，确定该有效脸部的正脸质量。即本公开可以根据一有效脸部的pitch值(即俯仰角)以及yaw值(即偏航角)为该有效脸部的正脸质量进行评分。有效脸部的正脸质量也可以称为脸部朝向质量。本公开可以利用椭圆公式拟合出有效脸部的脸部朝向质量，例如，本公开可以在下述四个假定的基础上，设计椭圆公式：

假定在yaw＝0度，且pitch＝0度时，正脸质量的评分score＝1；

假定在yaw＝40度，且pitch＝0度时，正脸质量的评分score＝0.5；

假定在yaw＝0度，且pitch＝30度时，正脸质量的评分score＝0.5；

假定在yaw＝40度，且pitch＝30度时，正脸质量的评分score＝0；

本公开通过对椭圆公式进行定点化，可以获得下述公式(1)，并利用下述公式(1)获得有效脸部的正脸质量的分值：

1-(yaw×yaw/1600+pitch×pitch/900)×10 公式(1)

可选的，本公开可以根据一有效脸部的脸部检测框的大小，确定该有效脸部的尺寸质量。即本公开可以根据有效脸部的脸部检测框的大小为该有效脸部的尺寸质量进行评分。本公开可以利用分段打分函数确定有效脸部的尺寸质量。一个例子，在有效脸部的脸部检测框的宽和高中的最小尺寸大于一个较大阈值时，该有效脸部的尺寸质量的得分为1。在有效脸部的脸部检测框的宽和高中的最小尺寸等于一拐点阈值时，该有效脸部的尺寸质量的得分为0.5。在有效脸部的脸部检测框的宽和高中的最小尺寸小于一较小阈值时，该有效脸部的尺寸质量的得分为0。在一有效脸部的脸部检测框的宽和高中的最小尺寸位于上述拐点阈值和较大阈值之间时，该有效脸部的尺寸质量的得分在0.5到1之间线性分布。在一有效脸部的脸部检测框的宽和高中的最小尺寸位于上述拐点阈值和较小阈值之间时，该有效脸部的尺寸质量的得分在0.5到0之间线性分布。

可选的，本公开可以根据有效脸部的未遮挡质量及其权值、正脸质量及其权值以及尺寸质量及其权值，进行加权计算，并将计算结果作为有效脸部的脸部质量。本公开中的有效脸部的未遮挡质量的权值、正脸质量的权值以及尺寸质量的权值通常不相同，且三个权值之和可以为1。例如，有效脸部的未遮挡质量的权值和正脸质量的权值可以大于及尺寸质量的权值。

本公开通过利用脸部关键点、脸部姿态以及脸部检测框，来确定有效脸部的脸部质量，可以便捷准确的确定出每一个有效脸部的脸部质量。通过利用脸部关键点，来确定有效脸部的未遮挡质量，利用脸部姿态，来确定有效脸部的正脸质量，利用脸部检测框的大小，来确定有效脸部的尺寸质量，并利用各质量以及相应的权值，确定有效脸部的脸部质量，为衡量有效脸部的脸部质量提供了一种可行且客观的评价方式，有利于保证最终获得的待抓拍目标的脸部抓拍图为最佳脸部图像。

图6为本公开的脸部抓拍方法另一个实施例的流程图。如图6所示的方法主要包括步骤：S600-S611。下面对各步骤分别进行说明。

S600、摄像装置通过录像实时生成视频帧。

可选的，摄像装置生成的每一个视频帧均被作为图像序列中的一图像。

S601、实时的对当前生成的视频帧分别进行脸部检测，获得当前生成的视频帧中的所有脸部检测框。

可选的，本公开可以将摄像装置当前生成的视频帧作为输入提供给第一神经网络，并根据第一神经网络的输出，获得当前生成的视频帧中的所有脸部检测框的中心点坐标以及宽和高。

S602、实时的对当前生成的视频帧进行头部检测，获得当前生成的视频帧中的所有头部检测框。

可选的，本公开可以将摄像装置当前生成的视频帧作为输入提供给第二神经网络，并根据第二神经网络的输出，获得当前生成的视频帧中的所有头部检测框的中心点坐标以及宽和高。

S603、根据当前生成的视频帧中的各脸部检测框，从当前生成的视频帧中截取出各脸部区域。

可选的，本公开可以根据当前生成的视频帧中的各脸部检测框的中心点坐标、宽和高，从当前生成的视频帧中截取出各脸部区域。

S604、根据当前生成的视频帧中的各头部检测框，从当前生成的视频帧中截取出各头部区域。

可选的，本公开可以根据当前生成的视频帧中的各头部检测框的中心点坐标、宽和高，从当前生成的视频帧中截取出各头部区域。

S605，对当前生成的视频帧中的各脸部区域进行多目标跟踪处理。

可选的，本公开为各脸部区域分别设置脸部标识，使相应的脸部区域添加在当前已有的脸部序列中，或者为相应的脸部区域创建新的脸部序列。一个脸部序列中的各脸部区域具有相同的脸部标识，不同脸部序列具有不同的脸部标识。

S606，对各脸部区域分别进行脸部关键点检测以及脸部姿态检测，获得各脸部区域的脸部关键点、pitch值以及yaw值。

S607，对当前生成的视频帧中的各头部区域进行多目标跟踪处理。

可选的，本公开为各头部区域分别设置头部标识，使相应的头部区域添加在当前已有的头部序列中，或者为相应的头部区域创建新的头部序列。一个头部序列中的各头部区域具有相同的头部标识，不同头部序列具有不同的头部标识。

S608、利用当前的各头部序列对当前的各脸部序列进行合并处理。

S609、根据当前生成的视频帧中的各脸部区域的脸部检测框、脸部关键点、pitch值以及yaw值确定有效脸部以及有效脸部的脸部质量。

S610、对于当前每一个脸部序列，判断当前该脸部序列的长度(如该脸部序列所包含的脸部图像的数量)是否达到预定序列长度、该脸部序列的消失时长是否达到预定时长、以及该脸部序列中的有效脸部的最优脸部质量的分值是否达到预定分值(即最优脸部质量是否满足预设脸部质量要求)，如果该脸部序列的长度达到预定序列长度且该脸部序列中的有效脸部的最优脸部质量的分值达到预定分值，则到S611；如果该脸部序列的消失时长达到预定时长，则到S611；如果该脸部序列的长度未达到预定序列长度或者该脸部序列的消失时长未达到预定时长或者虽然该脸部序列的长度达到预定序列长度但是该脸部序列中的有效脸部的最优脸部质量的分值未达到预定分值，则返回S610。

S611、输出该脸部序列中的有效脸部的最优脸部质量的脸部区域。

可选的，在S610中，如果一脸部序列的消失时长达到预定时长且该脸部序列中的有效脸部的最优脸部质量的分值未达到预定分值，则本公开可以丢弃该脸部序列。

示例性装置

图7为本公开的脸部抓拍装置一个实施例的结构示意图。该实施例的装置可用于实现本公开相应的方法实施例。如图7所示的装置包括：检测模块700、确定脸部序列模块701以及确定抓拍图模块702。可选的，本公开的装置还可以包括：检测关键点和姿态模块703。

检测模块700用于根据检测到的图像序列中的脸部区域和头部区域，确定基于脸部的第一跟踪结果和基于头部的第二跟踪结果。

确定脸部序列模块701用于根据检测模块700确定出的第一跟踪结果和第二跟踪结果，确定待抓拍目标的脸部序列。

可选的，确定脸部序列模块701可以先根据检测模块700获得的第二跟踪结果，对检测模块700获得的第一跟踪结果进行修正。例如，确定脸部序列模块701可以将图像序列中的具有同一头部标识的头部区域形成的头部序列，所对应的所有脸部序列，合并为一个脸部序列。之后，确定脸部序列模块701可以根据修正后的第一跟踪结果，确定待抓拍目标的脸部序列。

确定抓拍图模块702用于基于确定脸部序列模块702确定出的脸部序列，确定待抓拍目标的脸部抓拍图。

检测关键点和姿态模块703用于对图像序列分别进行脸部关键点检测以及脸部姿态检测，获得图像序列中的各待抓拍目标的脸部关键点和脸部姿态。

可选的，确定抓拍图模块702可以包括：确定有效脸部子模块7021、确定脸部质量子模块7022以及确定抓拍图子模块7023。其中的确定有效脸部子模块7021用于确定待抓拍目标的脸部序列中的符合预设条件的有效脸部。确定脸部质量子模块7022用于确定有效脸部的脸部质量。例如，确定脸部质量子模块7022可以根据脸部关键点、脸部姿态以及脸部检测框，确定有效脸部的脸部质量。一个更具体的例子，确定脸部质量子模块7022根据有效脸部的脸部关键点，确定有效脸部的未遮挡质量，确定脸部质量子模块7022可以根据有效脸部的脸部姿态，确定有效脸部的正脸质量，确定脸部质量子模块7022可以根据有效脸部的脸部检测框，确定有效脸部的尺寸质量；确定脸部质量子模块7022可以根述有效脸部的未遮挡质量及其权值、正脸质量及其权值以及尺寸质量及其权值，确定有效脸部的脸部质量。其中的确定抓拍图子模块7023用于根据有效脸部的脸部质量，确定待抓拍目标的脸部抓拍图。

可选的，确定抓拍图子模块7023可以在待抓拍目标的脸部序列满足第二预设条件的情况下，从有效脸部中选取最高脸部质量的有效脸部，并在最高脸部质量满足预设脸部质量要求时，将最高脸部质量的有效脸部作为待抓拍目标的脸部抓拍图。在一个例子中，确定抓拍图子模块7023可以确定待抓拍目标的脸部序列的长度，若该长度达到预定序列长度，则确定抓拍图子模块7023确定该待抓拍目标的脸部序列满足第二预设条件。在另一个例子中，确定抓拍图子模块7023可以确定脸部序列在图像序列中的消失时长，若该消失时长达到预定时长，则确定抓拍图子模块7023确定待抓拍目标的脸部序列满足第二预设条件。

示例性电子设备

下面参考图8来描述根据本公开实施例的电子设备。图8示出了根据本公开实施例的电子设备的框图。如图8所示，电子设备81包括一个或多个处理器811和存储器812。

处理器811可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备81中的其他组件以执行期望的功能。

存储器812可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器，例如，可以包括：随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器，例如，可以包括：只读存储器(ROM)、硬盘以及闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器811可以运行所述程序指令，以实现上文所述的本公开的各个实施例的脸部抓拍方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。

在一个示例中，电子设备81还可以包括：输入装置813以及输出装置814等，这些组件通过总线***和/或其他形式的连接机构(未示出)互连。此外，该输入设备813还可以包括例如键盘、鼠标等等。该输出装置814可以向外部输出各种信息。该输出设备814可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图8中仅示出了该电子设备81中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备81还可以包括任何其他适当的组件。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的脸部抓拍方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的脸部抓拍方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列举)可以包括：具有一个或者多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势以及效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。

本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于***实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本公开中涉及的器件、装置、设备、***的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备以及***。诸如“包括”、“包含、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

可能以许多方式来实现本公开的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。

还需要指出的是，在本公开的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。

提供所公开的方面的以上描述，以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改等对于本领域技术人员而言，是非常显而易见的，并且在此定义的一般原理可以应用于其他方面，而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式中。尽管以上已经讨论了多个示例方面以及实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (11)

1.一种脸部抓拍方法，包括：

根据检测到的图像序列中的脸部区域和头部区域，确定基于脸部的第一跟踪结果和基于头部的第二跟踪结果；

根据所述第一跟踪结果和所述第二跟踪结果，确定待抓拍目标的脸部序列；

基于所述脸部序列，确定所述待抓拍目标的脸部抓拍图。

2.根据权利要求1所述的方法，其中，所述根据所述第一跟踪结果和所述第二跟踪结果，确定待抓拍目标的脸部序列，包括：

根据所述第二跟踪结果，对所述第一跟踪结果进行修正；

根据所述修正后的第一跟踪结果，确定待抓拍目标的脸部序列。

3.根据权利要求2所述的方法，其中，所述根据所述第二跟踪结果，对所述第一跟踪结果进行修正，包括：

确定所述图像序列中的具有同一头部标识的头部区域形成的头部序列，所对应的所有脸部序列；

将所述所有脸部序列合并为一个脸部序列。

4.根据权利要求1至3中任一项所述的方法，其中，所述基于所述脸部序列，确定所述待抓拍目标的脸部抓拍图，包括：

确定所述待抓拍目标的脸部序列中的符合第一预设条件的有效脸部；

确定所述有效脸部的脸部质量；

根据所述有效脸部的脸部质量，确定所述待抓拍目标的脸部抓拍图。

5.根据权利要求4所述的方法，其中，所述方法还包括：

对所述图像序列分别进行脸部关键点检测以及脸部姿态检测，获得所述图像序列中的各待抓拍目标的脸部关键点和脸部姿态；

所述确定所述有效脸部的脸部质量，包括：

根据所述脸部关键点、脸部姿态以及脸部检测框，确定所述有效脸部的脸部质量。

6.根据权利要求5所述的方法，其中，所述根据所述脸部关键点、脸部姿态以及脸部检测框，确定所述有效脸部的脸部质量，包括：

根据所述脸部关键点，确定所述有效脸部的未遮挡质量；

根据所述脸部姿态，确定所述有效脸部的正脸质量；

根据所述脸部检测框，确定所述有效脸部的尺寸质量；

根据所述有效脸部的未遮挡质量及其权值、正脸质量及其权值以及尺寸质量及其权值，确定所述有效脸部的脸部质量。

7.根据权利要求4至6中任一项所述的方法，其中，所述根据所述有效脸部的脸部质量，确定所述待抓拍目标的脸部抓拍图，包括：

在所述待抓拍目标的脸部序列满足第二预设条件的情况下，从所述有效脸部中选取最高脸部质量的有效脸部；

在所述最高脸部质量满足预设脸部质量要求时，将所述最高脸部质量的有效脸部作为所述待抓拍目标的脸部抓拍图。

8.根据权利要求7所述的方法，其中，所述方法还包括：

确定所述待抓拍目标的脸部序列的长度，若所述长度达到预定序列长度，确定所述待抓拍目标的脸部序列满足第二预设条件；或者

确定所述脸部序列在所述图像序列中的消失时长，若所述消失时长达到预定时长，确定所述待抓拍目标的脸部序列满足第二预设条件。

9.一种脸部抓拍装置，包括：

检测模块，用于根据检测到的图像序列中的脸部区域和头部区域，确定基于脸部的第一跟踪结果和基于头部的第二跟踪结果；

确定脸部序列模块，用于根据所述检测模块确定出的第一跟踪结果和所述第二跟踪结果，确定待抓拍目标的脸部序列；

确定抓拍图模块，用于基于所述确定脸部序列模块确定出的脸部序列，确定所述待抓拍目标的脸部抓拍图。

10.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-8中任一项所述的方法。

11.一种电子设备，所述电子设备包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1-8中任一项所述的方法。

Images