CN106650583A - 人脸检测方法、装置及终端设备 - Google Patents

Abstract

本发明公开了一种人脸检测方法、装置及终端设备。其中，该方法包括：根据预设周期检测预览画面中的人脸，并存储标记人脸区域的图像帧；如果在T周期时刻对应的第K帧图像中未检测到人脸，则提取在(T‑1)周期时刻对应的第(K‑1)帧图像中人脸区域的皮肤像素；检测第K帧图像中与皮肤像素匹配的候选位置，并在候选位置中确定目标位置；以目标位置为中心，在第K帧图像中获取与第(K‑1)帧图像中人脸区域大小匹配的候选区域；如果候选区域超出正常画面，则根据候选位置在第K帧图像中确定半脸区域。通过本发明实施例，能够实现半脸识别，避免了人脸检测失效，提高了人脸识别率。

Description

人脸检测方法、装置及终端设备

技术领域

本发明涉及移动终端技术领域，尤其涉及一种人脸检测方法、装置及终端设备。

背景技术

通常，拍照设备比较容易识别到整张人脸，进而进行拍摄。

然而，某些用户为了遮挡部分面部瑕疵等特殊需求只拍半边面部，在这种场景下，对于拍照设备来说，无法检测到人脸，会出现人脸检测失效，人脸识别率低。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种人脸检测方法，该方法能够实现半脸识别，避免了人脸检测失效，提高了人脸识别率。

本发明的第二个目的在于提出了一种人脸检测装置。

本发明的第三个目的在于提出了一种终端设备。

为达上述目的，根据本发明第一方面实施例提出的一种人脸检测方法，包括以下步骤：

根据预设周期检测预览画面中的人脸，并存储标记人脸区域的图像帧；

如果在T时刻对应的第K帧图像中未检测到所述人脸，则提取在(T-1)时刻对应的第(K-1)帧图像中人脸区域的皮肤像素；

检测所述第K帧图像中与所述皮肤像素匹配的候选位置，并在所述候选位置中确定目标位置；

以所述目标位置为中心，在所述第K帧图像中获取与所述第(K-1)帧图像中人脸区域大小匹配的候选区域；

如果所述候选区域超出正常画面，则根据所述候选位置在所述第K帧图像中确定半脸区域。

本发明实施例的人脸检测方法，首先根据预设周期检测预览画面中的人脸，并存储标记人脸区域的图像帧，接着在T周期时刻对应的第K帧图像中未检测到人脸时，提取在(T-1)周期时刻对应的第(K-1)帧图像中人脸区域的皮肤像素，然后检测第K帧图像中与皮肤像素匹配的候选位置，并在候选位置中确定目标位置，最后以目标位置为中心，在第K帧图像中获取与第(K-1)帧图像中人脸区域大小匹配的候选区域并在候选区域超出正常画面时，根据候选位置在第K帧图像中确定半脸区域。由此，能够实现半脸识别，避免了人脸检测失效，提高了人脸识别率。

为达上述目的，根据本发明的第二方面实施例提出的一种人脸检测装置，包括：处理模块，用于根据预设周期检测预览画面中的人脸，并存储标记人脸区域的图像帧；

提取模块，用于在T周期时刻对应的第K帧图像中未检测到所述人脸时，提取在(T-1)周期时刻对应的第(K-1)帧图像中人脸区域的皮肤像素；

检测模块，用于检测所述第K帧图像中与所述皮肤像素匹配的候选位置，

第一确定模块，用于在所述候选位置中确定目标位置；

匹配模块，用于以所述目标位置为中心，在所述第K帧图像中获取与所述第(K-1)帧图像中人脸区域大小匹配的候选区域；

第二确定模块，用于在所述候选区域超出正常画面时，根据所述候选位置在所述第K帧图像中确定半脸区域。

本发明实施例的人脸检测装置，首先根据预设周期检测预览画面中的人脸，并存储标记人脸区域的图像帧，接着在T周期时刻对应的第K帧图像中未检测到人脸时，提取在(T-1)周期时刻对应的第(K-1)帧图像中人脸区域的皮肤像素，然后检测第K帧图像中与皮肤像素匹配的候选位置，并在候选位置中确定目标位置，最后以目标位置为中心，在第K帧图像中获取与第(K-1)帧图像中人脸区域大小匹配的候选区域并在候选区域超出正常画面时，根据候选位置在第K帧图像中确定半脸区域。由此，能够实现半脸识别，避免了人脸检测失效，提高了人脸识别率。

为达上述目的，根据本发明的第三方面实施例提出的终端设备，包括：壳体、处理器、存储器、电路板和电源电路，其中，所述电路板安置在所述壳体围成的空间内部，所述处理器和所述存储器设置在所述电路板上；所述电源电路，用于为终端设备的各个电路或器件供电；所述存储器用于存储可执行程序代码；所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于执行以下步骤：

根据预设周期检测预览画面中的人脸，并存储标记人脸区域的图像帧；

如果在T时刻对应的第K帧图像中未检测到所述人脸，则提取在(T-1)时刻对应的第(K-1)帧图像中人脸区域的皮肤像素；

检测所述第K帧图像中与所述皮肤像素匹配的候选位置，并在所述候选位置中确定目标位置；

以所述目标位置为中心，在所述第K帧图像中获取与所述第(K-1)帧图像中人脸区域大小匹配的候选区域；

如果所述候选区域超出正常画面，则根据所述候选位置在所述第K帧图像中确定半脸区域。

本发明实施例的终端设备，首先根据预设周期检测预览画面中的人脸，并存储标记人脸区域的图像帧，接着在T周期时刻对应的第K帧图像中未检测到人脸时，提取在(T-1)周期时刻对应的第(K-1)帧图像中人脸区域的皮肤像素，然后检测第K帧图像中与皮肤像素匹配的候选位置，并在候选位置中确定目标位置，最后以目标位置为中心，在第K帧图像中获取与第(K-1)帧图像中人脸区域大小匹配的候选区域并在候选区域超出正常画面时，根据候选位置在第K帧图像中确定半脸区域。由此，能够实现半脸识别，避免了人脸检测失效，提高了人脸识别率。

附图说明

图1是根据本发明一个实施例的人脸检测方法的流程图；

图2是根据本发明一个实施例的标记人脸区域的图像帧的示意图；

图3是根据本发明另一个实施例的标记人脸区域的图像帧的示意图；

图4是根据本发明一个实施例的检测候选位置的示意图；

图5是根据本发明一个实施例的确定半脸区域的示意图；

图6是根据本发明另一个实施例的确定半脸区域的示意图；

图7是根据本发明一个实施例的人脸检测装置的结构示意图；以及

图8是根据本发明一个实施例的终端设备的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参考附图描述本发明实施例的人脸检测、装置及终端设备。

图1是根据本发明一个实施例的人脸检测方法的流程图。

如图1所示，本发明实施例的人脸检测方法包括以下步骤：

步骤101，根据预设周期检测预览画面中的人脸，并存储标记人脸区域的图像帧。

本发明实施例的人脸检测方法可以被配置在具有拍照或者是摄像功能的手机、电脑、智能佩戴设备等电子设备中。

通常，拍照或者摄像装置中具有人脸检测器或者相应的人脸检测算法以通过检测预览画面中的眼睛、嘴等特征信息，锁定预览画面中的人脸位置，并自动将人脸作为拍照或者摄像的主体，设置准确的焦距和曝光量。然而，人脸检测算法在某些特定情况下，例如半脸时，无法检测到人脸，从而出现人脸检测失效，人脸识别率低。

为了解决上述问题，本发明实施例提出一种人脸检测方法，能够实现半脸识别，避免了人脸检测失效，提高了人脸识别率。

首先，按照一定的预设周期检测预览画面中的人脸。其中，可以按照预设周期通过前置摄像头采集的预览画面中的人脸，也可以按照预设周期通过后置摄像头采集的预览画面中的人脸。

其中，预设周期可以根据实际应用需要进行选择设置，例如为0.1秒、0.5秒等。以预设周期锁定预览画面中的人脸区域，标记并存储。为了本领域人员更加清楚上述过程，结合图2说明如下：

图2是根据本发明一个实施例的标记人脸区域的图像帧的示意图。

如图2所示，图2a为当前时间检测预览画面中的人脸并存储标记人脸区域的图像帧，图2b为0.1秒(预设周期)后再次检测预览画面中的人脸并存储标记人脸区域的图像帧。

步骤102，如果在T周期时刻对应的第K帧图像中未检测到人脸，则提取在(T-1)周期时刻对应的第(K-1)帧图像中人脸区域的皮肤像素。

具体地，在T周期时刻对应的第K帧图像中没有检测到人脸，即出现人脸丢失的情况时，需要提取在人脸丢失前即相对于T周期的上一个周期采集的第(K-1)帧图像，并查找存储第(K-1)帧图像中的人脸区域，进而提取该人脸区域的皮肤像素。

其中，皮肤像素包括人脸区域的RGB值，即红色像素、绿色像素和蓝色像素的三原色值。提取皮肤像素的方式有很多种，可以通过Matlab、Opencv等应用软件对第(K-1)帧图像中人脸区域进行像素提取。

图3是根据本发明另一个实施例的标记人脸区域的图像帧的示意图。

如图3所示，第K帧图像中未检测到人脸没有标记人脸区域，第(K-1)帧图像中有标记人脸区域，从而可以通过Opencv提取该人脸区域的皮肤像素。

步骤103，检测第K帧图像中与皮肤像素匹配的候选位置，并在候选位置中确定目标位置。

具体地，检测第K帧图像中与皮肤像素匹配的候选位置的方式有很多种，用户可以根据实际应用需要进行选择设置。举例说明如下：

第一种示例，在第K帧图像中确定与第(K-1)帧图像中人脸区域相邻的区域，在相邻的区域中检测包含皮肤像素的目标区域，在目标区域中确定与皮肤像素匹配的候选位置。

图4是根据本发明一个实施例的检测候选位置的示意图。

如图4所示，可以在第(K-1)帧图像中人脸区域四个相邻的区域进行检测。在确定第四相邻的区域中具有皮肤像素的目标区域，进而在目标区域中确定与皮肤像素匹配的候选位置。

需要说明的是，不限于图4所示划分为四个相邻的区域，具有皮肤像素的目标区域也可能在第一相邻的区域、第二相邻的区域等，需要根据具体情况确定。

第二种示例，根据预设的读取方向，读取第K帧图像中的皮肤像素。将读取的皮肤像素与第(K-1)帧图像中的人脸区域的皮肤像素进行匹配。从匹配的皮肤像素对应的位置中选取任一位置作为候选位置。

其中，预设的读取方向可根据实际需要选择设置，如可以第K帧图像在竖直方向上的坐标的二分之一为读取的起始点，并在水平方向上读取一行像素数据，以确定该读取方向上的人脸区域，而在人脸区域中的像素数据即为皮肤像素。该皮肤像素对应的位置作为候选位置。

进一步地，在候选位置中确定目标位置，可以通过计算第(K-1)帧图像中人脸区域的皮肤像素的像素平均值，在候选位置中检测与像素平均值匹配的目标位置。

具体地，通过计算得到第(K-1)帧图像中人脸区域的皮肤像素的像素平均值为A，在在候选位置中检测于A匹配的位置作为目标位置。

其中，像素平均值的计算可以是通过取一定尺度，计算以第(K-1)帧图像中人脸区域的中心点向四周扩散的人脸区域的像素平均值。

步骤104，以目标位置为中心，在第K帧图像中获取与第(K-1)帧图像中人脸区域大小匹配的候选区域。

步骤105，如果候选区域超出正常画面，则根据候选位置在第K帧图像中确定半脸区域。

具体地，在确定好目标位置后，以目标位置为中点，在第K帧图像中获取与第(K-1)帧图像中人脸区域大小匹配的候选区域。在候选区域超出正常画面时，根据候选位置在第K帧图像中确定半脸区域。

需要说明的是，如果候选区域未超出正常画面，则根据候选区域在第K帧图像中确定人脸区域。

图5是根据本发明一个实施例的确定半脸区域的示意图。

如图5所示，第K帧图像中的候选区域超出正常画面，由此，将第K帧图像中与皮肤像素匹配的候选位置作为半脸区域。

图6是根据本发明另一个实施例的确定半脸区域的示意图。

如图6所示，第K帧图像中的候选区域未超出正常画面，由此，将第K帧图像中的候选区域作为人脸区域。

本发明实施例的人脸检测方法，首先根据预设周期检测预览画面中的人脸，并存储标记人脸区域的图像帧，接着在T周期时刻对应的第K帧图像中未检测到人脸时，提取在(T-1)周期时刻对应的第(K-1)帧图像中人脸区域的皮肤像素，然后检测第K帧图像中与皮肤像素匹配的候选位置，并在候选位置中确定目标位置，最后以目标位置为中心，在第K帧图像中获取与第(K-1)帧图像中人脸区域大小匹配的候选区域并在候选区域超出正常画面时，根据候选位置在第K帧图像中确定半脸区域。由此，能够实现半脸识别，避免了人脸检测失效，提高了人脸识别率。

为了实现上述实施例，本发明还提出了一种人脸检测装置。

图7是根据本发明一个实施例的人脸检测装置的结构示意图。

如图7所示，该人脸检测装置包括：处理模块10、提取模块20、检测模块30、第一确定模块40、匹配模块50、第二确定模块60和第三确定模块70。

其中，处理模块10用于根据预设周期检测预览画面中的人脸，并存储标记人脸区域的图像帧。

提取模块20用于在T周期时刻对应的第K帧图像中未检测到人脸时，提取在(T-1)周期时刻对应的第(K-1)帧图像中人脸区域的皮肤像素。

检测模块30用于检测第K帧图像中与皮肤像素匹配的候选位置。

第一确定模块40用于在候选位置中确定目标位置。

匹配模块50用于以目标位置为中心，在第K帧图像中获取与第(K-1)帧图像中人脸区域大小匹配的候选区域。

第二确定模块60用于在候选区域超出正常画面时，根据候选位置在第K帧图像中确定半脸区域。

具体地，根据预设周期检测预览画面中的人脸，包括：根据预设周期检测通过前置摄像头采集的预览画面中的人脸，或者，根据预设周期检测通过后置摄像头采集的预览画面中的人脸。

检测模块30用于在第K帧图像中确定与所述第(K-1)帧图像中人脸区域相邻的区域，在相邻的区域中检测包含皮肤像素的目标区域，在目标区域中确定与皮肤像素匹配的候选位置。

第一确定模块40用于计算第(K-1)帧图像中人脸区域的皮肤像素的像素平均值，在候选位置中检测与像素平均值匹配的目标位置。

第三确定模块70用于在候选区域未超出正常画面时，根据候选区域在第K帧图像中确定人脸区域。

需要说明的是，前述对人脸检测方法实施例的解释说明也适用于该实施例的人脸检测装置，其实现原理类似，此处不再赘述。

本发明实施例的人脸检测装置，首先根据预设周期检测预览画面中的人脸，并存储标记人脸区域的图像帧，接着在T周期时刻对应的第K帧图像中未检测到人脸时，提取在(T-1)周期时刻对应的第(K-1)帧图像中人脸区域的皮肤像素，然后检测第K帧图像中与皮肤像素匹配的候选位置，并在候选位置中确定目标位置，最后以目标位置为中心，在第K帧图像中获取与第(K-1)帧图像中人脸区域大小匹配的候选区域并在候选区域超出正常画面时，根据候选位置在第K帧图像中确定半脸区域。由此，能够实现半脸识别，避免了人脸检测失效，提高了人脸识别率。

图8是根据本发明一个实施例的终端设备的结构示意图。

参见图8，终端设备1000可以包括以下一个或多个组件：处理器1001，存储器1002，电源电路1003，多媒体组件1004，音频组件1005，输入/输出(I/O)的接口1006，传感器组件1007，以及通信组件1008。

电源电路1003，用于为终端设备的各个电路或器件供电；存储器1002用于存储可执行程序代码；处理器1001通过读取存储器1002中存储的可执行程序代码来运行与可执行程序代码对应的程序，以用于执行以下步骤：

根据预设周期检测预览画面中的人脸，并存储标记人脸区域的图像帧。

如果在T周期时刻对应的第K帧图像中未检测到人脸，则提取在(T-1)周期时刻对应的第(K-1)帧图像中人脸区域的皮肤像素。

检测第K帧图像中与皮肤像素匹配的候选位置，并在候选位置中确定目标位置。

以目标位置为中心，在第K帧图像中获取与第(K-1)帧图像中人脸区域大小匹配的候选区域。

如果候选区域超出正常画面，则根据候选位置在第K帧图像中确定半脸区域。

需要说明的是，前述对人脸检测方法实施例的解释说明也适用于该实施例的终端设备，其实现原理类似，此处不再赘述。

本发明实施例的终端设备，首先根据预设周期检测预览画面中的人脸，并存储标记人脸区域的图像帧，接着在T周期时刻对应的第K帧图像中未检测到人脸时，提取在(T-1)周期时刻对应的第(K-1)帧图像中人脸区域的皮肤像素，然后检测第K帧图像中与皮肤像素匹配的候选位置，并在候选位置中确定目标位置，最后以目标位置为中心，在第K帧图像中获取与第(K-1)帧图像中人脸区域大小匹配的候选区域并在候选区域超出正常画面时，根据候选位置在第K帧图像中确定半脸区域。由此，能够实现半脸识别，避免了人脸检测失效，提高了人脸识别率。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (11)

1.一种人脸检测方法，其特征在于，包括以下步骤：

根据预设周期检测预览画面中的人脸，并存储标记人脸区域的图像帧；

如果在T周期时刻对应的第K帧图像中未检测到所述人脸，则提取在(T-1)周期时刻对应的第(K-1)帧图像中人脸区域的皮肤像素；

检测所述第K帧图像中与所述皮肤像素匹配的候选位置，并在所述候选位置中确定目标位置；

以所述目标位置为中心，在所述第K帧图像中获取与所述第(K-1)帧图像中人脸区域大小匹配的候选区域；

如果所述候选区域超出正常画面，则根据所述候选位置在所述第K帧图像中确定半脸区域。

2.如权利要求1所述的方法，其特征在于，所述根据预设周期检测预览画面中的人脸，包括：

根据预设周期检测通过前置摄像头采集的预览画面中的人脸，或者，

根据预设周期检测通过后置摄像头采集的预览画面中的人脸。

3.如权利要求1所述的方法，其特征在于，所述检测所述第K帧图像中与所述皮肤像素匹配的候选位置，包括：

在所述第K帧图像中确定与所述第(K-1)帧图像中人脸区域相邻的区域；

在所述相邻的区域中检测包含所述皮肤像素的目标区域；

在所述目标区域中确定与所述皮肤像素匹配的候选位置。

4.如权利要求1所述的方法，其特征在于，在所述候选位置中确定目标位置，包括：

计算所述第(K-1)帧图像中人脸区域的皮肤像素的像素平均值；

在所述候选位置中检测与所述像素平均值匹配的目标位置。

5.如权利要求1-4任一所述的方法，其特征在于，还包括：

如果所述候选区域未超出正常画面，则根据所述候选区域在所述第K帧图像中确定人脸区域。

6.一种人脸检测装置，其特征在于，包括：

处理模块，用于根据预设周期检测预览画面中的人脸，并存储标记人脸区域的图像帧；

提取模块，用于在T周期时刻对应的第K帧图像中未检测到所述人脸时，提取在(T-1)周期时刻对应的第(K-1)帧图像中人脸区域的皮肤像素；

检测模块，用于检测所述第K帧图像中与所述皮肤像素匹配的候选位置，

第一确定模块，用于在所述候选位置中确定目标位置；

匹配模块，用于以所述目标位置为中心，在所述第K帧图像中获取与所述第(K-1)帧图像中人脸区域大小匹配的候选区域；

第二确定模块，用于在所述候选区域超出正常画面时，根据所述候选位置在所述第K帧图像中确定半脸区域。

7.如权利要求6所述的装置，其特征在于，所述根据预设周期检测预览画面中的人脸，包括：

根据预设周期检测通过前置摄像头采集的预览画面中的人脸，或者，

根据预设周期检测通过后置摄像头采集的预览画面中的人脸。

8.如权利要求6所述的装置，其特征在于，所述检测模块用于：

在所述第K帧图像中确定与所述第(K-1)帧图像中人脸区域相邻的区域；

在所述相邻的区域中检测包含所述皮肤像素的目标区域；

在所述目标区域中确定与所述皮肤像素匹配的候选位置。

9.如权利要求6所述的装置，其特征在于，所述第一确定模块用于：

计算所述第(K-1)帧图像中人脸区域的皮肤像素的像素平均值；

在所述候选位置中检测与所述像素平均值匹配的目标位置。

10.如权利要求6-9任一所述的装置，其特征在于，还包括：

第三确定模块，用于在所述候选区域未超出正常画面时，根据所述候选区域在所述第K帧图像中确定人脸区域。

11.一种终端设备，其特征在于，包括：壳体、处理器、存储器、电路板和电源电路，其中，所述电路板安置在所述壳体围成的空间内部，所述处理器和所述存储器设置在所述电路板上；所述电源电路，用于为终端设备的各个电路或器件供电；所述存储器用于存储可执行程序代码；所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于执行以下步骤：

根据预设周期检测预览画面中的人脸，并存储标记人脸区域的图像帧；

如果在T时刻对应的第K帧图像中未检测到所述人脸，则提取在(T-1)时刻对应的第(K-1)帧图像中人脸区域的皮肤像素；

检测所述第K帧图像中与所述皮肤像素匹配的候选位置，并在所述候选位置中确定目标位置；

以所述目标位置为中心，在所述第K帧图像中获取与所述第(K-1)帧图像中人脸区域大小匹配的候选区域；

如果所述候选区域超出正常画面，则根据所述候选位置在所述第K帧图像中确定半脸区域。