CN107153806B - 一种人脸检测方法及装置 - Google Patents

一种人脸检测方法及装置 Download PDF

Info

Publication number
CN107153806B
CN107153806B CN201610120358.7A CN201610120358A CN107153806B CN 107153806 B CN107153806 B CN 107153806B CN 201610120358 A CN201610120358 A CN 201610120358A CN 107153806 B CN107153806 B CN 107153806B
Authority
CN
China
Prior art keywords
face
image
determining
region
facial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610120358.7A
Other languages
English (en)
Other versions
CN107153806A (zh
Inventor
曾杰
彭开
李昆明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Actions Technology Co Ltd
Original Assignee
Actions Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Actions Technology Co Ltd filed Critical Actions Technology Co Ltd
Priority to CN201610120358.7A priority Critical patent/CN107153806B/zh
Publication of CN107153806A publication Critical patent/CN107153806A/zh
Application granted granted Critical
Publication of CN107153806B publication Critical patent/CN107153806B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种人脸检测方法及装置。在该人脸检测方法中，获取待处理图像；分别根据M级不同尺寸的窗口对所述待处理图像进行人脸区域检测，M为大于1的整数；确定每个检测到的人脸区域的置信度；根据置信度最高的人脸区域，进行五官轮廓点检测。由于该人脸检测方法根据置信度最高的人脸区域进行五官检测，可以保证一定的鲁棒性，进而可以一定程度上保证检测结果的准确性。

Description

一种人脸检测方法及装置
技术领域
本发明涉及图像处理领域，尤其涉及一种人脸检测方法及装置。
背景技术
随着计算机技术特别是模式识别技术的发展，人脸检测具有重要的理论研究价值和应用价值。人脸检测是指对于任意一幅给定的图像，采用一定的策略对其进行搜索以确定其中是否含有人脸，如果检测到人脸则还可以返回人脸的位置、大小和姿态。
目前，人脸检测技术应用广泛的领域主要有三个方面：1)自动人脸识别***，首先在一幅图像中检测是否存在人脸，若存在人脸则确定人脸的位置及大小，然后对图像中的人脸进行识别；2)媒体与娱乐，在网络虚拟世界里，通过人脸的变化，可以产生大量的娱乐节目和效果，手机、数码相机等消费电子产品中，基于人脸的娱乐项目越来越丰富；3)图像搜索，基于人脸图像识别技术的搜索引擎将会具有广泛的应用前景，以图像作为输入的搜索，可以判断图像中是否存在人脸，如果存在，则在搜索相似图像的同时，搜索类似的人脸。
发明内容
本发明实施例提供了一种人脸检测方法及装置。
本发明实施例提供的一种人脸检测方法，包括：
获取待处理图像；
分别根据M级不同尺寸的窗口对所述待处理图像进行人脸区域检测，M为大于1的整数；
确定每个检测到的人脸区域的置信度；
根据置信度最高的人脸区域，进行五官轮廓点检测。
本发明实施例提供的一种人脸检测装置，包括：
获取模块，用于获取待处理图像；
第一检测模块，用于分别根据M级不同尺寸的窗口对所述待处理图像进行人脸区域检测，M为大于1的整数；
确定模块，用于确定每个检测到的人脸区域的置信度；
第二检测模块，用于根据置信度最高的人脸区域，进行五官轮廓点检测。
在本发明实施例中，分别根据M级不同尺寸的窗口对所述待处理图像进行人脸区域检测，确定每个检测到的人脸区域的置信度，根据置信度最高的人脸区域，进行五官轮廓点检测。由于上述人脸检测的方法根据置信度最高的人脸区域进行五官检测，可以保证一定的鲁棒性，进而可以一定程度上保证检测结果的准确性。
附图说明
图1为本发明实施例提供的人脸检测方法的流程示意图；
图2为本发明实施例提供的对一个候选区域进行人脸检测的流程示意图；
图3为本发明实施例提供的窗口滑动策略的流程示意图；
图4为本发明实施例提供的窗口滑动策略的示意图；
图5a至图5d为根据本发明实施例提供的人脸检测方法所获得的检测结果示意图；
图6为本发明实施例提供的上妆方法的流程示意图；
图7为本发明实施例提供的眼睛轮廓点示意图；
图8为本发明实施例提供的眼睛上妆效果图；
图9为本发明实施例提供的嘴唇轮廓点示意图；
图10为本发明实施例提供的嘴唇上妆效果图；
图11为本发明实施例提供的胡子轮廓点示意图；
图12为本发明实施例提供的胡子上妆效果图；
图13a至图13d为本发明实施例提供的人脸检测及上妆结果示意图；
图14为本发明实施例提供的人脸检测装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部份实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
参见图1，为本发明实施例提供的一种人脸检测方法的流程示意图，该流程可由具有图像处理功能的电子设备或装置执行。
如图所示，该流程可包括如下步骤：
步骤101：获取待处理图像。
步骤102：分别根据M级不同尺寸的窗口对所述待处理图像进行人脸区域检测，M为大于1的整数。
在人脸检测技术中，通常为了适应不同尺寸的人脸检测，可使用不同尺寸的窗口遍历整幅图，对每个候选区域进行人脸检测。
用于人脸检测的窗口尺寸可预先设置。一种优选的方案中，可根据初始窗口的尺寸以及预设的放大系数，得到第一级至第N级窗口；其中，第j+1级窗口的尺寸是在第j级窗口的尺寸基础上根据该放大系数进行放大得到的，1<＝j<＝N-1，N为整数。例如：放大系数为1.1，第一窗口的尺寸为10×10(单位为像素，以下同)，将第一窗口的长和宽分别乘以该放大系数，则第二窗口的尺寸为11×11，第三窗口在第二窗口的基础上长和宽分别再乘以1.1，以此类推。
优选地，可从上述N级窗口中选取M级窗口用于后续的人脸区域检测。通常情况下，N的数值较大，例如常用的32级窗口，运算量庞大，耗时较长，因此从中选取部分尺寸的窗口用于后续的人脸检测，能够减少运算量，节省运算时间，降低了对硬件的要求(比如降低对处理器和内存规格的要求)。
优选地，从N级窗口中等间隔选取M级窗口。例如，根据初始窗口的尺寸以及预设的放大系数得到的32级窗口中，按照尺寸从小到大的顺序，该32级窗口排序为：窗口1、窗口2，……，窗口32，则在32级窗口中选取窗口4、窗口8、窗口12、窗口16、窗口20、窗口24、窗口28、窗口32这8级窗口。基于这8级窗口进行特征提取，但由于选取的8级窗口均匀离散分布在上述32级窗口中，仍然可以满足适应不同尺寸的人脸检测的需求。选用的级数数量越少，则运算量越小，运算速度越快，但鲁棒性随之降低；反之，则运算量越大，运算速度越慢，但鲁棒性越高。故在具体实施时，可根据不同场景对鲁棒性和运算速度的不同要求，确定窗口的级数。
在另一些实施例中，从上述N级不同尺寸的窗口中所选择的M级窗口也可以不呈均匀离散分布，比如，针对待处理图像中的人脸大小比较统一的场景，则可以根据可能的人脸大小来选取相应尺寸的窗口。
如图2所示，在针对其中一级窗口进行人脸检测时，可在待处理图像中滑动该窗口，得到候选区域，并针对得到的每个候选区域执行以下步骤：
步骤1021：根据该级窗口选取候选区域，使用与该级窗口对应的特征模板对每个候选区域进行特征提取。
步骤1022：若提取到的特征经过级联分类器的计算结果大于级联分类器的阈值，则判决相应候选区域为人脸区域，其中，级联分类器的阈值是在基于样本训练所得到的阈值的基础上调低后得到的。
在上述步骤中，若级联分类器中的每一级分类器均判决该候选区域为人脸区域，则将该候选区域确定为人脸区域。在一定条件下，也可以跳过部分级联分类器，仅通过剩余级联分类器对候选区域进行人脸检测。
上述级联分类器的阈值是通过样本训练得到的。优选地，本发明实施例中，在根据样本序列得到级联分类器后，可调低该级联分类器的阈值。适当降低阈值后，例如在某些场景下降低至原始阈值的94％～98％，能够降低人脸检测的拒识率(将人脸区域判定为非人脸区域的概率)，一方面，提高了对面部遮挡、光线影响、佩戴眼镜等干扰因素的抗干扰性；另一方面，避免由于减少用于特征提取的不同尺寸的窗口的数目而带来的影响。降低拒识率的同时会提高误识率(将非人脸区域判定为人脸区域的概率)，故在确定阈值降低的幅度时，可以综合考虑拒识率与误识率，以保证***的鲁棒性。
在如图2所示的流程中，每一级窗口对应的特征模板可以包括多个。步骤1021中可使用多个特征模板且该多个特征模板可以是Harr特征模板，相应地，步骤1022中，使用基于Harr特征的Adaboost级联分类器对其进行检测。上述特征模板也可以是其他的特征模板，本发明实施例对此不做限制。
在上述步骤1021中，可根据设定的水平方向上的步长和垂直方向上的步长，从左到右、自上而下地依次滑动该级窗口从而得到多个候选区域，并在选取到一个候选区域后进行特征值提取，并基于提取的特征值使用级联分类器进行人脸区域判决。通常情况下，水平方向的步长与该级窗口的长度相等，垂直方向上的步长与该级窗口的高度相等。
优选地，窗口滑动的策略可以根据对候选区域的检测结果进行相应的调整，以减少计算量，节省运算时间。具体的窗口滑动策略可以如图3所示：
若当前候选区域被判决为人脸区域，则在第二方向上将当前候选区域后的m-1倍第二步长内的区域标记为非人脸区域，在第一方向上以n倍第一步长滑动窗口，得到待选区域(步骤301、步骤305、步骤306、步骤307)。上述过程通常在以下情况下执行：在第一方向上当前候选区域与待处理图像边界间的滑动距离大于或等于n倍第一步长的情况下。当在第一方向上当前候选区域与待处理图像边界间的滑动距离小于n倍第一步长时，将窗口沿第二方向跳转至第一方向的起始位置获得待选区域(步骤301、步骤305、步骤306、步骤308)。其中，m与n均为大于1的整数，通常情况下m与n不超过4。
若获得的待选区域已被标记为非人脸区域，则在第一方向上待选区域与待处理图像边界间的滑动距离大于或等于第一步长的情况下，根据第一步长滑动窗口，得到下一候选区域(步骤304、步骤302、步骤303、步骤304、步骤309)；若该待选区域没有被标记为非人脸区域，则将该待选区域作为下一候选区域(步骤304、步骤309)。
若当前候选区域被判决为非人脸区域，则以当前候选区域为起点在第一方向上以第一步长滑动窗口，得到待选区域(步骤301、步骤302、步骤303)。上述过程通常在以下情况下执行：在第一方向上当前候选区域与待处理图像边界间的滑动距离大于或等于第一步长的情况下。当在第一方向上当前候选区域与待处理图像边界间的滑动距离小于第一步长时，将窗口沿第二方向跳转至第一方向的起始位置获得待选区域(步骤301、步骤302、步骤308)。
若获得的待选区域已被标记为非人脸区域，则在第一方向上待选区域与待处理图像边界间的滑动距离大于或等于第一步长情况下，以第一步长滑动窗口，得到下一候选区域(步骤304、步骤302、步骤303、步骤304、步骤309)；若该待选区域没有被标记为非人脸区域，将该待选区域作为下一候选区域(步骤304、步骤309)。
其中，若第一方向为水平方向，第二方向为垂直方向，则第一步长为窗口的宽度，第二步长为窗口的高度；若第一方向为垂直方向，第二方向为水平方向，则第一步长为窗口的高度，第二步长为窗口的宽度。
为了更清楚地解释上述流程，以n＝m＝3为例，并结合图4具体说明。如图4所示的整幅待处理图像，将窗口沿水平方向从左至右、沿垂直方向从上至下滑动。若当前候选区域为A时，若区域A被判决为人脸区域，则将窗口以区域A为起点以3倍窗口宽度为步长在水平方向上滑动，得到待选区域B；并将区域A在垂直方向上2倍窗口高度内的区域，即区域C，标记为非人脸区域，即当窗口滑动至该区域中时，由于该窗口已被标记为非人脸区域，则不对该区域进行特征提取及判断，将窗口直接滑至下一待选区域中。若当前候选区域为B时，若区域B被判决为非人脸区域，且水平方向上区域B与待处理图像边界间的滑动距离小于第一步长，则将窗口沿第二方向跳转至第一方向的起始位置，获得待选区域，即区域D。
步骤103：确定每个检测到的人脸区域的置信度。
使用不同尺寸的窗口对待处理图像进行人脸区域检测时，可能能够检测到人脸区域，也可能检测不到。对每个检测为人脸的区域计算其置信度，将置信度最高的人脸区域作为最终检测到的人脸区域，如图5a至图5b中所示的矩形方框。具体地，置信度的计算公式如公式(1)所示：
conf＝∑(Ti-Tri) (1)
其中，conf表示人脸区域的置信度，Ti表示所述人脸区域内的待处理图像的特征值经过第i级级联分类器的计算结果，Tri表示第i级级联分类器的阈值，Ti和Tri的差值越大，表示置信度越高。
步骤104：根据置信度最高的人脸区域，进行五官轮廓点检测。
优选地，可以预先设置第一比例和第二比例，第一比例和第二比例均小于或等于1，第二比例与第一比例可以相同，也可以不同。
在上述步骤102中，可以先按照第一比例对待处理图像进行缩放，得到第一图像，即按照第一比例降低待处理图像的分辨率；然后再分别根据M级不同尺寸的窗口对第一图像进行人脸区域检测。
相应地，在上述步骤104中，可以先按照第二比例对待处理图像进行缩放，得到第二图像，即按照第二比例降低待处理图像的分辨率；然后根据第一图像中置信度最高的人脸区域的位置，确定第二图像中置信度最高的人脸区域；再根据在第二图像中检测到的五官轮廓点的位置确定待处理图像中的五官轮廓点。
优选地，第二比例大于或等于第一比例，即第二图像的分辨率大于或等于第一图像的分辨率。因为用于五官轮廓点检测的图像对分辨率的要求通常高于用于人脸区域检测的图像对分辨率的要求，若用于五官轮廓点检测的图像的分辨率较低，检测的到的五官轮廓点容易受到干扰因素的影响，例如，在分辨率较低的情况下眼睛轮廓点易受到眼镜的干扰。
例如：待处理图像的分辨率为1920×1080，在进行人脸区域检测时，可以将待处理图像的分辨率降低至320×240；在进行五官轮廓点检测时，可以将待处理图像的分辨率降低至640×480，然后将在分辨率为320×240的图像中检测到的置信度最高的人脸区域转换为分辨率为640×480的图像中的人脸区域，进行五官轮廓点检测，最后根据检测到的五官轮廓点在分辨率为640×480的图像中的位置确定原待处理图像中的五官轮廓点的位置。经过上述过程，可以降低运算量，节省运算时间，提高了对不同运算能力的设备的适应性，同时也可确保一定的精度。
在上述步骤104中，可采用多种算法进行五官轮廓点检测，优选地，在进行五官轮廓点的检测时，可以采用ASM(Active Shape Model，主动形状模型)算法进行检测。利用ASM算法对正脸进行检测时得到的效果较好，但难以克服脸部的倾斜。
因此，为了克服ASM算法在对倾斜的人脸检测时效果不佳的问题，为了获得鲁棒性更高的五官轮廓点，优选地，在利用ASM算法对人脸进行五官检测之前，首先计算置信度最高的人脸区域中的人脸倾斜角，然后根据该人脸倾斜角，确定置信度最高的人脸区域内的五官轮廓点。
具体地，计算人脸倾斜角的过程如下所述：
1)确定人脸区域内双眼区域。
例如，可以根据“三庭五眼”的比例估算出人脸区域中的双眼区域，其中，“三庭”指脸的长度比例，从前额发际线至眉骨，从眉骨至鼻底，从鼻底至下颏，各占脸长的1/3，“五眼”指脸的宽度比例，从左侧发际至右侧发际，为五只眼睛的长度，两只眼睛之间的距离、两眼外侧至侧发际各为一只眼睛的距离。故可以将检测到的人脸区域等分成三行五列，而眼睛位于第二行第二列和第二行四列中。
2)根据双眼区域内颜色空间的分量值，确定双眼的瞳孔位置，其中，颜色空间的分量值可以是亮度值、色度值中的一种或多种。
以待处理图像的颜色空间为YCrCb为例，可以将估算出的双眼位置中符合以下条件的点的集合作为眼睛的参考区域：
-Y分量在[100,125]区间内；
-Cb分量在[115,130]区间内；
-Cr分量在[125,145]区间内。
在每只眼睛的参考区域内，将Y分量的最小值所在的位置作为眼睛的瞳孔位置。在具体执行时，由于根据Y分量确定眼睛的瞳孔位置时，可能会受到头发或者眼镜的干扰，故在获得Y分量最小值所在位置后，对该位置进行判断，若该位置处于参考区域的***，则认为该位置不是眼睛的瞳孔位置，若该位置位于预设的中心区域内，则将该位置确定为眼睛的瞳孔位置。
3)根据双眼的瞳孔位置确定人脸倾斜角。
假设双眼的瞳孔位置分别为(x1，y1)和(x2，y2)，那么人脸倾斜角θ可以根据公式(2)求得：
θ＝arctan[(y2-y1)/(x2-x1)] (2)
具体地，根据人脸倾斜角，确定置信度最高的人脸区域内的五官轮廓点的过程如下所述：
1)根据人脸倾斜角，对置信度最高的人脸区域内的待处理图像进行旋转，得到旋转后的人脸区域图像。
2)针对旋转后的人脸区域图像进行五官轮廓点检测。
3)根据人脸倾斜角，将检测到的五官轮廓点的坐标进行反向旋转，得到置信度最高的人脸区域内的五官轮廓点坐标。
优选地，可以对人脸倾斜角预先设置阈值，若计算出的人脸倾斜角大于该阈值，则表示图像中的人脸由于倾斜会影响检测到的五官轮廓点的准确度，采用上述先将人脸区域旋转再获取五官轮廓点的方法；若计算出的人脸倾斜角小于该阈值，则表示图像中的人脸的倾斜角度较小不会影响五官检测的准确度，可以不经过旋转，直接对人脸区域进行五官轮廓点的检测，以达到在确保检测准确度的情况下减少运算量。
如图5a至图5d中所示的点，即为经过上述方法检测到的五官轮廓点序列为Xface＝{(x1,y1),(x2,y2),...,(xn,yn)}。
图5a至图5d所示的图像为样机拍摄，图中人脸有的佩戴眼镜，有的为存在一定程度的侧脸，有的存在拍摄的仰(俯)视角，有的脸部倾斜，说明本发明实施例提供的人脸检测方法，具有较高的鲁棒性，可以排除诸多干扰因素，输出稳定可靠的人脸检测结果和五官检测结果。
本发明实施例提供的人脸检测方法，可以适用于不同的应用场景，尤其适用于运算能力不高的手持设备中、或用于娱乐需求的上妆、美图应用中，在保证一定鲁棒性的情况下减少运算量，提高运算速度。
进一步地，在检测出五官轮廓点之后，还可以对检测到的五官进行上妆，参见图6，上妆过程具体包括如下步骤：
步骤601：根据五官轮廓点，对五官上妆模板进行处理。
具体地，在上述步骤中，可以根据五官轮廓点，确定五官的倾斜角度，根据五官的倾斜角度确定五官上妆模板的旋转角度，根据五官上妆模板的旋转角度对五官上妆模板进行旋转；还可以根据五官轮廓点，确定五官的大小，根据五官的大小对五官上妆模板进行缩放。
旋转矩阵Tθ如公式(3)所示：
Figure BDA0000934068410000101
其中，θ表示五官的旋转角度。
缩放矩阵Ts如公式(4)所示：
Figure BDA0000934068410000111
其中，Sx表示五官模板在X轴上的缩放参数，Sy表示五官模板在Y轴上的缩放参数。
在一些实施例中，为了达到搞笑、夸张等上妆效果，一些上妆模板可以只进行旋转或者只进行缩放，甚至不进行旋转或缩放，本发明对此不做限制。
步骤602：将处理后的五官上妆模板贴合到待处理图像中的人脸区域。
在将上妆模板贴合到待处理图像中的人脸区域时，按照中心点贴合的方式将上妆模板贴合到待处理图像上。例如，在对眼睛进行上妆时，将经过旋转、缩放后的眼睛上妆模板的中心点位置与待处理图中的眼睛中心点位置对齐，将经过经过旋转、缩放后的眼睛上妆模板贴合到待处理图像上。
优选地，在上述步骤中，可根据预设的透明度设置处理后的五官上妆模板的透明度，将设置透明度后的五官上妆模板贴合到待处理图像中设置透明度后的人脸区域，如公式(5)所示。
Iout(x,y)＝(1-α)·Iin(x,y)+α·[Tscale·Tθ·Imask(x,y)] (5)
其中，Iout(x,y)表示上妆后的输出结果，Iin(x,y)表示待处理图像，Imask(x,y)表示上妆模板，α表示透明度。
在本发明的一些实施例中，用于上妆的待处理图像中，人脸区域通常较大，则在上述步骤102中，可从按照尺寸从小到大排列的N级窗口中选取M级窗口时，可以仅选择尺寸较大的窗口。仍以上述32个窗口为例，可以选择窗口18、窗口20、窗口22、窗口24、窗口26、窗口28、这六级窗口以提取特征值，并根据特征值进行人脸区域检测，以减少运算量、提高运算速度。
为了更清楚地说明上述上妆过程，下面以为眼睛、嘴唇、胡子上妆为例进行说明。
实施例一、眼睛上妆
在进行上妆之前，首先需要检测待处理图像中的人脸区域，对人脸区域进行五官检测以获得五官轮廓点，具体检测过程参见前述实施例，检测到的眼睛轮廓点如图7所示。
然后根据眼睛的轮廓点确定眼睛的倾斜角度，眼睛的倾斜角度要综合考虑人脸倾斜角和眼睛轮廓的个体差异。其中人脸倾斜角θface可以由双眼的中心点位置求得，计算方法可以是如公式(2)所述的计算方法，也可以根据获得的五官轮廓点计算得出，具体如公式(6)所示：
Figure BDA0000934068410000121
其中，(xrce，yrce)和(xlce，ylce)分别表示右眼和左眼的中心点位置坐标，该中心点位置坐标可以由公式(7)和公式(8)所示
Figure BDA0000934068410000122
Figure BDA0000934068410000123
其中，(xe_in，ye_in)表示眼睛的内眼角位置坐标，(xe_out，ye_out)表示眼睛的外眼角位置坐标，之所以根据眼角位置坐标确定眼睛的中心位置坐标，是因为内、外眼角的位置坐标不易受到眼镜等干扰因素的影响，更为稳定。
此外考虑到人眼的个体差异(表现在眼睛自身的倾斜角的差异)，由内外眼角点求出图像的左(右)眼倾斜角度θle(θre)，如公式(9)所示：
Figure BDA0000934068410000124
最终确定左眼上妆模板的旋转角度θleye如公式(10)所示，右眼上妆模板的旋转角度θreye如公式(11)所示：
Figure BDA0000934068410000125
Figure BDA0000934068410000126
眼睛上妆模板在X轴上的缩放因子Sx如公式(12)所示，在Y轴上的缩放因子Sy如公式(13)所示：
Figure BDA0000934068410000131
Figure BDA0000934068410000132
其中，距离函数
Figure BDA0000934068410000133
imge_in和imge_out分别表示在待处理图像中内眼角和外眼角的位置，maske_in和maske_out分别表示在眼睛上妆模板中内眼角和外眼角的位置，imge_up和imge_down分别表示在待处理图像中眼睛上轮廓极值点和下轮廓极值点的位置，maske_up和maske_down分别表示在眼睛上妆模板中眼睛上轮廓极值点和下轮廓极值点的位置。
考虑到有时佩戴眼镜会对获取到的眼睛上下轮廓点位置产生影响，导致计算得到的Y轴缩放因子Sy产生异常，故缩放倍数主要以X轴的缩放因子Sx为准，因为通常左右眼角位置较为稳定，受干扰影响较小。根据人眼轮廓的宽高比ratio确定Y轴缩放因子Sy是否产生异常：
Figure BDA0000934068410000134
通常人眼轮廓的宽高比一般不超过3/5，超过3/5表明上下轮廓点位置异常，则令Y轴缩放因子Sy等于X轴缩放因子Sx。
将眼睛上妆模板根据确定出的倾斜角、缩放因子进行旋转缩放后，贴合到待处理图像上，如图8所示。
实施例二、嘴唇上妆
在本发明实施例中，嘴唇上妆过程分为上嘴唇上妆过程和下嘴唇上妆过程。上、下嘴唇上妆与眼睛上妆相似，在进行上妆之前，首先需要检测待处理图像中的人脸区域，对人脸区域进行五官检测以获得五官轮廓点，然后根据嘴唇的轮廓点计算出嘴唇倾斜角、在待处理图像中嘴唇的中心点位置和缩放系数。
嘴唇倾斜角θm由公式(14)得到：
Figure BDA0000934068410000141
其中，(xm_left,ym_left)和(xm_right,ym_right)分别表示左嘴角点和右嘴角点坐标，
嘴唇的左右嘴角点以及上下嘴唇的上下轮廓极值点如图9所示。
上嘴唇的中心点位置(xcmu，ycmu)由公式(15)和公式(16)得到
Figure BDA0000934068410000142
Figure BDA0000934068410000143
其中，(xmu_up,ymu_up)和(xmu_down,ymu_down)分别表示上嘴唇的上轮廓极值点和下轮廓极值点坐标。
同理，根据上述方法可以求出下嘴唇中心点位置(xcmd，ycmd)。
上嘴唇上妆模板在X轴上的缩放因子Sx如公式(17)所示，在Y轴上的缩放因子Sy如公式(18)所示：
Figure BDA0000934068410000144
Figure BDA0000934068410000145
其中，imgm_left和imgm_right分别表示在待处理图像中左嘴角点和右嘴角点的位置，maskm_left和maskm_right分别表示在嘴唇上妆模板中左嘴角点和右嘴角点的位置，imgmu_up和imgmu_down分别表示在待处理图像中上嘴唇的上轮廓极值点和下轮廓极值点的位置，maskmu_up和maskmu_down分别表示在上嘴唇上妆模板中嘴唇上轮廓极值点和下轮廓极值点的位置。
同理，根据上述方法可以求出下嘴唇在X轴、Y轴上的缩放因子。
将上、下嘴唇上妆模板根据确定出的倾斜角、缩放因子进行旋转缩放后，贴合到待处理图像上，如图10所示。
实施例三、胡子上妆
在进行胡子上妆之前，首先需要检测待处理图像中的人脸区域，对人脸区域进行五官检测以获得五官轮廓点，上嘴唇的上轮廓极值点和鼻子的下轮廓极值点如图11所示。
胡子的中心位置由上嘴唇的上轮廓极值点和鼻子的下轮廓极值点确定，如公式(19)和公式(20)所示：
Figure BDA0000934068410000151
Figure BDA0000934068410000152
其中，(xn_down,yn_down)表示鼻子的下轮廓极值点坐标，(xmu_up,ymu_up)表示上嘴唇的上轮廓极值点坐标。由上述公式可以看出待处理图像上胡子的中心位置即鼻子的下极值点和上嘴唇的上轮廓极值点连线的中点。
胡子的倾斜角度参考前述人脸倾斜角的计算过程，此处不再赘述。
胡子上妆模板在X轴上的缩放因子Sx如公式(21)所示，在Y轴上的缩放因子Sy如公式(22)所示：
Figure BDA0000934068410000153
Figure BDA0000934068410000154
其中，imgrce和imglce分别表示在待处理图像中左右瞳孔的位置，具体可参照公式(7)和公式(8)获得；masklb和maskrb分别表示在胡子上妆模板中预先设置的两点，该两点之间的距离为按照上妆模板的大小比例预设的左、右眼的中心点间的距离。imgn_down和imgmu_up分别表示在待处理图像中鼻子下轮廓极值点和上嘴唇上轮廓极值点的位置，maskb_up和maskb_down分别表示在胡子上妆模板中胡子上轮廓极值点和下轮廓极值点的位置。
将胡子上妆模板根据确定出的倾斜角、缩放因子进行旋转缩放后，贴合到待处理图像上，如图12所示。
参见图13a至图13d，其中，图13a为经典Lena图像，图13b中的矩形区域为检测到的人脸区域，图13c中的点为检测到的五官轮廓点，图13d为上妆效果图。结果表明：本***稳定可靠，能克服诸多人脸五官检测的干扰，输出正确的五官位置，保证上妆结果准确而自然。
在本发明上述实施例中，分别根据M级尺寸不同的窗口对待处理图像进行人脸区域检测，并计算每个检测到的人脸区域的置信度；根据置信度最高的人脸区域，进行五官轮廓点检测。由于根据置信度最高的人脸区域进行五官检测，具有较高的鲁棒性，进而获得的检测结果更为准确。此外，采用部分级数的窗口用于特性提取能够提高运算效率，从而使得本发明实施例在提高鲁棒性、准确度的情况下，又减少了运算量、提高了***效率。对人脸上妆稳定可靠，能克服诸多人脸五官检测的干扰，保证上妆结果准确而自然。此外该***运算速度较快，在MIPS设备上实际测试也具备较好的用户体验，能克服手持嵌入式设备运算能力较弱，成像质量较差的问题，同时也适用于应用环境更佳的PC平台，兼容了稳定性和高效性，具备较大的应用范围和实用价值。
基于相同的技术构思，本发明实施例还提供了一种人脸检测装置，如图14所示，该装置包括：
获取模块1401，用于获取待处理图像；
第一检测模块1402，用于分别根据M级不同尺寸的窗口对待处理图像进行人脸区域检测，M为大于1的整数；
确定模块1403，用于确定每个检测到的人脸区域的置信度；
第二检测模块1404，用于根据置信度最高的人脸区域，进行五官轮廓点检测。
进一步地，该装置还包括选取模块(未在图中示出)，用于根据初始窗口的尺寸以及预设的放大系数，得到第1级至第N级窗口；其中，第j+1级窗口的尺寸是在第j级窗口的尺寸基础上根据放大系数进行放大得到的，1<＝j<＝N-1，N为大于M的整数；然后，从上述N个窗口中选取M个窗口。
优选地，上述选取模块，具体用于从N级窗口中等间隔选取M级窗口。
具体地，上述第一检测模块1402，具体用于：在根据M级不同尺寸的窗口中的一级窗口对待处理图像进行人脸区域检测时，根据该级窗口选取候选区域，使用与该级窗口对应的特征模板对每个候选区域进行特征提取；若提取到的特征经过级联分类器的计算结果大于级联分类器的阈值，则判决当前候选区域为人脸区域；其中，级联分类器的阈值是在基于样本训练所得到的阈值的基础上调低后得到的。
优选地，上述第一检测模块1402，具体用于：若候选区域被判决为人脸区域，则在第二方向上将候选区域后的m-1倍第二步长内的区域标记为非人脸区域，并在第一方向上以n倍第一步长滑动窗口，得到待选区域；若候选区域被判决为非人脸区域，则在第一方向上以第一步长滑动窗口，得到待选区域；其中，m与n均为大于1的整数；
若待选区域已被标记为非人脸区域，则在第一方向上以第一步长滑动窗口，得到候选区域；否则，将待选区域作为候选区域；
其中，候选区域尺寸与窗口尺寸相同；若第一方向为水平方向，第二方向为垂直方向，则第一步长为窗口的宽度，第二步长为窗口的高度；若第一方向为垂直方向，第二方向为水平方向，则第一步长为窗口的高度，第二步长为窗口的宽度。
具体地，上述确定模块1403具体用于根据上述公式(1)确定人脸区域的置信度。
优选地，上述第一检测模块1402还可以先按照第一比例对待处理图像进行缩放，得到第一图像，第一比例小于或等于1；然后分别根据M级不同尺寸的窗口对第一图像进行人脸区域检测。上述第二检测模块1404可以先按照第二比例对待处理图像进行缩放，得到第二图像，第二比例小于或等于1，且大于或等于第一比例；然后根据第一图像中置信度最高的人脸区域的位置，确定第二图像中置信度最高的人脸区域；再根据第二图像中置信度最高的人脸区域进行五官轮廓点检测；最后根据在第二图像中检测到的五官轮廓点的位置确定待处理图像中的五官轮廓点。
具体地，上述第二检测模块1404具体用于确定置信度最高的人脸区域中的人脸倾斜角，根据人脸倾斜角，确定置信度最高的人脸区域内的五官轮廓点。
具体地，上述第二检测模块1404计算人脸倾斜角的过程如下所述：
1)确定人脸区域内双眼区域。
2)根据双眼区域内颜色空间的分量值，确定双眼的瞳孔位置，其中，颜色空间的分量值可以是亮度值、色度值中的一种或多种。
3)根据双眼的瞳孔位置确定人脸倾斜角。
具体地，上述第二检测模块1404根据人脸倾斜角，确定置信度最高的人脸区域内的五官轮廓点的过程如下所述：
1)根据人脸倾斜角，对置信度最高的人脸区域内的待处理图像进行旋转，得到旋转后的人脸区域图像。
2)针对旋转后的人脸区域图像进行五官轮廓点检测。
3)根据人脸倾斜角，将检测到的五官轮廓点的坐标进行反向旋转，得到置信度最高的人脸区域内的五官轮廓点坐标。
优选地，上述第二检测模块1404，可以对人脸倾斜角预先设置阈值，若人脸倾斜角大于预设阈值，则根据人脸倾斜角，对置信度最高的人脸区域内的待处理图像进行旋转，得到旋转后的人脸区域图像；针对旋转后的人脸区域图像进行五官轮廓点检测；根据人脸倾斜角，将检测到的五官轮廓点的坐标进行反向旋转，得到置信度最高的人脸区域内的五官轮廓点坐标。若计算出的人脸倾斜角小于该阈值，则表示图像中的人脸的倾斜角度较小不会影响五官检测的准确度，可以不经过旋转，直接对人脸区域进行五官轮廓点的检测，以达到在确保检测准确度的情况下减少运算量。
进一步地，该人脸检测装置还可以包括：
处理模块(未在图中示出)，用于根据五官轮廓点，对五官上妆模板进行处理；
贴合模块(未在图中示出)，用于将处理后的五官上妆模板贴合到待处理图像中的人脸区域。
具体地，上述处理模块可以根据五官轮廓点的坐标确定五官的倾斜角度，根据倾斜角度对五官上妆模板进行旋转；还可以根据五官轮廓点的坐标确定五官的大小，根据五官的大小对五官上妆模板进行缩放。
具体地，上述处理模块在对眼睛上妆模板进行处理时，根据双眼内、外眼角坐标确定左、右眼睛中心点坐标和左、右眼睛倾斜角度，如公式(8)、公式(9)、公式(10)所示；根据左、右眼睛中心点坐标确定人脸倾斜角，如公式(7)所示；根据公式(11)和公式(12)确定左、右眼上妆模板的旋转角度。
具体地，上述处理模块在对胡子上妆模板进行处理时，首先根据内、外眼角坐标确定出眼睛中心点坐标，如公式(8)、公式(9)所示；然后根据左、右眼睛中心点坐标确定人脸倾斜角，如公式(7)所示；将人脸倾斜角作为胡子上妆模板的旋转角度。
具体地，上述处理模块在对嘴唇上妆模板进行处理时，根据左、右嘴角坐标确定嘴唇的倾斜角度，如公式(15)所示；根据上嘴唇轮廓点坐标确定上嘴唇的大小，根据上嘴唇的大小对上嘴唇上妆模板进行缩放，如公式(18)、公式(19)所示；同理，对下嘴唇上妆模板进行缩放；分别根据上、下嘴唇的上下轮廓极值点坐标确定上、下嘴唇的中心点坐标，如公式(16)、公式(17)所示。
上述贴合模块在将嘴唇模板贴合到待处理图像上时，根据上嘴唇的中心点坐标，将经过旋转、缩放的上嘴唇上妆模板贴合到待处理图像中；根据下嘴唇的中心点坐标，将经过旋转和/或缩放的下嘴唇上妆模板贴合到待处理图像中。
具体地，上述贴合模块还具体用于根据预设的透明度设置处理后的五官上妆模板以及待处理图像的人脸区域的透明度，将设置透明度后的五官上妆模板贴合到待处理图像中设置透明度后的人脸区域。
在本发明上述实施例中，分别根据M级尺寸不同的窗口对待处理图像进行人脸区域检测并计算每个检测到的人脸区域的置信度；根据置信度最高的人脸区域，进行五官轮廓点检测。由于根据置信度最高的人脸区域进行五官检测，具有较高的鲁棒性，进而获得的检测结果更为准确。此外，采用部分尺寸的窗口用于特性提取能够提高运算效率，从而使得本发明实施例在提高鲁棒性、准确度的情况下，又减少了运算量、提高了***效率。对人脸上妆稳定可靠，能克服诸多人脸五官检测的干扰，保证上妆结果准确而自然。此外该***运算速度较快，在MIPS设备上实际测试也具备较好的用户体验，能克服手持嵌入式设备运算能力较弱，成像质量较差的问题，同时也适用于应用环境更佳的PC平台，兼容了稳定性和高效性，具备较大的应用范围和实用价值。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (23)

1.一种人脸检测方法，其特征在于，包括：
获取待处理图像；
按照第一比例对所述待处理图像进行缩放，得到第一图像，所述第一比例小于或等于1；
分别根据M级不同尺寸的窗口对所述第一图像进行人脸区域检测，M为大于1的整数；
确定每个检测到的人脸区域的置信度；
按照第二比例对所述待处理图像进行缩放，得到第二图像，所述第二比例小于或等于1，且大于第一比例；
根据所述第一图像中置信度最高的人脸区域的位置，确定所述第二图像中置信度最高的人脸区域；
根据所述第二图像中置信度最高的人脸区域进行五官轮廓点检测；
根据所述第二图像中检测到的五官轮廓点的位置确定所述待处理图像中的五官轮廓点；
其中，所述五官轮廓点包括五官对象轮廓的上轮廓点和下轮廓点。
2.如权利要求1所述的方法，其特征在于，分别根据M级不同尺寸的窗口对所述第一图像进行人脸区域检测之前，还包括：
根据初始窗口的尺寸以及预设的放大系数，得到第1级至第N级窗口；其中，第j+1级窗口的尺寸是在第j级窗口的尺寸基础上根据所述放大系数进行放大得到的，1<＝j<＝N-1，N为大于M的整数；
从所述N级窗口中选取M级窗口。
3.如权利要求2所述的方法，其特征在于，从所述N级窗口中选取M级窗口，包括：从所述N级窗口中等间隔选取M级窗口。
4.如权利要求1所述的方法，其特征在于，根据M级不同尺寸的窗口对所述第一图像进行人脸区域检测，包括：
针对所述M级不同尺寸的窗口中的一级窗口，根据该级窗口选取候选区域，使用与该级窗口对应的特征模板对每个候选区域进行特征提取；
若提取到的特征经过级联分类器的计算结果大于所述级联分类器的阈值，则判决相应候选区域为人脸区域；其中，所述级联分类器的阈值是在基于样本训练所得到的阈值的基础上调低后得到的。
5.如权利要求4所述的方法，其特征在于，所述根据该级窗口选取候选区域，包括：
若所述候选区域被判决为人脸区域，则在第二方向上将所述候选区域后的m-1倍第二步长内的区域标记为非人脸区域，并在第一方向上以n倍第一步长滑动窗口，得到待选区域；若所述候选区域被判决为非人脸区域，则在第一方向上以第一步长滑动窗口，得到待选区域；其中，m与n均为大于1的整数；
若所述待选区域已被标记为非人脸区域，则在第一方向上以第一步长滑动窗口，得到候选区域；否则，将所述待选区域作为候选区域；
其中，所述候选区域尺寸与该级窗口尺寸相同；若第一方向为水平方向，第二方向为垂直方向，则第一步长为该级窗口的宽度，第二步长为该级窗口的高度；若第一方向为垂直方向，第二方向为水平方向，则第一步长为该级窗口的高度，第二步长为该级窗口的宽度。
6.如权利要求1或4所述的方法，其特征在于，所述置信度根据下述公式确定：
conf＝∑(Ti-Tri)
其中，conf表示人脸区域的置信度，Ti表示所述人脸区域的特征值经过第i级级联分类器的计算结果，Tri表示第i级级联分类器的阈值。
7.如权利要求1所述的方法，其特征在于，根据所述第二图像中置信度最高的人脸区域进行五官轮廓点检测，包括：
确定所述置信度最高的人脸区域中的人脸倾斜角；
根据所述人脸倾斜角，确定所述置信度最高的人脸区域内的五官轮廓点。
8.如权利要求7所述的方法，其特征在于，所述根据所述人脸倾斜角，确定所述置信度最高的人脸区域内的五官轮廓点，包括：
根据所述人脸倾斜角，对所述置信度最高的人脸区域内的图像进行旋转，得到旋转后的人脸区域图像；或者，在所述人脸倾斜角大于预设阈值的情况下，根据所述人脸倾斜角，对所述置信度最高的人脸区域内的图像进行旋转，得到旋转后的人脸区域图像；
针对旋转后的人脸区域图像进行五官轮廓点检测；
根据所述人脸倾斜角，将检测到的五官轮廓点的坐标进行反向旋转，得到所述置信度最高的人脸区域内的五官轮廓点坐标。
9.如权利要求7所述的方法，其特征在于，所述根据所述置信度最高的人脸区域确定人脸倾斜角，包括：
确定所述置信度最高的人脸区域内的双眼区域；
根据所述双眼区域内颜色空间的分量值，确定双眼的瞳孔位置，所述颜色空间的分量值包括亮度值和/或色度值；
根据所述双眼的瞳孔位置确定人脸倾斜角。
10.如权利要求1至5、8、9中任一项所述的方法，其特征在于，在进行五官轮廓点检测之后，还包括：
根据所述五官轮廓点的坐标确定五官的倾斜角度，根据所述五官的倾斜角度确定五官上妆模板的旋转角度，根据所述旋转角度对五官上妆模板进行旋转；和/或根据所述五官轮廓点的坐标确定五官的大小，根据所述五官的大小对五官上妆模板进行缩放；
将处理后的五官上妆模板贴合到所述待处理图像中的人脸区域。
11.如权利要求10所述的方法，其特征在于，所述根据所述五官轮廓点的坐标确定五官的倾斜角度，根据所述五官的倾斜角度确定五官上妆模板的旋转角度，包括：
根据双眼内、外眼角坐标确定左、右眼睛中心点坐标和左、右眼睛倾斜角度；
根据左、右眼睛中心点坐标确定人脸倾斜角；
根据下述公式确定左、右眼上妆模板的旋转角度：
Figure FDA0003005264020000041
Figure FDA0003005264020000042
其中，θleye和θreye分别表示左、右眼上妆模板的旋转角度；θface表示人脸倾斜角；θle表示左眼倾斜角，θre表示右眼倾斜角。
12.如权利要求10所述的方法，其特征在于，所述根据所述五官轮廓点的坐标确定五官的倾斜角度，根据所述五官的倾斜角度确定五官上妆模板的旋转角度，包括：
根据内、外眼角坐标确定出眼睛中心点坐标；
根据左、右眼睛中心点坐标确定人脸倾斜角；
将人脸倾斜角作为胡子上妆模板的旋转角度。
13.如权利要求10所述的方法，其特征在于，所述根据所述五官轮廓点的坐标确定五官的倾斜角度，根据所述五官的倾斜角度确定五官上妆模板的旋转角度，包括：根据左、右嘴角坐标确定嘴唇的倾斜角度；
所述根据所述五官轮廓点的坐标确定五官的大小，根据所述五官的大小对五官上妆模板进行缩放，包括：
根据上嘴唇轮廓点坐标确定上嘴唇的大小，根据所述上嘴唇的大小对上嘴唇上妆模板进行缩放；根据下嘴唇轮廓点坐标确定下嘴唇的大小，根据所述下嘴唇的大小对下嘴唇上妆模板进行缩放；
所述将处理后的五官上妆模板贴合到所述待处理图像中的人脸区域，包括：
分别根据上、下嘴唇的上下轮廓极值点坐标确定上、下嘴唇的中心点坐标；
根据所述上嘴唇的中心点坐标，将经过旋转和/或缩放的上嘴唇上妆模板贴合到所述待处理图像中；根据所述下嘴唇的中心点坐标，将经过旋转和/或缩放的下嘴唇上妆模板贴合到所述待处理图像中。
14.一种人脸检测装置，其特征在于，包括：
获取模块，用于获取待处理图像；
第一检测模块，用于按照第一比例对所述待处理图像进行缩放，得到第一图像，所述第一比例小于或等于1，分别根据M级不同尺寸的窗口对所述第一图像进行人脸区域检测，M为大于1的整数；
确定模块，用于确定每个检测到的人脸区域的置信度；
第二检测模块，用于按照第二比例对所述待处理图像进行缩放，得到第二图像，所述第二比例小于或等于1，且大于第一比例；根据所述第一图像中置信度最高的人脸区域的位置，确定所述第二图像中置信度最高的人脸区域；根据所述第二图像中置信度最高的人脸区域进行五官轮廓点检测；根据所述第二图像中检测到的五官轮廓点的位置确定所述待处理图像中的五官轮廓点；
其中，所述五官轮廓点包括五官对象轮廓的上轮廓点和下轮廓点。
15.如权利要求14所述的装置，其特征在于，还包括：
选取模块，用于根据初始窗口的尺寸以及预设的放大系数，得到第1级至第N级窗口；其中，第j+1级窗口的尺寸是在第j级窗口的尺寸基础上根据所述放大系数进行放大得到的，1<＝j<＝N-1，N为大于M的整数；从所述N级窗口中选取M级窗口。
16.如权利要求15所述的装置，其特征在于，所述选取模块，具体用于从所述N级窗口中等间隔选取M级窗口。
17.如权利要求14所述的装置，其特征在于，所述第一检测模块，具体用于：
针对所述M级不同尺寸的窗口中的一级窗口，根据M级不同尺寸的窗口对所述第一图像进行人脸区域检测时，根据该级窗口选取候选区域，使用与该级窗口对应的特征模板对每个候选区域进行特征提取；
若提取到的特征经过级联分类器的计算结果大于所述级联分类器的阈值，则判决相应候选区域为人脸区域；其中，所述级联分类器的阈值是在基于样本训练所得到的阈值的基础上调低后得到的。
18.如权利要求17所述的装置，其特征在于，所述第一检测模块，具体用于：
若所述候选区域被判决为人脸区域，则在第二方向上将所述候选区域后的m-1倍第二步长内的区域标记为非人脸区域，并在第一方向上以n倍第一步长滑动窗口，得到待选区域；若所述候选区域被判决为非人脸区域，则在第一方向上以第一步长滑动窗口，得到待选区域；其中，m与n均为大于1的整数；
若所述待选区域已被标记为非人脸区域，则在第一方向上以第一步长滑动窗口，得到候选区域；否则，将所述待选区域作为候选区域；
其中，所述候选区域尺寸与该级窗口尺寸相同；若第一方向为水平方向，第二方向为垂直方向，则第一步长为该级窗口的宽度，第二步长为该级窗口的高度；若第一方向为垂直方向，第二方向为水平方向，则第一步长为该级窗口的高度，第二步长为该级窗口的宽度。
19.如权利要求14或17所述的装置，其特征在于，所述确定模块具体用于：
根据下述公式确定人脸区域的置信度：
conf＝∑(Ti-Tri)
其中，conf表示人脸区域的置信度，Ti表示所述人脸区域的特征值经过第i级级联分类器的计算结果，Tri表示第i级级联分类器的阈值。
20.如权利要求14所述的装置，其特征在于，所述第二检测模块，具体用于：
确定所述置信度最高的人脸区域中的人脸倾斜角；
根据所述人脸倾斜角，确定所述置信度最高的人脸区域内的五官轮廓点。
21.如权利要求20所述的装置，其特征在于，所述第二检测模块，具体用于：
根据所述人脸倾斜角，对所述置信度最高的人脸区域内的图像进行旋转，得到旋转后的人脸区域图像；或者，在所述人脸倾斜角大于预设阈值的情况下，根据所述人脸倾斜角，对所述置信度最高的人脸区域内的图像进行旋转，得到旋转后的人脸区域图像；
针对旋转后的人脸区域图像进行五官轮廓点检测；
根据所述人脸倾斜角，将检测到的五官轮廓点的坐标进行反向旋转，得到所述置信度最高的人脸区域内的五官轮廓点坐标。
22.如权利要求20所述的装置，其特征在于，所述第二检测模块，具体用于：
确定所述置信度最高的人脸区域内的双眼区域；
根据所述双眼区域内颜色空间的分量值，确定双眼的瞳孔位置，所述颜色空间的分量值包括亮度值和/或色度值；
根据所述双眼的瞳孔位置确定人脸倾斜角。
23.如权利要求14至18、20至22中任一项所述的装置，其特征在于，还包括：
处理模块，用于根据所述五官轮廓点的坐标确定五官的倾斜角度，根据所述五官的倾斜角度确定五官上妆模板的旋转角度，根据所述旋转角度对五官上妆模板进行旋转；和/或根据所述五官轮廓点的坐标确定五官的大小，根据所述五官的大小对五官上妆模板进行缩放；
贴合模块，用于将处理后的五官上妆模板贴合到所述待处理图像中的人脸区域。
CN201610120358.7A 2016-03-03 2016-03-03 一种人脸检测方法及装置 Active CN107153806B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610120358.7A CN107153806B (zh) 2016-03-03 2016-03-03 一种人脸检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610120358.7A CN107153806B (zh) 2016-03-03 2016-03-03 一种人脸检测方法及装置

Publications (2)

Publication Number Publication Date
CN107153806A CN107153806A (zh) 2017-09-12
CN107153806B true CN107153806B (zh) 2021-06-01

Family

ID=59792447

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610120358.7A Active CN107153806B (zh) 2016-03-03 2016-03-03 一种人脸检测方法及装置

Country Status (1)

Country Link
CN (1) CN107153806B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108197593B (zh) * 2018-01-23 2022-02-18 深圳极视角科技有限公司 基于三点定位方法的多尺寸人脸表情识别方法及装置
CN109657587A (zh) * 2018-12-10 2019-04-19 南京甄视智能科技有限公司 用于人脸识别的侧脸质量评估方法和***
CN111523414B (zh) * 2020-04-13 2023-10-24 绍兴埃瓦科技有限公司 人脸识别方法、装置、计算机设备和存储介质
CN116071804A (zh) * 2023-01-18 2023-05-05 北京六律科技有限责任公司 人脸识别的方法、装置和电子设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1731416A (zh) * 2005-08-04 2006-02-08 上海交通大学 快速且精确的人脸特征点定位方法
CN102708575A (zh) * 2012-05-17 2012-10-03 彭强 基于人脸特征区域识别的生活化妆容设计方法及***
CN102750527A (zh) * 2012-06-26 2012-10-24 浙江捷尚视觉科技有限公司 一种银行场景中长期稳定的人脸检测与跟踪方法及装置
CN103049733A (zh) * 2011-10-11 2013-04-17 株式会社理光 人脸检测方法和人脸检测设备
CN103793693A (zh) * 2014-02-08 2014-05-14 厦门美图网科技有限公司 一种人脸转向的检测方法及其应用该方法的脸型优化方法
CN103902978A (zh) * 2014-04-01 2014-07-02 浙江大学 人脸检测及识别方法
CN104408462A (zh) * 2014-09-22 2015-03-11 广东工业大学 面部特征点快速定位方法
CN105046231A (zh) * 2015-07-27 2015-11-11 小米科技有限责任公司 人脸检测方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012181688A (ja) * 2011-03-01 2012-09-20 Sony Corp 情報処理装置、情報処理方法、情報処理システムおよびプログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1731416A (zh) * 2005-08-04 2006-02-08 上海交通大学 快速且精确的人脸特征点定位方法
CN103049733A (zh) * 2011-10-11 2013-04-17 株式会社理光 人脸检测方法和人脸检测设备
CN102708575A (zh) * 2012-05-17 2012-10-03 彭强 基于人脸特征区域识别的生活化妆容设计方法及***
CN102750527A (zh) * 2012-06-26 2012-10-24 浙江捷尚视觉科技有限公司 一种银行场景中长期稳定的人脸检测与跟踪方法及装置
CN103793693A (zh) * 2014-02-08 2014-05-14 厦门美图网科技有限公司 一种人脸转向的检测方法及其应用该方法的脸型优化方法
CN103902978A (zh) * 2014-04-01 2014-07-02 浙江大学 人脸检测及识别方法
CN104408462A (zh) * 2014-09-22 2015-03-11 广东工业大学 面部特征点快速定位方法
CN105046231A (zh) * 2015-07-27 2015-11-11 小米科技有限责任公司 人脸检测方法和装置

Also Published As

Publication number Publication date
CN107153806A (zh) 2017-09-12

Similar Documents

Publication Publication Date Title
EP3338217B1 (en) Feature detection and masking in images based on color distributions
US8213690B2 (en) Image processing apparatus including similarity calculating unit, image pickup apparatus, and processing method for the apparatuses
CN110147721B (zh) 一种三维人脸识别方法、模型训练方法和装置
CN111243093B (zh) 三维人脸网格的生成方法、装置、设备及存储介质
US7912253B2 (en) Object recognition method and apparatus therefor
US8577099B2 (en) Method, apparatus, and program for detecting facial characteristic points
US10096091B2 (en) Image generating method and apparatus
CN105205480B (zh) 一种复杂场景中人眼定位方法及***
US9471829B2 (en) Method of facial landmark detection
KR101303877B1 (ko) 얼굴 검출과 피부 영역 검출을 적용하여 피부의 선호색변환을 수행하는 방법 및 장치
US20120213422A1 (en) Face recognition in digital images
US20110211233A1 (en) Image processing device, image processing method and computer program
US20110091071A1 (en) Information processing apparatus, information processing method, and program
CN107153806B (zh) 一种人脸检测方法及装置
CN108416291B (zh) 人脸检测识别方法、装置和***
EP2616993A1 (en) Smile detection systems and methods
JP2007047965A (ja) デジタル画像の対象物検出方法および装置並びにプログラム
JP6071002B2 (ja) 信頼度取得装置、信頼度取得方法および信頼度取得プログラム
CN109725721B (zh) 用于裸眼3d显示***的人眼定位方法及***
JP6157165B2 (ja) 視線検出装置及び撮像装置
CN111199230A (zh) 目标检测的方法、装置、电子设备及计算机可读存储介质
CN112016469A (zh) 图像处理方法及装置、终端及可读存储介质
CN111291701A (zh) 一种基于图像梯度和椭圆拟合算法的视线追踪方法
Gu et al. Hand gesture interface based on improved adaptive hand area detection and contour signature
CN104156689B (zh) 一种对目标对象的特征信息进行定位的方法和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 519085 High-tech Zone, Tangjiawan Town, Zhuhai City, Guangdong Province

Applicant after: ACTIONS TECHNOLOGY Co.,Ltd.

Address before: 519085 High-tech Zone, Tangjiawan Town, Zhuhai City, Guangdong Province

Applicant before: ACTIONS (ZHUHAI) TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant