CN107784300A

CN107784300A - 防闭眼拍照方法及其***

Info

Publication number: CN107784300A
Application number: CN201711241882.0A
Authority: CN
Inventors: 张捷
Original assignee: Xian Cresun Innovation Technology Co Ltd
Current assignee: Xian Cresun Innovation Technology Co Ltd
Priority date: 2017-11-30
Filing date: 2017-11-30
Publication date: 2018-03-09

Abstract

本发明涉及一种防闭眼拍照的方法及其***，包括：根据眼部图像定位瞳孔中心点；以所述瞳孔中心点为起点形成多条射线；通过所述射线计算确定瞳孔边界点；利用所述瞳孔边界点确定眼睛状态。本发明提供的眼睛状态检测方法，通过瞳孔边界点的特征判断眼睛状态，该方法对人脸、偏转角度、背景、光照、眼睑、睫毛和镜面反光等条件的制约少，准确率较高，无需昂贵复杂的设备，成本低廉。

Description

防闭眼拍照方法及其***

技术领域

本发明涉及拍摄及图像识别领域，特别涉及一种防闭眼拍照方法及其***。

背景技术

随着人们生活水平的提高，旅行、社交在生活中占据越来越重要的地位。随着智能机的普及，从传统的照相馆拍照到现在随时随地的拍摄，拍摄成为人们最普遍最常见的行为。计算机、多媒体、数据通信技术的高速发展，图像识别技术，是利用计算机对图像进行处理、分析和理解，以识别各种不同模式的目标和对像的技术，图像识别技术获得了越来越广泛的应用。

在拍摄照片的时候，经常会遇到闭眼的困扰，一张闭眼的照片会破坏掉精彩的瞬间记忆，给用户带来追悔莫及的遗憾。因此可以在拍摄中，通过图像处理技术检测人眼的眼睛状态预防闭眼拍照。当前，眼睛状态检测的方法有很多种，综合起来为两类，一类为基于特征分析的眼睛状态检测方法，主要有投影法、检测瞳孔、检测虹膜等；另一类为基于模式分类的眼睛状态检测方法，主要有神经网络、支持向量、隐马尔可夫模型等。

这些防闭眼拍照的方法对人脸、偏转角度、背景、光照、眼睑、睫毛和镜面反光等有一定的条件制约，并且计算量大，处理慢。

发明内容

因此，为解决现有技术存在的技术缺陷和不足，本发明提出一种防闭眼拍照方法及其***。

具体地，本发明一个实施例提出的一种防闭眼拍照方法，包括：

步骤1、获取拍摄目标的待拍摄画面；

步骤2、识别所述待拍摄画面中的人脸图像；

步骤3、根据所述人脸图像定位眼部图像；

步骤4、通过所述眼部图像判断眼睛状态；

步骤5、根据所述眼睛状态确定拍照的方法。

在本发明的一个实施例中，步骤1之后，还包括：

当所述待拍摄画面中没有识别出人脸图像时，直接拍摄并保存拍摄画面。

在本发明的一个实施例中，步骤4，包括：

步骤41、根据眼部图像定位瞳孔中心点；

步骤42、在所述眼部图像中以所述瞳孔中心点为起点形成多条灰度值射线；

步骤43、通过所述灰度值射线计算确定瞳孔边界点；

步骤44、利用所述瞳孔边界点确定眼睛处于睁眼状态或者闭眼状态。

在本发明的一个实施例中，步骤5包括：

当眼睛状态为睁眼状态时，直接拍摄并保存拍摄画面；

当眼睛状态为闭眼状态时，在额定时间后重新执行步骤1。

在本发明的一个实施例中，所述额定时间为0.12-0.4秒。

本发明一个实施例提出的另一种防闭眼拍照***，包括第一图像识别模块、第二图像识别模块、图像检测模块及图像处理模块；其中，

所述第一图像识别模块，用于获取拍摄目标的待拍摄画面并识别所述待拍摄画面中的人脸图像；

所述第二图像识别模块，用于根据所述人脸图像定位眼部图像；

所述图像检测模块，用于通过所述眼部图像判断眼睛状态；

所述图像处理模块，用于根据所述眼睛状态确定拍照的方法。

在本发明的一个实施例中，还包括命令发送模块，用于当所述待拍摄画面中没有识别出人脸图像时，发送直接拍摄并保存拍摄画面的命令。

在本发明的一个实施例中，所述图像处理模块还用于：

当眼睛状态为睁眼状态时，直接拍摄并保存拍摄画面；

当眼睛状态为闭眼状态时，在额定时间后重新获取所述待拍摄画面，重新检测所述眼睛状态。

在本发明的一个实施例中，所述命令发送模块还用于当眼睛状态为睁眼状态时，发送直接拍摄并保存拍摄画面的命令。

基于此，本发明具备如下优点：

本发明提供的防闭眼拍照的方法及其***的优点有：

1)本发明可以避免拍摄的照片中出现眼睛闭合的状态，提升拍照效果，优化用户体验度；

2)本发明对人脸、偏转角度、背景、光照、眼睑、睫毛和镜面反光等条件的制约少，准确率较高；

3)本发明无需大量训练样本，算法简便，计算效率高；

4)本发明无需昂贵复杂的设备，成本低廉。

通过以下参考附图的详细说明，本发明的其它方面和特征变得明显。但是应当知道，该附图仅仅为解释的目的设计，而不是作为本发明的范围的限定，这是因为其应当参考附加的权利要求。还应当知道，除非另外指出，不必要依比例绘制附图，它们仅仅力图概念地说明此处描述的结构和流程。

附图说明

下面将结合附图，对本发明的具体实施方式进行详细的说明。

图1为本发明实施例提供的一种防闭眼拍照方法的示意图；

图2为本发明实施例提供的一种眼睛处于睁开状态瞳孔边界点示意图；

图3为本发明实施例提供的一种眼睛处于闭合状态瞳孔边界点示意图；

图4为本发明实施例提供的一种眼睛处于半睁半闭状态瞳孔特边界点意图；

图5为本发明实施例提供的一种防闭眼拍照***示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。

实施例一

请参见图1，图1为本发明实施例提供的一种防闭眼拍照的方法的示意图。该方法包括如下步骤：

步骤1、获取拍摄目标的待拍摄画面；

步骤2、识别所述待拍摄画面中的人脸图像；

步骤3、根据所述人脸图像定位眼部图像；

步骤4、通过所述眼部图像判断眼睛状态；

步骤5、根据所述眼睛状态确定拍照的方法。

其中，在步骤1之后，还可以包括：

其中，对于步骤4，可以包括：

步骤41、根据眼部图像定位瞳孔中心点；

步骤43、通过所述灰度值射线计算确定瞳孔边界点；

其中，对于步骤5，可以包括：

当眼睛状态为睁眼状态时，直接拍摄并保存拍摄画面；

当眼睛状态为闭眼状态时，在额定时间后重新执行步骤1。

其中，对于步骤5中所述额定时间为0.12-0.4秒。

实施例二

在上述实施例的基础上，本实施例对防闭眼拍照的方法进一步说明。该方法包括如下步骤：

当智能终端中的相机应用接收到拍摄指令时，获取拍摄目标的待拍摄画面，暂不进行拍摄，通过人脸识别技术识别待拍摄画面中是否有人脸；若没有人脸，则直接进行拍摄，将拍摄目标的待拍摄画面拍摄下来，并保存在智能终端中的相册中。若待拍摄画面中有人脸，根据人脸图像定位眼部图像，通过眼部图像判断眼睛状态。具体地，通过下述方法判断眼睛状态：

步骤1、获取眼部图像

获取眼部图像之后，处理眼部图像，将眼睛部位调整为水平位置。

将眼部图像转化为眼部灰度图，对眼部灰度图进行灰度对比度增强预处理，处理方法为：

f＝c*log(1+double(f₀))

其中，f₀表示原图像，f表示对比度增强后的图像。

将对比度增强后的图像做拉普拉斯滤波处理。

对眼部灰度图进行灰度对比度增强预处理更有利于瞳孔和外部区域的区分；另外拉普拉斯滤波的无方向性可以对眼部图像做各个方向的去噪。

步骤2、定位瞳孔中心点

将步骤1中处理后的眼部灰度图估算出眼部中心区域，查找眼部中心区域灰度值最小的点，若该点近似位于眼部中心区域的中点，则定位为瞳孔中心点；否则，继续查找，直到找到近似位于眼部中心区域的中点附近的灰度值最小点。

步骤3、以瞳孔中心点为起点发灰度值射线

以瞳孔中心点为起点沿上眼皮方向发射直线，可以形成M条灰度值射线；同样，以瞳孔中心点为起点沿下眼皮方向发射直线，可以形成N条灰度值射线。M和N可以相等也可以不等，M和N的条数越多，检测结果越精确。

步骤4、确定瞳孔边界点

瞳孔区域灰度明显低于其他区域，在边界位置梯度变化剧烈，灰度值的偏微分为：

其中，令f(i，j)为图像f坐标(i，j)处的灰度值；

则该方向的灰度梯度为：

提取D最大的点，记作Dmax；当Dmax>边界点阈值，则该点为瞳孔边界点。其中，边界点阈值选取大于瞳孔和皮肤交界处的灰度梯度且小于瞳孔和眼白交界处的灰度梯度的特定值，根据个体差异自行定义。瞳孔边界点处于瞳孔部分和眼白部分交替处。

步骤5、利用瞳孔边界点确定眼睛状态

51)、通过步骤4瞳孔边界点确定方法确定步骤3中射线方向的瞳孔边界点，假设确定共有X个瞳孔边界点；

52)、通过眼睛闭合度公式计算眼睛闭合度，具体为：

53)选取闭合度阈值，分别选择第一闭合度阈值与第二闭合度阈值，

当θ大于第一闭合度阈值时，眼睛状态为闭合；

当θ小于第二闭合度阈值时，眼睛状态为睁开；

否则，眼睛状态为半睁半闭；

其中，第一闭合度阈值越大，眼睛越闭合，第一闭合度阈值理论最大值为1；

第二闭合度阈值越小，眼睛越睁开，第二闭合度阈值理论最小值为0；

可以根据个体差异以及应用需求选择不同的闭合度阈值。

人的眼睛瞳孔较小，灰度低，不会因为个人生理因素导致瞳孔图像被眼睑遮挡，当正常睁开状态时，瞳孔是完整的，当处于闭合是通孔消失，当处于睁开和闭合中间态时，瞳孔上下边缘被遮挡，因此利用检测瞳孔边界判断眼睛睁闭。

请参见图2，图2为本发明实施例提供的眼睛处于睁开状态瞳孔边界点示意图。如图所示，选取第一闭合度阈值为0.8，第二闭合度阈值为0.2，以瞳孔中心点为起点分别沿上眼皮方向发射M(M取50)条灰度值射线，沿下眼皮方向发射N(N取50)条灰度值射线；在射线方向一共可以确定X(90)个瞳孔边界点，带入眼睛闭合度公式，求得θ为0.1，θ小于第二闭合度阈值为0.2，因此眼睛处于睁开状态。

请继续参见图3，图3为本发明实施例提供的眼睛处于闭合状态瞳孔边界点示意图。如图所示，选取第一闭合度阈值为0.8，第二闭合度阈值为0.2，以瞳孔中心点为起点分别沿上眼皮方向发射M(M取50)条灰度值射线，沿下眼皮方向发射N(N取50)条灰度值射线；在射线方向一共可以确定X(10)个瞳孔边界点，带入眼睛闭合度公式，求得θ为0.9，θ大于第一闭合度阈值为0.2，因此眼睛处于闭合状态。

请参见图4，图4为本发明实施例提供的眼睛处于半睁半闭状态瞳孔特边界点意图。如图所示，选取第一闭合度阈值为0.8，第二闭合度阈值为0.2，以瞳孔中心点为起点分别沿上眼皮方向发射M(M取50)条灰度值射线，沿下眼皮方向发射N(N取50)条灰度值射线；在射线方向一共可以确定X(60)个瞳孔边界点，带入眼睛闭合度公式，求得θ为0.4，θ大于第二闭合度阈值为0.2，小于第一闭合度阈值为0.8，因此眼睛处于半睁半闭状态。

本发明提出的基于瞳孔特征的眼睛状态检测方法，无需大量的高清图像学习模板，能够较好的降低运算复杂度，提高实时性，可靠性高，具有广泛的应用前景，此外本发明无需昂贵复杂的设备，成本低廉。

当待拍摄画面中的眼睛状态为睁眼状态时，则将该待拍摄画面拍摄下来并保存在智能终端中的相册中。当待拍摄画面中的眼睛状态为闭眼状态时，则忽略该待拍摄画面，在额定时间之后重新获取拍摄目标的待拍摄画面，并重新检测判断待拍摄画面中眼睛状态，之后再循环进行通过眼部图像判断眼睛状态，直至检测出人脸眼睛为睁开时，拍摄待拍摄画面并保存。避免照片中的人眼出现闭眼状态，提升拍照效果，从而提升用户体验。

其中，额定时间为预设的获取待拍摄画面的间隔时间。由于人眼眨眼时间为0.12-0.4秒，优选地，可以选择0.2秒、0.3秒，因此，将额定时间设为0.12-0.4秒中的任意值，优选地，可以选择0.2秒、0.3秒，可便于避开人眼的眨眼状态，提升拍摄效果，从而提高用户体验。

当额定时间到达时，拍摄待拍摄画面并保存。如果在额定时间内待拍摄画面中人物的眼睛一直为闭眼状态时，则一直无法进行拍摄，用户体验也不好。因此，当在该额定时间之内，依然没有拍摄操作时，在额定时间到达时，拍摄待拍摄画面并保存。此时，用户拍摄的照片中可能仍然会存在眼睛状态为闭眼状态，但至少可以拍摄出对应的照片，避免用户一直无法拍摄照片。

实施例三

在上述实施例的基础上，本实施例通过具体实施例说明防闭眼拍照的方法。

当用户使用智能机的拍照功能拍摄图像时，点击拍摄按钮发出拍摄操作命令；智能机的相机应用的后台程序接收到该拍摄命令，获取待拍摄画面，并识别其中是否具有人脸图像；若没有人脸图像，则直接进行拍摄，将待拍摄画面拍摄下来，并保存在手机的相册中。若待拍摄画面中有人脸图像，根据人脸图像定位眼部图像，判断眼睛状态。眼睛状态判断方法参考实施例二中所述的方法，此处不再赘述。当待拍摄画面中的眼睛状态为睁眼状态时，则将该待拍摄画面拍摄下来并保存在手机的相册中。当待拍摄画面中的眼睛状态为闭眼状态时，则忽略该待拍摄画面，在0.3秒的额定时间之后重新获取待拍摄画面，由于该额定时间很短，用户面前的景象变化很小，即在额定时间之后，待拍摄画面中依旧有人脸出现，因此可以不再进行识别待拍摄画面中是否有人脸的步骤，而直接重新检测判断待拍摄画面中眼睛状态是否为睁眼状态，可以降低手机相机应用程序的后台计算量，降低功耗，提升拍照速度；若眼睛状态为睁眼状态，则拍摄照片并保存至手机相册；若依然为闭眼状态，则继续在0.3秒之后重新获取待拍摄画面，并重新检测判断待拍摄画面中眼睛状态是否为睁眼状态。依次循环，直至检测出眼睛状态为睁开时，拍摄待拍摄画面并保存。避免照片中的人眼出现闭眼状态，提升拍照效果，从而提升用户体验。

实施例四

请参见图5，图5为本发明实施例提供的一种防闭眼拍照的***示意图。该***包括第一图像识别模块41、第二图像识别模块42、图像检测模块43及图像处理模块44；其中，

所述第一图像识别模块41，用于获取拍摄目标的待拍摄画面并识别所述待拍摄画面中的人脸图像；

所述第二图像识别模块42，用于根据所述人脸图像定位眼部图像；

所述图像检测模块43，用于通过所述眼部图像判断眼睛状态；

所述图像处理模块44，用于根据所述眼睛状态确定拍照的方法。

进一步地，该***还包括命令发送模块45，用于当所述待拍摄画面中没有识别出人脸图像时，发送直接拍摄并保存拍摄画面的命令。

进一步地，所述图像处理模块44还用于：

当眼睛状态为睁眼状态时，直接拍摄并保存拍摄画面；

进一步地，所述命令发送模块45还用于当眼睛状态为睁眼状态时，发送直接拍摄并保存拍摄画面的命令。

在本实施例中，当获取拍摄目标的待拍摄画面，暂不进行拍摄，第一图像识别模块41通过人脸识别技术识别待拍摄画面中是否有人脸；若没有人脸，则命令发送模块45直接发送拍摄命令，直接进行拍摄，将目待拍摄画面拍摄下来，并保存。若待拍摄画面中有人脸，则通过第二图像识别模块42定位眼部图像，利用第一图像检测模块43通过眼部图像判断眼睛状态。具体地，眼睛状态判断方法如实施例二中所述的方法判断，这里不再赘述。当图像处理模块44接收到的待拍摄画面中的眼睛状态为睁眼状态时，命令发送模块45直接发送拍摄命令，将该待拍摄画面拍摄下来并保存。当待拍摄画面中的眼睛状态为闭眼状态时，图像处理模块44则忽略该待拍摄画面，在额定时间之后重新获取待拍摄画面，并重新检测判断待拍摄画面中眼睛状态是否为睁眼状态，之后再循环进行以下过程：在设定时间之后重新获取待拍摄画面，并重新检测判断待拍摄画面中眼睛状态是否为睁眼状态，直至检测出眼睛状态为睁开时，则命令发送模块45直接发送拍摄命令，拍摄待拍摄画面并保存。避免照片中的人眼出现闭眼状态，提升拍照效果，从而提升用户体验。

其中，额定时间为获取待拍摄画面的间隔时间。由于人眼眨眼时间为0.12-0.4秒，优选地，可以选择0.2秒、0.3秒，因此，额定时间可以设为0.12-0.4秒中的任意值，优选地，可以选择0.2秒、0.3秒，可便于避开人眼的眨眼状态，提升拍摄效果，从而提升用户体验。

综上所述，本文中应用了具体个例对本发明一种基于防闭眼拍照方法及其***进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制，本发明的保护范围应以所附的权利要求为准。

Claims

1.一种防闭眼拍照方法，其特征在于，包括：

步骤1、获取拍摄目标的待拍摄画面；

步骤2、识别所述待拍摄画面中的人脸图像；

步骤3、根据所述人脸图像定位眼部图像；

步骤4、通过所述眼部图像判断眼睛状态；

步骤5、根据所述眼睛状态确定拍照的方法。

2.根据权利要求1所述的方法，其特征在于，在步骤1之后，还包括：

3.根据权利要求1所述的方法，其特征在于，步骤4包括：

步骤41、根据眼部图像定位瞳孔中心点；

步骤43、通过所述灰度值射线计算确定瞳孔边界点；

4.根据权利要求1所述的方法，其特征在于，步骤5包括：

当眼睛状态为睁眼状态时，直接拍摄并保存拍摄画面；

当眼睛状态为闭眼状态时，在额定时间后重新执行步骤1。

5.根据权利要求4所述的方法，其特征在于，所述额定时间为0.12-0.4秒。

6.一种防闭眼拍照***，其特征在于，包括第一图像识别模块、第二图像识别模块、图像检测模块及图像处理模块；其中，

所述图像检测模块，用于通过所述眼部图像判断眼睛状态；

7.根据权利要求6所述的***，其特征在于，还包括命令发送模块，用于当所述待拍摄画面中没有识别出人脸图像时，发送直接拍摄并保存拍摄画面的命令。

8.根据权利要求6所述的***，其特征在于，所述图像处理模块还用于：

当眼睛状态为睁眼状态时，直接拍摄并保存拍摄画面；

9.根据权利要求8所述的***，其特征在于，所述命令发送模块还用于当眼睛状态为睁眼状态时，发送直接拍摄并保存拍摄画面的命令。