CN109840565A - 一种基于眼部轮廓特征点纵横比的眨眼检测方法 - Google Patents

Abstract

本发明公开了一种基于眼部轮廓特征点纵横比的眨眼检测方法，该方法包括：获取视频流，从所述视频流中提取单帧人脸图像集；利用深度神经网络从所述单帧人脸图像集中提取人脸图像中的人脸矩形框，并获取人脸矩形框坐标；根据所述人脸矩形框坐标求得所述单帧人脸图像集中的眼部关键点坐标；根据所述眼部关键点坐标计算所述单帧人脸图像集的眼睛纵横比，以根据所述眼睛纵横比判断是否眨眼。本发明通过计算双眼纵横比来判定是否眨眼，能够克服光线强弱、人物姿态等对眨眼判断的影响，具有较强的鲁棒性，并且该方法计算简单，精度高、效率高，能更好的应用于活体识别、疲劳驾驶监测等领域。

Description

一种基于眼部轮廓特征点纵横比的眨眼检测方法

技术领域

本发明涉及数字图像处理及计算机视觉技术领域，尤其涉及一种基于眼部轮廓特征点纵横比的眨眼检测方法。

背景技术

目前，安防领域备受关注，其中活体识别和疲劳驾驶监测都备受关注，而在目前活体识别和疲劳驾驶监测方面，利用眨眼检测实现各自的功能现在属于主流，具有无需配合，实现智能化等特点。

目前眨眼检测算法有很多种，但其准确率都有待提高。例如，基于Adaboost的眨眼检测，Adaboost算法是一种迭代算法，其核心思想是针对同一个训练集训练不同分类能力一般的分类器(弱分类器)，然后把这些弱分类器迭加起来，构成一个更强的最终分类器。但是AdaBoost算法的迭代次数不好设定，具有需要使用交叉验证的方式来进行确定、训练数据集的不平衡分布，从而导致分类器的分类精度下降、训练比较耗费时间、对异常值比较敏感等缺点。这些缺点会直接影响眨眼检测的效果，降低检测效率。再比如采用ASM+Canny进行眨眼检测的方法，即利用ASM(Active Shape Model主动形状模型)算法检测人眼区域，再利用Canny算子计算人眼的边缘轮廓，通过人眼边缘轮廓的上下距离判断眨眼，但该方法对光线的要求很高。弱光下，ASM对人眼的定位效果和Canny对人眼边缘检测效果并不好。

发明内容

本发明的目的之一至少在于，针对如何克服上述现有技术存在的问题，提供一种基于眼部轮廓特征点纵横比的眨眼检测方法，通过计算双眼纵横比来判定是否眨眼，具有较好的鲁棒性。

为了实现上述目的，本发明采用的技术方案包括以下各方面。

一种基于眼部轮廓特征点纵横比的眨眼检测方法，包括：

步骤101，获取视频流数据，从所述视频流中提取单帧人脸图像集；

步骤102，利用深度神经网络从所述单帧人脸图像集中提取人脸图像中的人脸矩形框，并获取人脸矩形框坐标；

步骤103，根据所述人脸矩形框坐标求得所述单帧人脸图像集中的眼部关键点坐标；

步骤104，根据所述眼部关键点坐标计算所述单帧人脸图像集的眼睛纵横比，以根据所述眼睛纵横比判断是否眨眼。

优选的，一种基于眼部轮廓特征点纵横比的眨眼检测方法，所述人脸的眼部关键点个数为12个，每只眼睛有6个关键点，分别位于人脸两只眼睛的上下眼睑和左右眼角，每个眼部关键点坐标用(x，y)表示。

优选的，一种基于眼部轮廓特征点纵横比的眨眼检测方法，所述眼睛纵横比为人脸左眼关键点纵横比与人脸右眼关键点纵横比的平均值。

优选的，一种基于眼部轮廓特征点纵横比的眨眼检测方法，所述眼睛纵横比为：

其中，为人脸左眼关键点纵横比，为人脸左眼上下眼睑的距离的平均值，||p1-p4||为人脸左眼眼角之间的距离；为人脸右眼关键点纵横比，为人脸右眼上下眼睑的距离的平均值，||p7-p10||为人脸右眼眼角之间的距离。

优选的，一种基于眼部轮廓特征点纵横比的眨眼检测方法，所述步骤104具体包括：

判断计算过眼睛纵横比的单帧人脸图像集的帧数是否大于阈值，若所述人脸图像的帧数大于阈值，则判断所述单帧人脸图像集为连续的单帧人脸图像；并对所述连续的单帧人脸图像眼睛纵横比进行分析，绘制相应的眼睛纵横比曲线图，当所述曲线图中出现急速下降时，判定为眨眼事件。

优选的，一种基于眼部轮廓特征点纵横比的眨眼检测方法，所述步骤104还包括：当所述单帧人脸图像集的帧数小于或等于阈值，判断所述单帧人脸图像集为非连续单帧人脸图像集，则返回步骤101，重新提取视频流中的单帧人脸图像集。

综上所述，由于采用了上述技术方案，本发明至少具有以下有益效果：

通过计算双眼纵横比来判定是否眨眼，能够克服光线强弱、人物姿态等对眨眼判断的影响，具有较强的鲁棒性，并且该方法计算简单，眨眼检测的精度高，效率高，能更好的应用于活体识别、疲劳驾驶监测等领域。

附图说明

图1是根据本发明示例性实施例的一种基于眼部轮廓特征点纵横比的眨眼检测方法流程图。

图2是根据本发明示例性实施例的眼部(左眼)关键点示意图。

图3是根据本发明示例性实施例的眼睛纵横比例波动图，其中横轴为时间轴，竖轴为眼睛纵横比平均值(BS)。

具体实施方式

下面结合附图及实施例，对本发明进行进一步详细说明，以使本发明的目的、技术方案及优点更加清楚明白。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

图1示出了根据本发明示例性实施例的一种基于眼部轮廓特征点纵横比的眨眼检测方法。该实施例的方法主要包括：

步骤101，获取视频流数据，从所述视频流中提取单帧人脸图像集；

具体的，获取摄像头中的视频流数据(在眨眼检测、活体检测或人脸验证的时候，会打开摄像头，采集相应的视频数据，并且在相应的设备中，如计算机、pc机、终端、pad等里视频是以流的形式存在的，其可以分解成单帧的图像)，接着通过使用python中的opencv库中的相关函数从视频流中提取相应的单帧图像，并且人在做配合动作时，动作会持续一段时间，因此，从视频流中提取到的应该是多个单帧图像。

步骤102，利用深度神经网络从所述单帧人脸图像集中提取人脸图像中的人脸矩形框，并获取人脸矩形框坐标；

具体的，将步骤101中得到的单帧图像集通过神经网络提取人脸图像中的人脸矩形框。当然提取的单帧图像中也可能是没有人脸的，仅仅是摄像头采集的一幅图片。并且如果在该单帧图像中检测不到人脸，就检测下一帧图像是否有人脸。在本实施例中，我们利用一个叫MTCNN的深度网络来检测人脸，MTCNN是一个三层级联的卷积神经网络，MTCNN分为三步：对图像进行多尺度变换，获取图像金字塔，获取图像多尺度信息。该网络一共有三层分别是：1、P-net(Proposal Network)：主要使用一个全卷积网络获取候选框和这些候选框的bounding box regression向量组。然后评估这些候选向量，并进行校准。最后使用非极大化抑制来去除大量重复的候选区域。2、R-net(Refine Network)：所有候选区域送入R-Net，该层多出来一个全连接层(FC)，可以进行更细化的处理，排除掉大量不符合要求的候选区域，通过bounding box regression执行校准，在利用非极大化抑制(NMS)进行合并。这一步和第二步类似，这一步输出更多的人脸部特征。步骤102对于人脸检测，只需获取到人脸所在位置的矩形框即可，以使在后续处理中我们能够根据矩形框获取到相应的关键点坐标。

步骤103，根据所述人脸矩形框坐标求得所述单帧人脸图像集中的眼部关键点坐标；

具体的，图2示出了本发明示例性实施例的人脸左眼关键点示意图。设定人脸的每只眼睛拥有6个关键点，一共12个关键点，并且每只眼睛的六个关键点分别位于上下眼睑和左右眼角(如图2所示)，每个关键点用(x,y)坐标表示。将人面对镜头的左眼睛的左眼角记为p1,然后顺时针绕着左眼的其余关键点进行标记，由此得到人脸左眼的p1～p6的眼部关键点。以人面对镜头的右眼睛的左眼角为p7，顺时针绕着人右眼的其余关键点进行标记，得到p7～p12的右眼关键点。从而得到左眼关键点p1～p6的坐标值与右眼关键点p7～p12的坐标值。

步骤105，根据所述眼部关键点坐标计算所述单帧人脸图像集的眼睛纵横比，以根据所述眼睛纵横比判断是否眨眼。

具体的，通过人脸左眼关键点纵横比与右眼关键点纵横比的平均值求得单帧人脸图像集的眼睛纵横比：

其中，为左眼关键点纵横比，为左眼上下眼睑的距离的平均值，||p1-p4||为左眼眼角之间的距离；为右眼关键点纵横比，为右眼上下眼睑的距离的平均值，||p7-p10||为右眼眼角之间的距离。

在实际检测中，通过纵横比判断是否眨眼是一个连续的过程，或者说人眨眼是一个连续的动作，睁开眼-闭眼-睁眼，我们要对每一帧图像的纵横比进行计算，然后找到一个纵横比由大变小再变大的事件，不能单纯对某一帧图像的纵横比进行计算就判断是否眨眼了，而要去分析整个过程，需要得到如图三所示的一条连续的纵横比变化曲线，要防止出现只要闭上眼，纵横比就很小，我们就判断眨眼了的情况。

具体的，我们计算的纵横比是实时的，并且会根据经验设定一个固定的阈值，我们要判断出现纵横比出现大于阈值→小于阈值→大于阈值的情况才认为是眨眼。因此在本实例中，首先判断计算过眼睛纵横比的单帧人脸图像集的帧数是否大于阈值，若所述人脸图像的帧数大于阈值，则判断所述单帧人脸图像集为连续的单帧人脸图像；并对所述连续的单帧人脸图像眼睛纵横比进行分析，绘制如图3所示的眼睛纵横比曲线图，当所述眼睛纵横比出现急速下降时，判断为眨眼。进一步的，当人睁眼的时候眼睛纵横比会保持一个大致的水平，每个人可能会有一点差异，但是在眨眼的时候眼睛纵横比值会发生一个急剧的下降，因此这个急速下降事件即可被判定为眨眼事件。当所述单帧人脸图像集的帧数小于或等于阈值，判断所述单帧人脸图像集为非连续单帧人脸图像集，则返回步骤101，重新提取视频流，并获取视频流中的单帧人脸图像集。

上述实施例中，通过计算双眼纵横比来判定是否眨眼，能够克服光线强弱、人物姿态等对眨眼判断的影响，具有较强的鲁棒性，并且该方法计算简单，眨眼检测的精度高，效率高，能更好的应用于活体识别、疲劳驾驶监测等领域。

以上所述，仅为本发明具体实施方式的详细说明，而非对本发明的限制。相关技术领域的技术人员在不脱离本发明的原则和范围的情况下，做出的各种替换、变型以及改进均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于眼部轮廓特征点纵横比的眨眼检测方法，其特征在于，所述包括：

步骤101，获取视频流数据，从所述视频流中提取单帧人脸图像集；

步骤102，利用深度神经网络从所述单帧人脸图像集中提取人脸图像中的人脸矩形框，并获取人脸矩形框坐标；

步骤103，根据所述人脸矩形框坐标求得所述单帧人脸图像集中的眼部关键点坐标；

步骤104，根据所述眼部关键点坐标计算所述单帧人脸图像集的眼睛纵横比，以根据所述眼睛纵横比判断是否眨眼。

2.根据权利要求1所述的方法，其特征在于，所述人脸的眼部关键点个数为12个，每只眼睛有6个关键点，分别位于人脸两只眼睛的上下眼睑和左右眼角，每个眼部关键点坐标用(x，y)表示。

3.根据权利要求1所述的方法，其特征在于，所述眼睛纵横比为人脸左眼关键点纵横比与人脸右眼关键点纵横比的平均值。

4.根据权利要求3所述的方法，其特征在于，所述眼睛纵横比为：

其中，为人脸左眼关键点纵横比，为人脸左眼上下眼睑的距离的平均值，||p1-p4||为人脸左眼眼角之间的距离；为人脸右眼关键点纵横比，为人脸右眼上下眼睑的距离的平均值，||p7-p10||为人脸右眼眼角之间的距离。

5.根据权利要求1所述的方法，其特征在于，所述步骤104具体包括：

判断计算过眼睛纵横比的单帧人脸图像集的帧数是否大于阈值，若所述人脸图像的帧数大于阈值，则判断所述单帧人脸图像集为连续的单帧人脸图像；并对所述连续的单帧人脸图像眼睛纵横比进行分析，绘制相应的眼睛纵横比曲线图，当所述曲线图中出现急速下降时，判定为眨眼事件。

6.根据权利要求1所述的方法，其特征在于，所述步骤104还包括：当所述单帧人脸图像集的帧数小于或等于阈值，判断所述单帧人脸图像集为非连续单帧人脸图像集，则返回步骤101，重新提取视频流中的单帧人脸图像集。