CN111881783A - 疲劳检测方法及装置 - Google Patents

Abstract

本发明提供了一种疲劳检测方法及装置，其中所述疲劳检测方法包括：获取待疲劳检测者的人脸图像；根据所述人脸图像利用可分离卷积神经网络进行疲劳检测。本发明通过可分离卷积网络进行疲劳检测，大大减少了模型的参数量以及运行时间，使得实时性得以维持。

Description

疲劳检测方法及装置

技术领域

本发明涉及人工智能技术领域，特别涉及一种疲劳检测方法及装置。

背景技术

根据统计显示，国内肇事原因中，由疲劳驾驶引起的比例占有七成，除此之外，其他领域对疲劳检测的需求也不断增多。因此，疲劳检测成为当前研究的重要热门课题之一。疲劳检测不仅要具备实时性，而且要能快速检测出驾驶疲劳，以便在第一时间对疲劳驾驶者进行提醒和控制，此外，还也需具有鲁棒性，从而能适应各种驾驶场景。因此，亟需提出一种实时、准确、快速的疲劳检测方法及装置。

发明内容

(一)要解决的技术问题

鉴于上述问题，本发明的主要目的在于提供一种疲劳检测方法及装置，以期至少部分地解决上述提及的技术问题中的至少之一。

(二)技术方案

根据本发明的一个方面，提供了一种疲劳检测方法，包括：

获取待疲劳检测者的人脸图像；

根据所述人脸图像利用可分离卷积神经网络进行疲劳检测。

进一步的，根据所述人脸图像利用可分离卷积神经网络判断人眼的开合状态及嘴巴的开合状态，进而确定眨眼动作及哈欠动作，由此进行疲劳检测。

进一步的，根据所述人脸图像利用可分离卷积神经网络进行疲劳检测，包括：

利用人脸检测神经网络确定人脸图像上的人脸位置；

通过所述人脸位置利用特征点检测神经网络确定人脸上的68特征点，根据所述68特征点撷取人脸上的眼睛图像；

通过所述眼睛图像利用眨眼检测神经网络确定人眼的眨眼动作，并通过所述68特征点确定嘴巴的哈欠动作，从而进行疲劳检测。

进一步的，由所述68特征点中的嘴巴关键点及脸颊关键点确定MAR 值；根据MAR值判断嘴巴状态是否为张开状态，进而判断嘴巴动作是否为哈欠动作。

进一步的，由68特征点中的嘴巴关键点及脸颊关键点确定MAR值： MAR*＝||K68-K62||+||K67-K63||+||K66-K64||/(2*||K15-K3||)，其中 ||K68-K62||表示第68关键点与第62关键点的欧式距离，||K67-K63||表示第 67关键点与第63关键点的欧式距离，||K66-K64||表示第66关键点与第64 关键点的欧式距离，||K15-K3||表示第15关键点与第3关键点的欧式距离。

进一步的，根据MAR值判断嘴巴的状态是否为张开状态，进而判断嘴巴动作是否为哈欠动作：若MAR值大于一阈值，则判断嘴巴状态为张开状态，进而判断嘴巴动作为哈欠动作。

进一步的，根据待检测者的眨眼动作频率和哈欠动作频率判断待检测者的疲劳状态。

进一步的，在一连续时间段内，若待检测者的哈欠动作次数小于第一哈欠动作次数阈值和/或待检测者的眨眼动作次数小于第一眨眼动作次数阈值，则判断为非疲劳状态；

反之，若待检测者的哈欠动作次数大于等于第一哈欠动作次数阈值，且待检测者的眨眼动作次数大于等于第一眨眼动作次数阈值，则判断为疲劳状态。

进一步的，若待检测者的哈欠动作次数大于等于第一哈欠动作次数阈值且小于第二哈欠动作次数阈值，待检测者的眨眼动作次数大于等于第一眨眼动作次数阈值且小于第二眨眼动作次数阈值，则判断为一般疲劳状态；

若待检测者的哈欠动作次数大于等于第二哈欠动作次数阈值，待检测者的眨眼动作次数大于等于第二眨眼动作次数阈值，则判断为严重疲劳状态。

进一步的，根据所述68特征点撷取人脸上的眼睛图像，包括：

由68特征点中的第37、38、39、40、41、42关键点的坐标平均值确定左眼中心位置；

由68特征点中的第43、44、45、46、47、48关键点的坐标平均值确定左眼中心位置；

由左眼中心位置、右眼中心位置及人脸宽度对人脸图像进行裁剪并进行预处理，由此得到眼睛图像。

根据本发明的另一个方面，提供一种疲劳检测装置，包括：

图像撷取单元，用于获取待疲劳检测者的人脸头像；

疲劳检测单元，用于根据所述人脸图像利用可分离卷积神经网络进行疲劳检测。

进一步的，所述疲劳检测模块，包括：

人脸检测模块，用于利用人脸检测神经网络确定人脸图片上的人脸位置；

特征点检测模块，用于根据所述人脸位置利用特征点检测神经网络确定人脸上的68特征点；

眨眼检测模块，用于利用眨眼检测神经网络确定人眼的眨眼动作；

哈欠检测模块，用于利用所述68特征点确定嘴巴的哈欠动作。

(三)有益效果

从上述技术方案可以看出，本发明疲劳检测方法及装置至少具有以下有益效果其中之一：

(1)眼睛图像通常比嘴巴图像小，若直接采用特征点计算EAR值的方式进行判断容易产生误判，稳定性较差，本发明眨眼检测采用神经网络方案，使得实时性得以维持的前提下又确保了疲劳检测算法的鲁棒性。

(2)本发明对MAR确定方式进行改进，考虑人脸大小嘴巴状态判断的影响，增强了对不同远近的人脸，以及不同嘴巴尺寸人脸的哈欠检测鲁棒性。

(3)本发明采用可分离卷积神经网络模型，大大减少了模型的参数量以及运行时间，运算量较小，使得实时性得以维持。

附图说明

构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明疲劳检测方法流程图。

图2为本发明疲劳检测方法另一流程图。

图3为本发明疲劳检测方法又一流程图。

图4为本发明疲劳检测装置方框图。

图5为本发明疲劳检测模块方框图。

图6为本发明人脸68特征点示意图。

图7为本发明疲劳检测装置另一方框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。

在一实施例中，本发明提出一种疲劳检测方法，主要包括：

1.由神经网络进行嘴巴、眼睛的开合判定：

由特征点位置撷取眼睛、嘴巴位置图像，具体的，分别撷取关键点的第37、38、39、40、41、42点的坐标位置代表左眼，以及第43、44、45、 46、47点的坐标位置代表右眼，而第61、62、63、64、65、66、67、68 点的坐标位置代表嘴巴。由各部位关键点中心裁剪出眼睛或嘴巴的图像，再以卷积神经网络进行嘴巴、眼睛的开合分类。

2.由EAR和MAR判定眼睛、嘴巴开合状态并进行哈欠、眨眼的行为判定：

其中EAR和MAR的计算方式如下：

EAR左＝||K42-K38||+||K41-K39||/(2*||K40-K37||)；

EAR右＝||K48-K44||+||K47-K45||/(2*||K65-K61||)；

EAR＝1/2*(EAR左+EAR右)；

MAR＝||K68-K62||+||K67-K63||+||K66-K64||/(2*||K40-K37||)；

其中，||·||代表两点间的欧氏距离，||K42-K38||表示第42关键点与第 38关键点的欧式距离，||K41-K39||表示第41关键点与第39关键点的欧式距离，||K40-K37||表示第40关键点与第37关键点的欧式距离；

||K48-K44||表示第48关键点与第44关键点的欧式距离，||K47-K45|| 表示第47关键点与第45关键点的欧式距离，||K65-K61||表示第65关键点与第61关键点的欧式距离；

||K68-K62||表示第68关键点与第62关键点的欧式距离，||K67-K63|| 表示第67关键点与第63关键点的欧式距离，||K66-K64||表示第66关键点与第64关键点的欧式距离，||K40-K37||表示第40关键点与第37关键点的欧式距离。

但是，本实施例仍然存在以下有待改进之处：(1)普适的卷积神经网络的使用带来了大量的计算量、加上前层的人脸检测、关键点检测，全部考虑神经网络的解决方案将使得实时性难以维持；(2)人眼的关键点变化细微，使得依赖于EAR的计算鲁棒性较差，而且受眼镜、反光等的影响严重；(3)MAR判断仅依靠嘴部的关键点位置，但是每个人天生的嘴型不同、以及距离摄像头的远近均会影响MAR的准确率，鲁棒性较差。

有鉴于此，本发明提供一种兼具实时性与鲁棒性疲劳检测方法，如图 1所示，所述的疲劳检测方法包括：

获取待疲劳检测者的人脸图像；以及

根据所述人脸图像利用可分离卷积神经网络进行疲劳检测。

本发明疲劳检测例如对驾驶员进行疲劳检测，当然并不仅限于此，各行各业例如医疗行业的从业者，IT行业的从业者均可以采用本发明方案进行疲劳检测，以对从业者的工作状态和身体状态进行有效监控。

其中，根据所述人脸图像利用可分离卷积神经网络判断人眼的开合状态及嘴巴的开合状态，进而确定眨眼动作及哈欠动作，由此进行疲劳检测。

本发明通过可分离卷积网络进行疲劳检测，大大减少了模型的参数量以及运行时间，使得实时性得以维持。

具体的，如图2所示，根据所述人脸图像利用可分离卷积神经网络进行疲劳检测，包括：

利用人脸检测神经网络确定人脸图像上的人脸位置；

通过所述人脸位置利用特征点检测神经网络确定人脸上的68特征点，根据所述68特征点撷取人脸上的眼睛图像；

通过所述眼睛图像利用眨眼检测神经网络确定人眼的眨眼动作，并通过所述68特征点确定嘴巴的哈欠动作，从而进行疲劳检测。

其中，人脸图像，即包含人脸的图片，利用人脸检测神经网络确定人脸图像上的人脸位置，即利用人脸检测神经网络确定图片上人脸所在的位置。通过所述人脸位置利用特征点检测神经网络确定人脸上的68特征点，即根据上述人脸所在的位置利用特征点检测神经网络确定人脸上的68个特征点，其中可以采用现有的68特征点(对应人脸的边缘轮廓、鼻子、左眼、右眼及嘴巴)提取方式，此处不再赘述。

根据所述68特征点撷取人脸上的眼睛图像，即撷取人脸上的眼睛部位的图像。

更具体而言，由所述68特征点中的嘴巴关键点及脸颊关键点确定 MAR值；根据MAR值判断嘴巴状态是否为张开状态，进而判断嘴巴动作是否为哈欠动作。

由68特征点中的嘴巴关键点及脸颊关键点确定MAR值：MAR*＝ ||K68-K62||+||K67-K63||+||K66-K64||/(2*||K15-K3||)，其中||K68-K62||表示第68关键点与第62关键点的欧式距离，||K67-K63||表示第67关键点与第 63关键点的欧式距离，||K66-K64||表示第66关键点与第64关键点的欧式距离，||K15-K3||表示第15关键点与第3关键点的欧式距离。

根据MAR值判断嘴巴的状态是否为张开状态，进而判断嘴巴动作是否为哈欠动作：若MAR值大于一阈值，则判断嘴巴状态为张开状态，进而判断嘴巴动作为哈欠动作。

本发明通过改进后的MAR值获取方式，在MAR值获取过程中，考虑了人脸大小对嘴巴状态判断的影响，由此增强了对不同远近的人脸，以及不同嘴巴尺寸人脸的哈欠检测的鲁棒性。

可选的，根据待检测者的眨眼动作频率和哈欠动作频率判断待检测者的疲劳状态。详细而言，在一连续时间段内，若待检测者的哈欠动作次数小于第一哈欠动作次数阈值和/或待检测者的眨眼动作次数小于第一眨眼动作次数阈值，则判断为非疲劳状态；反之，若待检测者的哈欠动作次数大于等于第一哈欠动作次数阈值，且待检测者的眨眼动作次数大于等于第一眨眼动作次数阈值，则判断为疲劳状态。相较于单纯根据眨眼、哈欠动作判断疲劳，本发明基于眨眼、哈欠频率提高了判断的准确性，有效的避免了误判。

进一步的，若待检测者的哈欠动作次数大于等于第一哈欠动作次数阈值且小于第二哈欠动作次数阈值，待检测者的眨眼动作次数大于等于第一眨眼动作次数阈值且小于第二眨眼动作次数阈值，则判断为一般疲劳状态；若待检测者的哈欠动作次数大于等于第二哈欠动作次数阈值，待检测者的眨眼动作次数大于等于第二眨眼动作次数阈值，则判断为严重疲劳状态。

本发明针对疲劳检测进行分级判断，利于对疲劳驾驶的精细化管控，提高安全性。

如图3所示，根据所述68特征点撷取人脸上的眼睛图像，包括：

由68特征点中的第37、38、39、40、41、42关键点的坐标平均值确定左眼中心位置；

由68特征点中的第43、44、45、46、47、48关键点的坐标平均值确定左眼中心位置；

由左眼中心位置、右眼中心位置及人脸宽度对人脸图像进行裁剪并进行预处理，由此得到眼睛图像。所述预处理优选为缩放及灰度化处理。

其中，将处理后的眼睛图像眨眼检测神经网络，根据眨检测眼神经网络的输出确定眼睛图像中的眼睛动作是否为眨眼动作。其中，所述眨眼检测神经网络的具体架构可以根据需要设置，本发明对此不作限定。

本发明由左眼中心位置、右眼中心位置及人脸宽度裁剪人脸上的眼睛图像并进行灰度化处理，相较于直接根据左眼关键点及右眼关键点裁剪人脸上的眼睛图像，本发明解决了人眼的关键点变化细微，使得依赖于EAR 的计算鲁棒性较差的问题，而且避免了眼镜反光的影响。

本发明还提供了一种疲劳检测装置，如图4所示，所述疲劳检测装置包括：

图像撷取单元，用于获取待疲劳检测者的人脸头像；以及

疲劳检测单元，用于根据所述人脸图像利用可分离卷积神经网络进行疲劳检测。其中，所述图像撷取单元例如为摄像头。

具体的，如图5所示，所述疲劳检测模块，包括：

人脸检测模块，用于利用人脸检测神经网络确定人脸图片上的人脸位置；

特征点检测模块，用于根据所述人脸位置利用特征点检测神经网络确定人脸上的68特征点；

眨眼检测模块，用于利用眨眼检测神经网络确定人眼的眨眼动作；

哈欠检测模块，用于利用所述68特征点确定嘴巴的哈欠动作。

由于一个人的眨眼动作频率以及哈欠动作频率反映其疲劳程度，本发明基于计算器视觉的驾驶员疲劳检测，主要藉由摄像头采集驾驶员人脸图像(即面部图像)，并藉由人脸检测、关键点检测获取人脸特征点，之后进行人脸的眨眼、哈欠判断，本发明兼具实时性与鲁棒性，可靠性高，成本低，适用性好。

在另一实施例中，如图6-7所示，本发明改进后的疲劳检测流程如下：

首先由摄像头获取驾驶照片，再经由人脸检测模块，得到人脸位置，接着经由特征点检测模块，得到驾驶者68特征点的位置，如图6所示，之后根据68特征点裁剪眼睛图像输入可分离卷积神经网络，分别利用眨眼检测模块进行眨眼检测，利用哈欠检测模块进行哈欠检测，最后根据眨眼检测模块和哈欠检测模块的检测结果进行疲劳判断，如图7所示。

所述眨眼检测模块的具体检测过程如下：

由特征点检测模块获得的第37、38、39、40、41、42点的坐标取平均代表左眼中心，以及第43、44、45、46、47点的坐标取平均代表右眼中心，并按照人脸检测模块所给出的人脸宽度/3进行眼睛方形图片的裁剪，接着缩放至28*28像素并转为灰度图，在经由设计的可分离卷积神经网络来判断人眼的开、闭。

所述哈欠检测模块的具体检测过程如下：

前一实施例中MAR的计算式为：MAR＝||68-62||+||67-63||+||66-64||/(2 *||40-37||)。本实施例将MAR计算式的分母中的嘴巴的第40个关键点与第37个关键点间的欧式距离修改为脸颊的第3个关键点与第15个关键点间的欧式距离，更新后的MAR*计算式为：MAR*＝||68-62||+||67-63||+||66-64||/(2*||15-3||)，计算MAR*后，若MAR*值持续 (持续时间优选为0.55秒)大于某个给定的阀值x(优选的，x取0.5可得稳定结果)，则判定嘴巴为张开状态。

至此，已经结合附图对本发明进行了详细描述。依据以上描述，本领域技术人员应当对本发明有了清楚的认识。

需要说明的是，在附图或说明书正文中，未绘示或描述的实现方式，均为所属技术领域中普通技术人员所知的形式，并未进行详细说明。此外，上述对各组件的定义并不仅限于实施例中提到的各种具体结构、形状或方式，本领域普通技术人员可对其进行简单地更改或替换。

当然，根据实际需要，本发明还可以包含其他的部分，由于同本发明的创新之处无关，此处不再赘述。

类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该发明的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面发明的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

再者，说明书与权利要求中所使用的序数例如“第一”、“第二”、“第三”等的用词，以修饰相应的组件，其本身并不意含及代表该组件有任何的序数，也不代表某一组件与另一组件的顺序、或是制造方法上的顺序，该些序数的使用仅用来使具有某命名的一组件得以和另一具有相同命名的组件能作出清楚区分。

此外，在附图或说明书描述中，相似或相同的部分都使用相同的图号。说明书中示例的各个实施例中的技术特征在无冲突的前提下可以进行自由组合形成新的方案，另外每个权利要求可以单独作为一个实施例或者各个权利要求中的技术特征可以进行组合作为新的实施例，且在附图中，实施例的形状或是厚度可扩大，并以简化或是方便标示。再者，附图中未绘示或描述的组件或实现方式，为所属技术领域中普通技术人员所知的形式。另外，虽然本文可提供包含特定值的参数的示范，但应了解，参数无需确切等于相应的值，而是可在可接受的误差容限或设计约束内近似于相应的值。

除非存在技术障碍或矛盾，本发明的上述各种实施方式可以自由组合以形成另外的实施例，这些另外的实施例均在本发明的保护范围中。

虽然结合附图对本发明进行了说明，但是附图中公开的实施例旨在对本发明优选实施方式进行示例性说明，而不能理解为对本发明的一种限制。附图中的尺寸比例仅仅是示意性的，并不能理解为对本发明的限制。

虽然本发明总体构思的一些实施例已被显示和说明，本领域普通技术人员将理解，在不背离本总体发明构思的原则和精神的情况下，可对这些实施例做出改变，本发明的范围以权利要求和它们的等同物限定。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (12)

1.一种疲劳检测方法，其特征在于，包括：

获取待疲劳检测者的人脸图像；

根据所述人脸图像利用可分离卷积神经网络进行疲劳检测。

2.根据权利要求1所述的疲劳检测方法，其特征在于，

根据所述人脸图像利用可分离卷积神经网络判断人眼的开合状态及嘴巴的开合状态，进而确定眨眼动作及哈欠动作，由此进行疲劳检测。

3.根据权利要求1所述的疲劳检测方法，其特征在于，根据所述人脸图像利用可分离卷积神经网络进行疲劳检测，包括：

利用人脸检测神经网络确定人脸图像上的人脸位置；

通过所述人脸位置利用特征点检测神经网络确定人脸上的68特征点，根据所述68特征点撷取人脸上的眼睛图像；

通过所述眼睛图像利用眨眼检测神经网络确定人眼的眨眼动作，并通过所述68特征点确定嘴巴的哈欠动作，从而进行疲劳检测。

4.根据权利要求3所述的疲劳检测方法，其特征在于，由所述68特征点中的嘴巴关键点及脸颊关键点确定MAR值；根据MAR值判断嘴巴状态是否为张开状态，进而判断嘴巴动作是否为哈欠动作。

5.根据权利要求4所述的疲劳检测方法，其特征在于，由68特征点中的嘴巴关键点及脸颊关键点确定MAR值：MAR*＝||K68-K62||+||K67-K63||+||K66-K64||/(2*||K15-K3||)，其中||K68-K62||表示第68关键点与第62关键点的欧式距离，||K67-K63||表示第67关键点与第63关键点的欧式距离，||K66-K64||表示第66关键点与第64关键点的欧式距离，||K15-K3||表示第15关键点与第3关键点的欧式距离。

6.根据权利要求4所述的疲劳检测方法，其特征在于，根据MAR值判断嘴巴的状态是否为张开状态，进而判断嘴巴动作是否为哈欠动作：若MAR值大于一阈值，则判断嘴巴状态为张开状态，进而判断嘴巴动作为哈欠动作。

7.根据权利要求1所述的疲劳检测方法，其特征在于，根据待检测者的眨眼动作频率和哈欠动作频率判断待检测者的疲劳状态。

8.根据权利要求7所述的疲劳检测方法，其特征在于，

在一连续时间段内，若待检测者的哈欠动作次数小于第一哈欠动作次数阈值和/或待检测者的眨眼动作次数小于第一眨眼动作次数阈值，则判断为非疲劳状态；

反之，若待检测者的哈欠动作次数大于等于第一哈欠动作次数阈值，且待检测者的眨眼动作次数大于等于第一眨眼动作次数阈值，则判断为疲劳状态。

9.根据权利要求8所述的疲劳检测方法，其特征在于，

若待检测者的哈欠动作次数大于等于第一哈欠动作次数阈值且小于第二哈欠动作次数阈值，待检测者的眨眼动作次数大于等于第一眨眼动作次数阈值且小于第二眨眼动作次数阈值，则判断为一般疲劳状态；

若待检测者的哈欠动作次数大于等于第二哈欠动作次数阈值，待检测者的眨眼动作次数大于等于第二眨眼动作次数阈值，则判断为严重疲劳状态。

10.根据权利要求3所述的疲劳检测方法，其特征在于，根据所述68特征点撷取人脸上的眼睛图像，包括：

由68特征点中的第37、38、39、40、41、42关键点的坐标平均值确定左眼中心位置；

由68特征点中的第43、44、45、46、47、48关键点的坐标平均值确定左眼中心位置；

由左眼中心位置、右眼中心位置及人脸宽度对人脸图像进行裁剪并进行预处理，由此得到眼睛图像。

11.一种疲劳检测装置，其特征在于，包括：

图像撷取单元，用于获取待疲劳检测者的人脸头像；

疲劳检测单元，用于根据所述人脸图像利用可分离卷积神经网络进行疲劳检测。

12.根据权利要求11所述的疲劳检测装置，其特征在于，所述疲劳检测模块，包括：

人脸检测模块，用于利用人脸检测神经网络确定人脸图片上的人脸位置；

特征点检测模块，用于根据所述人脸位置利用特征点检测神经网络确定人脸上的68特征点；

眨眼检测模块，用于利用眨眼检测神经网络确定人眼的眨眼动作；

哈欠检测模块，用于利用所述68特征点确定嘴巴的哈欠动作。

Images