CN112241645A - 一种疲劳驾驶检测方法及其***、电子设备 - Google Patents
一种疲劳驾驶检测方法及其***、电子设备 Download PDFInfo
- Publication number
- CN112241645A CN112241645A CN201910638379.1A CN201910638379A CN112241645A CN 112241645 A CN112241645 A CN 112241645A CN 201910638379 A CN201910638379 A CN 201910638379A CN 112241645 A CN112241645 A CN 112241645A
- Authority
- CN
- China
- Prior art keywords
- frame
- eye
- face image
- mouth
- opening degree
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 161
- 238000000034 method Methods 0.000 claims abstract description 26
- 238000002372 labelling Methods 0.000 claims abstract description 9
- 210000000744 eyelid Anatomy 0.000 claims description 34
- 238000012545 processing Methods 0.000 claims description 12
- 238000004891 communication Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 5
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims description 3
- 210000000887 face Anatomy 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 5
- 230000006399 behavior Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 239000011521 glass Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 206010048232 Yawning Diseases 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Geometry (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明提供一种疲劳驾驶检测方法及其***、电子设备，该方法包括：获取当前时间周期内多帧人脸图像，当前多帧人脸图像为当前时刻驾驶员的人脸图像；对多帧人脸图像中的人脸关键点进行标注；利用目标检测网络对标注后的多帧人脸图像进行检测得到每帧人脸图像的眼睛数据以及嘴巴数据；眼睛数据包括左、右眼睛检测框及其长度和宽度，嘴巴数据包括嘴巴检测框及其长度和宽度；根据每帧人脸图像的眼睛数据以及嘴巴数据计算每帧人脸图像的眼睛开合度以及嘴巴开合度；根据每帧人脸图像的眼睛开合度以及嘴巴开合度确定驾驶员状态；驾驶员状态包括驾驶疲劳和非驾驶疲劳。本发明能够提高驾驶员疲劳驾驶检测精度，并避免因穿戴检测设备给驾驶员带来的不适感。
Description
技术领域
本发明涉及智能人机交互技术领域，具体涉及一种疲劳驾驶检测方法及其***、电子设备。
背景技术
在驾驶员的日常生活中，长途行车在所难免，尤其是在告诉公路行驶，长时间处于单一的驾驶环境，驾驶者容易产生心理与生理机能的失调，出现及时技能下降的现象。目前，在大巴车与运输车队的驾驶位已要求安装驾驶员监控设备。此外，在夜间行车，由于违背了正常的作息机制，加上黑暗中道路两旁的风景对人体感官刺激较小，驾驶者容易产生疲劳之感。目前，驾驶员疲劳状态的检测方法主要包括基于驾驶员生理信号和基于驾驶员操作行为的检测方法。其中，所述基于驾驶员生理信号的检测方法，如脑电信号EEG、心电信号ECG等的测量的检测方法，驾驶员需要穿戴检测生理信号的设备，且对个人依赖程度较大，在实际用于驾驶员疲劳监测时有很多的局限性；所述基于驾驶员的操作行为，如方向盘操作等操作推断驾驶员疲劳状态，受到个人习惯、行驶速度、道路环境、操作技能的影响，车辆的行驶状态也与车辆特性、道路等很多环境因素有关，因此驾驶员状态的推测精度较低。
发明内容
本发明的目的在于提出一种疲劳驾驶检测方法及其***、电子设备，通过识别驾驶员人脸特征来判断驾驶员疲劳程度，以提高驾驶员疲劳驾驶检测精度，并避免因穿戴检测设备给驾驶员带来的不适感。
为了实现本发明目的，根据本发明第一方面，本发明实施例提供一种疲劳驾驶检测方法，包括如下步骤：
获取当前时间周期内多帧人脸图像，所述多帧人脸图像为当前时间周期内驾驶员的人脸图像；
对所述多帧人脸图像中的人脸关键点进行标注；
利用目标检测网络对标注后的多帧人脸图像进行检测得到每帧人脸图像的眼睛数据以及嘴巴数据；其中，所述眼睛数据包括左、右眼睛检测框及其长度和宽度，所述嘴巴数据包括嘴巴检测框及其长度和宽度；
根据所述每帧人脸图像的眼睛数据以及嘴巴数据计算每帧人脸图像的眼睛开合度以及嘴巴开合度；
根据所述每帧人脸图像的眼睛开合度以及嘴巴开合度确定驾驶员状态；其中，所述驾驶员状态包括驾驶疲劳和非驾驶疲劳。
优选地，所述对所述多帧人脸图像中的人脸关键点进行标注包括：
获取每帧人脸图像中的人脸关键点在人脸图像中的坐标信息；
根据所述坐标信息在每帧人脸图像中标注出人脸关键点；
其中，人脸关键点包括左眼睛的左眼角点、右眼角点、上眼睑点和下眼睑点，右眼睛的左眼角点、右眼角点、上眼睑点和下眼睑点，左嘴角点、右嘴角点、上嘴唇点和下嘴唇点。
优选地，所述利用目标检测网络对标注后的多帧人脸图像进行检测得到每帧人脸图像的眼睛数据以及嘴巴数据包括：
根据每帧人脸图像中人脸关键点生成左、右眼睛检测框以及嘴巴检测框，并根据人脸关键点在人脸图像中的坐标信息确定各检测框的长度和宽度。
具体地，所述根据人脸关键点在人脸图像中的坐标信息确定各检测框的长度和宽度具体根据如下公式进行计算确定包括：
L1＝XA2-XA1
W1＝XA4-XA3
其中，L1为左眼睛检测框的长度，W1为左眼睛检测框的宽度，XA1为左眼睛左眼角点的横坐标，XA2为左眼睛右眼角点的横坐标，XA3为左眼睛上眼睑点的纵坐标，XA4为左眼睛下眼睑点的纵坐标；
L2＝XB2-XB1
W2＝XB4-XB3
其中，L2为右眼睛检测框的长度，W2为右眼睛检测框的宽度，XB1为右眼睛左眼角点的横坐标，XB2为右眼睛右眼角点的横坐标，XB3为右眼睛上眼睑点的纵坐标，XB4为右眼睛下眼睑点的纵坐标；
L3＝XC2-XC1
W3＝XC4-XC3
其中，L3为嘴巴检测框的长度，W3为嘴巴检测框的宽度，XC1为左嘴角点的横坐标，XC2为右嘴角点的横坐标，XC3为上嘴唇点的纵坐标，XC4为下嘴唇点的纵坐标。
优选地，所述根据所述每帧人脸图像的眼睛开合度以及嘴巴开合度确定驾驶员状态包括：
根据所述每帧人脸图像的左眼睛开合度和右眼睛开合度计算每帧人脸图像的眼睛开合度，其中，人脸图像的眼睛开合度等于左眼睛开合度和右眼睛开合度的均值；
根据所述每帧人脸图像的眼睛开合度计算当前时间周期的平均眼睛开合度；
根据所述每帧人脸图像的眼睛开合度以及所述平均眼睛开合度确定驾驶员闭眼的人脸图像帧数；其中，若一帧人脸图像的眼睛开合度小于平均眼睛开合度乘以预设比例系数，则该帧人脸图像中驾驶员闭眼；
统计驾驶员闭眼的人脸图像帧数，并根据所述驾驶员闭眼的人脸图像帧数以及当前时间周期内人脸图像总帧数计算闭眼比例；其中，闭眼比例等于驾驶员闭眼的人脸图像帧数与当前时间周期内人脸图像总帧数的比值；
根据所述闭眼比例和预设第一阈值的比较结果确定驾驶员状态。
优选地，所述根据所述每帧人脸图像的眼睛开合度以及嘴巴开合度确定驾驶员状态包括：
根据所述每帧人脸图像的嘴巴开合度与预设第二阈值的比较结果确定驾驶员状态；若任一帧人脸图像的嘴巴开合度大于预设第二阈值，则确定驾驶员状态为驾驶疲劳，若当前时间周期内所有帧人脸图像的嘴巴开合度均小于等于预设第二阈值，则确定驾驶员状态为非驾驶疲劳。
优选地，所述方法还包括如下步骤：
响应于驾驶员状态为驾驶疲劳，生成疲劳驾驶信号；
根据所述疲劳驾驶信号进行疲劳驾驶提示。
根据本发明第二方面，本发明实施例提供一种疲劳驾驶检测***，所述***包括：
图像获取单元，被配置为获取当前时间周期内多帧人脸图像，所述当前帧图像为当前时刻驾驶员的人脸图像；
图像标注单元，被配置为对所述多帧人脸图像中的人脸关键点进行标注；
图像处理单元，被配置为利用目标检测网络对标注后的多帧人脸图像进行检测得到每帧人脸图像的左眼睛数据、右眼睛数据以及嘴巴数据；其中，所述左眼睛数据包括左眼睛检测框及其长度和宽度，所述右眼睛数据包括右眼睛检测框及其长度和宽度，所述嘴巴数据包括嘴巴检测框及其长度和宽度；
数据处理单元，被配置为根据所述每帧人脸图像的左眼睛数据、右眼睛数据以及嘴巴数据计算每帧人脸图像的左眼睛开合度、右眼睛开合度以及嘴巴开合度；其中，所述左眼睛开合度等于左眼睛检测框的宽度与长度的比值，所述右眼睛开合度等于右眼睛检测框的宽度与长度的比值，所述嘴巴开合度等于嘴巴检测框的宽度与长度的比值；
疲劳判断单元，被配置为根据所述每帧人脸图像的左眼睛开合度、右眼睛开合度以及嘴巴开合度确定驾驶员状态；其中，所述驾驶员状态包括驾驶疲劳和非驾驶疲劳。
优选地，包括：
信号生成单元，被配置为响应于驾驶员状态为驾驶疲劳，生成疲劳驾驶信号；
提示单元，被配置为根据所述疲劳驾驶信号进行疲劳驾驶提示。
根据本发明第三方面，本发明实施例提供一种电子设备，包括处理器、存储器和通信总线，其中，所述处理器和所述存储器通过所述通信总线完成相互间的通信；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的计算机程序时，实现第一方面实施例所述的方法步骤。
本发明实施例中，通过对驾驶员人脸图像中双眼及嘴巴关键点进行标注，根据标注的关键点进行检测双眼及嘴巴，并根据检测结果计算双眼及嘴巴的开合度，最后根据双眼及嘴巴的开合度确定驾驶员是否处于疲劳驾驶状态。可见，相对于基于驾驶员生理信号的检测方法，使用本发明实施例方案进行疲劳驾驶检测，驾驶员不需要穿戴用于检测生理信号(例如脑电信号EEG、心电信号ECG等)的检测设备，减少对个人依赖程度较大，避免因穿戴检测设备给驾驶员带来的不适感；此外，相对于基于驾驶员的操作行为(如方向盘操作等操作)推断驾驶员疲劳状态的方法，使用本发明实施例所述疲劳驾驶检测方法及其***进行疲劳驾驶检测，不会受到个人习惯、行驶速度、道路环境、操作技能、车辆特性、道路等很多环境因素的影响，大大提高了检测精度，实现端到端的检测驾驶员是否疲劳，并且轻量级网络的使用可在保证准确度的基础上降低内存消耗，自动匹配不同人眼大小的人的眼睛开合度，减小方法的误检率。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而得以体现。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中一种疲劳驾驶检测方法流程图。
图2为本发明实施例中人脸图像中关键点的示意图。
图3为本发明实施例中左眼睛检测框、右眼睛检测框以及嘴巴检测框示意图。
图4为本发明实施例中另一种疲劳驾驶检测方法流程图。
图5为本发明实施例中一种疲劳驾驶检测***示意图。
图6为本发明实施例中另一种疲劳驾驶检测***示意图。
图7为本发明实施例中一种电子设备结构示意图。
具体实施方式
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
另外，为了更好的说明本发明，在下文的具体实施例中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本发明同样可以实施。在一些实例中，对于本领域技术人员熟知的手段未作详细描述，以便于凸显本发明的主旨。
如图1所示，本发明实施例一提供一种疲劳驾驶检测方法，所述方法包括如下步骤：
步骤S1、获取当前时间周期内多帧人脸图像，所述多帧人脸图像为当前时间周期内驾驶员的人脸图像。
具体而言，在本步骤中通过摄像头获取当前时间周期内多帧人脸图像，其中，摄像头可以布置在仪表盘正上方，获取驾驶员正常驾驶场景下的脸部图像数据，包括驾驶员左右±60度、上下±30度转动、打哈欠、佩戴和未佩戴眼镜、疲劳时闭眼状态的人脸视频流数据，并将视频流数据解析成每帧的图像数据并对图像中的人脸部分进行裁切获取每帧人脸图像。其中，每一时间周期优选但不限于设置为10秒。
步骤S2、对所述多帧人脸图像中的人脸关键点进行标注。
其中，如图2所示，所述人脸关键点包括左眼睛关键点、右眼睛关键点以及嘴巴关键点，所述左眼睛关键点包括左眼睛的左眼角点A1、右眼角点A2、上眼睑点A3和下眼睑点A4，所述右眼睛关键点包括右眼睛的左眼角点B1、右眼角点B2、上眼睑点B3和下眼睑点B4，所述嘴巴关键点包括左嘴角点C1、右嘴角点C2、上嘴唇点C3和下嘴唇点C4。其中，关键点的标注可以通过face++的开放人工智能平台的人脸关键点检测API，检测结果返回以上12个关键点A1-C4在人脸图像中的坐标信息，根据12个关键点A1-C4在人脸图像中的坐标信息在人脸图像进行标注，例如将人脸图像中对应坐标的点标注为红色的点。
其中，所述左眼睛数据还包括左眼睛检测框中心点坐标，所述右眼睛数据还包括右眼睛检测框中心点坐标，所述嘴巴数据还包括嘴巴检测框中心点坐标。
步骤S3、利用目标检测网络对标注后的多帧人脸图像进行检测得到每帧人脸图像的眼睛数据以及嘴巴数据；其中，所述眼睛数据包括左、右眼睛检测框及其长度和宽度，所述嘴巴数据包括嘴巴检测框及其长度和宽度。即，人脸关键点的坐标信息是确定的，关键点位于检测框的四条边上，上下点之间的纵坐标之差为宽度，左右点之间的横坐标之差为长度，在目标检测过程中，会以图像的所有像素点为中心生成锚框，锚框尺寸动态变化，直至锚框检测到合适的目标，即关键点位于锚框的四个边上时，此时锚框就是生成的检测框，因此每个检测框的中心坐标也是确定的。
步骤S4、根据所述每帧人脸图像的眼睛数据以及嘴巴数据计算每帧人脸图像的眼睛开合度以及嘴巴开合度；
具体而言，所述左眼睛开合度等于左眼睛检测框的宽度与长度的比值，所述右眼睛开合度等于右眼睛检测框的宽度与长度的比值，所述嘴巴开合度等于嘴巴检测框的宽度与长度的比值。
步骤S5、根据所述每帧人脸图像的眼睛开合度以及嘴巴开合度确定驾驶员状态；其中，所述驾驶员状态包括驾驶疲劳和非驾驶疲劳。
在一些实施例中，如图3所示，所述步骤S3包括：
根据每帧人脸图像中人脸关键点生成左、右眼睛检测框以及嘴巴检测框，并根据人脸关键点在人脸图像中的坐标信息确定各检测框的长度和宽度。
具体而言，在本实施例中，所述目标检测网络为根据yolov3开源算法的网络模型，输入为640×480的图像，通过计算模型loss不断调整模型的权重，最终得到一个loss比较小、准确率较高的模型，该网络模型输出的是眼睛检测框以及嘴巴检测框的中心点坐标与检测框的长和宽值。其中，yolov3网络结构共252层，包括Add、BatchNormalization、Concatenate、Conv2D、InputLayer、LeakyReLU、UpSampling、ZeroPadding2D等网络层，本实施例在yolov3网络结构基础上，通过缩小通道数(filters)参数，并且适当减少卷积(conv)层数实现轻量级模型,并设置训练参数，如选择合适的批尺寸(batchsize)，类别数量(classes)为3，通过公式3乘以(classes数目+5)计算通道数(filters)，压缩网络模型后调整锚框(anchors)的数值到合适的大小。
具体而言，所述左眼睛检测框10、右眼睛检测框20以及嘴巴检测框30均为长方体，在利用目标检测网络进行眼睛和嘴巴检测过程中，以人脸图像的每一像素点对应生成一锚框，像素点中心即为锚框中心，其中，锚框尺寸是动态变化，可以预设多个尺寸的锚框，当一锚框检测到合适的目标，即关键点位于锚框的四个边上时，此时锚框就是生成的检测框，例如左眼睛检测框10，当左眼角点A1、右眼角点A2、上眼睑点A3和下眼睑点A4分别位于一锚框的四个边上时，该锚框即为左眼睛检测框。因此，所述左眼睛的左眼角点A1、右眼角点A2、上眼睑点A3和下眼睑点A4分别位于左眼睛检测框10的四条边上，所述右眼睛的左眼角点B1、右眼角点B2、上眼睑点B3和下眼睑点B4分别位于右眼睛检测框20的四条边上，所述嘴巴的左嘴角点C1、右嘴角点C2、上嘴唇点C3和下嘴唇点C4分别位于嘴巴检测框30的四条边上。基于以上内容，根据左眼睛数据、右眼睛数据以及嘴巴数据即可以生成对应的左眼睛检测框10、右眼睛检测框20以及嘴巴检测框30。
其中，所述根据人脸关键点在人脸图像中的坐标信息确定各检测框的长度和宽度具体根据如下公式进行计算确定包括：
L1＝XA2-XA1
W1＝XA4-XA3
其中，L1为左眼睛检测框10的长度，W1为左眼睛检测框10的宽度，XA1为左眼角点A1的横坐标，XA2为右眼角点A2的横坐标，XA3为上眼睑点A3的纵坐标，XA4为下眼睑点A4的纵坐标。
L2＝XB2-XB1
W2＝XB4-XB3
其中，L2为右眼睛检测框10的长度，W2为右眼睛检测框10的宽度，XB1为左眼角点B1的横坐标，XB2为右眼角点B2的横坐标，XB3为上眼睑点B3的纵坐标，XB4为下眼睑点B4的纵坐标。
L3＝XC2-XC1
W3＝XC4-XC3
其中，L3为嘴巴检测框10的长度，W3为嘴巴检测框10的宽度，XC1为左嘴角点C1的横坐标，XC2为右嘴角点C2的横坐标，XC3为上嘴唇点C3的纵坐标，XC4为下嘴唇点C4的纵坐标。
在一些实施例中，所述步骤S4包括如下子步骤：
步骤S411、根据所述每帧人脸图像的左眼睛开合度K1和右眼睛开合度K2计算每帧人脸图像的眼睛开合度K；其中，人脸图像的眼睛开合度等于左眼睛开合度和右眼睛开合度的均值，即K＝1/2(K1+K2)；
步骤S412、根据所述每帧人脸图像的眼睛开合度计算当前时间周期的平均眼睛开合度K平；其中，平均眼睛开合度等于当前时间周期所有帧人脸图像的眼睛开合度之和除以当前时间周期图像总帧数N，即
其中，Ki为第i帧人脸图像的眼睛开合度；
步骤S413、根据所述每帧人脸图像的眼睛开合度以及所述平均眼睛开合度K平确定驾驶员闭眼的人脸图像帧数；其中，若第i帧人脸图像的眼睛开合度Ki小于平均眼睛开合度K平乘以预设比例系数，则该第i帧人脸图像中驾驶员闭眼；本实施例中预设比例系数优选但不限于为20％；
步骤S414、统计驾驶员闭眼的人脸图像帧数为N，并根据所述驾驶员闭眼的人脸图像帧数M以及当前时间周期内人脸图像总帧数计算闭眼比例；其中，闭眼比例等于驾驶员闭眼的人脸图像帧数与当前时间周期内人脸图像总帧数的比值，即M/N；
步骤S415、根据所述闭眼比例和预设第一阈值的比较结果确定驾驶员状态。具体地，若所述闭眼比例M/N大于预设第一阈值，则确定驾驶员状态为驾驶疲劳，若所述闭眼比例M/N小于等于预设第一阈值，则确定驾驶员状态为非驾驶疲劳。本实施例中预设第一阈值优选但不限于为80％。
在一些实施例中，所述步骤S5包括：
根据所述每帧人脸图像的嘴巴开合度与预设第二阈值的比较结果确定驾驶员状态；若任一帧人脸图像的嘴巴开合度大于预设第二阈值，则确定驾驶员状态为驾驶疲劳，若当前时间周期内所有帧人脸图像的嘴巴开合度均小于等于预设第二阈值，则确定驾驶员状态为非驾驶疲劳。
具体而言，因为人嘴巴的张和闭相差较大，因此当驾驶员打哈欠时，嘴巴开合度超过一定阈值，此时则判断驾驶人为疲劳驾驶。其中，所述预设第二阈值可根据经验设置。
在一些实施例中，如图4所示，所述方法还包括如下步骤：
步骤S6、响应于驾驶员状态为驾驶疲劳，生成疲劳驾驶信号；
步骤S7、根据所述疲劳驾驶信号进行疲劳驾驶提示。
具体而言，本实施例中疲劳驾驶提示可以采用语音、文字及光信号提示方式中的一种或多种方式结合，例如语音提示“您已疲劳驾驶，请停车休息”，又例如文字提示“您已疲劳驾驶，请停车休息”，例如光信号提示为闪光亮灯的方式。
如图5所示，本发明实施例二提供一种疲劳驾驶检测***，所述***包括：
图像获取单元1，被配置为获取当前时间周期内多帧人脸图像，所述多帧人脸图像为当前时间周期内驾驶员的人脸图像；
图像标注单元2，被配置为对所述多帧人脸图像中的人脸关键点进行标注；
图像处理单元3，被配置为利用目标检测网络对标注后的多帧人脸图像进行检测得到每帧人脸图像的眼睛数据以及嘴巴数据；其中，所述眼睛数据包括左、右眼睛检测框及其长度和宽度，所述嘴巴数据包括嘴巴检测框及其长度和宽度；
数据处理单元4，被配置为根据所述每帧人脸图像的眼睛数据以及嘴巴数据计算每帧人脸图像的眼睛开合度以及嘴巴开合度；
疲劳判断单元5，被配置为根据所述每帧人脸图像的眼睛开合度以及嘴巴开合度确定驾驶员状态；其中，所述驾驶员状态包括驾驶疲劳和非驾驶疲劳。
在一些实施例中，如图6所示，所述***还包括：
信号生成单元6，被配置为响应于驾驶员状态为驾驶疲劳，生成疲劳驾驶信号；
提示单元7，被配置为根据所述疲劳驾驶信号进行疲劳驾驶提示。
其中，所述人脸关键点包括左眼睛关键点、右眼睛关键点以及嘴巴关键点，所述左眼睛关键点包括左眼睛的左眼角点、右眼角点、上眼睑点和下眼睑点，所述右眼睛关键点包括右眼睛的左眼角点、右眼角点、上眼睑点和下眼睑点，所述嘴巴关键点包括左嘴角点、右嘴角点、上嘴唇点和下嘴唇点。
其中，所述图像检测单元4包括：
第一检测模块，被配置为根据每帧人脸图像中的左眼睛关键点生成左眼睛检测框，并确定左眼睛检测框的长度和宽度；
第二检测模块，被配置为根据每帧人脸图像中的右眼睛关键点生成右眼睛检测框，并确定右眼睛检测框的长度和宽度；
第三检测模块，被配置为根据每帧人脸图像中的嘴巴关键点生成嘴巴检测框，并确定嘴巴检测框的长度和宽度。
其中，所述疲劳判断单元5包括：
第一处理模块，被配置为根据所述每帧人脸图像的左眼睛开合度和右眼睛开合度计算每帧人脸图像的眼睛开合度；其中，人脸图像的眼睛开合度等于左眼睛开合度和右眼睛开合度的均值；
第二处理模块，被配置为根据所述每帧人脸图像的眼睛开合度计算当前时间周期的平均眼睛开合度；
第三处理模块，被配置为根据所述每帧人脸图像的眼睛开合度以及所述平均眼睛开合度确定驾驶员闭眼的人脸图像帧数；其中，若一帧人脸图像的眼睛开合度小于平均眼睛开合度乘以预设比例系数，则该帧人脸图像中驾驶员闭眼；
第四处理模块，被配置为统计驾驶员闭眼的人脸图像帧数，并根据所述驾驶员闭眼的人脸图像帧数以及当前时间周期内人脸图像总帧数计算闭眼比例；其中，闭眼比例等于驾驶员闭眼的人脸图像帧数与当前时间周期内人脸图像总帧数的比值；
第五处理模块，被配置为根据所述闭眼比例和预设第一阈值的比较结果确定驾驶员状态，若所述闭眼比例大于预设第一阈值，则确定驾驶员状态为驾驶疲劳，若所述闭眼比例小于等于预设第一阈值，则确定驾驶员状态为非驾驶疲劳。
第六处理模块，被配置为根据所述每帧人脸图像的嘴巴开合度与预设第二阈值的比较结果确定驾驶员状态；若任一帧人脸图像的嘴巴开合度大于预设第二阈值，则确定驾驶员状态为驾驶疲劳，若当前时间周期内所有帧人脸图像的嘴巴开合度均小于等于预设第二阈值，则确定驾驶员状态为非驾驶疲劳。
需说明的是，本实施例二所述***用于实现所述实施例一所述方法，因此，关于本实施例二所述***未详述的有关部分可以参阅实施例一所述方法得到，此处不再赘述。
还应该理解，可以以很多方式实施实施例一所述方法和实施例二所述***，包括作为过程、装置或***。本文中所述的方法可以部分地由用于指示处理器执行这种方法的程序指令、以及记录在非暂态计算机可读存储介质上的该指令而实施，非暂态计算机可读存储介质诸如硬盘驱动、软盘、光碟(诸如小型碟(CD)或数字通用碟(DVD))、闪速存储器等。在一些实施例中，程序指令可以被远程存储并且经由光学或电子通信链路而在网络上被发送。
如图7所示，本发明实施例三提供一种电子设备100，包括处理器101、存储器102和通信总线103，其中，所述处理器101和所述存储器102通过所述通信总线103完成相互间的通信；
所述存储器102，用于存放计算机程序104；
所述处理器101，用于执行所述存储器102上所存放的计算机程序104时，实现实施例一所述的方法步骤。
通过以上实施例的描述可知，本发明实施例通过对驾驶员人脸图像中双眼及嘴巴关键点进行标注，根据标注的关键点进行检测双眼及嘴巴，并根据检测结果计算双眼及嘴巴的开合度，最后根据双眼及嘴巴的开合度确定驾驶员是否处于疲劳驾驶状态。可见，相对于基于驾驶员生理信号的检测方法，使用本发明实施例进行疲劳驾驶检测，驾驶员不需要穿戴用于检测生理信号(例如脑电信号EEG、心电信号ECG等)的检测设备，减少对个人依赖程度较大，避免因穿戴检测设备给驾驶员带来的不适感；此外，相对于基于驾驶员的操作行为(如方向盘操作等操作)推断驾驶员疲劳状态的方法，使用本发明实施例所述疲劳驾驶检测方法及其***进行疲劳驾驶检测，不会受到个人习惯、行驶速度、道路环境、操作技能、车辆特性、道路等很多环境因素的影响，大大提高了检测精度，实现端到端的检测驾驶员是否疲劳，并且轻量级网络的使用可在保证准确度的基础上降低内存消耗，自动匹配不同人眼大小的人的眼睛开合度，减小方法的误检率。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
Claims (10)
1.一种疲劳驾驶检测方法，其特征在于，包括如下步骤：
获取当前时间周期内多帧人脸图像，所述多帧人脸图像为当前时间周期内驾驶员的人脸图像；
对所述多帧人脸图像中的人脸关键点进行标注；
利用目标检测网络对标注后的多帧人脸图像进行检测得到每帧人脸图像的眼睛数据以及嘴巴数据；其中，所述眼睛数据包括左、右眼睛检测框及其长度和宽度，所述嘴巴数据包括嘴巴检测框及其长度和宽度；
根据所述每帧人脸图像的眼睛数据以及嘴巴数据计算每帧人脸图像的眼睛开合度以及嘴巴开合度；
根据所述每帧人脸图像的眼睛开合度以及嘴巴开合度确定驾驶员状态；其中，所述驾驶员状态包括驾驶疲劳和非驾驶疲劳。
2.如权利要求1所述的疲劳驾驶检测方法，其特征在于，所述对所述多帧人脸图像中的人脸关键点进行标注包括：
获取每帧人脸图像中的人脸关键点在人脸图像中的坐标信息；
根据所述坐标信息在每帧人脸图像中标注出人脸关键点；
其中，人脸关键点包括左眼睛的左眼角点、右眼角点、上眼睑点和下眼睑点，右眼睛的左眼角点、右眼角点、上眼睑点和下眼睑点，左嘴角点、右嘴角点、上嘴唇点和下嘴唇点。
3.如权利要求2所述的疲劳驾驶检测方法，其特征在于，所述利用目标检测网络对标注后的多帧人脸图像进行检测得到每帧人脸图像的眼睛数据以及嘴巴数据包括：
根据每帧人脸图像中人脸关键点生成左、右眼睛检测框以及嘴巴检测框，并根据人脸关键点在人脸图像中的坐标信息确定各检测框的长度和宽度。
4.如权利要求3所述的疲劳驾驶检测方法，其特征在于，所述根据人脸关键点在人脸图像中的坐标信息确定各检测框的长度和宽度具体根据如下公式进行计算确定包括：
L1＝XA2-XA1
W1＝XA4-XA3
其中，L1为左眼睛检测框的长度，W1为左眼睛检测框的宽度，XA1为左眼睛左眼角点的横坐标，XA2为左眼睛右眼角点的横坐标，XA3为左眼睛上眼睑点的纵坐标，XA4为左眼睛下眼睑点的纵坐标；
L2＝XB2-XB1
W2＝XB4-XB3
其中，L2为右眼睛检测框的长度，W2为右眼睛检测框的宽度，XB1为右眼睛左眼角点的横坐标，XB2为右眼睛右眼角点的横坐标，XB3为右眼睛上眼睑点的纵坐标，XB4为右眼睛下眼睑点的纵坐标；
L3＝XC2-XC1
W3＝XC4-XC3
其中，L3为嘴巴检测框的长度，W3为嘴巴检测框的宽度，XC1为左嘴角点的横坐标，XC2为右嘴角点的横坐标，XC3为上嘴唇点的纵坐标，XC4为下嘴唇点的纵坐标。
5.如权利要求1所述的疲劳驾驶检测方法，其特征在于，所述根据所述每帧人脸图像的眼睛开合度以及嘴巴开合度确定驾驶员状态包括：
根据所述每帧人脸图像的左眼睛开合度和右眼睛开合度计算每帧人脸图像的眼睛开合度，其中，人脸图像的眼睛开合度等于左眼睛开合度和右眼睛开合度的均值；
根据所述每帧人脸图像的眼睛开合度计算当前时间周期的平均眼睛开合度；
根据所述每帧人脸图像的眼睛开合度以及所述平均眼睛开合度确定驾驶员闭眼的人脸图像帧数；其中，若一帧人脸图像的眼睛开合度小于平均眼睛开合度乘以预设比例系数，则该帧人脸图像中驾驶员闭眼；
统计驾驶员闭眼的人脸图像帧数，并根据所述驾驶员闭眼的人脸图像帧数以及当前时间周期内人脸图像总帧数计算闭眼比例；其中，闭眼比例等于驾驶员闭眼的人脸图像帧数与当前时间周期内人脸图像总帧数的比值；
根据所述闭眼比例和预设第一阈值的比较结果确定驾驶员状态。
6.如权利要求1所述的疲劳驾驶检测方法，其特征在于，所述根据所述每帧人脸图像的眼睛开合度以及嘴巴开合度确定驾驶员状态包括：
根据所述每帧人脸图像的嘴巴开合度与预设第二阈值的比较结果确定驾驶员状态；若任一帧人脸图像的嘴巴开合度大于预设第二阈值，则确定驾驶员状态为驾驶疲劳，若当前时间周期内所有帧人脸图像的嘴巴开合度均小于等于预设第二阈值，则确定驾驶员状态为非驾驶疲劳。
7.如权利要求1-6任一项所述的疲劳驾驶检测方法，其特征在于，所述方法还包括如下步骤：
响应于驾驶员状态为驾驶疲劳，生成疲劳驾驶信号；
根据所述疲劳驾驶信号进行疲劳驾驶提示。
8.一种用于实现权利要求要求1-6任一项所述方法的疲劳驾驶检测***，其特征在于，所述***包括：
图像获取单元，被配置为获取当前时间周期内多帧人脸图像，所述多帧人脸图像为当前时间周期内驾驶员的人脸图像；
图像标注单元，被配置为对所述多帧人脸图像中的人脸关键点进行标注；
图像处理单元，被配置为利用目标检测网络对标注后的多帧人脸图像进行检测得到每帧人脸图像的眼睛数据以及嘴巴数据；其中，所述眼睛数据包括左、右眼睛检测框及其长度和宽度，所述嘴巴数据包括嘴巴检测框及其长度和宽度；
数据处理单元，被配置为根据所述每帧人脸图像的眼睛数据以及嘴巴数据计算每帧人脸图像的眼睛开合度以及嘴巴开合度；
疲劳判断单元，被配置为根据所述每帧人脸图像的眼睛开合度以及嘴巴开合度确定驾驶员状态；其中，所述驾驶员状态包括驾驶疲劳和非驾驶疲劳。
9.如权利要求8所述的疲劳驾驶检测***，其特征在于，包括：
信号生成单元，被配置为响应于驾驶员状态为驾驶疲劳，生成疲劳驾驶信号；
提示单元，被配置为根据所述疲劳驾驶信号进行疲劳驾驶提示。
10.一种电子设备，其特征在于，包括处理器、存储器和通信总线，其中，所述处理器和所述存储器通过所述通信总线完成相互间的通信；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的计算机程序时，实现权利要求1-7任一所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910638379.1A CN112241645A (zh) | 2019-07-16 | 2019-07-16 | 一种疲劳驾驶检测方法及其***、电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910638379.1A CN112241645A (zh) | 2019-07-16 | 2019-07-16 | 一种疲劳驾驶检测方法及其***、电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112241645A true CN112241645A (zh) | 2021-01-19 |
Family
ID=74166683
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910638379.1A Pending CN112241645A (zh) | 2019-07-16 | 2019-07-16 | 一种疲劳驾驶检测方法及其***、电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112241645A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112907897A (zh) * | 2021-02-26 | 2021-06-04 | 浙江南盾科技发展有限公司 | 一种车载防疲劳驾驶提醒设备 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106491127A (zh) * | 2016-10-11 | 2017-03-15 | 广州汽车集团股份有限公司 | 驾驶肌劳损预警值测试方法和装置及驾驶肌劳损预警装置 |
| CN107704805A (zh) * | 2017-09-01 | 2018-02-16 | 深圳市爱培科技术股份有限公司 | 疲劳驾驶检测方法、行车记录仪及存储装置 |
| CN108460345A (zh) * | 2018-02-08 | 2018-08-28 | 电子科技大学 | 一种基于人脸关键点定位的面部疲劳检测方法 |
| CN108545080A (zh) * | 2018-03-20 | 2018-09-18 | 北京理工大学 | 驾驶员疲劳检测方法及*** |
| CN108875642A (zh) * | 2018-06-21 | 2018-11-23 | 长安大学 | 一种多指标融合的驾驶员疲劳检测的方法 |
| CN109271875A (zh) * | 2018-08-24 | 2019-01-25 | 中国人民解放***箭军工程大学 | 一种基于眉部和眼部关键点信息的疲劳检测方法 |
| WO2019029195A1 (zh) * | 2017-08-10 | 2019-02-14 | 北京市商汤科技开发有限公司 | 驾驶状态监测方法和装置、驾驶员监控***、车辆 |
-
2019
- 2019-07-16 CN CN201910638379.1A patent/CN112241645A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106491127A (zh) * | 2016-10-11 | 2017-03-15 | 广州汽车集团股份有限公司 | 驾驶肌劳损预警值测试方法和装置及驾驶肌劳损预警装置 |
| WO2019029195A1 (zh) * | 2017-08-10 | 2019-02-14 | 北京市商汤科技开发有限公司 | 驾驶状态监测方法和装置、驾驶员监控***、车辆 |
| CN107704805A (zh) * | 2017-09-01 | 2018-02-16 | 深圳市爱培科技术股份有限公司 | 疲劳驾驶检测方法、行车记录仪及存储装置 |
| CN108460345A (zh) * | 2018-02-08 | 2018-08-28 | 电子科技大学 | 一种基于人脸关键点定位的面部疲劳检测方法 |
| CN108545080A (zh) * | 2018-03-20 | 2018-09-18 | 北京理工大学 | 驾驶员疲劳检测方法及*** |
| CN108875642A (zh) * | 2018-06-21 | 2018-11-23 | 长安大学 | 一种多指标融合的驾驶员疲劳检测的方法 |
| CN109271875A (zh) * | 2018-08-24 | 2019-01-25 | 中国人民解放***箭军工程大学 | 一种基于眉部和眼部关键点信息的疲劳检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 张智腾: ""基于卷积神经网络的驾驶员疲劳检测"", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 1, pages 1 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112907897A (zh) * | 2021-02-26 | 2021-06-04 | 浙江南盾科技发展有限公司 | 一种车载防疲劳驾驶提醒设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6784424B1 (ja) | マシンビジョンに基づく過労運転検出警告システム及び方法 | |
| JP4633043B2 (ja) | 画像処理装置 | |
| US9141761B2 (en) | Apparatus and method for assisting user to maintain correct posture | |
| CN103888680B (zh) | 一种摄像头曝光时间的调节方法 | |
| CN109087485B (zh) | 驾驶提醒方法、装置、智能眼镜及存储介质 | |
| CN108028957A (zh) | 信息处理装置、信息处理方法和程序 | |
| CN108076290B (zh) | 一种图像处理方法及移动终端 | |
| CN101390128B (zh) | 脸部器官的位置的检测方法及检测*** | |
| WO2005041579A3 (en) | Method and system for processing captured image information in an interactive video display system | |
| CN108711407B (zh) | 显示效果调节方法、调节装置、显示设备及存储介质 | |
| CN107783643A (zh) | 一种保护用户视力的方法及装置 | |
| CN101201695A (zh) | 一种基于眼部区域运动特征提取与跟踪的鼠标*** | |
| CN115599219B (zh) | 一种显示屏的护眼控制方法、***、设备及存储介质 | |
| KR102365162B1 (ko) | 멀미 저감을 위한 영상 표시 장치 및 방법 | |
| CN106740581A (zh) | 一种车载设备的控制方法、ar装置及ar*** | |
| EP3757878A1 (en) | Head pose estimation | |
| CN114155512A (zh) | 一种基于3d卷积网络多特征融合的疲劳检测方法及*** | |
| Alam et al. | Active vision-based attention monitoring system for non-distracted driving | |
| CN108985221A (zh) | 视频片段检测方法、装置、设备和存储介质 | |
| CN115937830A (zh) | 一种面向特种车辆的驾驶员疲劳检测方法 | |
| CN112241645A (zh) | 一种疲劳驾驶检测方法及其***、电子设备 | |
| CN103955271B (zh) | 一种通过操作***实现用户姿态检测的移动终端和方法 | |
| CN104035544B (zh) | 一种控制电子设备的方法及电子设备 | |
| CN106250749A (zh) | 一种虚拟现实交互控制*** | |
| CN109426342B (zh) | 基于增强现实的文档阅读方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |