CN108647616A - 基于面部特征的实时睡意检测方法 - Google Patents

基于面部特征的实时睡意检测方法 Download PDF

Info

Publication number
CN108647616A
CN108647616A CN201810407011.XA CN201810407011A CN108647616A CN 108647616 A CN108647616 A CN 108647616A CN 201810407011 A CN201810407011 A CN 201810407011A CN 108647616 A CN108647616 A CN 108647616A
Authority
CN
China
Prior art keywords
eyes
detection
time
state
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810407011.XA
Other languages
English (en)
Inventor
娣兰娜
赵春霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN201810407011.XA priority Critical patent/CN108647616A/zh
Publication of CN108647616A publication Critical patent/CN108647616A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Probability & Statistics with Applications (AREA)
  • Geometry (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Processing (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

本发明公开了一种基于面部特征的实时睡意检测方法，包括人脸检测、闭眼检测和打哈欠检测；使用Viola Jones检测到脸部，通过分割将皮肤区域独立，使得亮度不变；闭眼检测采用sobel边缘检测，打哈欠检测采用k‑means聚类，分割出嘴巴区域；将上述每个阶段得到的特征进行连接，然后通过一个二进制线性支持向量机分类器分类特征向量得出睡意状态或者正常状态。本发明通过监视眼睛和嘴巴的状态实现嗜睡检测，而不需要任何传感器或可穿戴设备，并且可以在各种照明条件下很好地工作。

Description

基于面部特征的实时睡意检测方法
技术领域
本发明涉及睡意检测技术，具体涉及一种基于面部特征的实时睡意检测方法。
背景技术
在过去的十年中，睡意检测已经被广泛研究。目前比较常用的睡意检测是HOG和SVM方法，所使用的数据是基于人们手动标注的。与手动标注相比，智能化的睡意检测要更加准确，因为人的决定比智能更容易犯错误。此外，还有通过智能手表和包含传感器识别的头带来检测睡意的方法，但是该方法受到司机选择的限制，司机可能不愿意戴头带。
监督式学习方法需要高度可靠的基本事实。在之前的研究中使用人类定义的眼睛特征，从眼睑运动计算开始。这意味着该方法局限于眼睑运动提供的信息。因此，仅提取和利用那些人造特征可能会导致丢失一些有意义的信息，困倦状态可能发生却未被检测。因此，只能使用更加复杂的算法来识别疲倦。比如使用基于深度学习的面部表情识别，但是，该方法的缺点是需要大量的数据来训练神经网络。
发明内容
本发明的目的在于提供一种基于面部特征的实时睡意检测方法，通过监视眼睛和嘴巴的状态实现嗜睡检测。
实现本发明目的的技术方案为：一种基于面部特征的实时睡意检测方法，包括以下步骤：
步骤1，人脸检测和皮肤分割
使用Viola Jones进行面部特征检测，检测到人脸后，通过将图像转换为YCbCr域来执行皮肤分割；
步骤2，闭眼检测
使用边缘检测识别出两只眼睛，并根据单只眼睛的对称性确定眼睛的中心，最后确定瞳孔；如果眼睛打开，执行步骤3；如果眼睛闭合，并超过第一阈值时间，则将其视为睡意状态，在该状态期间设置警报，若眼睛闭合时间未超过第一阈值时间，则执行步骤3；
步骤3，打哈欠检测
使用Viola Jones检测到嘴部区域，采用k-means聚类对嘴部区域进行分割，通过对区域内图像像素的划分，判断嘴巴是否张开，并利用相关系数模板匹配进行跟踪，如果嘴巴张开时间大于第二阈值时间，则视为打哈欠状态；
步骤4，睡意检测
采用线性核的二元SVM分类器进行分类，如果检测眼部打开，未检测到打哈欠，视为正常状态；如果检测眼部打开，并且检测到打哈欠，则视为睡意状态；如果检测眼部闭合超过第一阈值时间，则视为睡意状态；在最终检测为睡意状态下打开警报。
进一步的，步骤2中，第一阈值时间为3秒。
进一步的，步骤2中，使用sobel边缘检测识别出两只眼睛。
进一步的，步骤3中，第二阈值时间为3秒。
与现有技术相比，本发明的显著优点为：本发明通过监视眼睛和嘴巴的状态实现嗜睡检测，而不需要任何传感器或可穿戴设备，并且可以在各种照明条件下很好地工作。
附图说明
图1为基于面部特征的实时睡意检测方法流程图。
具体实施方式
结合图1，一种基于面部特征的实时睡意检测方法，包括以下步骤：
步骤1、人脸检测和皮肤分割
人脸检测使用的是Viola Jones的面部特征检测，其目的是尽量减少误检识别面部表情。一旦检测到人脸，通过将图像转换为YCbCr域来执行皮肤分割。将图像转换为YCbCr域的最大优势在于，仅考虑色度分量可以消除亮度的影响。在RGB域中，图像的每个分量(即红色，绿色和蓝色)具有不同的亮度。但是，在YCbCr域中，所有亮度信息都由Y分量给出，因为Cb(蓝色)和Cr(红色)分量完全独立于亮度。域转换用于将RGB图像分割为Y，Cb，Cr分量。
步骤2、闭眼检测
帮助检测驾驶员疲劳的最重要因素是眼睛的状态，即打开或关闭。在困倦状态下，眼睑肌下意识地吸引，加速进入睡眠过程。然后使用边缘检测将两只眼睛分开，并根据眼睛的对称性确定眼睛的中心，最后确定瞳孔。如果眼睛打开，则视为正常状态。如果眼睛闭合，并超过第一阈值时间，则将其视为睡意状态，在该状态期间设置警报。
边缘检测可以被视为定位像素强度转换的过程。本发明采用Sobel边缘检测方法，Sobel检测器用一个过滤器卷积图像，水平和垂直方向上的可分离和整数值函数。因此它是一种相对经济的计算方法。其次，由其产生的梯度近似是相对粗糙的，其最适合于高频变化，例如疲劳期间的眨眼。使用相关系数模板匹配方法在每一帧中确定眼睛的状态。通过充分考虑连接像素的变化和与眼睛像素的相似比获得眼睛的区域。sobel边缘检测方法也用于检测眼睛的精确和精确的边界。该技术从左侧和右侧开始，寻找眼睛，因此可以分开检测眼睛。将检测到的眼睛从图像中分割出来并用于生成眼睛模板，通过这种方式，可以获得用于状态分析的相当稳定的眼睛模板，并且还减少光反射的影响。为了区分疲劳，应该准确地识别眼睛的状态。这里描述了影响眼睛大小的两个因素。人的眼睛大小不一。其次，每个帧中司机和摄像机之间的距离都在变化。因此，选择将眼睛的模板预固定在12×30的尺寸下，然后进行特征提取。对于每个眼睛的模板，区域、平均高度和宽高比是决定眼睛状态的关键特征。眼睛状态可分为三类：完全睁开、半睁开和完全闭合。完全睁开和半睁开时的不同眼睛状态在大部分时间内没有被很好的区分，可能导致更多的假警报，同时，驾驶员头部的运动会导致对驾驶员的眼睛跟踪失败。
步骤3、打哈欠的检测
另一个明显的表现在一个人脸上的疲劳驾驶迹象是打哈欠，它是人疲劳且即将入睡的身体反射。使用Viola Jones检测到嘴部区域，采用k-means聚类对嘴部区域进行分割，通过对区域内图像像素的划分，并定义合适的阈值，判断嘴巴是否张开，并利用相关系数模板匹配进行跟踪，如果嘴巴张开大于3秒，则视为打哈欠。k意味着将对象划分为互斥群的k类，这样每个集群中的对象彼此最接近，并且距离其他集群中的对象最远。每个簇的特征是其质心或中心点。函数执行k-means聚类，通过使用迭代算法，将对象分配给每个簇，使每个对象与其所在的集群质心的距离，小于该对象与其他集群质心的距离。图像像素的分类是基于亮度强度的。本发明使用k＝2在图像分割领域展示嘴巴的位置和打开状态。
步骤4、睡意检测
采用线性核的二元SVM分类器进行分类，如果检测眼部打开，未检测到打哈欠，视为正常状态；如果检测眼部闭合，并且检测到打哈欠，则视为睡意状态；如果检测眼部闭合，未检测到打哈欠，则视为睡意状态；如果检测眼部打开，并且检测到打哈欠，则视为睡意状态。在最终检测为睡意状态下打开警报。

Claims (4)

1.一种基于面部特征的实时睡意检测方法，其特征在于，包括以下步骤：
步骤1，人脸检测和皮肤分割
使用Viola Jones进行面部特征检测，检测到人脸后，通过将图像转换为YCbCr域来执行皮肤分割；
步骤2，闭眼检测
使用边缘检测识别出两只眼睛，并根据单只眼睛的对称性确定眼睛的中心，最后确定瞳孔；如果眼睛打开，执行步骤3；如果眼睛闭合，并超过第一阈值时间，则视为睡意状态，在该状态期间设置警报，若眼睛闭合时间未超过第一阈值时间，则执行步骤3；
步骤3，打哈欠检测
使用Viola Jones检测到嘴部区域，采用k-means聚类对嘴部区域进行分割，通过对区域内图像像素的划分，判断嘴巴是否张开，并利用相关系数模板匹配进行跟踪，如果嘴巴张开时间大于第二阈值时间，则视为打哈欠状态；
步骤4，睡意检测
采用线性核的二元SVM分类器进行分类，如果检测眼部打开，未检测到打哈欠，视为正常状态；如果检测眼部打开，并且检测到打哈欠，则视为睡意状态；如果检测眼部闭合超过第一阈值时间，则视为睡意状态；在最终检测为睡意状态下打开警报。
2.根据权利要求1所述的基于面部特征的实时睡意检测方法，其特征在于，步骤2闭眼检测中，第一阈值时间为3秒。
3.根据权利要求1所述的基于面部特征的实时睡意检测方法，其特征在于，步骤2中，使用sobel边缘检测识别出两只眼睛。
4.根据权利要求1所述的基于面部特征的实时睡意检测方法，其特征在于，步骤3打哈欠检测中，第二阈值时间为3秒。
CN201810407011.XA 2018-05-01 2018-05-01 基于面部特征的实时睡意检测方法 Pending CN108647616A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810407011.XA CN108647616A (zh) 2018-05-01 2018-05-01 基于面部特征的实时睡意检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810407011.XA CN108647616A (zh) 2018-05-01 2018-05-01 基于面部特征的实时睡意检测方法

Publications (1)

Publication Number Publication Date
CN108647616A true CN108647616A (zh) 2018-10-12

Family

ID=63748459

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810407011.XA Pending CN108647616A (zh) 2018-05-01 2018-05-01 基于面部特征的实时睡意检测方法

Country Status (1)

Country Link
CN (1) CN108647616A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104688251A (zh) * 2015-03-02 2015-06-10 西安邦威电子科技有限公司 一种多姿态下的疲劳及非正常姿态驾驶检测方法
CN104809445A (zh) * 2015-05-07 2015-07-29 吉林大学 基于眼部和嘴部状态的疲劳驾驶检测方法
CN104992148A (zh) * 2015-06-18 2015-10-21 江南大学 基于随机森林的atm终端部分遮挡人脸关键点检测方法
CN106372621A (zh) * 2016-09-30 2017-02-01 防城港市港口区高创信息技术有限公司 基于人脸识别的疲劳驾驶检测方法
CN107220595A (zh) * 2017-05-03 2017-09-29 北京航空航天大学 基于“人脸特征提取”的疲劳监测***
CN107303907A (zh) * 2016-04-21 2017-10-31 现代自动车株式会社 用于确定驾驶者的睡意的装置和方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104688251A (zh) * 2015-03-02 2015-06-10 西安邦威电子科技有限公司 一种多姿态下的疲劳及非正常姿态驾驶检测方法
CN104809445A (zh) * 2015-05-07 2015-07-29 吉林大学 基于眼部和嘴部状态的疲劳驾驶检测方法
CN104992148A (zh) * 2015-06-18 2015-10-21 江南大学 基于随机森林的atm终端部分遮挡人脸关键点检测方法
CN107303907A (zh) * 2016-04-21 2017-10-31 现代自动车株式会社 用于确定驾驶者的睡意的装置和方法
CN106372621A (zh) * 2016-09-30 2017-02-01 防城港市港口区高创信息技术有限公司 基于人脸识别的疲劳驾驶检测方法
CN107220595A (zh) * 2017-05-03 2017-09-29 北京航空航天大学 基于“人脸特征提取”的疲劳监测***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
B. N. MANU ET AL: "Facial Features Monitoring for Real Time Drowsiness Detection", 《2016 12TH INTERNATIONAL CONFERENCE ON INNOVATIONS IN INFORMATION TECHNOLOGY (IIT)》 *
PING WANG ET AL: "A method of detecting driver drowsiness state based on multi-features of face", 《2012 5TH INTERNATIONAL CONGRESS ON IMAGE AND SIGNAL PROCESSING》 *

Similar Documents

Publication Publication Date Title
Manu Facial features monitoring for real time drowsiness detection
CN107491740B (zh) 一种基于面部表情分析的新生儿疼痛识别方法
CN108053615B (zh) 基于微表情的驾驶员疲劳驾驶状态检测方法
US7620216B2 (en) Method of tracking a human eye in a video image
Asteriadis et al. Facial feature detection using distance vector fields
CN106682578B (zh) 基于眨眼检测的弱光人脸识别方法
Pimplaskar et al. Real time eye blinking detection and tracking using opencv
CN109977930A (zh) 疲劳驾驶检测方法及装置
Radu et al. A robust sclera segmentation algorithm
Monwar et al. Pain recognition using artificial neural network
Singh et al. Lie detection using image processing
Farooq et al. Improved automatic localization of optic disc in Retinal Fundus using image enhancement techniques and SVM
Luo et al. The driver fatigue monitoring system based on face recognition technology
CN110598574A (zh) 智能人脸监控识别方法及***
D'orazio et al. A neural system for eye detection in a driver vigilance application
Rajevenceltha et al. A novel approach for drowsiness detection using local binary patterns and histogram of gradients
Ribarić et al. A neural-network-based system for monitoring driver fatigue
Alshaqaqi et al. Vision based system for driver drowsiness detection
Vupputuri et al. Facial expression recognition using local binary patterns and kullback leibler divergence
Campadelli et al. Localization of facial features and fiducial points
CN108647616A (zh) 基于面部特征的实时睡意检测方法
AU2021103045A4 (en) Drowsy detection using image processing
Subasic et al. Expert system segmentation of face images
Hernández-Travieso et al. Expression detector system based on facial images
Sharma et al. Deep convolutional network based real time fatigue detection and drowsiness alertness system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181012