CN112395900A - 基于YOLOv3算法的疲劳驾驶状态检测算法 - Google Patents

基于YOLOv3算法的疲劳驾驶状态检测算法 Download PDF

Info

Publication number
CN112395900A
CN112395900A CN201910738108.3A CN201910738108A CN112395900A CN 112395900 A CN112395900 A CN 112395900A CN 201910738108 A CN201910738108 A CN 201910738108A CN 112395900 A CN112395900 A CN 112395900A
Authority
CN
China
Prior art keywords
algorithm
fatigue
mouth
detection
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910738108.3A
Other languages
English (en)
Inventor
徐江涛
路凯歌
高静
聂凯明
史再峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University Marine Technology Research Institute
Original Assignee
Tianjin University Marine Technology Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University Marine Technology Research Institute filed Critical Tianjin University Marine Technology Research Institute
Priority to CN201910738108.3A priority Critical patent/CN112395900A/zh
Publication of CN112395900A publication Critical patent/CN112395900A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Ophthalmology & Optometry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

基于YOLOV3算法的疲劳驾驶状态检测算法，分为检测、分类、决策三个方面，其中检测部分包括人脸检测与特征点的提取，采用YOLOv3算法所搭建的卷积神经网络与Landmark算法来实现；分类部分包含数据采集、模型训练和疲劳特征分类；当采集眼部和嘴部不同状态的数据集后，采用SVM算法训练模型，最终实现疲劳特征分类；决策部分使用Perclos疲劳判断准则判断疲劳状态；该算法运用采用YOLOv3算法搭建的卷积神经网络和面部关键特征点算法对视频中得到的帧图像进行人脸检测及特征点提取，再根据SVM模型实现人脸眼部和嘴部特征状态判断，最后采用眼睛闭合超过瞳孔的百分比算法检测疲劳状态。

Description

基于YOLOv3算法的疲劳驾驶状态检测算法
技术领域
本发明涉及模式识别领域，尤其涉及一种基于YOLOv3算法的疲劳驾驶状态检测算法。
背景技术
近年来由于疲劳驾驶而导致的交通事故占总交通事故的40%以上，疲劳驾驶检测技术的研究已经变得越来越重要，但是现有的技术中存在算法复杂，不能实时监测或者检测识别率较低的问题，需要有反映更迅速、识别成功率更高的检测方法。
在现有的疲劳检测技术中，如周惠等在2015年的文章《基于深度学习的疲劳状态识别算法》所提出的技术在面对输入的图片数据比较大时不能很好的进行快速检测，也有一些改进的算法但是并不能满足在实时检测方面的需求。
YOLOv3算法是神经网络中一个优良的目标检测算法，YOLO算法的核心思想就是利用整张图作为网络的输入，直接在输出层回归 bounding box（边界框）的位置及其所属的类别。其改进的最新一代YOLOv3的先验检测***将分类器或***重新用于执行检测任务。他们将模型应用于图像的多个位置和尺度。而那些评分较高的区域就可以视为检测结果。此外，相对于其它目标检测方法，我们使用了完全不同的方法。我们将一个单神经网络应用于整张图像，该网络将图像划分为不同的区域，因而预测每一块区域的边界框和概率，这些边界框会通过预测的概率加权。我们的模型相比于基于分类器的***有一些优势。它在测试时会查看整个图像，所以它的预测利用了图像中的全局信息。相较于之前的疲劳检测算法采用的需要数千张单一目标图像的 R-CNN 不同，它通过单一网络评估进行预测。这使YOLOv3的检测速度非常快，一般它比 R-CNN 快1000倍、比Fast R-CNN 快100倍。同时也克服了上一代对小目标检测识别率不高的劣势，对于很近的目标或者小目标有着很好的鲁棒性。
发明内容
针对现有技术存在的问题，本发明基于YOLOV3算法的疲劳驾驶状态检测算法，运用采用YOLOv3算法搭建的卷积神经网络和Landmark(面部关键特征点) 算法对视频中得到的帧图像进行人脸检测及特征点提取，再根据SVM模型实现人脸眼部和嘴部特征状态判断，最后采用Perclos(眼睛闭合超过瞳孔的百分比)算法检测疲劳状态。
基于YOLOv3算法的疲劳驾驶状态检测算法的具体方案如下：
分为检测、分类、决策三个方面，其中检测部分包括人脸检测与特征点的提取，采用YOLOv3算法所搭建的卷积神经网络与Landmark算法来实现；分类部分包含数据采集、模型训练和疲劳特征分类；当采集眼部和嘴部不同状态的数据集后，采用SVM算法训练模型，最终实现疲劳特征分类；决策部分使用Perclos疲劳判断准则判断疲劳状态：
（1）图像特征点检测提取算法：
人脸检测是将图片中的人脸位置和大小检测出，并做标记；本算法采用YOLOv3算法实现人脸检测：首先将训练图片作为网络的输入来训练深度卷积神经网络模型，用来提取图像的特征；再将提取的特征输入到分类器中进行分类，从而实现待检测图像最终的分类结果和添加标签；在获取到人脸图像之后采用Landmark算法对人脸68个特征点进行检测，实现人脸眼部和嘴部特征点位置的定位；
（2）基于SVM算法的眼部嘴部疲劳特征分类：
通过采集眼睛睁开和闭合两种状态的EAR 数据集以及嘴部张开间距的数据集来判断疲劳程度；用SVM算法进行眼睛、嘴巴的张开与闭合两种状态的典型模型训练，实现眼部、嘴部疲劳特征分类；
6个特征点P1~P6 是人脸特征点中对应眼睛的6个特征点；当眼睛睁开和闭合时，眼部特征点之间的关系会随之变化，可以知道，长宽比在眼睛睁开和闭合时会有所不同；利用方程式(1)：
Figure 100002_DEST_PATH_IMAGE001
当眼睛闭合时
Figure 100002_DEST_PATH_IMAGE002
迅速下降；当眼睛睁开时
Figure 694587DEST_PATH_IMAGE002
基本保持不变，只在小范围内上下浮动；
基于嘴巴内轮廓的张口度计算公式如式(2)所示：
Figure 100002_DEST_PATH_IMAGE003
当嘴巴张开和闭合时，嘴唇特征点彼此坐标之间的关系也会变化；通过标注的D1~D8对应内嘴唇的8个特征点，可以看出，长宽比在嘴巴张开和闭合时会有所不同；
通过采集一段视频序列得到其眼部、嘴部状态变化的特征序列，统计来得到数据集，用数据集来训练SVM模型，实现眼部嘴部疲劳特征分类；
(3) 基于Perclos算法的疲劳检测：
采用SVM算法训练眼部和嘴部状态模型后，还需要做出决策，判断是否疲劳，本文采用Perclos疲劳判断准则，该准则是根据眼睛睁开、闭合、嘴巴张开、闭合在一定时间内的帧数比来判断疲劳状态，Perclos的计算公式如公式(3)：
Figure 100002_DEST_PATH_IMAGE004
式中：
Figure DEST_PATH_IMAGE005
是单位时间内眼睛闭合和嘴巴张开所占的时间比例；
Figure 100002_DEST_PATH_IMAGE006
为单位时间内眼睛闭合的帧数；
Figure 100002_DEST_PATH_IMAGE007
代表单位时间内嘴巴张开的帧数；f 是单位时间内总帧数；
在一定时间内，当眼睛闭合或者嘴巴张开帧数超过70% 或者 80% 时，则可以判断为出现疲劳特征。
YOLO算法采用一个卷积神经网络来实现检测，是单管道策略，比较简洁且速度快可以达到每秒45帧的运算速度，且YOLO是对整张图片做卷积，所以其在检测目标有更大的视野，它不容易对背景误判。本算法根据新一代的YOLOv3算法来进行人脸的检测，可以在保证识别精准度的情况下实现对于疲劳驾驶的实时监测。对于检测疲劳驾驶的行为，避免交通事故的发生有着一定的积极影响。
附图说明
图1是基于YOLOv3算法的疲劳驾驶状态检测算法的整体设计流程图；
图2是基于眼睛周围特征点的EAR示意图；
图3是嘴巴特征点示意图。
具体实施方式
以下根据附图和实施例对本发明进行详细说明，但是本发明的保护范围不限于此。
图2中展示了EAR指数随眼睛的变化而变化的曲线，通过眼睛进行闭合睁开的运动时长宽比的改变来判断眼睛的状态，可以看到在闭合时EAR指数迅速降低，在眼睛睁开之后又迅速恢复，图3中采用嘴巴的张开的长宽比来判断打哈欠的状态，当打哈欠时，可以得出比值迅速增大再减小到零，由此来判断打哈欠的状态。对于眼睛、嘴巴张合的方面并没有大型的数据集,需要自己制作。
根据目前公布的人脸识别数据集，在人脸方面，MultiPIE数据集是最为权威和丰富的，这是一个拥有750,000多个图像的大型数据集，用于在姿势，光照和表情变化下进行人脸识别。可以将MultiPIE数据集与SougouP2.0数据集相结合来训练用于人脸识别的网络。在神经网络搭建过程中，选择谷歌开源的Tensorflow实现。由于数据量较大，训练采用mini-batch方法更容易得到较好的训练效果。同时为了提高在低光照条件下的识别能力可以加装一个红外摄像头对人脸进行辅助识别，通过双通道的图像采集来提高对面部的识别精度。同时由于本算法对人脸侧面提取不到特征数据，应注意将图像采集装置尽量的放置在可以采集到正面人脸的位置，来获得比较可靠的结果。

Claims (1)

1.基于YOLOv3算法的疲劳驾驶状态检测算法，其特征在于：具体方案如下：分为检测、分类、决策三个方面，其中检测部分包括人脸检测与特征点的提取，采用YOLOv3算法所搭建的卷积神经网络与Landmark算法来实现；分类部分包含数据采集、模型训练和疲劳特征分类；当采集眼部和嘴部不同状态的数据集后，采用SVM算法训练模型，最终实现疲劳特征分类；决策部分使用Perclos疲劳判断准则判断疲劳状态：
（1）图像特征点检测提取算法：
人脸检测是将图片中的人脸位置和大小检测出，并做标记；本算法采用YOLOv3算法实现人脸检测：首先将训练图片作为网络的输入来训练深度卷积神经网络模型，用来提取图像的特征；再将提取的特征输入到分类器中进行分类，从而实现待检测图像最终的分类结果和添加标签；在获取到人脸图像之后采用Landmark算法对人脸68个特征点进行检测，实现人脸眼部和嘴部特征点位置的定位；
（2）基于SVM算法的眼部嘴部疲劳特征分类：
通过采集眼睛睁开和闭合两种状态的EAR 数据集以及嘴部张开间距的数据集来判断疲劳程度；用SVM算法进行眼睛、嘴巴的张开与闭合两种状态的典型模型训练，实现眼部、嘴部疲劳特征分类；
6个特征点P1~P6 是人脸特征点中对应眼睛的6个特征点；当眼睛睁开和闭合时，眼部特征点之间的关系会随之变化，可以知道，长宽比在眼睛睁开和闭合时会有所不同；利用方程式(1)：
Figure DEST_PATH_IMAGE001
当眼睛闭合时
Figure DEST_PATH_IMAGE002
迅速下降；当眼睛睁开时
Figure 537747DEST_PATH_IMAGE002
基本保持不变，只在小范围内上下浮动；
基于嘴巴内轮廓的张口度计算公式如式(2)所示：
Figure DEST_PATH_IMAGE003
当嘴巴张开和闭合时，嘴唇特征点彼此坐标之间的关系也会变化；通过标注的D1~D8对应内嘴唇的8个特征点，可以看出，长宽比在嘴巴张开和闭合时会有所不同；
通过采集一段视频序列得到其眼部、嘴部状态变化的特征序列，统计来得到数据集，用数据集来训练SVM模型，实现眼部嘴部疲劳特征分类；
(3) 基于Perclos算法的疲劳检测：
采用SVM算法训练眼部和嘴部状态模型后，还需要做出决策，判断是否疲劳，本文采用Perclos疲劳判断准则，该准则是根据眼睛睁开、闭合、嘴巴张开、闭合在一定时间内的帧数比来判断疲劳状态，Perclos的计算公式如公式(3)：
Figure DEST_PATH_IMAGE004
式中：
Figure DEST_PATH_IMAGE006
是单位时间内眼睛闭合和嘴巴张开所占的时间比例；
Figure DEST_PATH_IMAGE007
为单位时间内眼睛闭合的帧数；
Figure DEST_PATH_IMAGE008
代表单位时间内嘴巴张开的帧数；f 是单位时间内总帧数；
在一定时间内，当眼睛闭合或者嘴巴张开帧数超过70% 或者 80% 时，则可以判断为出现疲劳特征。
CN201910738108.3A 2019-08-12 2019-08-12 基于YOLOv3算法的疲劳驾驶状态检测算法 Pending CN112395900A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910738108.3A CN112395900A (zh) 2019-08-12 2019-08-12 基于YOLOv3算法的疲劳驾驶状态检测算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910738108.3A CN112395900A (zh) 2019-08-12 2019-08-12 基于YOLOv3算法的疲劳驾驶状态检测算法

Publications (1)

Publication Number Publication Date
CN112395900A true CN112395900A (zh) 2021-02-23

Family

ID=74602129

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910738108.3A Pending CN112395900A (zh) 2019-08-12 2019-08-12 基于YOLOv3算法的疲劳驾驶状态检测算法

Country Status (1)

Country Link
CN (1) CN112395900A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113243919A (zh) * 2021-04-01 2021-08-13 上海工程技术大学 一种列车司机疲劳状态识别及监控***
CN114049676A (zh) * 2021-11-29 2022-02-15 中国平安财产保险股份有限公司 疲劳状态检测方法、装置、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109657550A (zh) * 2018-11-15 2019-04-19 中科院微电子研究所昆山分所 一种疲劳度检测方法及装置
CN109934199A (zh) * 2019-03-22 2019-06-25 扬州大学 一种基于计算机视觉的驾驶员疲劳检测方法及***

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109657550A (zh) * 2018-11-15 2019-04-19 中科院微电子研究所昆山分所 一种疲劳度检测方法及装置
CN109934199A (zh) * 2019-03-22 2019-06-25 扬州大学 一种基于计算机视觉的驾驶员疲劳检测方法及***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李茂晖等: ""论 YOLO 算法在机器视觉中应用原理"", 《教育现代化》 *
熊群芳等: ""基于深度学习的疲劳驾驶状态检测方法"", 《控制与信息技术》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113243919A (zh) * 2021-04-01 2021-08-13 上海工程技术大学 一种列车司机疲劳状态识别及监控***
CN114049676A (zh) * 2021-11-29 2022-02-15 中国平安财产保险股份有限公司 疲劳状态检测方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN100592322C (zh) 照片人脸与活体人脸的计算机自动鉴别方法
CN108564069B (zh) 一种工业佩戴安全帽视频检测方法
CN108182409B (zh) 活体检测方法、装置、设备及存储介质
CN104616438B (zh) 一种用于疲劳驾驶检测的打哈欠动作检测方法
CN109460704B (zh) 一种基于深度学习的疲劳检测方法、***和计算机设备
CN109376608A (zh) 一种人脸活体检测方法
KR101653278B1 (ko) 색상 기반 얼굴 검출을 통한 실시간 얼굴 추적 시스템
WO2006134981A1 (ja) 対象物検出装置及びその学習装置
CN107133569A (zh) 基于泛化多标记学习的监控视频多粒度标注方法
CN109063625A (zh) 一种基于级联深度网络的人脸关键点检测方法
CN107330914B (zh) 人脸部位运动检测方法和装置及活体识别方法和***
CN106485191A (zh) 一种驾驶员疲劳状态检测方法及***
CN110298297A (zh) 火焰识别方法和装置
CN110263728A (zh) 基于改进的伪三维残差神经网络的异常行为检测方法
CN113158850B (zh) 基于深度学习的船舶驾驶员疲劳检测方法和***
CN103593672A (zh) Adaboost分类器在线学习方法及***
CN108960071A (zh) 一种睁眼闭眼状态检测方法
CN112926522B (zh) 一种基于骨骼姿态与时空图卷积网络的行为识别方法
CN111191535A (zh) 基于深度学习的行人检测模型构建方法及行人检测方法
CN112395900A (zh) 基于YOLOv3算法的疲劳驾驶状态检测算法
CN115393830A (zh) 一种基于深度学习与面部特征的疲劳驾驶检测方法
CN104091150B (zh) 一种基于回归的人眼状态判断方法
Engoor et al. Occlusion-aware dynamic human emotion recognition using landmark detection
CN103049748A (zh) 行为监测方法及装置
CN110688969A (zh) 视频帧人体行为识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210223