CN115565159A - 一种疲劳驾驶检测模型的构建方法及应用 - Google Patents
一种疲劳驾驶检测模型的构建方法及应用 Download PDFInfo
- Publication number
- CN115565159A CN115565159A CN202211188223.6A CN202211188223A CN115565159A CN 115565159 A CN115565159 A CN 115565159A CN 202211188223 A CN202211188223 A CN 202211188223A CN 115565159 A CN115565159 A CN 115565159A
- Authority
- CN
- China
- Prior art keywords
- key points
- driving detection
- fatigue driving
- skeleton
- fatigue
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种疲劳驾驶检测模型的构建方法及应用,属于疲劳驾驶检测领域,在提取到表达人面部状态的表情肌的表情肌关键点和表达身体状态的骨骼关键点后,根据面部肌肉和骨骼的分布来关联这些关键点,利用图形的顶点构图,图形的边表示关键点之间的距离,并将各关键点所在的各连接线的长度的集合进行综合得到关键点的特征表示矩阵,最终将关键点的节点编号、邻接矩阵和特征表示矩阵输入到深度学习网络中进行训练;本发明选择了最具有疲劳表达能力的面部表情肌和身体骨骼,基于生物学与人体工程学的方式,以脸部肌肉松弛无法保持状态,身体无法保持稳定为判断依据,更快更好地利用关键信息判断驾驶员是否疲劳,大大提高了疲劳驾驶检测的准确率。
Description
技术领域
本发明属于疲劳驾驶检测领域,更具体地,涉及一种疲劳驾驶检测模型的构建方法及应用。
背景技术
疲劳驾驶,表现为打哈欠、闭眼、疲惫和类似的症状,已经成为近来交通事故的主要原因之一。
疲劳驾驶检测已经得到了世界各国政府交通部门的重视。各种针对实际车辆驾驶过程的智能算法和***应运而生。由于受到驾驶员姿态、车辆形状、道路状况等因素的影响,在实际应用中,疲劳驾驶检测的效果不是很明显。因此,疲劳驾驶检测仍然是一个未解决的问题。
在生理学的观点中,人的精神面貌与面部肌肉的状态直接相关。一般来说,人在兴奋时,面部肌肉会处于紧张状态;相反,当人疲惫或萎靡不振时,其面部表情会呈现出松弛和放松的状态,因此,发现局部区域的相关关系以及脸部局部区域的关键点(如眼睛和嘴)之间的关系(距离)可以被视为识别人类精神状态的标准之一。传统的视觉特征和基于深度特征的方法已被广泛用于疲劳驾驶检测,尤其是采用深度卷积神经网络的方法在物体检测和面部检测领域取得了良好的表现,但是这些方法往往是单独关注眼睛和嘴巴的变化,例如计算眼睑中瞳孔黑色素所占的比例判断眼睛是否闭合,或者利用积分投影等方法计算嘴部是否打哈欠,弱化了表情肌肉在整个面部的关联效应;即使关注到表情肌肉在整个面部的关联效应,现有方法也只是取特征点间的直线距离作为特征长度以及特征参数单元,人为的定义了以比值为参考的关联效应,这种方法在人脸处于旋转、倾斜、低头或者被遮挡状态下时容易出现判断偏差,无法很好的判断驾驶员是否产生疲劳,疲劳驾驶检测的准确率较低。
发明内容
针对现有技术的以上缺陷或改进需求,本发明提供了一种疲劳驾驶检测模型的构建方法及应用,用以解决现有技术疲劳驾驶检测准确率较低的技术问题。
为了实现上述目的,第一方面,本发明提供了一种疲劳驾驶检测模型的构建方法,包括以下:
S1、搭建疲劳驾驶检测模型;其中,疲劳驾驶检测模型包括:
关键点提取模块,用于对输入图像中的驾驶员进行脸部关键点识别和身体关键点识别,得到脸部关键点和身体关键点,以及对应的关键点节点编号;提取位于表情肌走向上的脸部关键点,得到表情肌关键点;提取位于骨骼走向线上的身体关键点,得到骨骼关键点;
表情肌特征提取模块,用于将表情肌关键点按照表情肌的走向进行连接,得到表情肌连接线,以及各表情肌连接线所构成的脸部连接图;基于脸部连接图,得到各表情肌关键点的邻接矩阵;分别获取各表情肌关键点所在的各表情肌连接线的长度的集合,作为各表情肌关键点的特征表示;所有表情肌关键点的特征表示共同构成表情肌关键点特征表示矩阵;
骨骼特征提取模块,用于将骨骼关键点按照骨骼的走向进行连接,得到骨骼连接线,以及各骨骼连接线所构成的骨骼连接图;基于骨骼连接图,得到各骨骼关键点的邻接矩阵;分别获取各骨骼关键点所在的各骨骼连接线的长度的集合,作为各骨骼关键点的特征表示;所有骨骼关键点的特征表示共同构成骨骼关键点特征表示矩阵;
疲劳驾驶检测模块,用于将各表情肌关键点和各骨骼关键点的节点编号、对应的邻接矩阵以及表情肌关键点特征表示矩阵和骨骼关键点特征表示矩阵,输入至深度学习模型中,以判断输入图像中的驾驶员是否处于疲劳状态;
S2、将预采集的训练样本集输入至上述疲劳驾驶检测模型中进行训练,得到训练好的疲劳驾驶检测模型;其中,训练样本集包括:实际采集到的处于疲劳状态的驾驶员图像和处于非疲劳状态的驾驶员图像,及其对应的疲劳状态标签;驾驶员图像为包括驾驶员脸部和身体的图像。
进一步优选地,上述深度学习模型为GraphSAGE模型。
进一步优选地,上述疲劳驾驶检测模型的损失函数为:
其中,v为关键点节点u随机游走访达的邻居关键点节点;z u 为关键点节点u的特征
表示矩阵输入到GraphSAGE模型进行聚合后所得的嵌入映射;z v 为关键点节点v的特征表示
矩阵输入到GraphSAGE模型进行聚合后所得的嵌入映射;P n 为对训练样本集输入至上述疲
劳驾驶检测模型中进行疲劳状态检测时所得结果为疲劳状态的图像经关键点提取模块提
取后的关键点集合进行负采样的概率分布;是按照概率分布P n 进行负采样得到的关键点
节点;为sigmoid函数;Q为负采样个数;E表示期望函数。
进一步优选地,表情肌包括颧小肌、口轮匝肌和眼轮匝肌。
进一步优选地,骨骼包括:胸骨、肱骨、肩胛骨和颈椎。
第二方面,本发明提供了一种疲劳驾驶检测方法,包括:将采集到的包括驾驶员脸部和身体的图像输入至采用本发明第一方面所提供的疲劳驾驶检测模型的构建方法所构建的疲劳驾驶检测模型中,以得到驾驶员是否处于疲劳状态的结果。
进一步优选地,实时采集包括驾驶员脸部和身体的监测图像,并将预设时间段内的各个监测图像输入到疲劳驾驶检测模型中来识别驾驶员是否处于疲劳状态;若识别为疲劳状态的监测图像的数目与预设时间段内监测图像总数之比大于或等于预设比值,则判定驾驶员处于疲劳状态;否则,判定驾驶员处于非疲劳状态。
第三方面,本发明提供了一种疲劳驾驶检测***,包括:存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时执行本发明第二方面所提供的疲劳驾驶检测方法。
第四方面,本发明还提供了一种机器可读存储介质,所述机器可读存储介质存储有机器可执行指令,所述机器可执行指令在被处理器调用和执行时,所述机器可执行指令促使所述处理器实现本发明第一方面所提供的疲劳驾驶检测模型的构建方法、和/或本发明第二方面所提供的疲劳驾驶检测方法。
总体而言,通过本发明所构思的以上技术方案,能够取得以下有益效果:
1、本发明提供了一种疲劳驾驶检测模型的构建方法,由于人类自身认知与先验知识可以通过脸部表情判断人的疲劳状态,表情肌在清醒状态保持下会兴奋收紧,疲劳状态下会松弛,身体姿势也有同样的天然特征,本发明选择了最有疲劳表达能力的面部表情肌和身体骨骼,在提取得到表达人面部状态的表情肌的表情肌关键点和表达身体状态的骨骼关键点后,根据面部肌肉和骨骼的分布来关联这些关键点,利用图形的顶点构图,图形的边表示关键点之间的距离,并将各关键点所在的各连接线的长度的集合进行综合得到关键点整体的特征表示矩阵,来进一步表示表情肌肉在整个面部的关联效应,最终将关键点的节点编号、邻接矩阵和特征表示矩阵输入到深度学习网络中进行训练,从而基于生物学与人体工程学的方式,以脸部肌肉松弛无法保持状态,身体无法保持稳定为判断依据,更快更好地利用关键信息判断驾驶员是否疲劳,大大提高了疲劳驾驶检测的准确率。
2、本发明所提供的疲劳驾驶检测模型的构建方法,所采用的深度学习模型为GraphSAGE模型,并不使用每一个关键点本身来生成嵌入映射,而是通过一个顶点的局部邻居采样并聚合关键点得到的嵌入映射,能够在驾驶员转身、低头、抬头等运动过程中,不影响现有关键点的嵌入映射的生成,拥有更好的鲁棒性和准确率。
3、本发明所提供的疲劳驾驶检测模型的构建方法,相比现有的疲劳驾驶检测,摒弃了更多的无用信息,只专注于关键点的图谱构成,具有无接触、抗干扰、速度快和训练速度快的优势,能够在短时间内对驾驶员发出预警。
附图说明
图1为本发明实施例1所提供的疲劳驾驶检测模型的构建方法流程图。
图2 为本发明实施例1所提供的脸部关键点编号示意图。
图3 为本发明实施例1所提供的身体关键点编号示意图。
图4为本发明实施例1所提供的脸部连接图的示意图。
图5为本发明实施例1所提供的骨骼连接图的示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
实施例1
一种疲劳驾驶检测模型的构建方法,如图1所示,包括以下:
S1、搭建疲劳驾驶检测模型;其中,疲劳驾驶检测模型包括:关键点提取模块、表情肌特征提取模块、骨骼特征提取模块和疲劳驾驶检测模块;
关键点提取模块:
关键点提取模块用于对输入图像中的驾驶员进行脸部关键点识别和身体关键点识别,得到脸部关键点和身体关键点,以及对应的关键点节点编号;提取位于表情肌走向上的脸部关键点,得到表情肌关键点,并将表情肌关键点及其对应的关键点节点编号输出至表情肌特征提取模块;提取位于骨骼走向线上的身体关键点,得到骨骼关键点,并将骨骼关键点及其对应的关键点节点编号输出至骨骼特征提取模块;
具体地,为了提取能够表达人面部状态的表情肌,提取表情肌走向线上的脸部关键点作为表情肌关键点,在一种可选实施方式中,首先对输入图像进行归一化处理,然后通过Dlib库中的人脸识别算法进行人物面部识别,获得脸部关键点及其对应的关键点节点编号,具体如图2所示,所得脸部关键点的节点编号包括:f2、f4、f7、f9、f12、f14、f21、f22、f27、f36、f37、f38、f39、f40、f41、f42、f43、f44、f45、f46、f47、f48、f49、f50、f51、f52、f53、f54、f55、f56、f57、f58、f59等;最后选取在脸部表面可以表达人面部状态的表情肌,例如:颧小肌,口轮匝肌,眼轮匝肌等的分布,并提取位于表情肌的走向线上的脸部关键点作为表情肌关键点。
为了提取能够表达身体状态的骨骼,提取位于骨骼的走向线上的身体关键点作为骨骼关键点,在一种可选实施方式中,首先对输入图像进行归一化处理,然后通过BLazepose算法或Openpose算法等人体姿态检测算法进行身体姿态定位,从而得到身体关键点及其对应的关键点节点编号,具体如图3所示,所得身体关键点的节点编号包括:p7、p9、p10、p8、p11、p13、p12、p14等;最后选取在选取可以表达身体状态的骨骼,例如:胸骨,肱骨,肩胛骨,颈椎等,并提取位于骨骼的走向线上的身体关键点作为骨骼关键点。
表情肌特征提取模块:
表情肌特征提取模块用于将表情肌关键点按照表情肌的走向进行连接,得到表情肌连接线,以及各表情肌连接线所构成的脸部连接图;基于脸部连接图,得到各表情肌关键点的邻接矩阵;分别获取各表情肌关键点所在的各表情肌连接线的长度的集合,作为各表情肌关键点的特征表示;最终,所有表情肌关键点的特征表示共同构成表情肌关键点特征表示矩阵;
具体地,如图4所示,按照各表情肌的走向,定向连接表情肌关键点获得表情肌连接线;各个表情肌连接线构成脸部连接图,建立表情肌关键点的邻接矩阵。分别获取各表情肌关键点所在的各表情肌连接线的长度的集合,作为各表情肌关键点的特征表示;其中,表情肌连接线的长度为表情肌连接线首、末两端表情肌关键点间各相邻两个表情肌关键点之间的欧式距离之和。将各表情肌关键点的节点编号、邻接矩阵和表情肌关键点特征表示矩阵输出至疲劳驾驶检测模块中。
骨骼特征提取模块:
骨骼特征提取模块,用于将骨骼关键点按照骨骼的走向进行连接,得到骨骼连接线,以及各骨骼连接线所构成的骨骼连接图;基于骨骼连接图,得到各骨骼关键点的邻接矩阵;分别获取各骨骼关键点所在的各骨骼连接线的长度的集合,作为各骨骼关键点的特征表示;最终,所有骨骼关键点的特征表示共同构成骨骼关键点特征表示矩阵;
具体地,如图5所示,按照各骨骼的走向,定向连接骨骼关键点获得骨骼连接线;各个骨骼连接线构成脸部连接图,建立骨骼关键点的邻接矩阵。分别获取各骨骼关键点所在的各骨骼连接线的长度的集合,作为各骨骼关键点的特征表示;其中,骨骼连接线的长度为骨骼连接线首、末两端骨骼关键点间各相邻两个骨骼关键点之间的欧式距离之和。将各骨骼关键点的节点编号、邻接矩阵和骨骼关键点特征表示矩阵输出至疲劳驾驶检测模块中。
疲劳驾驶检测模块:
疲劳驾驶检测模块,用于将各表情肌关键点和各骨骼关键点的节点编号、对应的邻接矩阵以及表情肌关键点特征表示矩阵和骨骼关键点特征表示矩阵,输入至深度学习模型中,以判断输入图像中的驾驶员是否处于疲劳状态;
S2、将预采集的训练样本集输入至上述疲劳驾驶检测模型中进行训练,得到训练好的疲劳驾驶检测模型;其中,训练样本集包括:实际采集到的处于疲劳状态的驾驶员图像和处于非疲劳状态的驾驶员图像,及其对应的疲劳状态标签;驾驶员图像为包括驾驶员脸部和身体的图像。
具体地,在上述训练过程中,将各表情肌关键点和各骨骼关键点作为节点,将节点编号、节点的邻接矩阵、表情肌关键点特征表示矩阵以及骨骼关键点特征表示矩阵作为一组输入,对应的疲劳状态标签作为输出,通过最小化疲劳驾驶检测模型输出的是否处于疲劳状态的结果与疲劳状态标签之间的差异,对疲劳驾驶检测模型进行训练。
需要说明的是,上述深度学习模型可以为GCN模型、GraphSAGE模型等。由于在驾驶员转身、低头、抬头等运动过程中,采集的图像会发生变化,容易导致关键点缺失,为了进一步提高检测的准确率和鲁棒性,本发明将深度学习模型优选为GraphSAGE模型,在该模型下并不使用每一个关键点本身来生成嵌入映射,而是通过一个顶点的局部邻居采样并聚合关键点得到的嵌入映射,当关键点缺失时,并不影响现有关键点的嵌入映射的生成,能够拥有更好的鲁棒性和准确率。
其中,v为关键点节点u随机游走访达的邻居关键点节点;z u 为关键点节点u的特征
表示矩阵输入到GraphSAGE模型进行聚合后所得的嵌入映射;z v 为关键点节点v的特征表示
矩阵输入到GraphSAGE模型进行聚合后所得的嵌入映射;P n 为对训练样本集输入至上述疲
劳驾驶检测模型中进行疲劳状态检测时所得结果为疲劳状态的图像经关键点提取模块提
取后的关键点集合进行负采样的概率分布;表示负采样;是按照概率分布P n 进行
负采样得到的关键点节点;为sigmoid函数;Q为负采样个数;E表示期望函数。需要说明的
是,各表情肌关键点节点的特征表示矩阵均为上述表情肌特征表示矩阵,各骨骼关键点节
点的特征表示矩阵均为上述骨骼特征表示矩阵。
综上,本发明首先提取面部的关键点,如眼睛和嘴巴周围的关键点,以代表面部表情特征。然后,提出了一个图样本和聚合网络,根据面部肌肉的分布来关联这些关键点,利用图形的顶点构图,图形的边表示每个点的距离,通过图形聚合网络来计算关键点之间的关联。最后,该框架通过端到端方式进行训练,以实现整个疲劳驾驶的识别。
实施例2
一种疲劳驾驶检测方法,包括:将采集到的包括驾驶员脸部和身体的图像输入至采用本发明实施例1所提供的疲劳驾驶检测模型的构建方法所构建的疲劳驾驶检测模型中,以得到驾驶员是否处于疲劳状态的结果。
进一步地,在一种可选实施方式下,采用摄像头实时采集包括驾驶员脸部和身体的监测图像,并将预设时间段(本实施方式下取值为15s)内的各个监测图像输入到上述疲劳驾驶检测模型中来识别驾驶员是否处于疲劳状态;若识别为疲劳状态的监测图像的数目与预设时间段内监测图像总数之比大于或等于预设比值(参照perclos算法确定本实施方式下的预设比值取值为80%),则判定驾驶员处于疲劳状态;否则,判定驾驶员处于非疲劳状态;进一步地,对处于疲劳状态的驾驶员进行预警。
相关技术方案同实施例1,这里不做赘述。
综上,本发明根据面部肌肉和身体骨骼的分布,对其进行图的构建,并将其肌肉和骨骼的位置与长度作为肌肉的收紧和松弛的标准,利用图神经网络进行训练,并根据判定为疲劳的图片数量与时长的固定比例(百分之八十)来确认驾驶员是否处于疲劳状态,达到提高了疲劳驾驶检测的准确性。
为了进一步说明本发明所提供的疲劳驾驶检测方法的准确性,本发明选取了中国公交车数据集,内含4125张图像,使用传统基于CNN(VGG-16)的疲劳驾驶检测方法和本发明所提供的疲劳驾驶检测方法进行对比试验,实验结果表明,本发明所提供的疲劳驾驶检测方法的准确率达到了98.7%,高于传统方法的97.0%。
实施例3
一种疲劳驾驶检测***,包括:存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时执行本发明实施例2所提供的疲劳驾驶检测方法。
相关技术方案同实施例2,这里不做赘述。
实施例4
一种机器可读存储介质,所述机器可读存储介质存储有机器可执行指令,所述机器可执行指令在被处理器调用和执行时,所述机器可执行指令促使所述处理器实现本发明实施例1所提供的疲劳驾驶检测模型的构建方法、和/或本发明实施例2所提供的疲劳驾驶检测方法。
相关技术方案同实施例1和实施例2,这里不做赘述。
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (9)
1.一种疲劳驾驶检测模型的构建方法,其特征在于,包括以下:
S1、搭建疲劳驾驶检测模型;所述疲劳驾驶检测模型包括:
关键点提取模块,用于对输入图像中的驾驶员进行脸部关键点识别和身体关键点识别,得到脸部关键点和身体关键点,以及对应的关键点节点编号;提取位于表情肌走向上的脸部关键点,得到表情肌关键点;提取位于骨骼走向线上的身体关键点,得到骨骼关键点;
表情肌特征提取模块,用于将表情肌关键点按照表情肌的走向进行连接,得到表情肌连接线,以及各表情肌连接线所构成的脸部连接图;基于所述脸部连接图,得到各表情肌关键点的邻接矩阵;分别获取各表情肌关键点所在的各表情肌连接线的长度的集合,作为各表情肌关键点的特征表示;所有表情肌关键点的特征表示共同构成表情肌关键点特征表示矩阵;
骨骼特征提取模块,用于将骨骼关键点按照骨骼的走向进行连接,得到骨骼连接线,以及各骨骼连接线所构成的骨骼连接图;基于所述骨骼连接图,得到各骨骼关键点的邻接矩阵;分别获取各骨骼关键点所在的各骨骼连接线的长度的集合,作为各骨骼关键点的特征表示;所有骨骼关键点的特征表示共同构成骨骼关键点特征表示矩阵;
疲劳驾驶检测模块,用于将各表情肌关键点和各骨骼关键点的节点编号、对应的邻接矩阵以及表情肌关键点特征表示矩阵和骨骼关键点特征表示矩阵,输入至深度学习模型中,以判断输入图像中的驾驶员是否处于疲劳状态;
S2、将预采集的训练样本集输入至所述疲劳驾驶检测模型中进行训练,得到训练好的疲劳驾驶检测模型;其中,所述训练样本集包括:实际采集到的处于疲劳状态的驾驶员图像和处于非疲劳状态的驾驶员图像,及其对应的疲劳状态标签;所述驾驶员图像为包括驾驶员脸部和身体的图像。
2.根据权利要求1所述的疲劳驾驶检测模型的构建方法,其特征在于,所述深度学习模型为GraphSAGE模型。
4.根据权利要求1-3任意一项所述的疲劳驾驶检测模型的构建方法,其特征在于,所述表情肌包括颧小肌、口轮匝肌和眼轮匝肌。
5.根据权利要求1-3任意一项所述的疲劳驾驶检测模型的构建方法,其特征在于,所述骨骼包括:胸骨、肱骨、肩胛骨和颈椎。
6.一种疲劳驾驶检测方法,其特征在于,包括:将采集到的包括驾驶员脸部和身体的图像输入至采用权利要求1-5任意一项所述的疲劳驾驶检测模型的构建方法所构建的疲劳驾驶检测模型中,以得到驾驶员是否处于疲劳状态的结果。
7.根据权利要求6所述的疲劳驾驶检测方法,其特征在于,实时采集包括驾驶员脸部和身体的监测图像,并将预设时间段内的各个监测图像输入到所述疲劳驾驶检测模型中来识别驾驶员是否处于疲劳状态;若识别为疲劳状态的监测图像的数目与预设时间段内监测图像的总数之比大于或等于预设比值,则判定驾驶员处于疲劳状态;否则,判定驾驶员处于非疲劳状态。
8.一种疲劳驾驶检测***,其特征在于,包括:存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时执行权利要求6或7所述的疲劳驾驶检测方法。
9.一种机器可读存储介质,所述机器可读存储介质存储有机器可执行指令,所述机器可执行指令在被处理器调用和执行时,所述机器可执行指令促使所述处理器实现权利要求1-5任意一项所述的疲劳驾驶检测模型的构建方法、和/或权利要求6-7任意一项所述的疲劳驾驶检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211188223.6A CN115565159B (zh) | 2022-09-28 | 2022-09-28 | 一种疲劳驾驶检测模型的构建方法及应用 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211188223.6A CN115565159B (zh) | 2022-09-28 | 2022-09-28 | 一种疲劳驾驶检测模型的构建方法及应用 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115565159A true CN115565159A (zh) | 2023-01-03 |
CN115565159B CN115565159B (zh) | 2023-03-28 |
Family
ID=84742483
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211188223.6A Active CN115565159B (zh) | 2022-09-28 | 2022-09-28 | 一种疲劳驾驶检测模型的构建方法及应用 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115565159B (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015156877A (ja) * | 2012-05-18 | 2015-09-03 | 日産自動車株式会社 | 運転者身体状態適合装置、道路地図情報構築方法 |
CN109117795A (zh) * | 2018-08-17 | 2019-01-01 | 西南大学 | 基于图结构的神经网络表情识别方法 |
CN110532925A (zh) * | 2019-08-22 | 2019-12-03 | 西安电子科技大学 | 基于时空图卷积网络的驾驶员疲劳检测方法 |
CN110674701A (zh) * | 2019-09-02 | 2020-01-10 | 东南大学 | 一种基于深度学习的驾驶员疲劳状态快速检测方法 |
CN111616718A (zh) * | 2020-07-30 | 2020-09-04 | 苏州清研微视电子科技有限公司 | 基于姿态特征的驾驶员疲劳状态检测方法和*** |
CN112329689A (zh) * | 2020-11-16 | 2021-02-05 | 北京科技大学 | 车载环境下基于图卷积神经网络的异常驾驶行为识别方法 |
CN113920491A (zh) * | 2021-09-07 | 2022-01-11 | 哈尔滨工业大学(威海) | 基于面部骨架模型的疲劳检测***、方法、介质、检测设备 |
CN113989911A (zh) * | 2021-12-07 | 2022-01-28 | 南京邮电大学 | 一种基于三维人脸特征重建和图深度学习的真实环境面部表情识别方法 |
CN114582002A (zh) * | 2022-04-18 | 2022-06-03 | 华南理工大学 | 一种结合注意力模块与二阶池化机制的人脸表情识别方法 |
-
2022
- 2022-09-28 CN CN202211188223.6A patent/CN115565159B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015156877A (ja) * | 2012-05-18 | 2015-09-03 | 日産自動車株式会社 | 運転者身体状態適合装置、道路地図情報構築方法 |
CN109117795A (zh) * | 2018-08-17 | 2019-01-01 | 西南大学 | 基于图结构的神经网络表情识别方法 |
CN110532925A (zh) * | 2019-08-22 | 2019-12-03 | 西安电子科技大学 | 基于时空图卷积网络的驾驶员疲劳检测方法 |
CN110674701A (zh) * | 2019-09-02 | 2020-01-10 | 东南大学 | 一种基于深度学习的驾驶员疲劳状态快速检测方法 |
CN111616718A (zh) * | 2020-07-30 | 2020-09-04 | 苏州清研微视电子科技有限公司 | 基于姿态特征的驾驶员疲劳状态检测方法和*** |
CN112329689A (zh) * | 2020-11-16 | 2021-02-05 | 北京科技大学 | 车载环境下基于图卷积神经网络的异常驾驶行为识别方法 |
CN113920491A (zh) * | 2021-09-07 | 2022-01-11 | 哈尔滨工业大学(威海) | 基于面部骨架模型的疲劳检测***、方法、介质、检测设备 |
CN113989911A (zh) * | 2021-12-07 | 2022-01-28 | 南京邮电大学 | 一种基于三维人脸特征重建和图深度学习的真实环境面部表情识别方法 |
CN114582002A (zh) * | 2022-04-18 | 2022-06-03 | 华南理工大学 | 一种结合注意力模块与二阶池化机制的人脸表情识别方法 |
Non-Patent Citations (4)
Title |
---|
"Recurrent graph convolutional network for skeleton-based abnormal driving behavior recognition" * |
WILLIAM L. HAMILTON等: "Inductive Representation Learning on Large Graphs" * |
侯军燕等: "有限元法在人脸三维建模及表情动画中的应用研究" * |
李泰国等: "基于人体姿态空时特征的驾驶员疲劳检测" * |
Also Published As
Publication number | Publication date |
---|---|
CN115565159B (zh) | 2023-03-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112734775B (zh) | 图像标注、图像语义分割、模型训练方法及装置 | |
CN109858466A (zh) | 一种基于卷积神经网络的人脸关键点检测方法及装置 | |
CN110765873B (zh) | 一种基于表情强度标签分布的面部表情识别方法与装置 | |
KR20200068545A (ko) | 컨벌루션 신경망을 트레이닝하고 트레이닝된 컨벌루션 신경망을 이용하여 비디오의 대상에 의해 수행되는 행동을 분류하기 위한 시스템 및 방법 | |
Gao et al. | Trustful internet of surveillance things based on deeply represented visual co-saliency detection | |
CN109492581A (zh) | 一种基于tp-stg框架的人体动作识别方法 | |
CN108268859A (zh) | 一种基于深度学习的人脸表情识别方法 | |
CN109902565B (zh) | 多特征融合的人体行为识别方法 | |
CN107038422A (zh) | 基于空间几何约束深度学习的疲劳状态识别方法 | |
CN108062562A (zh) | 一种物体重识别方法及装置 | |
CN112580445B (zh) | 基于生成对抗网络的人体步态图像视角转化方法 | |
CN103971112B (zh) | 图像特征提取方法及装置 | |
CN108537181A (zh) | 一种基于大间距深度度量学习的步态识别方法 | |
Fang et al. | Partial attack supervision and regional weighted inference for masked face presentation attack detection | |
Perveen et al. | Facial expression recognition using facial characteristic points and Gini index | |
CN108520215A (zh) | 基于多尺度联合特征编码器的单样本人脸识别方法 | |
Ge et al. | Adaboost algorithm based on MB-LBP features with skin color segmentation for face detection | |
Rajani et al. | Stacking with auxiliary features for visual question answering | |
CN111222447A (zh) | 基于神经网络及多通道融合lbp特征的活体检测方法 | |
CN111797936B (zh) | 基于显著性检测和多层次特征融合的图像情感分类方法及装置 | |
KR20210151773A (ko) | 대상 재인식 방법 및 장치, 단말 및 저장 매체 | |
CN103544478A (zh) | 一种全方位人脸检测的方法及*** | |
CN114155491A (zh) | 一种基于ais数据的船舶行为识别方法及*** | |
Yang et al. | Combining YOLOV3-tiny model with dropblock for tiny-face detection | |
CN106203373A (zh) | 一种基于深度视觉词袋模型的人脸活体检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |