CN111616718A - 基于姿态特征的驾驶员疲劳状态检测方法和*** - Google Patents

基于姿态特征的驾驶员疲劳状态检测方法和*** Download PDF

Info

Publication number
CN111616718A
CN111616718A CN202010747876.8A CN202010747876A CN111616718A CN 111616718 A CN111616718 A CN 111616718A CN 202010747876 A CN202010747876 A CN 202010747876A CN 111616718 A CN111616718 A CN 111616718A
Authority
CN
China
Prior art keywords
state
fatigue
judging
driver
head
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010747876.8A
Other languages
English (en)
Other versions
CN111616718B (zh
Inventor
张伟
张迎午
赵君兰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Tsingtech Microvision Electronic Technology Co ltd
Original Assignee
Suzhou Tsingtech Microvision Electronic Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Tsingtech Microvision Electronic Technology Co ltd filed Critical Suzhou Tsingtech Microvision Electronic Technology Co ltd
Priority to CN202010747876.8A priority Critical patent/CN111616718B/zh
Publication of CN111616718A publication Critical patent/CN111616718A/zh
Application granted granted Critical
Publication of CN111616718B publication Critical patent/CN111616718B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20—Workers
    • A61B2503/22—Motor vehicles operators, e.g. drivers, pilots, captains

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Physiology (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Evolutionary Computation (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明公开了一种基于姿态特征的驾驶员疲劳状态检测方法，包括：通过第一疲劳检测算法判断驾驶员驾驶状态；若第一疲劳检测算法判断驾驶状态为疲劳状态时，触发第二疲劳检测算法，否则，判断驾驶状态为清醒状态；所述第二疲劳检测算法的处理包括：提取采集图像的姿态特征，所述姿态特征包括头部姿态特征和骨架姿态特征；根据头部姿态特征判断头部状态，若头部状态为运动状态，判断驾驶状态为清醒状态；否则，根据骨架姿态特征判断身体状态，若身体状态为运动状态，判断驾驶状态为清醒状态，否则判断驾驶状态为疲劳状态。对驾驶员疲劳状态进行多重识别，基于驾驶员姿态特征进行二次甄别，大大降低了误检率，提高了驾驶员疲劳状态判断准确率。

Description

基于姿态特征的驾驶员疲劳状态检测方法和***
技术领域
本发明涉及图像处理及安全驾驶技术领域，具体地涉及一种基于姿态特征的驾驶员疲劳状态检测方法和***。
背景技术
驾驶人疲劳状态的检测目前有较多研究的方法，按检测的类别可大致分为基于驾驶人生理信号的检测、基于驾驶人操作行为的检测、基于车辆状态信息的检测和基于驾驶人生理反应特征的检测等方法。其中，基于驾驶人生理反应特征的检测方法，为非接触式检测，检测过程中不会对驾驶人的正常驾驶行为产生干扰，也不会受驾驶人个人驾驶习惯干扰，已经成为国内外研究的热点。目前的疲劳检测多以表情识别为主，但在实际应用过程中，受摄像头安置位置、驾驶员个体差异、环境光照等因素影响，会对眼睑开合度、眨眼频率等细微的表情特征的识别会产生干扰，影响疲劳检测算法的准确率。特别是普通疲劳检测算法误检率高这一问题，直接导致疲劳检测设备经常发出错误报警信息，大大降低了驾乘人员的使用体验，影响了主动安全驾驶设备的普及应用。
中国专利文献CN 108460345 A公开了一种基于人脸关键点定位的面部疲劳检测方法，先提取单位时间内驾驶员驾驶时包含整个面部表情的视频流，再对视频流中的每一帧图像进行处理，通过每一帧图像中人脸关键点来判断每一帧图像中是否存在眼睛闭合或嘴部张开过大等情况，最后利用PECLOS方法来检测单位时间内视频流中出现眼睛闭合或嘴部张开过大的次数，从而判断驾驶员是否出现疲劳驾驶。该方法对眼睑开合度、眨眼频率等细微的表情特征进行识别，算法的误检率高。
发明内容
为了解决现有驾驶员疲劳状态识别存在的误检率高的技术问题，本发明提出了一种基于姿态特征的驾驶员疲劳状态检测方法和***，对驾驶员疲劳状态进行多重识别，基于驾驶员姿态特征进行二次甄别，大大降低了误检率，提高了驾驶员疲劳状态判断准确率。
本发明所采用的技术方案是：
一种基于姿态特征的驾驶员疲劳状态检测方法，包括以下步骤：
S01：通过第一疲劳检测算法判断驾驶员驾驶状态；
S02：若第一疲劳检测算法判断驾驶状态为疲劳状态时，触发第二疲劳检测算法，否则，判断驾驶状态为清醒状态；
所述第二疲劳检测算法的处理方法包括：
S21：提取采集图像的姿态特征，所述姿态特征包括头部姿态特征和骨架姿态特征；
S22：根据头部姿态特征判断头部状态，若头部状态为运动状态，判断驾驶状态为清醒状态；否则，根据骨架姿态特征判断身体状态，若身体状态为运动状态，判断驾驶状态为清醒状态，否则判断驾驶状态为疲劳状态；
所述根据头部姿态特征判断头部状态的方法包括：
获取关键点坐标；
统计连续多帧图像，计算头部姿态特征的各关键点的横坐标方差之和与纵坐标方差之和的总方差，并与设定第一阈值比较，若大于第一阈值，判断头部状态为运动状态；
根据骨架姿态特征判断身体状态的方法包括：
计算骨架姿态特征的各关键点的横坐标方差之和与纵坐标方差之和的总方差，并与设定方差阈值比较，若大于方差阈值，判断身体状态为运动状态。
优选的技术方案中，所述步骤S21还包括：通过标注驾驶员上半身关键点，训练得到驾驶员上半身姿态估计模型，通过训练得到的驾驶员上半身姿态估计模型对采集图像进行检测，检测驾驶员的上半身关键点，获取头部关键点组成头部姿态特征，获取骨架关键点组成骨架姿态特征。
优选的技术方案中，所述上半身关键点包括：脖子、右肩、右肘、右手腕、左肩、左肘、左手腕、右耳、右眼、左眼、左耳、鼻子共12个人体关键点。
优选的技术方案中，所述头部姿态特征包括的关键点为：右耳、右眼、左眼、左耳、鼻子和脖子，所述骨架姿态特征包括的关键点为：脖子、右肩、右肘、右手腕、左肩、左肘、左手腕。
优选的技术方案中，所述方差阈值包括第二阈值和第三阈值，所述第三阈值大于第二阈值，当骨架姿态特征的各关键点的横坐标方差之和与纵坐标方差之和的总方差小于第二阈值时，判断为静止状态，当骨架姿态特征的各关键点的横坐标方差之和与纵坐标方差之和的总方差大于第三阈值时，判断为运动状态，否则，判断为晃动状态。
优选的技术方案中，若判断为晃动状态，第二疲劳检测算法输出第二疲劳度值，将第一疲劳检测算法得到的第一疲劳度值与第二疲劳度值进行融合，得到融合疲劳度。
本发明还公开了一种基于姿态特征的驾驶员疲劳状态检测***，包括：
第一疲劳检测模块：通过第一疲劳检测算法判断驾驶员驾驶状态；
处理模块：若第一疲劳检测算法判断驾驶状态为疲劳状态时，触发第二疲劳检测算法，否则，判断驾驶状态为清醒状态；
所述第二疲劳检测算法设置于第二疲劳检测模块中，所述第二疲劳检测算法包括：
提取模块：用于提取图像采集模块采集的图像的姿态特征，所述姿态特征包括头部姿态特征和骨架姿态特征；
驾驶状态甄别模块：根据头部姿态特征判断头部状态，若头部状态为运动状态，判断驾驶状态为清醒状态；否则，根据骨架姿态特征判断身体状态，若身体状态为运动状态，判断驾驶状态为清醒状态，否则判断驾驶状态为疲劳状态；所述根据头部姿态特征判断头部状态的方法包括：
获取关键点坐标；
统计连续多帧图像，计算头部姿态特征的各关键点的横坐标方差之和与纵坐标方差之和的总方差，并与设定第一阈值比较，若大于第一阈值，判断头部状态为运动状态；
根据骨架姿态特征判断身体状态的方法包括：
计算骨架姿态特征的各关键点的横坐标方差之和与纵坐标方差之和的总方差，并与设定方差阈值比较，若大于方差阈值，判断身体状态为运动状态。
优选的技术方案中，所述提取模块还包括：通过标注驾驶员上半身关键点，训练得到驾驶员上半身姿态估计模型，通过训练得到的驾驶员上半身姿态估计模型对采集图像进行检测，检测驾驶员的上半身关键点，获取头部关键点组成头部姿态特征，获取骨架关键点组成骨架姿态特征。
与现有技术相比，本发明的有益效果是：
1、本发明基于姿态特征对驾驶员疲劳状态进行二次甄别，主动发现清醒特征明显的情况，并基于判断结果修正驾驶员疲劳状态，降低误检率，提高驾驶员疲劳状态判断精度。
2、通过降低误检率，最大限度地降低疲劳预警产品对驾乘人员的预警干扰，提升产品使用体验，推动产品的普及应用。
附图说明
下面结合附图及实施例对本发明作进一步描述：
图1为基于姿态特征的驾驶员疲劳状态检测***的原理图；
图2为基于姿态特征的驾驶员疲劳状态检测方法的流程图；
图3为基于姿态特征的驾驶员疲劳状态检测方法的工作流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
实施例
如图1所示，本发明公开了一种基于姿态特征的驾驶员疲劳状态检测***，包括：
第一疲劳检测模块：通过第一疲劳检测算法判断驾驶员驾驶状态；
处理模块：若第一疲劳检测算法判断驾驶状态为疲劳状态时，触发第二疲劳检测算法，否则，判断驾驶状态为清醒状态；
所述第二疲劳检测算法设置于第二疲劳检测模块中，所述第二疲劳检测算法包括：
提取模块：用于提取图像采集模块采集的图像的姿态特征，所述姿态特征包括头部姿态特征和骨架姿态特征；
驾驶状态甄别模块：根据头部姿态特征判断头部状态，若头部状态为运动状态，判断驾驶状态为清醒状态；否则，根据骨架姿态特征判断身体状态，若身体状态为运动状态，判断驾驶状态为清醒状态，否则判断驾驶状态为疲劳状态。
本发明提出一种基于姿态特征来降低驾驶员疲劳识别误检率的方法，引入姿态特征这一概念来对驾驶员疲劳状态进行二次甄别，即驾驶员的疲劳状态是基于驾驶员的面部表情特征和姿态特征两种特征共同判断得出的结论。
如图2所示，本发明的一种基于姿态特征的驾驶员疲劳状态检测方法，包括以下步骤：
S01：通过第一疲劳检测算法判断驾驶员驾驶状态；
S02：若第一疲劳检测算法判断驾驶状态为疲劳状态时，触发第二疲劳检测算法，否则，判断驾驶状态为清醒状态；
所述第二疲劳检测算法的处理方法包括：
S21：提取采集图像的姿态特征，所述姿态特征包括头部姿态特征和骨架姿态特征；通过标注驾驶员上半身关键点，训练得到驾驶员上半身姿态估计模型，通过训练得到的驾驶员上半身姿态估计模型对采集图像进行检测，检测驾驶员的上半身关键点，获取头部关键点组成头部姿态特征，获取骨架关键点组成骨架姿态特征；
S22：根据头部姿态特征判断头部状态，若头部状态为运动状态，判断驾驶状态为清醒状态；否则，根据骨架姿态特征判断身体状态，若身体状态为运动状态，判断驾驶状态为清醒状态，否则判断驾驶状态为疲劳状态。
这里的第一疲劳检测算法可以为基于驾驶人生理信号的检测算法、基于驾驶人操作行为的检测算法、基于车辆状态信息的检测算法和基于驾驶人生理反应特征的检测方法中的一种。本实施例中以目前市面上主流的基于驾驶员面部表情特征的疲劳检测算法为例进行说明。
具体的判断流程，如图3所示，首先，利用车载前置摄像头采集驾驶员面部表情图像，通过机器视觉算法对图像特征进行提取分析；例如，可以通过基于深度卷积神经网络对采集的表情图像进行检测分析。
其中，基于面部表情特征对驾驶员疲劳状态进行判断，主要是基于眼睑开合度特征、眨眼频率特征、嘴部特征（闭合、说话、打哈欠等）等进行判断。
例如，以某驾驶员的状态识别情况为例，通过面部表情特征识别，发现该司机存在眼睑开合度低、频繁眨眼以及打哈欠等疲劳特征。基于面部表情特征，结合各疲劳特征与疲劳度的关系，对其疲劳状态进行判断，其中，通过统计方法计算得出眼睑开合度低对应的疲劳度
Figure 327958DEST_PATH_IMAGE001
，对应的权重
Figure 510414DEST_PATH_IMAGE002
，眨眼频繁对应的疲劳度
Figure 79762DEST_PATH_IMAGE003
，对应的权重
Figure 226578DEST_PATH_IMAGE004
，打哈欠对应的疲劳度
Figure 973079DEST_PATH_IMAGE005
，对应的权重
Figure 346292DEST_PATH_IMAGE006
。驾驶员综合疲劳度计算公式为p=
Figure 364670DEST_PATH_IMAGE007
，最终得出该驾驶员最终疲劳度为0.94，如下表所示。
Figure DEST_PATH_IMAGE009AA
备注：各疲劳特征对于驾驶员疲劳度的影响互相独立
基于驾驶员面部表情特征的疲劳检测算法可以判断驾驶员的驾驶状态，驾驶员驾驶状态包括清醒、疲劳以及分神等等。
当驾驶员被判断处于疲劳驾驶状态，触发基于姿态特征的驾驶员疲劳状态二次甄别程序，主要是基于头部姿态、骨架姿态等对驾驶员疲劳状态进行重新判断。基于头部姿态和骨架特征方法通过标注驾驶员图像的上半身，包含脖子、右肩、右肘、右手腕、左肩、左肘、左手腕、右耳、右眼、左眼、左耳、鼻子共12个人体关键点，使用卷积神经网络技术训练驾驶员上半身姿态估计模型，从而识别驾驶员上半身姿态。本发明设计驾驶员头部姿态特征点数组
Figure 834835DEST_PATH_IMAGE010
和骨架姿态特征点数组
Figure 486658DEST_PATH_IMAGE011
，其中
Figure 816008DEST_PATH_IMAGE010
由右耳、右眼、左眼、左耳、鼻子和脖子六个关键点组成，
Figure 342804DEST_PATH_IMAGE011
由脖子、右肩、右肘、右手腕、左肩、左肘、左手腕共七个关键点组成。本发明将
Figure 808421DEST_PATH_IMAGE010
包含的六个关键点坐标记为
Figure 102917DEST_PATH_IMAGE012
，其中
Figure 778618DEST_PATH_IMAGE013
，
Figure 46788DEST_PATH_IMAGE014
为连续图片帧序号，计算每个关键点在N帧连续帧序列的横坐标方差之和
Figure 461851DEST_PATH_IMAGE015
和纵坐标方差之和
Figure 422854DEST_PATH_IMAGE016
。计算头部姿态坐标总方差
Figure 461217DEST_PATH_IMAGE017
，通过设置方差阈值
Figure 625089DEST_PATH_IMAGE018
,当
Figure 658773DEST_PATH_IMAGE019
，则表明驾驶员头部处于运动状态，直接判断驾驶员处于清醒状态；否则，判断驾驶员为疲劳状态，进一步进行骨架姿态判断，将
Figure 620038DEST_PATH_IMAGE011
包含的七个关键点坐标记为
Figure 786444DEST_PATH_IMAGE012
，其中
Figure 927575DEST_PATH_IMAGE020
，
Figure 487870DEST_PATH_IMAGE014
为连续图片帧序号，计算每个关键点在N帧连续帧序列的横坐标方差之和
Figure 416774DEST_PATH_IMAGE021
和纵坐标方差之和
Figure 695308DEST_PATH_IMAGE022
。计算骨架姿态坐标总方差
Figure 640131DEST_PATH_IMAGE023
，与设定方差阈值比较，若大于方差阈值，判断身体状态为运动状态，判断驾驶员处于清醒状态。
在一较佳的实施例中，可以设置两个方差阈值，设置方差阈值
Figure 819046DEST_PATH_IMAGE024
和
Figure 823911DEST_PATH_IMAGE025
，
Figure 386479DEST_PATH_IMAGE024
和
Figure 229933DEST_PATH_IMAGE025
可以根据实验数据得到，当
Figure 499240DEST_PATH_IMAGE026
，则判定驾驶员身体处于轻微晃动状态，基于姿态特征的疲劳检测算法输出第二疲劳度值b，例如b=0.5，将基于驾驶员面部表情特征的疲劳检测算法得到的第一疲劳度值a与第二疲劳度值b进行融合，得到综合疲劳度p，例如第一疲劳度值为0.94，则综合疲劳度p=0.94*0.5。
当
Figure 878269DEST_PATH_IMAGE027
，则判定驾驶员身体处于运动状态，判断驾驶员处于清醒状态。
该方法计算量小，可以快速检测驾驶员头部和骨架的运动状态，检测准确度较高。
以上述驾驶员为例，通过姿态特征识别，发现其存在头部左右频繁转动、骨架随头部运动轻微晃动的特征，显示该驾驶员处于清醒状态。当驾驶员面部表情判定为疲劳状态时，则判断其头部姿态，当判定驾驶员头部处于运动状态时，则认为驾驶员处于清醒状态，当驾驶员头部处于静止状态时，将判断驾驶员的骨架姿态，当骨架处于运动状态，则认为驾驶员处于清醒状态，否则，判定驾驶员处于疲劳状态。
由于基于姿态特征可以检测一些动作简单且明显的特征，如头部左右移动、身体频繁晃动等，检测准确度较高。由于该结论可信度高于基于面部表情的判断结果，通过结合面部疲劳特征，可以有效的提高疲劳***的准确率，降低面部疲劳误报。如果面部疲劳算法判定为疲劳状态，当头部和肢体姿态识别该驾驶员处于为静止状态，则判定该驾驶员处于疲劳状态。当头部和肢体姿态识别该驾驶员处于运动状态，则判定该驾驶员处于清醒状态，对基于面部表情的疲劳判断具有很好的辅助功能，所以一旦检测到清醒特征，即可判断司机处于清醒状态。
可以进一步根据等等的综合疲劳度划分驾驶员疲劳等级，例如轻度疲劳、中度疲劳和重度疲劳。
对于该驾驶员而言，虽然基于面部表情特征判断该驾驶员综合疲劳度0.94，处于严重疲劳状态；但该驾驶员存在头部左右频繁转动、骨架随头部运动轻微晃动的特征，该特征明显表明司机处于清醒状态，故需要对基于表情特征分析得到的驾驶员疲劳驾驶状态进行重新判定。疲劳驾驶判断模块根据上述分析结果，最终判定该驾驶员当前处于清醒状态。
应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (8)

1.一种基于姿态特征的驾驶员疲劳状态检测方法，其特征在于，包括以下步骤：
S01：通过第一疲劳检测算法判断驾驶员驾驶状态；
S02：若第一疲劳检测算法判断驾驶状态为疲劳状态时，触发第二疲劳检测算法，否则，判断驾驶状态为清醒状态；
所述第二疲劳检测算法的处理方法包括：
S21：提取采集图像的姿态特征，所述姿态特征包括头部姿态特征和骨架姿态特征；
S22：根据头部姿态特征判断头部状态，若头部状态为运动状态，判断驾驶状态为清醒状态；否则，根据骨架姿态特征判断身体状态，若身体状态为运动状态，判断驾驶状态为清醒状态，否则判断驾驶状态为疲劳状态；
所述根据头部姿态特征判断头部状态的方法包括：
获取关键点坐标；
统计连续多帧图像，计算头部姿态特征的各关键点的横坐标方差之和与纵坐标方差之和的总方差，并与设定第一阈值比较，若大于第一阈值，判断头部状态为运动状态；
所述根据骨架姿态特征判断身体状态的方法包括：
计算骨架姿态特征的各关键点的横坐标方差之和与纵坐标方差之和的总方差，并与设定方差阈值比较，若大于方差阈值，判断身体状态为运动状态。
2.根据权利要求1所述的基于姿态特征的驾驶员疲劳状态检测方法，其特征在于，所述步骤S21还包括：通过标注驾驶员上半身关键点，训练得到驾驶员上半身姿态估计模型，通过训练得到的驾驶员上半身姿态估计模型对采集图像进行检测，检测驾驶员的上半身关键点，获取头部关键点组成头部姿态特征，获取骨架关键点组成骨架姿态特征。
3.根据权利要求2所述的基于姿态特征的驾驶员疲劳状态检测方法，其特征在于，所述上半身关键点包括：脖子、右肩、右肘、右手腕、左肩、左肘、左手腕、右耳、右眼、左眼、左耳、鼻子共12个人体关键点。
4.根据权利要求3所述的基于姿态特征的驾驶员疲劳状态检测方法，其特征在于，所述头部姿态特征包括的关键点为：右耳、右眼、左眼、左耳、鼻子和脖子，所述骨架姿态特征包括的关键点为：脖子、右肩、右肘、右手腕、左肩、左肘、左手腕。
5.根据权利要求1所述的基于姿态特征的驾驶员疲劳状态检测方法，其特征在于，所述方差阈值包括第二阈值和第三阈值，所述第三阈值大于第二阈值，当骨架姿态特征的各关键点的横坐标方差之和与纵坐标方差之和的总方差小于第二阈值时，判断为静止状态，当骨架姿态特征的各关键点的横坐标方差之和与纵坐标方差之和的总方差大于第三阈值时，判断为运动状态，否则，判断为晃动状态。
6.根据权利要求5所述的基于姿态特征的驾驶员疲劳状态检测方法，其特征在于，若判断为晃动状态，第二疲劳检测算法输出第二疲劳度值，将第一疲劳检测算法得到的第一疲劳度值与第二疲劳度值进行融合，得到融合疲劳度。
7.一种基于姿态特征的驾驶员疲劳状态检测***，其特征在于，包括：
第一疲劳检测模块：通过第一疲劳检测算法判断驾驶员驾驶状态；
处理模块：若第一疲劳检测算法判断驾驶状态为疲劳状态时，触发第二疲劳检测算法，否则，判断驾驶状态为清醒状态；
所述第二疲劳检测算法设置于第二疲劳检测模块中，所述第二疲劳检测算法包括：
提取模块：用于提取图像采集模块采集的图像的姿态特征，所述姿态特征包括头部姿态特征和骨架姿态特征；
驾驶状态甄别模块：根据头部姿态特征判断头部状态，若头部状态为运动状态，判断驾驶状态为清醒状态；否则，根据骨架姿态特征判断身体状态，若身体状态为运动状态，判断驾驶状态为清醒状态，否则判断驾驶状态为疲劳状态；所述根据头部姿态特征判断头部状态的方法包括：
获取关键点坐标；
统计连续多帧图像，计算头部姿态特征的各关键点的横坐标方差之和与纵坐标方差之和的总方差，并与设定第一阈值比较，若大于第一阈值，判断头部状态为运动状态；
所述根据骨架姿态特征判断身体状态的方法包括：
计算骨架姿态特征的各关键点的横坐标方差之和与纵坐标方差之和的总方差，并与设定方差阈值比较，若大于方差阈值，判断身体状态为运动状态。
8.根据权利要求7所述的基于姿态特征的驾驶员疲劳状态检测***，其特征在于，所述提取模块还包括：通过标注驾驶员上半身关键点，训练得到驾驶员上半身姿态估计模型，通过训练得到的驾驶员上半身姿态估计模型对采集图像进行检测，检测驾驶员的上半身关键点，获取头部关键点组成头部姿态特征，获取骨架关键点组成骨架姿态特征。
CN202010747876.8A 2020-07-30 2020-07-30 基于姿态特征的驾驶员疲劳状态检测方法和*** Active CN111616718B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010747876.8A CN111616718B (zh) 2020-07-30 2020-07-30 基于姿态特征的驾驶员疲劳状态检测方法和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010747876.8A CN111616718B (zh) 2020-07-30 2020-07-30 基于姿态特征的驾驶员疲劳状态检测方法和***

Publications (2)

Publication Number Publication Date
CN111616718A true CN111616718A (zh) 2020-09-04
CN111616718B CN111616718B (zh) 2020-11-10

Family

ID=72267835

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010747876.8A Active CN111616718B (zh) 2020-07-30 2020-07-30 基于姿态特征的驾驶员疲劳状态检测方法和***

Country Status (1)

Country Link
CN (1) CN111616718B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112668548A (zh) * 2021-01-15 2021-04-16 重庆大学 一种驾驶员发呆检测方法及***
CN113642522A (zh) * 2021-09-01 2021-11-12 中国科学院自动化研究所 基于音视频的疲劳状态检测方法和装置
CN114220158A (zh) * 2022-02-18 2022-03-22 电子科技大学长三角研究院(湖州) 基于深度学习的疲劳驾驶检测方法
CN115565159A (zh) * 2022-09-28 2023-01-03 华中科技大学 一种疲劳驾驶检测模型的构建方法及应用
CN117237706A (zh) * 2023-08-30 2023-12-15 湖北能源集团汉江能源发展有限公司 基于姿态特征的施工人员重度疲劳检测方法
GB2621863A (en) * 2022-08-25 2024-02-28 Continental Automotive Tech Gmbh Pose classification and in-cabin monitoring methods and associated systems

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202472863U (zh) * 2010-12-31 2012-10-03 北京星河易达科技有限公司 基于图像信息综合评判的驾驶员疲劳监测网络***
CN104794855A (zh) * 2014-01-22 2015-07-22 径卫视觉科技（上海）有限公司 驾驶员注意力综合评估装置
CN106408877A (zh) * 2016-11-17 2017-02-15 西南交通大学 一种轨道交通驾驶员疲劳状态监测方法
CN109367479A (zh) * 2018-08-31 2019-02-22 南京理工大学 一种疲劳驾驶监测方法及装置
CN110096957A (zh) * 2019-03-27 2019-08-06 苏州清研微视电子科技有限公司 基于面部识别和行为识别融合的疲劳驾驶监测方法和***
CN110334600A (zh) * 2019-06-03 2019-10-15 武汉工程大学 一种多特征融合驾驶员异常表情识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202472863U (zh) * 2010-12-31 2012-10-03 北京星河易达科技有限公司 基于图像信息综合评判的驾驶员疲劳监测网络***
CN104794855A (zh) * 2014-01-22 2015-07-22 径卫视觉科技（上海）有限公司 驾驶员注意力综合评估装置
CN106408877A (zh) * 2016-11-17 2017-02-15 西南交通大学 一种轨道交通驾驶员疲劳状态监测方法
CN109367479A (zh) * 2018-08-31 2019-02-22 南京理工大学 一种疲劳驾驶监测方法及装置
CN110096957A (zh) * 2019-03-27 2019-08-06 苏州清研微视电子科技有限公司 基于面部识别和行为识别融合的疲劳驾驶监测方法和***
CN110334600A (zh) * 2019-06-03 2019-10-15 武汉工程大学 一种多特征融合驾驶员异常表情识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MUHAMMAD JAFAR ALI 等: "A Non Intrusive Human Fatigue Monitoring System", 《INTERNATIONAL JOURNAL OF FUTURE COMPUTER AND COMMUNICATION》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112668548A (zh) * 2021-01-15 2021-04-16 重庆大学 一种驾驶员发呆检测方法及***
CN113642522A (zh) * 2021-09-01 2021-11-12 中国科学院自动化研究所 基于音视频的疲劳状态检测方法和装置
CN114220158A (zh) * 2022-02-18 2022-03-22 电子科技大学长三角研究院(湖州) 基于深度学习的疲劳驾驶检测方法
GB2621863A (en) * 2022-08-25 2024-02-28 Continental Automotive Tech Gmbh Pose classification and in-cabin monitoring methods and associated systems
CN115565159A (zh) * 2022-09-28 2023-01-03 华中科技大学 一种疲劳驾驶检测模型的构建方法及应用
CN115565159B (zh) * 2022-09-28 2023-03-28 华中科技大学 一种疲劳驾驶检测模型的构建方法及应用
CN117237706A (zh) * 2023-08-30 2023-12-15 湖北能源集团汉江能源发展有限公司 基于姿态特征的施工人员重度疲劳检测方法

Also Published As

Publication number Publication date
CN111616718B (zh) 2020-11-10

Similar Documents

Publication Publication Date Title
CN111616718B (zh) 基于姿态特征的驾驶员疲劳状态检测方法和***
Mbouna et al. Visual analysis of eye state and head pose for driver alertness monitoring
CN112434611B (zh) 基于眼部运动细微特征的早期疲劳检测方法及***
CN101593425B (zh) 一种基于机器视觉的疲劳驾驶监控方法及***
CN110399767A (zh) 车内人员危险动作识别方法和装置、电子设备、存储介质
US7620216B2 (en) Method of tracking a human eye in a video image
CN105286802B (zh) 基于视频信息的驾驶员疲劳检测方法
CN106846734A (zh) 一种疲劳驾驶检测装置及方法
CN109145852B (zh) 一种基于眼睛睁闭状态的驾驶员疲劳状态识别方法
CN111179552A (zh) 基于多传感器融合的驾驶员状态监测方法和***
Celona et al. A multi-task CNN framework for driver face monitoring
CN111460950A (zh) 自然驾驶通话行为中基于头-眼证据融合的认知分心方法
CN113536967B (zh) 基于驾驶员头部运动姿态与人眼开合度的驾驶员状态辨识方法、装置、电子设备
Nakamura et al. Detection of driver's drowsy facial expression
Nakamura et al. Driver drowsiness estimation from facial expression features computer vision feature investigation using a CG model
CN115937830A (zh) 一种面向特种车辆的驾驶员疲劳检测方法
JP5292671B2 (ja) 覚醒度推定装置及びシステム並びに方法
Khan et al. Efficient Car Alarming System for Fatigue Detectionduring Driving
Yarlagadda et al. Driver drowsiness detection using facial parameters and rnns with lstm
CN114821753A (zh) 一种基于视觉图像信息的眼动交互***
Mašanović et al. Driver monitoring using the in-vehicle camera
Reddy et al. Soft Computing Techniques for Driver Alertness
CN114998874A (zh) 一种基于深度学习的驾驶员异常行为检测方法
CN202875355U (zh) 驾驶员精神状态实时监测装置
Srivastava Driver's drowsiness identification using eye aspect ratio with adaptive thresholding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant