CN109191791A - 一种融合多特征的疲劳检测方法以及装置 - Google Patents

一种融合多特征的疲劳检测方法以及装置 Download PDF

Info

Publication number
CN109191791A
CN109191791A CN201811279068.2A CN201811279068A CN109191791A CN 109191791 A CN109191791 A CN 109191791A CN 201811279068 A CN201811279068 A CN 201811279068A CN 109191791 A CN109191791 A CN 109191791A
Authority
CN
China
Prior art keywords
state
facial image
target
fatigue
target facial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811279068.2A
Other languages
English (en)
Other versions
CN109191791B (zh
Inventor
杨子扬
苏松志
张翔
刘晓程
蔡国榕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ropt (xiamen) Technology Group Co Ltd
Original Assignee
Ropt (xiamen) Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ropt (xiamen) Technology Group Co Ltd filed Critical Ropt (xiamen) Technology Group Co Ltd
Priority to CN201811279068.2A priority Critical patent/CN109191791B/zh
Publication of CN109191791A publication Critical patent/CN109191791A/zh
Application granted granted Critical
Publication of CN109191791B publication Critical patent/CN109191791B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/06Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/165Detection; Localisation; Normalisation using facial parts and geometric relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geometry (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种融合多特征的疲劳检测方法以及装置,涉及图像检测领域。其中,该方法包括:获取一定时间周期T内不同时刻的目标人脸图像;检测所述目标人脸图像的特征点;根据所述特征点,确定所述目标人脸图像的目标状态;基于分层隐马尔可夫模型HMM,根据所述目标状态预测出所述目标人脸图像所对应的目标人脸的精神状态。本发明不仅考虑人员的眼部特征,还考虑人员嘴巴特征,能够更加准确地检测人员的疲劳状态。

Description

一种融合多特征的疲劳检测方法以及装置
技术领域
本发明涉及图像检测领域,特别涉及一种融合人员面部多特征的疲劳检测方法。
背景技术
在很多工作场合,工作人员的疲劳状态会给自身或他人带来不可估量的损害,比如疲劳驾驶,另外,特别是近年来随着经济的不断发展,科技水平的不断提高,人民生活水平也相应发生了翻天覆地的变化,对电力的依赖也越来越大。所以维护电力行业安全生产、电网安全运行,确保可靠的电力供应是关系到人身安危、国家财产安全和电力行业自身稳定和发展的头等大事。在城市发展迅速的今天,电力行业安全、稳定运行,事关各行各业以及国民经济发展和人民群众的根本利益。
因此,保证工作人员在工作状态中保持清醒,对避免安全隐患对人民财产和生命安全造成重大危害,对保证安全稳定工作状态有着积极的重要意义。而现有技术中通常仅考虑眼睛的特征来对人员的疲劳状态进行判定,存在过于单一化、不够准确的缺点。
发明内容
为了克服如上所述的技术问题,本发明提出一种融合多特征的疲劳检测方法以及装置,不仅考虑人员的眼部特征,还考虑人员嘴巴特征,能够更加准确地检测人员的疲劳状态。本发明的技术方案如下:
第一方面,本发明提出一种融合多特征的疲劳检测方法,包括:
获取一定时间周期T内不同时刻的目标人脸图像;
检测所述目标人脸图像的特征点;
根据所述特征点,确定所述目标人脸图像的目标状态;
根据所述目标状态预测出所述目标人脸图像所对应的目标人脸的精神状态。
进一步地,基于分层隐马尔可夫模型HMM,根据所述目标状态预测出所述目标人脸图像所对应的目标人脸的精神状态,具体步骤包括:
将所述目标状态作为观测数据序列,通过第一层HMM模型,预测出所述目标人脸的目标动作状态序列;
将所述目标动作状态序列作为观测状态序列,通过第二层HMM模型,预测出所述目标人脸的精神状态序列;
统计所述目标人脸的精神状态序列中精神状态为疲劳的个数;
当疲劳的个数超过预设阈值时,则判定所述目标人脸为疲劳状态,反之,则判定所述目标人脸为非疲劳状态。
进一步地,根据所述特征点估计出所述目标人脸图像的姿态角;
判定所述姿态角是否满足人脸正常状态姿态角范围,若满足,则需要确定所述目标人脸图像的目标状态,若不满足,则不需要确定所述目标人脸图像的目标状态。
第二方面,本发明提出一种融合多特征的疲劳检测装置,包括存储器和处理器,所述存储器存储有至少一段程序,所述至少一段程序由所述处理器执行以实现如第一方面所述的融合多特征的疲劳检测方法。
第三方面,本发明提出一种计算机可读存储介质,所述存储介质中存储有至少一段程序,所述至少一段程序由所述处理器执行以实现如第一方面所述的融合多特征的疲劳检测方法。
本发明提供的技术方案带来的有益效果是:
本发明首先通过摄像头获取一定时间周期T内不同时刻的目标人脸图像,也就是获取在一段连续时间内的不同帧的待测人员脸部的图像;然后检测所述待测人员脸部图像的特征点,这里的特征点应至少包括人眼轮廓线上的特征点和嘴唇内外轮廓线上的特征点;根据所述特征点,可以计算眼睛横纵比和嘴唇横纵比,根据所述的眼睛横纵比和嘴唇横纵比的值是否满足疲劳判定条件,可以确定所述目标人脸图像的目标状态,这里的目标状态可以是眼睛状态或嘴巴状态;最后基于分层隐马尔可夫模型HMM,根据所述目标状态预测出所述目标人脸图像所对应的目标人脸的精神状态,即给出是否疲劳的检测结果。因此,本发明的技术方案所提出的多特征融合的疲劳检测方法克服了现有技术疲劳检测单一性的缺点,能够更加准确地检测人员的疲劳状态。
附图说明
图1所示为本发明公开的一种融合多特征的疲劳检测方法流程图;
图2为本发明中一种人脸特征点检测结果示意图;
图3所示为本发明公开的一种人脸的姿态角估计情况示意图;
图4示出了一种根据人脸特征点确定目标人脸图像的目标状态方法的流程图;
图5示出了另一种根据人脸特征点确定目标人脸图像的目标状态方法的流程图;
图6所示为本发明中眼睛轮廓线的6个特征点示意图;
图7所示为本发明中嘴唇内外轮廓线的12个特征点示意图;
图8所示为本发明采用分层隐马尔可夫模型预测目标人脸的精神状态的一种流程示意图;
图9示出了本发明实施例所涉及的一种融合多特征的疲劳检测装置结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方案作进一步地详细描述。
如图1所示为本发明公开的一种融合多特征的疲劳检测方法流程图,示出了该方法的具体实施步骤,包括:
在步骤101中,获取一定时间周期T内不同时刻的目标人脸图像;
容易理解的是,眼睛和嘴巴是人脸生物特征识别中重要的组成部分,眼与嘴的位置信息和状态信息对工作人员,如电厂监控室人员的疲劳检测具有重要的意义。所以为了检测人员的疲劳状态,本步骤首先需要获取目标人脸图像,也就是获取当前待检测人员的脸部图像。
需要说明的是,用于检测人员是否处于疲劳状态的图像应当是一段时间内的多帧图像,如果只考虑某一时刻的一张人脸图像就对人员的疲劳状态做出判定不够客观和准确的,这是因为人员的疲劳特征应至少持续一段连续的时间才能够说明人员确实处于疲劳中,不适合再工作,给出警示。
在一种可能的实现中,一定时间周期T为50帧。这个时间周期可根据实际情况进行调整,本发明并不以此为限。可以理解的是,采集的图像帧数越多,检测结果当然会更加准确,但是检测效率会比较低。
在步骤102中,检测所述目标人脸图像的特征点;
所述特征点包括人眼轮廓线上的特征点和嘴唇内外轮廓线上的特征点。
在一种可能的实际操作中,通过摄像头采集电厂监控室工作人员图像,并事先标定出相机的内参数和畸变系数;接着检测出人脸区域以及68个点的Landmark,如图2为本发明中一种人脸特征点检测结果示意图;根据Landmark定位出人眼区域(图2索引37-40,43-46)和嘴部区域(图2索引49-60);
在步骤103中,根据所述特征点,确定所述目标人脸图像的目标状态;
需要说明的是,本发明公开的目标状态可以是正常、闭眼、眯眼和张嘴中的一种,但并不以此为限。
需要说明的是,在一种可能的实现中,根据所述特征点,确定所述目标人脸图像的目标状态之前可以包括,根据所述特征点估计出所述目标人脸图像的姿态角。在一种可能的实际操作中,根据所述特征点的坐标结合事先标定出的摄像机的内参数和畸变系数,得到(世界坐标系到像平面坐标系的)旋转向量和平移向量,进而估计出人脸的姿态角。
如图3所示为本发明公开的一种人脸的姿态角估计情况示意图。判定所述姿态角是否满足人脸正常状态姿态角范围,若满足,则需要确定所述目标人脸图像的目标状态,若不满足,则不需要确定所述目标人脸图像的目标状态,这是因为目标人脸的姿态角如果不满足人脸正常状态姿态角范围,说明目标人脸可能处于异常姿态,那么所对应的当前人脸图像将不参与后续的疲劳状态监测判定过程。
上述的姿态角包括转动角、平动角和滚动角,所述人脸正常状态姿态角范围为:转动角为-30°~30°、平动角为-30°~30°以及滚动角为-30°~30°。通过在确定所述目标人脸图像的目标状态之前判断该图像的人脸是否处于异常状态,而进一步筛选出对于预测人脸疲劳状态真正有意义的图像,能够帮助提高最后检测结果的准确性。
在一种可能的实际操作中,对于预测人脸疲劳状态真正有意义的正常图像,根据所述特征点,确定所述目标人脸图像的目标状态包括以下步骤:
S1,根据所述人眼轮廓线上的特征点,确定眼睛横纵比;
S2,判定所述眼睛横纵比是否小于闭眼阈值,若小于闭眼阈值,则所述目标人脸图像的目标状态为闭眼,进入步骤S6,反之,进入步骤S3;
S3,判定所述眼睛横纵比是否小于眯眼阈值,若小于闭眼阈值,则所述目标人脸图像的目标状态为眯眼,进入步骤S6,反之,进入步骤S4;
S4,根据所述嘴唇内外轮廓线上的特征点,确定嘴唇横纵比;
S5,判定所述嘴唇横纵比是否大于张嘴阈值,若大于张嘴阈值,则所述目标人脸图像的目标状态为张嘴,进入步骤S6,反之,则所述目标人脸图像的目标状态为正常;
S6,结束。
在一种可能的实现中,如图6所示为本发明中眼睛轮廓线的6个特征点示意图,眼睛轮廓线的6个特征点依次为:p1-p6,眼睛横纵比EAR的计算公式如下:
在一种可能的实现中,如图7所示为本发明中嘴唇内外轮廓线的12个特征点示意图,嘴唇内外轮廓线12个特征点依次为p1-p12,嘴唇横纵比LAR的计算公式如下:
其中,alpha为嘴唇外轮廓的权重,beta为嘴唇内轮廓的权重,alpha+beta=1.0,优选的,alpha=0.3,beta=0.7。
容易理解的是,嘴唇内轮廓的权重一般是需要大于嘴唇外轮廓的权重,即对于嘴巴是否张开的判断,嘴唇内轮廓的特征更为重要,但具体各自权重的取值根据实际情况可以调整,本发明并不作限制。
在一种可能的实际操作中,图4示出了一种根据人脸特征点确定目标人脸图像的目标状态方法的流程图,示出了该方法的具体实施步骤,包括:
在步骤401中,获取目标人脸图像;
在步骤402中,姿态估计;
在步骤403中,判定姿态角是否正常,即满足人脸正常状态姿态角范围,若正常,则进入步骤404,反之,判断为异常图像,不再进行人脸目标状态的判定;
上述步骤401至403的作用为筛选出处于正常状态的人脸图像,进一步提高后续检测的准确性。
在步骤404中,计算EAR;
在步骤405中,判定EAR是否小于闭眼阈值,若小于,则判定人员目标状态为闭眼,反之,进入步骤406;
在步骤406中,判定EAR是否小于眯眼阈值,若小于,则判定人员目标状态为眯眼,反之,进入步骤406;
在步骤407中,计算LAR;
在步骤408中,判定LAR是否大于张嘴阈值,若大于,则判定人员目标状态为张嘴,反之,则判定人员目标状态为正常;
在步骤104中,根据所述目标状态预测出所述目标人脸图像所对应的目标人脸的精神状态。
图4所对应的实施例中,优先考虑眼睛横纵比,次要考虑嘴唇横纵比来确定所述目标人脸图像的目标状态。本发明还公开另一种优先考虑嘴唇横纵比,次要考虑眼睛横纵比的目标人脸图像的目标状态的确定方法。
在另外一种可能的实际操作中,图5示出了另一种根据人脸特征点确定目标人脸图像的目标状态方法的流程图,示出了该方法的具体实施步骤,包括:
在步骤501中,获取目标人脸图像;
在步骤502中,姿态估计;
在步骤503中,判定姿态角是否正常,即满足人脸正常状态姿态角范围,若正常,则进入步骤404,反之,判断为异常图像,不再进行人脸目标状态的判定;
需要说明的是,上述步骤501至步骤503对应图4中的步骤401至步骤403。
在步骤504中,计算LAR;
在步骤505中,判定LAR是否大于张嘴阈值,若大于,则判定人员目标状态为张嘴,反之,则进入步骤506;
在步骤506中,计算EAR;
在步骤507中,判定EAR是否小于闭眼阈值,若小于,则判定人员目标状态为闭眼,反之,进入步骤508;
在步骤508中,判定EAR是否小于眯眼阈值,若小于,则判定人员目标状态为眯眼,反之,则判定人员目标状态为正常;
需要说明的是,图4所对应的实施例中,优先考虑眼睛横纵比,次要考虑嘴唇横纵比来确定所述目标人脸图像的目标状态,相较于图5所对应的本发明公开另一种优先考虑嘴唇横纵比,次要考虑眼睛横纵比的目标人脸图像的目标状态的确定方法,优先考虑眼睛横纵比是一种优选的方式,易于理解,这是因为在表征人员疲劳时,眼睛疲劳是更有决定性作用的。
在步骤104中,基于分层隐马尔可夫模型HMM,根据所述目标状态预测出所述目标人脸图像所对应的目标人脸的精神状态。
所述根据所述目标状态预测出所述目标人脸图像所对应的目标人脸的精神状态,包括:
根据所述目标状态预测出所述目标人脸图像所对应的目标人脸的目标动作状态,其中,所述目标动作状态为工作、眨眼、睡觉、打哈欠和讲话中的一种;
根据所述目标动作状态预测出所述目标人脸图像所对应的目标人脸的精神状态,其中,所述精神状态为疲劳和非疲劳中的一种。
需要说明的是,本发明技术方案中所述的目标动作状态仅为一些较佳实施例,并不以此为限,根据具体情况还可以有其他选择。
在一种可能的实现中,如图8所示为采用分层隐马尔可夫模型预测目标人脸的精神状态的流程示意图,包括:将所述目标状态作为观测数据序列,通过第一层HMM模型,预测出所述目标人脸的目标动作状态序列;将所述目标动作状态序列作为观测状态序列,通过第二层HMM模型,预测出所述目标人脸的精神状态序列。
具体地,根据两层HMM(分层隐马尔可夫,LHMM)模型,设观测集合为步骤103中所述的四种情况,即人员的目标状态集合Os={正常,闭眼,眯眼,张嘴};设有两层不可观测的隐藏状态集合,分别为动作语义,即目标动作状态集合Vs={工作,眨眼,睡觉,打哈欠,讲话}和人员精神状态集合Is={疲劳,非疲劳},其中目标动作状态集合Vs为第一层隐藏状态,精神状态集合Is为第二层隐藏状态。通过Baum-Welch算法先估计出第一层的HMM模型的参数θ1={A1,B1,π1},通过目标状态Os和第一层HMM模型可以得到人员的目标状态Vs;然后将第一层的目标状态结果Vs作为观测值,根据目标状态结果Vs和第二层HMM模型可以得到人员的精神状态{疲劳,非疲劳}。
具体计算步骤如下:
(1)取一定周期T内的目标人脸在不同时刻下的目标状态{正常,闭眼,眯眼,张嘴}作为观测数据序列O={o1,o2,o3,o4,...oT},可选的,T为50帧。
(2)已知第一隐藏状态层Vs所对应的参数为θ1={A1,B1,π1},设t=1时刻目标人员的观测状态为o1(m),其中m的取值范围{m|m=1,2,3,4},分别对应{正常,闭眼,眯眼,张嘴}4种状态;t=1时刻目标人员动作状态为v1(n),其中n的取值范围为{n|n=1,2,3,4,5},分别对应{工作,眨眼,睡觉,打哈欠,讲话}5种状态。通过隐藏状态即人员目标动作状态v1(n)得到当前观测状态o1(m)的概率用δ1(n)表示,则有:
δ1(n)=π1(m)bnm
其中π1(m)∈π1,表明t=1初始时刻目标观测状态为o1(m)的概率;bnm∈B1,表明任意时刻目标的隐藏状态n转换到观测状态m的概率,值得说明的是,该概率与时间t无关,只与隐藏状态n与观测状态m有关。则t=1时刻所对应的最优隐藏状态为使δ1(n)产生最大值的n1
n1=argmax[(S1(n))]
(3)设t=2时刻目标人员的观测状态为o2(m),对应的隐藏状态序列为v2(n),通过隐藏状态v2(n)得到当前观测状态o2(m)的概率用δ2(m)表示,则有:
δ2(n)=max[δ1(n)an]bnm
其中an∈A1,表明任意时刻目标的隐藏状态Vs间的转换概率,比如a12表明任意时刻下从工作到眨眼的动作状态的概率。则t=2时刻所对应的最优隐藏状态为δ1(n)产生最大值的n2
n2=argmax[(δ2(n))]
需要说明的是,第一隐藏层的参数θ1={A1,B1,π1}可以通过统计并结合Baum-Welch算法估计得到,用同样的方法可以估计第二层隐藏状态的参数θ2={A2,B2,π2},HMM两层隐藏层参数在HMM模型投入实际的疲劳状态预测之前应当是提前进行训练估计好的,而训练样本为大量关于人脸图像的观测数据序列,且Baum-Welch是EM(最大期望算法)的一个特例,是一种较为成熟的算法因此不做过多介绍。
(4)根据步骤2以此类推,可以通过观测状态序列O={o1,o2,o3,o4,...oT}推测出相应的第一层隐藏状态序列V={v1,v2,v3,v4,...,vT}。得到第一层隐藏状态序列Vs后,把该序列结果当做第二层隐藏状态Is={疲劳,非疲劳}的观测状态,根据第二层隐藏状态的参数θ2={A1,B1,π1}及观测状态Vs,重复步骤2,3,能够推测出第二层隐藏状态序列I={i1,i2,i3,i4,...,iT}。
(5)第二层隐藏状态包含了疲劳和非疲劳两种状态,根据第二隐藏状态序列I的值,可以计算一个周期T时间内,人员疲劳的时间数t,当t大于一定阈值Tth,则认为当前目标产生了疲劳,否则为非疲劳状态。可选择的,Tth设置为可设置为周期T的百分之七十。
本实施例首先通过摄像头获取一定时间周期T内不同时刻的目标人脸图像,也就是获取在一段连续时间内的不同帧的待测人员脸部的图像;然后检测所述待测人员脸部图像的特征点,这里的特征点应至少包括人眼轮廓线上的特征点和嘴唇内外轮廓线上的特征点;根据所述特征点,可以计算眼睛横纵比和嘴唇横纵比,根据所述的眼睛横纵比和嘴唇横纵比的值是否满足疲劳判定条件,可以确定所述目标人脸图像的目标状态,这里的目标状态可以是眼睛状态或嘴巴状态;最后基于分层隐马尔可夫模型HMM,根据所述目标状态预测出所述目标人脸图像所对应的目标人脸的精神状态,即给出是否疲劳的检测结果。因此,本发明的技术方案所提出的多特征融合的疲劳检测方法克服了现有技术疲劳检测单一性的缺点,能够更加准确地检测人员的疲劳状态。
图9示出了本发明实施例所涉及的一种融合多特征的疲劳检测装置结构示意图。该装置包括:处理器901、存储器902和总线903。
处理器901包括一个或一个以上处理核心,处理器902通过总线903与处理器901相连,存储器903用于存储程序指令,处理器901执行存储器902中的程序指令时实现上述一种融合多特征的疲劳检测方法。
可选的,存储器902可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随时存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
本发明还提供一种计算机可读存储介质,所述存储介质中存储有至少一段程序,所述至少一段程序由所述处理器加载并执行以实现上述方法实施例提供的一种融合多特征的疲劳检测方法。
可选的,本发明还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述各方面所述的一种融合多特征的疲劳检测方法。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储与一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本发明的较佳实施例,并不用于以限制发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种融合多特征的疲劳检测方法,其特征在于,包括:
S1,获取一定时间周期T内不同时刻的目标人脸图像;
S2,检测所述目标人脸图像的特征点;
S3,根据所述特征点,确定所述目标人脸图像的目标状态;
S4,基于分层隐马尔可夫模型HMM,根据所述目标状态预测出所述目标人脸图像所对应的目标人脸的精神状态,包括:
将所述目标状态作为观测数据序列,通过第一层HMM模型,预测出所述目标人脸的目标动作状态序列;
将所述目标动作状态序列作为观测状态序列,通过第二层HMM模型,预测出所述目标人脸的精神状态序列;
统计所述目标人脸的精神状态序列中精神状态为疲劳的个数;
当疲劳的个数超过预设阈值时,则判定所述目标人脸为疲劳状态,反之,则判定所述目标人脸为非疲劳状态。
2.根据权利要求1所述的融合多特征的疲劳检测方法,其特征在于,所述S1包括:
通过摄像头采集在一定时间周期T内的不同时刻的目标人脸图像,其中T为50帧。
3.根据权利要求1所述的融合多特征的疲劳检测方法,其特征在于,所述S3之前,包括:
根据所述特征点估计出所述目标人脸图像的姿态角;
判定所述姿态角是否满足人脸正常状态姿态角范围,若满足,则需要确定所述目标人脸图像的目标状态,若不满足,则不需要确定所述目标人脸图像的目标状态。
4.根据权利要求1所述的融合多特征的疲劳检测方法,其特征在于,所述目标状态是正常、闭眼、眯眼和张嘴中的一种。
5.根据权利要求4所述的融合多特征的疲劳检测方法,其特征在于,所述特征点包括人眼轮廓线上的特征点和嘴唇内外轮廓线上的特征点。
6.根据权利要求5所述的融合多特征的疲劳检测方法,其特征在于,所述根据所述特征点,确定所述目标人脸图像的目标状态,包括:
S1,根据所述人眼轮廓线上的特征点,确定眼睛横纵比;
S2,判定所述眼睛横纵比是否小于闭眼阈值,若小于闭眼阈值,则所述目标人脸图像的目标状态为闭眼,进入步骤S6,反之,进入步骤S3;
S3,判定所述眼睛横纵比是否小于眯眼阈值,若小于闭眼阈值,则所述目标人脸图像的目标状态为眯眼,进入步骤S6,反之,进入步骤S4;
S4,根据所述嘴唇内外轮廓线上的特征点,确定嘴唇横纵比;
S5,判定所述嘴唇横纵比是否大于张嘴阈值,若大于张嘴阈值,则所述目标人脸图像的目标状态为张嘴,进入步骤S6,反之,则所述目标人脸图像的目标状态为正常;
S6,结束。
7.根据权利要求5所述的融合多特征的疲劳检测方法,其特征在于,所述根据所述特征点,确定所述目标人脸图像的目标状态,包括:
S1,根据所述嘴唇内外轮廓线上的特征点,确定嘴唇横纵比;
S2,判定所述嘴唇横纵比是否大于张嘴阈值,若大于张嘴阈值,则所述目标人脸图像的目标状态为张嘴,进入步骤S6,反之,进入步骤S3;
S3,根据所述人眼轮廓线上的特征点,确定眼睛横纵比;
S4,判定所述眼睛横纵比是否小于闭眼阈值,若小于闭眼阈值,则所述目标人脸图像的目标状态为闭眼,进入步骤S6,反之,进入步骤S5;
S5,判定所述眼睛横纵比是否小于眯眼阈值,若小于闭眼阈值,则所述目标人脸图像的目标状态为眯眼,进入步骤S6,反之,则所述目标人脸图像的目标状态为正常;
S6,结束。
8.根据权利要求1至7任一所述的融合多特征的疲劳检测方法,其特征在于,所述目标动作状态为工作、眨眼、睡觉、打哈欠和讲话中的一种。
9.一种融合多特征的疲劳检测装置,其特征在于,包括存储器和处理器,所述存储器存储有至少一段程序,所述至少一段程序由所述处理器执行以实现如权利要求1至8任一所述的融合多特征的疲劳检测方法。
10.一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一段程序,所述至少一段程序由所述处理器执行以实现如权利要求1至8任一所述的融合多特征的疲劳检测方法。
CN201811279068.2A 2018-10-30 2018-10-30 一种融合多特征的疲劳检测方法以及装置 Active CN109191791B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811279068.2A CN109191791B (zh) 2018-10-30 2018-10-30 一种融合多特征的疲劳检测方法以及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811279068.2A CN109191791B (zh) 2018-10-30 2018-10-30 一种融合多特征的疲劳检测方法以及装置

Publications (2)

Publication Number Publication Date
CN109191791A true CN109191791A (zh) 2019-01-11
CN109191791B CN109191791B (zh) 2021-02-09

Family

ID=64940778

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811279068.2A Active CN109191791B (zh) 2018-10-30 2018-10-30 一种融合多特征的疲劳检测方法以及装置

Country Status (1)

Country Link
CN (1) CN109191791B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109815937A (zh) * 2019-02-25 2019-05-28 湖北亿咖通科技有限公司 疲劳状态智能识别方法、装置及电子设备
CN109840565A (zh) * 2019-01-31 2019-06-04 成都大学 一种基于眼部轮廓特征点纵横比的眨眼检测方法
CN109934207A (zh) * 2019-04-15 2019-06-25 华东师范大学 基于面部表情疲劳驾驶检测算法的一种驾驶员面部的特征距离修正方法
CN110263663A (zh) * 2019-05-29 2019-09-20 南京师范大学 一种基于多维面部特征的驾驶员多级疲劳度识别方法
CN111696312A (zh) * 2019-03-14 2020-09-22 本田技研工业株式会社 乘员观察装置
US11593734B2 (en) * 2019-03-14 2023-02-28 Hitachi, Ltd. System and method for management and support of workplace

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101540090A (zh) * 2009-04-14 2009-09-23 华南理工大学 基于多元信息融合的驾驶员疲劳监测装置及其监测方法
CN101583313A (zh) * 2007-01-19 2009-11-18 旭化成株式会社 觉醒状态判断模型生成装置、觉醒状态判断装置以及警告装置
CN101877056A (zh) * 2009-12-21 2010-11-03 北京中星微电子有限公司 人脸表情识别方法及***、表情分类器的训练方法及***
CN102436715A (zh) * 2011-11-25 2012-05-02 大连海创高科信息技术有限公司 疲劳驾驶检测方法
CN103366153A (zh) * 2012-06-06 2013-10-23 北京科技大学 一种面部语义认知特征识别方法
CN104616438A (zh) * 2015-03-02 2015-05-13 重庆市科学技术研究院 一种用于疲劳驾驶检测的打哈欠动作检测方法
WO2016061505A1 (en) * 2014-10-16 2016-04-21 The Curators Of The University Of Missouri Visual storytelling authentication
CN105844252A (zh) * 2016-04-01 2016-08-10 南昌大学 一种面部关键部位的疲劳检测方法
CN106570496A (zh) * 2016-11-22 2017-04-19 上海智臻智能网络科技股份有限公司 情绪识别方法和装置以及智能交互方法和设备
CN106781282A (zh) * 2016-12-29 2017-05-31 天津中科智能识别产业技术研究院有限公司 一种智能行车驾驶员疲劳预警***
US20180061415A1 (en) * 2011-04-22 2018-03-01 Emerging Automotive, Llc Methods and vehicles for capturing emotion of a human driver and moderating vehicle response

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101583313A (zh) * 2007-01-19 2009-11-18 旭化成株式会社 觉醒状态判断模型生成装置、觉醒状态判断装置以及警告装置
CN101540090A (zh) * 2009-04-14 2009-09-23 华南理工大学 基于多元信息融合的驾驶员疲劳监测装置及其监测方法
CN101877056A (zh) * 2009-12-21 2010-11-03 北京中星微电子有限公司 人脸表情识别方法及***、表情分类器的训练方法及***
US20180061415A1 (en) * 2011-04-22 2018-03-01 Emerging Automotive, Llc Methods and vehicles for capturing emotion of a human driver and moderating vehicle response
CN102436715A (zh) * 2011-11-25 2012-05-02 大连海创高科信息技术有限公司 疲劳驾驶检测方法
CN103366153A (zh) * 2012-06-06 2013-10-23 北京科技大学 一种面部语义认知特征识别方法
WO2016061505A1 (en) * 2014-10-16 2016-04-21 The Curators Of The University Of Missouri Visual storytelling authentication
CN104616438A (zh) * 2015-03-02 2015-05-13 重庆市科学技术研究院 一种用于疲劳驾驶检测的打哈欠动作检测方法
CN105844252A (zh) * 2016-04-01 2016-08-10 南昌大学 一种面部关键部位的疲劳检测方法
CN106570496A (zh) * 2016-11-22 2017-04-19 上海智臻智能网络科技股份有限公司 情绪识别方法和装置以及智能交互方法和设备
CN106781282A (zh) * 2016-12-29 2017-05-31 天津中科智能识别产业技术研究院有限公司 一种智能行车驾驶员疲劳预警***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王雪松,李飞虎: "基于驾驶模拟实验的眼部指标与疲劳分级", 《同济大学学报》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109840565A (zh) * 2019-01-31 2019-06-04 成都大学 一种基于眼部轮廓特征点纵横比的眨眼检测方法
CN109815937A (zh) * 2019-02-25 2019-05-28 湖北亿咖通科技有限公司 疲劳状态智能识别方法、装置及电子设备
CN111696312A (zh) * 2019-03-14 2020-09-22 本田技研工业株式会社 乘员观察装置
US11077814B2 (en) 2019-03-14 2021-08-03 Honda Motor Co., Ltd. Occupant eye(s) observation device
CN111696312B (zh) * 2019-03-14 2022-06-17 本田技研工业株式会社 乘员观察装置
US11593734B2 (en) * 2019-03-14 2023-02-28 Hitachi, Ltd. System and method for management and support of workplace
CN109934207A (zh) * 2019-04-15 2019-06-25 华东师范大学 基于面部表情疲劳驾驶检测算法的一种驾驶员面部的特征距离修正方法
CN110263663A (zh) * 2019-05-29 2019-09-20 南京师范大学 一种基于多维面部特征的驾驶员多级疲劳度识别方法

Also Published As

Publication number Publication date
CN109191791B (zh) 2021-02-09

Similar Documents

Publication Publication Date Title
CN109191791A (zh) 一种融合多特征的疲劳检测方法以及装置
You et al. A real-time driving drowsiness detection algorithm with individual differences consideration
Sigari et al. A driver face monitoring system for fatigue and distraction detection
CN109308445B (zh) 一种基于信息融合的固定岗位人员疲劳检测方法
CN104616438B (zh) 一种用于疲劳驾驶检测的打哈欠动作检测方法
CN108460345A (zh) 一种基于人脸关键点定位的面部疲劳检测方法
WO2013035704A1 (ja) 居眠り検出方法と装置
CN109389806A (zh) 基于多信息融合的疲劳驾驶检测预警方法、***及介质
CN105719431A (zh) 一种疲劳驾驶检测***
CN202257856U (zh) 驾驶员疲劳驾驶监控装置
CN104240446A (zh) 基于人脸识别的疲劳驾驶预警***
CN104318578A (zh) 一种视频图像分析方法及***
Luo et al. The driver fatigue monitoring system based on face recognition technology
Pech et al. Head tracking based glance area estimation for driver behaviour modelling during lane change execution
CN109447025A (zh) 疲劳检测方法、装置、***及计算机可读存储介质
CN109711239B (zh) 基于改进混合增量动态贝叶斯网络的视觉注意力检测方法
Zhang et al. Driver fatigue state detection based on facial key points
CN114529864A (zh) 一种岸边走私行为检测方法、装置及存储介质
CN109325474A (zh) 一种对需特别看护人员的异常状态检测方法
Devi et al. Fuzzy based driver fatigue detection
Kavitha et al. A novel approach for driver drowsiness detection using deep learning
Mašanović et al. Driver monitoring using the in-vehicle camera
CN106725364B (zh) 基于概率统计方法的管制员疲劳检测方法及***
CN103974028A (zh) 人员激烈行为侦测方法
CN111985717A (zh) 安全预警方法、装置、安全预警设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Unit 0006, 366 Chengyi street, phase III, software park, Xiamen City, Fujian Province, 361022

Applicant after: ROPT TECHNOLOGY GROUP Co.,Ltd.

Address before: Unit 0006, 366 Chengyi street, phase III, software park, Xiamen City, Fujian Province, 361022

Applicant before: Roput (Xiamen) Technology Group Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant