CN106691440A - 基于bp神经网络的管制员疲劳检测方法及*** - Google Patents
基于bp神经网络的管制员疲劳检测方法及*** Download PDFInfo
- Publication number
- CN106691440A CN106691440A CN201611115813.0A CN201611115813A CN106691440A CN 106691440 A CN106691440 A CN 106691440A CN 201611115813 A CN201611115813 A CN 201611115813A CN 106691440 A CN106691440 A CN 106691440A
- Authority
- CN
- China
- Prior art keywords
- ripples
- slow
- power ratio
- neural network
- perclos
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2503/00—Evaluating a particular growth phase or type of persons or animals
- A61B2503/20—Workers
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Psychiatry (AREA)
- Surgery (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- Signal Processing (AREA)
- Physiology (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Fuzzy Systems (AREA)
- Psychology (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明涉及疲劳检测领域,具体涉及一种基于BP神经网络的管制员疲劳检测方法及***。本发明的基于BP神经网络的管制员疲劳检测方法包括:采集管制员的脑电波,根据所述脑电波得到慢α波功率百分比、α波和β波的功率比值、θ波和慢α波的功率比值;将所述慢α波功率百分比、所述α波和β波的功率比值、所述θ波和慢α波的功率比值输入预先训练好的BP神经网络模型,得到PERCLOS值仿真结果;若所述PERCLOS值仿真结果大于疲劳阈值,则判断所述管制员处于疲劳状态。本发明提供的基于BP神经网络的管制员疲劳检测方法及***,基于BP神经网络,通过检测脑电波来实时检测人体的疲劳程度,使实时疲劳检测变得更为简单,且降低了检测成本。
Description
技术领域
本发明涉及疲劳检测技术领域,具体涉及一种基于BP神经网络的管制员疲劳检测方法及***。
背景技术
随着空中交通流量的日益增长,空中交通管制员的工作负荷越来越大,其疲劳程度对空中交通***安全水平有着重要影响。国际民航组织已经为疲劳风险管理制定了Doc9966规章制度手册。欧美发达国家也先后将针对飞行员的疲劳检测***或者方法扩展到管制员疲劳检测应用上。中国民航局以国际民航组织Doc9966为指导,也在CCAR-121文件中明确了疲劳风险管理的规则。
但是,到目前为止,虽然国内外研究者提出了多种疲劳检测与管理方法和体系,但是这些方法主要有三方面不足。一是主观性较强,如大量问卷表格被用于疲劳判定和预测中,研究人员会根据被测者的回答结果结合经验进行打分以确定疲劳程度,这样难免会受到研究者主观判断的影响;二是难以进行实时检测,有相当一部分正在使用的方法均是通过观察较长时间内(如连续几十天)被测者的表现,从而建立疲劳趋势预测图表,再根据图表来判定在某一段时间内管制员是否疲劳。这样就直接忽略了管制员当前身体状况,可能对检测结果造成一定的影响;三是当前已有的适用于实时疲劳检测的方法大多采用对面部特征进行采集和识别的方法,这种方法需要高精度视频检测设备随时拍摄管制员,从成本角度分析不具备优势。
发明内容
针对现有技术中的缺陷,本发明提供的基于BP神经网络的管制员疲劳检测方法及***,基于BP神经网络,通过检测脑电波来实时检测人体的疲劳程度,使实时疲劳检测变得更为简单,且降低了检测成本。
第一方面,本发明提供的一种基于BP神经网络的管制员疲劳检测方法,包括:采集管制员的脑电波,根据所述脑电波得到慢α波功率百分比、α波和β波的功率比值、θ波和慢α波的功率比值;将所述慢α波功率百分比、所述α波和β波的功率比值、θ波和慢α波的功率比值的功率比值输入预先训练好的BP神经网络模型,得到PERCLOS值仿真结果;若所述PERCLOS值仿真结果大于疲劳阈值,则判断所述管制员处于疲劳状态。
本发明提供的基于BP神经网络的管制员疲劳检测方法,在实时检测中只用通过简单经济的方式检测管制员的脑电波,将脑电波输入预先构建的BP神经网络模型就能精准地估计出管制员当前的PERCLOS值仿真结果,从而检测管制员的疲劳状态。因此,本发明提供的方法使实时疲劳检测变得更为简单,且降低了检测成本。
优选地,所述BP神经网络模型的训练方法包括:建立BP神经网络模型并随机生成所述BP神经网络模型的参数,所述BP神经网络模型包括输入层、中间层、输出层,所述输入层包含3个节点,所述中间层包含多个节点,所述输出层包含1个节点,所述输入层和所述中间层之间,以及所述中间层和所述输出层之间均采用全连接模式;采集管制员的脑电波以及对应的眼睑闭合数据,根据所述脑电波得到慢α波功率百分比、α波和β波的功率比值、θ波和慢α波的功率比值,根据所述眼睑闭合数据得到的PERCLOS值测量结果,并生成多个样本,每个样本包括慢α波功率百分比、α波和β波的功率比值、θ波和慢α波的功率比值以及对应的PERCLOS值测量结果;从生成的样本中选取一个样本,将样本中的慢α波功率百分比、α波和β波的功率比值、θ波和慢α波的功率比值输入所述BP神经网络模型,得到PERCLOS值预估结果;根据所述PERCLOS值预估结果和选取的样本的PERCLOS值测量结果的误差,更新所述BP神经网络模型的参数;若达到预设停止条件,则终止训练,否则重新选取样本再进行训练。
优选地,所述根据所述眼睑闭合数据得到的PERCLOS值测量结果,包括:从所述眼睑闭合数据中获取所述管制员清醒状态下的上下眼睑最大距离,所述眼睑闭合数据为眼睑闭合幅度随时间的变化,所述眼睑闭合幅度为上下眼睑之间的距离;将所述眼睑闭合数据除以所述上下眼睑最大距离,得到眼睑闭合程度;根据所述眼睑闭合程度,计算单位时间内的闭眼时间;将闭眼时间除以所述单位时间得到PERCLOS值测量结果。
优选地,所述根据所述眼睑闭合程度,计算单位时间内的闭眼时间,包括:在单位时间内,眼睑闭合程度大于70%或80%的对应的时间段的总和为所述单位时间内的闭眼时间。
优选地,若达到预设停止条件,则终止训练,否则重新选取样本再进行训练,包括:根据所述PERCLOS值预估结果和选取的样本中的PERCLOS值测量结果得到全局误差,若所述全局误差小于误差阈值或训练次数达到预设的最大次数,则终止训练,否则重新选取样本再进行训练。
优选地,根据所述PERCLOS值预估结果和选取的样本的PERCLOS值测量结果的误差,更新所述BP神经网络模型的参数,包括:计算所述PERCLOS值预估结果和选取的样本中的PERCLOS值测量结果的输出误差;根据所述输出误差相对于中间层到输出层各边权值的偏导数,更新所述中间层到输出层各边权值;根据所述输出误差相对于输入层到中间层各边权值的偏导数,更新所述输入层到中间层各边权值;根据所述输出误差相对于输出层偏置的偏导数,更新所述输出层偏置;根据所述输出误差相对于中间层偏置的偏导数,更新所述中间层偏置。
优选地,所述根据所述脑电波得到慢α波功率百分比、α波和β波的功率比值、θ波和慢α波的功率比值,包括:采集管制员的脑电波;对所述脑电波进行小波去噪;根据小波去噪以后的脑电波得到慢α波功率百分比、α波和β波的功率比值、θ波和慢α波的功率比值。
第二方面,本发明提供的一种基于BP神经网络的管制员疲劳检测***,包括:脑电波处理模块,用于采集管制员的脑电波,根据所述脑电波得到慢α波功率百分比、α波和β波的功率比值、θ波和慢α波的功率比值;疲劳值输出模块,用于将所述慢α波功率百分比、所述α波和β波的功率比值、所述θ波和慢α波的功率比值输入预先训练好的BP神经网络模型,得到PERCLOS值仿真结果;疲劳判断模块,用于若所述PERCLOS值仿真结果大于疲劳阈值,则判断所述管制员处于疲劳状态。
本发明提供的基于BP神经网络的管制员疲劳检测***,在实时检测中通过脑电波传感器检测管制员的脑电波,将脑电波输入处理器,通过处理器中预先构建的BP神经网络模型就能精准地估计出管制员当前的PERCLOS值仿真结果,从而根据PERCLOS值仿真结果检测管制员的疲劳状态,并通过报警器发出警报,提醒管制员。因此,本发明提供的基于BP神经网络的管制员疲劳检测***,使实时疲劳检测变得更为简单,且降低了检测成本。
优选地,还包括BP神经网络模型训模块用于:建立BP神经网络模型并随机生成所述BP神经网络模型的参数,所述BP神经网络模型包括输入层、中间层、输出层;所述输入层包含3个节点,所述中间层包含多个节点,所述输出层包含1个节点;所述输入层和所述中间层之间,以及所述中间层和所述输出层之间均采用全连接模式;采集管制员的脑电波以及对应的眼睑闭合数据,根据所述脑电波得到慢α波功率百分比、α波和β波的功率比值、θ波和慢α波的功率比值,根据所述眼睑闭合数据得到的PERCLOS值测量结果,并生成多个样本,每个样本包括慢α波功率百分比、α波和β波的功率比值、θ波和慢α波的功率比值、以及对应的PERCLOS值测量结果;从生成的样本中选取一个样本,将样本中的慢α波功率百分比、α波和β波的功率比值、θ波和慢α波的功率比值输入所述BP神经网络模型,得到PERCLOS值预估结果;根据所述PERCLOS值预估结果和选取的样本的PERCLOS值测量结果的误差,更新所述BP神经网络模型的参数;若达到预设停止条件,则终止训练,否则重新选取样本再进行训练。
优选地,在所述BP神经网络模型训模块中,所述根据所述眼睑闭合数据得到的PERCLOS值测量结果,包括:从所述眼睑闭合数据中获取所述管制员清醒状态下的上下眼睑最大距离,所述眼睑闭合数据为眼睑闭合幅度随时间的变化,所述眼睑闭合幅度为上下眼睑之间的距离;将所述眼睑闭合数据除以所述上下眼睑最大距离,得到眼睑闭合程度;根据所述眼睑闭合程度,计算单位时间内的闭眼时间;将闭眼时间除以所述单位时间得到PERCLOS值测量结果。
附图说明
图1为PERCLOS测量原理的示意图;
图2为本发明实施例所采用的三层BP神经网络模型的结构示意图;
图3为本发明实施例所提供的基于BP神经网络的管制员疲劳检测方法的流程图;
图4为本发明实施例所提供的基于BP神经网络的管制员疲劳检测***的结构框图。
具体实施方式
下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案,因此只是作为示例,而不能以此来限制本发明的保护范围。
需要注意的是,除非另有说明,本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。
脑电波是十分重要的人体生理指标,能够间接地反映人体的疲劳程度。PERCLOS值为单位时间内眼睛闭合时间所占的比例,为公认地能够直接反映疲劳程度的值。本发明实施例提供的基于BP神经网络的管制员疲劳检测方法,通过BP神经网络模型得到脑电波与PERCLOS值之间的关系。
通过脑电波传感器采集管制员的脑电波,并通过高清智能算法摄像机对被测者脸部特征进行全程实时视频,得到与脑电波在时间轴上同步的眼睑闭合数据。
对采集到的脑电波进行处理,从中提取关键参数。具体的处理步骤包括:对含噪声信号的脑电波进行小波变换;对变换得到的小波系数进行降噪处理,以去除其中包含的噪声;对处理后的小波系数进行小波逆变换。根据小波去噪以后得到的波形,计算得到三个参数:慢α波功率百分比、α波和β波的功率比值、θ波和慢α波的功率比值。
对采集到的被测者脸部特征视频进行相关图像处理,得到眼睑闭合数据。具体方法包括已下三个步骤:
步骤S10,进行人眼定位。进行人眼定位的主要过程如下:
眼睛区域与周围区域相比,具有灰度值较低且灰度变化率较大的特点。因此可基于眼睛图像的灰度信息进行定位。分为以下两个步骤:
(1)眼睛粗略定位。
准确定位人脸后,根据面部器官分布,人眼在脸部的上半部,可以很简单地确定一个大概区域。观察人脸图片,发现眼部在水平方向经过皮肤、左眼眼白、左眼瞳孔、左眼眼白、皮肤、右眼眼白、右眼瞳孔、右眼眼白、皮肤、灰度变化较大。在灰度变化突变处进行微分,将产生高值,将其绝对值累加,则灰度变化越大的那一行,累积值越大。计算公式如下:
Δhf(x,y)=f(x,y)-f(x-1,y)
f(x,y)为得到的人脸区域的灰度图像,通过实验发现,在眼睛处导数变化值之和的绝对值最大,通过此方法可粗略判断人眼所在线的位置。
(2)人眼精确定位。通过观察发现眼睛周围Cb值较高,而Cr值较低,因此根据以下公式计算得到特征图,以突出眼部特征:
其中,EyeMap是眼睛特征图,(Cb)2,(Cb/Cr)都归一化到[0,255]之间,是由Cr求反得到(255,Cr)。在得到EyeMap图后,设定阀值T,将EyeMap小于T的值设为0,这一步可视为一个简单的滤波以去掉非眼部特征的干扰。
得到EyeMap滤波图后,结合人眼粗定位结果,从左到右搜索,按比例定义相对于人脸区域一定大小的框,当框进EyeMap滤波图值的和最大时,即为人眼。
步骤S20,完成定位后,利用动态模板匹配的方法跟踪眼睛。动态模板匹配过程具体包括:设眼睛模板左上角的位置为(x,y),下一帧的搜索范围是原位置上沿上、下、左、右4个方向各扩展10个像素,其公式为
上式中,N是模板中像索的个数;M为模板;I为图像中待匹配的部分。可得所有大于阈值的p的最大值所对应的坐标为最匹配的位置,以此得到的眼睛图像作为下一帧图像的模板。在追踪的过程中,若得到的p均小于阈值或两眼的行距过大则重新回到眼睛的检测过程。
步骤S30,根据从视频中跟踪到眼睛的图像,测量得到上下眼睑之间的距离,即眼睑闭合幅度,眼睑闭合幅度随时间的变化即为眼睑闭合数据;根据上述得到的眼睑闭合数据得到的PERCLOS值测量结果,具体实现方式包括以下步骤:从眼睑闭合数据中获取管制员清醒状态下的上下眼睑最大距离;将眼睑闭合数据除以上下眼睑最大距离,得到眼睑闭合程度,眼睑闭合程度与时间的关系如图1所示;根据眼睑闭合程度,计算单位时间内的闭眼时间;将闭眼时间除以单位时间得到PERCLOS值测量结果。
疲劳识别基于PERCLOS的P80(或P70)模型,即将眼睑闭合程度大于80%(或70%)的眼睛状态判断为闭合状态。以初始时刻管制员清醒时的上下眼睑最大距离为标准,若以后得到的距离小于此距离的80%(或70%)则判断为闭合。PERCLOS值测量结果由眼睛开闭的范围和持续时长短所决定,其测量原理如图1所示,以一次闭眼—睁眼过程为例,t1~t4时间段为单位时间,对应眼睑闭合程度大于20%的时间段;t2~t3时间段为闭眼时间,对应眼睑闭合程度大于80%(或70%)的时间段;通过下列公式即可计算出PERCLOS值,
其中,f为眼睛闭合时间的百分比,表示在一次闭眼—睁眼过程中,f越大,眼睛接近闭合的时间越长,疲劳的可能性就越大,f值即为需要求解的PERCLOS值。实际使用该方法时,根据从视频中跟踪到眼睛的图像,测量得到上下眼睑之间的距离;根据测量得到上下眼睑之间的距离和预先获取的被测者的上下眼睑最大距离,得到眼睑闭合程度;采集多帧数据后即可得到眼睑闭合程度与帧序列号(相当于时间)对应的曲线,即用帧序列号来表示时间。
上述是通过对眼睑闭合程度-时间的曲线进行分析,采用P80(或P70)模型测量PERCLOS值,该方法能够精确地得到PERCLOS值,但前提是需要得到准确的眼睑闭合程度-时间的曲线图,这就需要对视频进行精确地分析采集。
为了简化PERCLOS值的计算过程,步骤S30的另一种实现方式为:根据从视频中跟踪到眼睛的图像,测量得到上下眼睑之间的距离;根据测量得到上下眼睑之间的距离和预先获取的被测者的上下眼睑最大距离,得到眼睑闭合程度,若眼睑闭合程度大于80%(或70%),则判定该帧图像为眼睑闭合帧;将单位时间内眼睑闭合帧数与处理的总帧数的比值作为PERCLOS值。该方法首先判断单帧图像中的眼睛是闭合还是睁开,然后统计闭眼帧数在总帧数中占的比例来判断管制员是否处于疲劳状态,该方法对视频采集的精度要求更低,处理速度更快。假设实验视频的帧率为10f·s-1,分辨率为640×480,时长60s,则以每6s视频作为1个检测单元,间隔0.33s取1帧作眼睛状态检测。统计每个检测单元内18帧图像的状态,得到眼睑闭合帧数CloseFrame_Num和处理的总帧数SumFrame_Num,依据公式计算相应的PERCLOS值
如果所得PERCLOS值大于50%,则判断此时管制员已处于疲劳状态,通过报警***进行警告。
由于本发明实施例中采用的BP神经网络模型的输入向量X=(x1,x2,x3)和输出向量Y=(y)的维度均较低,为避免BP神经网络模型过于复杂而影响实时计算效果,优选采用三层BP神经网络模型进行预测,具体如图2所示,BP神经网络模型包括输入层、中间层、输出层。输入层包含3个节点,分别对应单个测试样本的慢α波功率百分比、α波和β波的功率比值、θ波和慢α波的功率比值。中间层包含多个节点,中间层节点数不仅与输入层和输出层的节点数有关,更与需解决的问题的复杂程度和转换函数的形式以及样本数据的特性等因素有关,本发明实施例中,在一定取值范围内通过网络训练测试得到中间层节点数的优选值为8,中间层设置8个节点,能保证网络性能、减小网络的***误差,同时缩短网络训练时间。输出层包含1个节点,对应单个测试样本的PERCLOS值。输入层和中间层之间,以及中间层和输出层之间均采用全连接模式,即输入层的每一个节点到中间层每一个节点均用一条边相连,中间层和输出层之间也采用同样的连接方式。
如图3所示,设输入层节点分别为i1、i2、i3,中间层节点分别为h1、h2、……h8,输出层节点为o1。输入层节点到中间层节点的边权值设为wiij,1≤i≤3,1≤j≤8,中间层节点到输出层节点的边权值设为woij,1≤i≤8,j=1。
中间层的输入和输出的映射关系、输出层的输入和输出的映射关系采用S型函数,即
对中间层节点,其输入形式为输出形式为hok=f(hik),1≤k≤8,其中,bik为偏置值。
对输出层节点,其输入形式为输出形式为yo=f(yi),其中bo为偏置值。
本发明实施例中采用的BP神经网络模型的训练方法包括:采集管制员的脑电波以及对应的眼睑闭合数据,根据脑电波得到慢α波功率百分比、α波和β波的功率比值、θ波和慢α波的功率比值,根据眼睑闭合数据得到的PERCLOS值测量结果,并生成多个样本,每个样本包括慢α波功率百分比、α波和β波的功率比值、θ波和慢α波的功率比值、以及对应的PERCLOS值测量结果;从生成的样本中选取一个样本,将样本中的慢α波功率百分比、α波和β波的功率比值、θ波和慢α波的功率比值输入BP神经网络模型,得到PERCLOS值预估结果;根据PERCLOS值预估结果和选取的样本中的PERCLOS值测量结果的误差,更新BP神经网络模型的参数;若达到预设停止条件,则终止训练,否则重新选取样本再进行训练。
其中,若达到预设停止条件,则终止训练,否则重新选取样本再进行训练,包括:根据PERCLOS值预估结果和选取的样本中的PERCLOS值测量结果得到全局误差,若全局误差小于误差阈值或训练次数达到预设的最大次数,则终止训练,否则重新选取样本再进行训练。
其中,根据PERCLOS值预估结果和选取的样本中的PERCLOS值测量结果的误差,更新BP神经网络模型的参数,包括:计算PERCLOS值预估结果和选取的样本中的PERCLOS值测量结果的输出误差;根据输出误差相对于中间层到输出层各边权值的偏导数,更新中间层到输出层各边权值;根据输出误差相对于输入层到中间层各边权值的偏导数,更新输入层到中间层各边权值;根据输出误差相对于输出层偏置的偏导数,更新输出层偏置;根据输出误差相对于中间层偏置的偏导数,更新中间层偏置。
下面结合具体公式,具体说明BP神经网络模型的训练方法:
步骤一:网络初始化。对所有边权值和激发函数偏置值随机初始化为一个[-1,1]区间上的数。设置学习次数n=1,即通过第1个样本来进行学习。
步骤二:给定一个样本其中,分别代表第n次学习(即第n个样本)中采用的慢α波功率百分比、α波和β波的功率比值、θ波和慢α波的功率比值,代表第n次学习中采用的PERCLOS数值。首先根据第3小节的内容计算网络理论输出yo。
步骤三:定义实际输出与网络理论输出的误差
步骤四:计算输出误差相对于中间层到输出层各边权值的偏导数
因此,
步骤五:计算输出误差相对于输入层到中间层各边权值的偏导数
因此,
步骤六:计算输出误差相对于输出层偏置的偏导数,其推导过程与步骤四中类似。此处直接给出结果
步骤七:计算输出误差相对于中间层偏置的偏导数,其推导过程与步骤五中类似。此处直接给出结果
步骤八:更新边权值以及偏置值。
步骤九:判断学习终止条件。首先计算全局误差
其中,yom代表在第m次学习中网络理论输出值,代表在第m次学习中的实际输出值。可以将yom理解为第m次学习中网络输出的PERCLOS值预估结果,而代表在第m次学习中采用的PERCLOS值测量结果,即第m个样本的PERCLOS值测量结果。如果E小于一个预设的值,或者n达到预设的最大学习次数,则终止学习,给出学习好的三层神经网络结构。否则,令n=n+1,转步骤二,开始下一次学习。
基于上述BP神经网络,本发明实施例提供了一种基于BP神经网络的管制员疲劳检测方法,如图3所示,包括:
步骤S1,采集管制员的脑电波,根据脑电波得到慢α波功率百分比、α波和β波的功率比值、θ波和慢α波的功率比值。
步骤S2,将慢α波功率百分比、α波和β波的功率比值、θ波和慢α波的功率比值输入预先训练好的BP神经网络模型,得到PERCLOS值仿真结果。
步骤S3,若PERCLOS值大于疲劳阈值仿真结果,则判断管制员处于疲劳状态。
其中,疲劳阈值优选0.5。
本发明实施例提供的基于BP神经网络的管制员疲劳检测方法,在实时检测中只用通过简单经济的方式检测管制员的脑电波,将脑电波输入预先构建的BP神经网络模型就能精准地估计出管制员当前的PERCLOS值仿真结果,从而检测管制员的疲劳状态。现有技术直接通过高清摄像检测人脸面部特征,得到PERCLOS值来判断管制员的疲劳状态,为了得到较高的检测精度对检测设备的要求极高,这会大大增加检测的成本,相应的人脸面部特征算法也较为复杂,不利于实时检测。而本发明提供的方法检测的是管制员的脑电波,相比人脸识别来说,需要的设备和使用的算法都较为简单,为实现实时疲劳检测提供了有利的支持,且降低了检测成本。
为了使采集到的脑电波能更准确地反应管制员真实的疲劳状态,需要对采集的脑电波进行预处理,在步骤S2中,根据管制员的脑电波得到慢α波功率百分比、α波和β波的功率比值、θ波和慢α波的功率比值,包括:采集管制员的脑电波;对脑电波进行小波去噪;根据小波去噪以后的脑电波得到慢α波功率百分比、α波和β波的功率比值、θ波和慢α波的功率比值。管制员的脑电波通过脑电波传感器测进行采集,对采集到的脑电波进行处理,从中提取关键参数。具体的处理步骤包括:对含噪声信号的脑电波进行小波变换;对变换得到的小波系数进行降噪处理,以去除其中包含的噪声;对处理后的小波系数进行小波逆变换。根据小波去噪以后得到的波形,计算得到三个参数:慢α波功率百分比、α波和β波的功率比值、θ波和慢α波的功率比值。
基于与上述基于BP神经网络的管制员疲劳检测方法相同的发明构思,本发明实施例提供的一种基于BP神经网络的管制员疲劳检测***,如图4所示,包括:脑电波处理模块101,用于采集管制员的脑电波,根据脑电波得到慢α波功率百分比、α波和β波的功率比值、θ波和慢α波的功率比值;疲劳值输出模块102,用于将慢α波功率百分比、α波和β波的功率比值、θ波和慢α波的功率比值输入预先训练好的BP神经网络模型,得到PERCLOS值仿真结果;疲劳判断模块103,用于若PERCLOS值仿真结果大于疲劳阈值,则判断管制员处于疲劳状态。
本发明实施例提供的基于BP神经网络的管制员疲劳检测***,在实时检测中只用通过简单经济的方式检测管制员的脑电波,将脑电波输入预先构建的BP神经网络模型就能精准地估计出管制员当前的PERCLOS值仿真结果,从而检测管制员的疲劳状态。现有技术直接通过高清摄像检测人脸面部特征,得到PERCLOS值来判断管制员的疲劳状态,为了得到较高的检测精度对检测设备的要求极高,这会大大增加检测的成本,相应的人脸面部特征算法也较为复杂,不利于实时检测。而本发明提供的方法检测的是管制员的脑电波,相比人脸识别来说,需要的设备和使用的算法都较为简单,为实现实时疲劳检测提供了有利的支持,且降低了检测成本。
其中,本发明实施例提供的基于BP神经网络的管制员疲劳检测***还包括BP神经网络模型训模块,用于建立BP神经网络模型并随机生成BP神经网络模型的参数,BP神经网络模型包括输入层、中间层、输出层;输入层包含3个节点,中间层包含多个节点,输出层包含1个节点;输入层和中间层之间,以及中间层和输出层之间均采用全连接模式;采集管制员的脑电波以及对应的眼睑闭合数据,根据脑电波得到慢α波功率百分比、α波和β波的功率比值、θ波和慢α波的功率比值,根据眼睑闭合数据得到的PERCLOS值测量结果,并生成多个样本,每个样本包括慢α波功率百分比、α波和β波的功率比值、θ波和慢α波的功率比值、以及对应的PERCLOS值测量结果;从生成的样本中选取一个样本,将样本中的慢α波功率百分比、α波和β波的功率比值、θ波和慢α波的功率比值输入BP神经网络模型,得到PERCLOS值预估结果;根据PERCLOS值预估结果和选取的样本的PERCLOS值测量结果的误差,更新BP神经网络模型的参数;若达到预设停止条件,则终止训练,否则重新选取样本再进行训练。
其中,在BP神经网络模型训模块中,根据眼睑闭合数据得到的PERCLOS值测量结果,包括:从眼睑闭合数据中获取管制员清醒状态下的上下眼睑最大距离,眼睑闭合数据为眼睑闭合幅度随时间的变化,眼睑闭合幅度为上下眼睑之间的距离;将眼睑闭合数据除以上下眼睑最大距离,得到眼睑闭合程度;根据眼睑闭合程度,计算单位时间内的闭眼时间;将闭眼时间除以单位时间得到PERCLOS值测量结果。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围,其均应涵盖在本发明的权利要求和说明书的范围当中。
Claims (10)
1.一种基于BP神经网络的管制员疲劳检测方法,其特征在于,包括:
采集管制员的脑电波,根据所述脑电波得到慢α波功率百分比、α波和β波的功率比值、θ波和慢α波的功率比值;
将所述慢α波功率百分比、所述α波和β波的功率比值、θ波和慢α波的功率比值的功率比值输入预先训练好的BP神经网络模型,得到PERCLOS值仿真结果;
若所述PERCLOS值仿真结果大于疲劳阈值,则判断所述管制员处于疲劳状态。
2.根据权利要求1所述的方法,其特征在于,所述BP神经网络模型的训练方法包括:
建立BP神经网络模型并随机生成所述BP神经网络模型的参数,所述BP神经网络模型包括输入层、中间层、输出层,所述输入层包含3个节点,所述中间层包含多个节点,所述输出层包含1个节点,所述输入层和所述中间层之间,以及所述中间层和所述输出层之间均采用全连接模式;
采集管制员的脑电波以及对应的眼睑闭合数据,根据所述脑电波得到慢α波功率百分比、α波和β波的功率比值、θ波和慢α波的功率比值,根据所述眼睑闭合数据得到的PERCLOS值测量结果,并生成多个样本,每个样本包括慢α波功率百分比、α波和β波的功率比值、θ波和慢α波的功率比值以及对应的PERCLOS值测量结果;
从生成的样本中选取一个样本,将样本中的慢α波功率百分比、α波和β波的功率比值、θ波和慢α波的功率比值输入所述BP神经网络模型,得到PERCLOS值预估结果;
根据所述PERCLOS值预估结果和选取的样本的PERCLOS值测量结果的误差,更新所述BP神经网络模型的参数;
若达到预设停止条件,则终止训练,否则重新选取样本再进行训练。
3.根据权利要求2所述的方法,其特征在于,所述根据所述眼睑闭合数据得到的PERCLOS值测量结果,包括:
从所述眼睑闭合数据中获取所述管制员清醒状态下的上下眼睑最大距离,所述眼睑闭合数据为眼睑闭合幅度随时间的变化,所述眼睑闭合幅度为上下眼睑之间的距离;
将所述眼睑闭合数据除以所述上下眼睑最大距离,得到眼睑闭合程度;
根据所述眼睑闭合程度,计算单位时间内的闭眼时间;
将闭眼时间除以所述单位时间得到PERCLOS值测量结果。
4.根据权利要求3所述的方法,其特征在于,所述根据所述眼睑闭合程度,计算单位时间内的闭眼时间,包括:在单位时间内,眼睑闭合程度大于70%或80%的对应的时间段的总和为所述单位时间内的闭眼时间。
5.根据权利要求2所述的方法,其特征在于,若达到预设停止条件,则终止训练,否则重新选取样本再进行训练,包括:根据所述PERCLOS值预估结果和选取的样本中的PERCLOS值测量结果得到全局误差,若所述全局误差小于误差阈值或训练次数达到预设的最大次数,则终止训练,否则重新选取样本再进行训练。
6.根据权利要求2所述的方法,其特征在于,根据所述PERCLOS值预估结果和选取的样本的PERCLOS值测量结果的误差,更新所述BP神经网络模型的参数,包括:
计算所述PERCLOS值预估结果和选取的样本中的PERCLOS值测量结果的输出误差;
根据所述输出误差相对于中间层到输出层各边权值的偏导数,更新所述中间层到输出层各边权值;
根据所述输出误差相对于输入层到中间层各边权值的偏导数,更新所述输入层到中间层各边权值;
根据所述输出误差相对于输出层偏置的偏导数,更新所述输出层偏置;
根据所述输出误差相对于中间层偏置的偏导数,更新所述中间层偏置。
7.根据权利要求1或2所述的方法,其特征在于,所述根据所述脑电波得到慢α波功率百分比、α波和β波的功率比值、θ波和慢α波的功率比值,包括:
采集管制员的脑电波;
对所述脑电波进行小波去噪;
根据小波去噪以后的脑电波得到慢α波功率百分比、α波和β波的功率比值、θ波和慢α波的功率比值。
8.一种基于BP神经网络的管制员疲劳检测***,其特征在于,包括:
脑电波处理模块,用于采集管制员的脑电波,根据所述脑电波得到慢α波功率百分比、α波和β波的功率比值、θ波和慢α波的功率比值;
疲劳值输出模块,用于将所述慢α波功率百分比、所述α波和β波的功率比值、所述θ波和慢α波的功率比值输入预先训练好的BP神经网络模型,得到PERCLOS值仿真结果;
疲劳判断模块,用于若所述PERCLOS值仿真结果大于疲劳阈值,则判断所述管制员处于疲劳状态。
9.根据权利要求8所述的***,其特征在于,还包括BP神经网络模型训模块用于:
建立BP神经网络模型并随机生成所述BP神经网络模型的参数,所述BP神经网络模型包括输入层、中间层、输出层;所述输入层包含3个节点,所述中间层包含多个节点,所述输出层包含1个节点;所述输入层和所述中间层之间,以及所述中间层和所述输出层之间均采用全连接模式;
采集管制员的脑电波以及对应的眼睑闭合数据,根据所述脑电波得到慢α波功率百分比、α波和β波的功率比值、θ波和慢α波的功率比值,根据所述眼睑闭合数据得到的PERCLOS值测量结果,并生成多个样本,每个样本包括慢α波功率百分比、α波和β波的功率比值、θ波和慢α波的功率比值、以及对应的PERCLOS值测量结果;
从生成的样本中选取一个样本,将样本中的慢α波功率百分比、α波和β波的功率比值、θ波和慢α波的功率比值输入所述BP神经网络模型,得到PERCLOS值预估结果;
根据所述PERCLOS值预估结果和选取的样本的PERCLOS值测量结果的误差,更新所述BP神经网络模型的参数;
若达到预设停止条件,则终止训练,否则重新选取样本再进行训练。
10.根据权利要求9所述的***,其特征在于,在所述BP神经网络模型训模块中,所述根据所述眼睑闭合数据得到的PERCLOS值测量结果,包括:
从所述眼睑闭合数据中获取所述管制员清醒状态下的上下眼睑最大距离,所述眼睑闭合数据为眼睑闭合幅度随时间的变化,所述眼睑闭合幅度为上下眼睑之间的距离;
将所述眼睑闭合数据除以所述上下眼睑最大距离,得到眼睑闭合程度;
根据所述眼睑闭合程度,计算单位时间内的闭眼时间;
将闭眼时间除以所述单位时间得到PERCLOS值测量结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611115813.0A CN106691440A (zh) | 2016-12-07 | 2016-12-07 | 基于bp神经网络的管制员疲劳检测方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611115813.0A CN106691440A (zh) | 2016-12-07 | 2016-12-07 | 基于bp神经网络的管制员疲劳检测方法及*** |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106691440A true CN106691440A (zh) | 2017-05-24 |
Family
ID=58937437
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201611115813.0A Pending CN106691440A (zh) | 2016-12-07 | 2016-12-07 | 基于bp神经网络的管制员疲劳检测方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106691440A (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107316532A (zh) * | 2017-05-27 | 2017-11-03 | 西南交通大学 | 调度员推理能力的测试方法与*** |
CN107316083A (zh) * | 2017-07-04 | 2017-11-03 | 北京百度网讯科技有限公司 | 用于更新深度学习模型的方法和装置 |
CN107657868A (zh) * | 2017-10-19 | 2018-02-02 | 重庆邮电大学 | 一种基于脑电波的教学跟踪辅助*** |
CN107890338A (zh) * | 2017-09-22 | 2018-04-10 | 杭州爱上伊文化创意有限公司 | 一种胸部发育数据采集***及其内衣 |
CN108090698A (zh) * | 2018-01-08 | 2018-05-29 | 聚影汇(北京)影视文化有限公司 | 一种电影测评服务***及方法 |
CN109425669A (zh) * | 2017-09-01 | 2019-03-05 | 中国民用航空局民用航空医学中心 | 一种液相色谱-质谱法筛选人体体液中疲劳程度相关生物标志物的方法 |
CN109425670A (zh) * | 2017-09-01 | 2019-03-05 | 中国民用航空局民用航空医学中心 | 一种基于人体尿液检测班组疲劳程度的方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101596101A (zh) * | 2009-07-13 | 2009-12-09 | 北京工业大学 | 依据脑电信号判定疲劳状态的方法 |
CN105139070A (zh) * | 2015-08-27 | 2015-12-09 | 南京信息工程大学 | 基于人工神经网络和证据理论的疲劳驾驶评价方法 |
CN105286890A (zh) * | 2015-09-22 | 2016-02-03 | 江西科技学院 | 一种基于脑电信号的驾驶员瞌睡状态监测方法 |
-
2016
- 2016-12-07 CN CN201611115813.0A patent/CN106691440A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101596101A (zh) * | 2009-07-13 | 2009-12-09 | 北京工业大学 | 依据脑电信号判定疲劳状态的方法 |
CN105139070A (zh) * | 2015-08-27 | 2015-12-09 | 南京信息工程大学 | 基于人工神经网络和证据理论的疲劳驾驶评价方法 |
CN105286890A (zh) * | 2015-09-22 | 2016-02-03 | 江西科技学院 | 一种基于脑电信号的驾驶员瞌睡状态监测方法 |
Non-Patent Citations (1)
Title |
---|
GANG LI等: "Estimation of eye closure degree using EEG sensors and its application in drive drowsiness detection", 《SENSORS》 * |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107316532A (zh) * | 2017-05-27 | 2017-11-03 | 西南交通大学 | 调度员推理能力的测试方法与*** |
CN107316083A (zh) * | 2017-07-04 | 2017-11-03 | 北京百度网讯科技有限公司 | 用于更新深度学习模型的方法和装置 |
CN107316083B (zh) * | 2017-07-04 | 2021-05-25 | 北京百度网讯科技有限公司 | 用于更新深度学习模型的方法和装置 |
US11640550B2 (en) | 2017-07-04 | 2023-05-02 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method and apparatus for updating deep learning model |
CN109425669A (zh) * | 2017-09-01 | 2019-03-05 | 中国民用航空局民用航空医学中心 | 一种液相色谱-质谱法筛选人体体液中疲劳程度相关生物标志物的方法 |
CN109425670A (zh) * | 2017-09-01 | 2019-03-05 | 中国民用航空局民用航空医学中心 | 一种基于人体尿液检测班组疲劳程度的方法 |
CN109425669B (zh) * | 2017-09-01 | 2022-09-16 | 中国民用航空局民用航空医学中心 | 一种液相色谱-质谱法筛选人体体液中疲劳程度相关生物标志物的方法 |
CN109425670B (zh) * | 2017-09-01 | 2022-09-16 | 中国民用航空局民用航空医学中心 | 一种基于人体尿液检测班组疲劳程度的方法 |
CN107890338A (zh) * | 2017-09-22 | 2018-04-10 | 杭州爱上伊文化创意有限公司 | 一种胸部发育数据采集***及其内衣 |
CN107657868A (zh) * | 2017-10-19 | 2018-02-02 | 重庆邮电大学 | 一种基于脑电波的教学跟踪辅助*** |
CN108090698A (zh) * | 2018-01-08 | 2018-05-29 | 聚影汇(北京)影视文化有限公司 | 一种电影测评服务***及方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106691440A (zh) | 基于bp神经网络的管制员疲劳检测方法及*** | |
CN106599821A (zh) | 基于bp神经网络的管制员疲劳检测方法及*** | |
CN106539581B (zh) | 基于概率统计方法的管制员疲劳检测方法及*** | |
CN101583313B (zh) | 觉醒状态判断模型生成装置、觉醒状态判断装置以及警告装置 | |
CN103824420B (zh) | 基于心率变异性非接触式测量的疲劳驾驶识别*** | |
CN104063719B (zh) | 基于深度卷积网络的行人检测方法及装置 | |
CN107742099A (zh) | 一种基于全卷积网络的人群密度估计、人数统计的方法 | |
CN109635875A (zh) | 一种基于深度学习的端到端网口检测方法 | |
CN110322423A (zh) | 一种基于图像融合的多模态图像目标检测方法 | |
CN110197169A (zh) | 一种非接触式的学习状态监测***及学习状态检测方法 | |
CN105488456B (zh) | 基于自适应阈值调整拒识子空间学习的人脸检测方法 | |
CN106886792A (zh) | 一种基于分层机制构建多分类器融合模型的脑电情感识别方法 | |
CN106128032A (zh) | 一种疲劳状态监测及预警方法及其*** | |
CN102715889B (zh) | 一种脑力负荷检测方法 | |
CN108664947A (zh) | 一种基于表情识别的疲劳驾驶预警方法 | |
CN104103033B (zh) | 图像实时处理方法 | |
CN109389806A (zh) | 基于多信息融合的疲劳驾驶检测预警方法、***及介质 | |
CN106650688A (zh) | 基于卷积神经网络的眼部特征检测方法,装置及识别*** | |
CN113743471B (zh) | 一种驾驶评估方法及其*** | |
CN107832802A (zh) | 基于人脸比对的人脸图像质量评价方法及装置 | |
CN106909220A (zh) | 一种适用于触控的视线交互方法 | |
CN108596087B (zh) | 一种基于双网络结果的驾驶疲劳程度检测回归模型 | |
CN102902971A (zh) | 基于智能视觉感知的电梯人流量统计方法及*** | |
CN106570516A (zh) | 一种利用卷积神经网络cnn的障碍物识别方法 | |
CN107518896B (zh) | 一种肌电臂环佩戴位置预测方法和*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170524 |
|
RJ01 | Rejection of invention patent application after publication |