CN114581894A - 基于行车数据的驾驶员疲劳驾驶检测方法及装置 - Google Patents
基于行车数据的驾驶员疲劳驾驶检测方法及装置 Download PDFInfo
- Publication number
- CN114581894A CN114581894A CN202210209405.0A CN202210209405A CN114581894A CN 114581894 A CN114581894 A CN 114581894A CN 202210209405 A CN202210209405 A CN 202210209405A CN 114581894 A CN114581894 A CN 114581894A
- Authority
- CN
- China
- Prior art keywords
- driving
- vehicle
- state
- driver
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 69
- 238000012512 characterization method Methods 0.000 claims abstract description 52
- 238000000034 method Methods 0.000 claims abstract description 50
- 125000004122 cyclic group Chemical group 0.000 claims abstract description 19
- 238000000605 extraction Methods 0.000 claims abstract description 17
- 230000008569 process Effects 0.000 claims abstract description 16
- 230000005284 excitation Effects 0.000 claims description 26
- 238000004590 computer program Methods 0.000 claims description 18
- 230000008878 coupling Effects 0.000 claims description 17
- 238000010168 coupling process Methods 0.000 claims description 17
- 238000005859 coupling reaction Methods 0.000 claims description 17
- 230000001133 acceleration Effects 0.000 claims description 16
- 238000009499 grossing Methods 0.000 claims description 13
- 230000002457 bidirectional effect Effects 0.000 claims description 10
- 238000004140 cleaning Methods 0.000 claims description 7
- 238000003860 storage Methods 0.000 claims description 7
- 230000007613 environmental effect Effects 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 10
- 230000000694 effects Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 17
- 238000013528 artificial neural network Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 7
- 238000012549 training Methods 0.000 description 7
- 238000005070 sampling Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 230000001815 facial effect Effects 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 230000008034 disappearance Effects 0.000 description 3
- 238000004880 explosion Methods 0.000 description 3
- 230000000306 recurrent effect Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 241001282135 Poromitra oscitans Species 0.000 description 1
- 206010048232 Yawning Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000004399 eye closure Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000006996 mental state Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 230000008288 physiological mechanism Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 231100000430 skin reaction Toxicity 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明提供了一种基于行车数据的驾驶员疲劳驾驶检测方法及装置，基于行车数据的驾驶员疲劳驾驶检测方法包括：获取行车过程中的车辆状态表征参数；根据所述车辆状态表征参数以及其对应的行车时间生成车辆运动时间序列；根据所述车辆运动时间序列以及预先建立的门控循环单元网络分类器检测驾驶员的疲劳状态。本发明仅仅依托车载信号采集设备收集的行车数据检测驾驶疲劳，从而在实际应用上具有可推广性。另一方面，本发明将车辆运动参数、生物钟和累计驾驶时间对于驾驶人疲劳的影响纳入检测判据。同时，检测***利用特征工程的相关技术以及门控循环单元网络对于时序数据强大的特征提取能力提升了检测的准确率。
Description
技术领域
本发明涉及智能交通检测技术领域，具体涉及检测技术以及人工智能技术在交通领域中的应用，特别是涉及一种基于行车数据的驾驶员疲劳驾驶检测方法及装置。
背景技术
众所周知，疲劳驾驶是导致车辆交通安全事故的重要原因之一。驾驶员在长时间驾驶且休息不足的情况下很容易进入疲劳状态，从而对车辆的控制能力减弱，产生巨大的交通安全隐患。在现有技术中，车载疲劳驾驶检测***能在驾驶员进入疲劳状态时实时检测并告警，可以广泛应用于公路货物运输、人员交通营运、事故责任界定等领域，有效降低交通安全事故风险，减少人员伤亡和财产损失。
车载疲劳检测***是交通安全领域的研究热点之一，按照检测所使用的数据特征划分，目前较为成熟的检测技术包括驾驶员生理数据检测和驾驶员面部特征检测方法。
其中，驾驶员生理数据疲劳检测方法认为驾驶员疲劳这一生理现象会反映在其各项生理数据中。这类方法利用驾驶员佩戴的数据采集设备收集诸如脑电图、心率、皮肤电反应、脉搏等生理数据，根据这些数据的变化规律判断疲劳。生理数据检测方法通常有较高的准确度，然而，脑电检测仪、皮肤电极等数据采集设备结构复杂、成本高昂，且会对驾驶状态中的驾驶员的安全驾驶产生较大的影响，因此这类方法往往不适合投入实际应用。
目前应用最广泛的检测方法是驾驶员面部特征检测。例如：眼睛闭合、频繁点头、打哈欠等面部特征是驾驶员疲惫最为直观的表现，随着计算机视觉技术在近年来的快速发展，这类检测方法得到了广泛的研究和应用。但是，驾驶员面部检测的问题在于鲁棒性不足，当驾驶员佩戴墨镜、口罩对面部进行遮挡时，面部特征便无法提取，另外，检测算法的准确度受视频质量和拍摄角度的影响很大。同时，应用实践中发现车内视频对驾驶员隐私的侵犯问题存在争议，很多驾驶员不愿意在车内摄像的前提下驾驶。
发明内容
针对现有技术中的问题，本发明提供的基于行车数据的驾驶员疲劳驾驶检测方法及装置，仅仅依托车载信号采集设备收集的行车数据检测驾驶疲劳，从而在实际应用上具有可推广性。另一方面，本发明将车辆运动参数、生物钟和累计驾驶时间对于驾驶人疲劳的影响纳入检测判据。同时，检测***利用特征工程的相关技术以及门控循环单元网络对于时序数据强大的特征提取能力提升了检测的准确率。
为解决上述技术问题，本发明提供以下技术方案：
第一方面，本发明提供一种基于行车数据的驾驶员疲劳驾驶检测方法，包括：
获取行车过程中的车辆状态表征参数；
根据所述车辆状态表征参数以及其对应的行车时间生成车辆运动时间序列；
根据所述车辆运动时间序列以及预先建立的门控循环单元网络分类器检测驾驶员的疲劳状态。
一实施例中，所述根据所述车辆状态表征参数以及其对应的行车时间生成车辆运动时间序列，包括：
对所述车辆状态表征参数进行数据清洗以及数据平滑，以生成预处理之后的表征参数；
提取所述预处理之后的表征参数中的车辆运动表征参数；
根据所述车辆运动表征参数以及其对应的行车时间生成所述车辆运动时间序列。
一实施例中，建立所述门控循环单元网络分类器包括以下步骤：
建立双向门控循环单元网络的输入层以及隐藏层；
根据所述输入层读取车辆运动时间序列，以激活兴奋信号并传递给隐藏层；
根据所述隐藏层提取所述兴奋信号在时间、空间维度的耦合关系，并传递所述耦合关系至下层网络；
提取所述隐藏层中各个节点的状态特征；
根据所述状态特征生成高维时空特征；
根据所述高维时空特征以及预生成的门控循环单元网络初始模型建立所述门控循环单元网络分类器。
一实施例中，所述车辆状态表征参数包括：车辆的速度、三维加速度以及姿态角度；
所述车辆运动表征参数包括：经纬度、海拔、道路平整度、环境信息以及驾驶坡度。
第二方面，本发明提供一种基于行车数据的驾驶员疲劳驾驶检测装置，包括：
状态参数获取模块，用于获取行车过程中的车辆状态表征参数；
运动时间序列生成模块，用于根据所述车辆状态表征参数以及其对应的行车时间生成车辆运动时间序列；
疲劳状态检测模块，用于根据所述车辆运动时间序列以及预先建立的门控循环单元网络分类器检测驾驶员的疲劳状态。
一实施例中，所述运动时间序列生成模块包括：
状态参数预处理单元，用于对所述车辆状态表征参数进行数据清洗以及数据平滑，以生成预处理之后的表征参数；
运动参数提取单元，用于提取所述预处理之后的表征参数中的车辆运动表征参数；
运动时间序列生成单元，用于根据所述车辆运动表征参数以及其对应的行车时间生成所述车辆运动时间序列。
一实施例中，基于行车数据的驾驶员疲劳驾驶检测装置还包括：分类器建立模块，用于建立所述门控循环单元网络分类器，所述分类器建立模块包括：
层建立单元，用于建立双向门控循环单元网络的输入层以及隐藏层；
兴奋信号激活单元，用于根据所述输入层读取车辆运动时间序列，以激活兴奋信号并传递给隐藏层；
耦合关系提取单元，用于根据所述隐藏层提取所述兴奋信号在时间、空间维度的耦合关系，并传递所述耦合关系至下层网络；
状态特征提取单元，用于提取所述隐藏层中各个节点的状态特征；
时空特征生成单元，用于根据所述状态特征生成高维时空特征；
分类器建立单元，用于根据所述高维时空特征以及预生成的门控循环单元网络初始模型建立所述门控循环单元网络分类器。
一实施例中，所述车辆状态表征参数包括：车辆的速度、三维加速度以及姿态角度；
所述车辆运动表征参数包括：经纬度、海拔、道路平整度、环境信息以及驾驶坡度。
第三方面，本发明提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现基于行车数据的驾驶员疲劳驾驶检测方法的步骤。
第四方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现基于行车数据的驾驶员疲劳驾驶检测方法的步骤。
从上述描述可知，本发明实施例提供的基于行车数据的驾驶员疲劳驾驶检测方法及装置，首先获取行车过程中的车辆状态表征参数；接着，根据车辆状态表征参数以及其对应的行车时间生成车辆运动时间序列；最后根据车辆运动时间序列以及预先建立的门控循环单元网络分类器检测驾驶员的疲劳状态。本发明仅依托车载信号采集设备收集的行车数据检测驾驶疲劳，从而在实际应用上更具有推广性。本发明所使用的车辆运动参数利用了驾驶人疲劳时车辆控制能力下降的现象。本发明将生物钟和累计驾驶时间对于驾驶人疲劳的影响纳入检测判据。同时，利用特征工程的相关技术以及门控循环单元网络对于时序数据强大的特征提取能力提升了检测的准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例的一种基于行车数据的驾驶员疲劳驾驶检测***的第一种结构示意图；
图2为本申请实施例的一种基于行车数据的驾驶员疲劳驾驶检测***的第二种结构示意图；
图3为本发明的实施例中基于行车数据的驾驶员疲劳驾驶检测方法流程示意图一；
图4为本发明的实施例中步骤200的流程示意图；
图5为本发明的实施例中步骤202的流程示意图；
图6为本发明的实施例中基于行车数据的驾驶员疲劳驾驶检测方法流程示意图二；
图7为本发明的实施例中步骤400的流程示意图；
图8为本发明的具体应用实例中基于行车数据的驾驶员疲劳驾驶检测方法的流程示意图；
图9为本发明的具体应用实例中深度神经网络的网络结构图(神经元个数经过简化处理)；
图10为本发明的实施例中基于行车数据的驾驶员疲劳驾驶检测装置的结构框图一；
图11为本发明的具体应用实例中运动时间序列生成模块20结构示意图；
图12为本发明的实施例中基于行车数据的驾驶员疲劳驾驶检测装置的结构框图二；
图13为本发明的具体应用实例中记忆模型建立模块50结构示意图；
图14为本发明的实施例中的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一实施例中，本申请还提供一种基于行车数据的驾驶员疲劳驾驶检测***，参见图1，该***可以为一种服务器A1，该服务器A1可以与多个车辆上预设的车载信号采集设备B1通信连接，服务器A1还可以与多个数据库分别通信连接，或者如图2所示，这些数据库也可以之间设置在服务器A1中。其中车载信号采集设备B1用于测量行车过程中的车辆速度、三维加速度以及姿态角度。服务器A1在收取速度、三维加速度以及姿态角度之后，根据车辆速度、三维加速度以及姿态角度以及其对应的行车时间生成车辆运动时间序列；接着，根据车辆运动时间序列以及预先建立的门控循环单元网络分类器检测驾驶员的疲劳状态。并将驾驶员的疲劳状态(疲劳程度)通过客户端C1显示给用户。
可以理解的是，客户端C1可以包括智能手机、平板电子设备、网络机顶盒、便携式计算机、台式电脑、个人数字助理(PDA)、车载设备、智能穿戴设备等。其中，智能穿戴设备可以包括智能眼镜、智能手表、智能手环等。
在实际应用中，进行检测驾驶员疲劳状态、成果展示的部分可以在如上述内容的服务器A1侧执行，即，如图1或图2所示的架构，也可以所有的操作都在客户端C1设备中完成。具体可以根据客户端设备的处理能力，以及用户使用场景的限制等进行选择。本申请对此不作限定。若所有的操作都在客户端设备中完成，客户端设备还可以包括处理器，用于进行根据车辆状态表征参数以及其对应的行车时间生成车辆运动时间序列；根据车辆运动时间序列以及预先建立的门控循环单元网络分类器检测驾驶员的疲劳状态等操作。
上述的客户端C1设备可以具有通信模块(即通信单元)，可以与远程的服务器进行通信连接，实现与服务器的数据传输。服务器可以包括根据车辆状态表征参数以及其对应的行车时间生成车辆运动时间序列；根据车辆运动时间序列以及预先建立的门控循环单元网络分类器检测驾驶员的疲劳状态以及成果展示一侧的服务器，其他的实施场景中也可以包括中间平台的服务器，例如与根据车辆状态表征参数以及其对应的行车时间生成车辆运动时间序列；根据车辆运动时间序列以及预先建立的门控循环单元网络分类器检测驾驶员的疲劳状态、成果展示的预测服务器有通信链接的第三方服务器平台的服务器。服务器可以包括单台计算机设备，也可以包括多个服务器组成的服务器集群，或者分布式装置的服务器结构。
服务器与客户端设备之间可以使用任何合适的网络协议进行通信，包括在本申请提交日尚未开发出的网络协议。网络协议例如可以包括TCP/IP协议、UDP/IP协议、HTTP协议、HTTPS协议等。当然，网络协议例如还可以包括在上述协议之上使用的RPC协议(RemoteProcedure Call Protocol，远程过程调用协议)、REST协议(Representational StateTransfer，表述性状态转移协议)等。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
本发明的实施例提供一种基于行车数据的驾驶员疲劳驾驶检测方法的具体实施方式，参见图3，该方法具体包括如下内容：
步骤100：获取行车过程中的车辆状态表征参数。
行车数据可以划分为车辆运动参数和行车时间参数两类。疲劳所导致的驾驶人车辆控制能力减弱会直接反映在车辆的速度、加速度、车辆姿态角度等车辆运动参数中。具体表现为当驾驶人进入疲劳状态时，车辆运动参数的振荡通常会频率降低且幅度增大。同时，驾驶员的生物钟和累计驾驶时间等时间参数也会显著地影响其精神状态。研究发现午后和深夜两个时间段是人类生理周期的疲劳峰值，而且驾驶人疲劳值的累积与其累积驾驶时间近似呈指数函数关系。
上述提到的两类行车数据将由车载设备所采集和生成，数据获取相对简便，且不会对驾驶员的驾驶行为产生干扰。然而，受到数据采集、传输、处理技术限制，以往研究中使用行车数据检测疲劳得到的准确度较低，行车数据更多地被作为辅助特征使用。随着物联网及5G的普及，本发明通过设计高精度的与检测算法完全适配的采集设备，获取多类型、高精度的行车检测数据，从而高效检测驾驶疲劳状态。
步骤100中的车辆状态表征参数均由车载设备完成，并不会影响驾驶员的安全驾驶，具体地，车辆状态表征参数的采集设备以单片机为核心处理器，传感器包括北斗定位模块、加速度传感器等。车辆速度、海拔高度、经纬度、姿态数据等可以通过北斗定位模块采集。车辆的三维加速度指车体纵向、横向、垂向，即x,y,z三个方向的加速度，通过加速度传感器采集。需要指出的是，每一条采集数据都包含对应的信号采集时间戳(采集时间)。
步骤200：根据所述车辆状态表征参数以及其对应的行车时间生成车辆运动时间序列。
具体地，对步骤100中所采集到的行车数据利用特征工程技术进行预处理，生成由车辆运动参数和行车时间参数构成的标准时间序列。
需要指出的是，步骤100中采集到的原始数据可能存在采样不均、采样值异常等数据质量问题。本步骤对上述原始数据利用特征工程的相关技术进行预处理，生成新的车辆运动参数和行车时间参数，得到标准长度的时间序列作为门控循环单元网络分类器的输入数据
进一步地，首先通过数据清洗和数据平滑的方法去除原始数据中的采样不均和异常值数据；然后用特征生成的方法提取如驾驶坡度等新的车辆运动参数，并计算当前时间和累积驾驶时间两个行车时间参数；最后生成标准长度的时间序列数据作为后续分类器的输入数据。
步骤300：根据所述车辆运动时间序列以及预先建立的门控循环单元网络分类器检测驾驶员的疲劳状态。
可以理解的是，门控循环神经网络在简单循环神经网络的基础上对网络的结构做了调整，加入了门控机制，用来控制神经网络中信息的传递。门控机制可以用来控制记忆单元中的信息有多少需要保留，有多少需要丢弃，新的状态信息又有多少需要保存到记忆单元中等。这使得门控循环神经网络可以学习跨度相对较长的依赖关系，而不会出现梯度消失和梯度***的问题。如果从数学的角度来理解，一般结构的循环神经网络中，网络的状态之间是非线性的关系，并且参数在每个时间步共享，这是导致梯度***和梯度消失的根本原因。门控循环神经网络解决问题的方法就是在状态之间添加一个线性的依赖关系，从而避免梯度消失或梯度***的问题，并且其可以更好地捕捉时间序列中时间步距离较大的依赖关系。
步骤300在实施时，首先以车辆运动时间序列为输入数据，利用门控循环单元网络作为分类器，计算对应时间段驾驶员的疲劳标签。若分类器输出为疲劳正样本，则检测***实时发送驾驶员疲劳的告警信号，提醒驾驶员及时停车休息。
从上述描述可知，本发明实施例提供的基于行车数据的驾驶员疲劳驾驶检测方法，针对现有技术中疲劳驾驶检测领域缺乏兼具准确率、鲁棒性和可用性的技术痛点，以及对于行车数据的处理和运用不充分。将行车时间参数、生物钟和累计驾驶时间对于驾驶人疲劳的影响纳入检测判据。同时利用特征工程的相关技术以及门控循环单元网络对于时序数据强大的特征提取能力提升了检测的准确率。
一实施例中，参见图4，步骤200包括：
步骤201：对所述车辆状态表征参数进行数据清洗以及数据平滑，以生成预处理之后的表征参数；
具体地，利用逻辑判断去除数据异常值，利用滑窗平滑算法对数据降噪。进一步地，根据数据特点设置对应逻辑判断去除由于采样失误所导致的数据取值过大过小或取值为空值的情况。对于速度、海拔、加速度、姿态角度等连续变化的数据采用滑窗平滑算法降噪，使得数据分布更加平滑，减少数据突变的情况。
滑窗平滑算法需要设置参数窗长，平滑后的数据是平滑前数据对应位置的前后窗长范围内数据的平均值。对于窗长为2n+1的滑窗平滑算法，给定平滑前的数据xt，平滑后数据x′t的计算方法如下：
步骤202：提取所述预处理之后的表征参数中的车辆运动表征参数；
具体地，驾驶坡度通过信号采集设备收集到的经纬度和海拔数据的变化计算，参见图5。通过单位时间内经纬度坐标及道路路线可计算车辆得到行驶距离distance，单位时间内海拔高度的变化Δaltitude除以距离distance即可得到对应时间段内的驾驶坡度。
步骤203：根据所述车辆运动表征参数以及其对应的行车时间生成所述车辆运动时间序列。
首先需要确定行车时间参数，行车时间参数包括当前时间和利用行程标定得出的累积驾驶时间。行车时间参数主要用于衡量驾驶人的生物钟和累计驾驶时间对其疲劳值累积的生理机制。行车时间参数可以由车载信号采集设备收集的车辆运动数据和对应时间标签计算生成。
具体地，首先生成当前时间，将每一条行车数据的信号采集时间戳转化为取值在0至24之间的连续值，这一特征在模型训练后可以拟合生物钟对于疲劳的影响。累计驾驶时间的计算涉及驾驶行程的标定，需要提前设置停车休息时间阈值。根据大量获取的行车检测数据确定停车休息时间阈值为20分钟，该阈值可根据实际情况调整。当车辆速度从零增加时，驾驶时间开始累积。其间，若车辆速度变为零且持续时间超过阈值20分钟，则认为驾驶员停车休息，并将累计驾驶时间归零，且等待车辆速度再次增加。否则，累计驾驶时间将持续增加。根据上述标定算法，可以从车辆速度数据和对应采集时间计算生成累计驾驶时间特征。
接着，利用滑窗算法生成长度为300个样本点的标准长度时间序列。具体地，采集到的行车数据是一段长度不定的序列。本实施例以300个样本点为窗口长度对该数据序列进行截取，采样窗口每次移动150个样本点的间隔。
一实施例中，参见图6，基于行车数据的驾驶员疲劳驾驶检测方法还包括：
步骤400：建立所述门控循环单元网络分类器，参见图7，步骤400包括：
步骤401：建立双向门控循环单元网络的输入层以及隐藏层；
步骤402：根据所述输入层读取车辆运动时间序列，以激活兴奋信号并传递给隐藏层；
步骤403：根据所述隐藏层提取所述兴奋信号在时间、空间维度的耦合关系，并传递所述耦合关系至下层网络；
需要说明的是，下层网络是指下层隐藏层。
步骤404：提取所述隐藏层中各个节点的状态特征；
步骤405：根据所述状态特征生成高维时空特征；
步骤406：根据所述高维时空特征以及预生成的门控循环单元网络初始模型建立所述门控循环单元网络分类器。
在步骤401至步骤406中，首先建立双向门控循环单元网络输入层，读取高维时间序列数据，激活兴奋信号传递给隐藏层提取特征。接着，建立双向门控循环单元网络隐藏层，提取数据在时间、空间维度的耦合关系，向下层网络传递神经兴奋。提取双向门控循环单元网络隐藏层中各个节点的状态特征，将特征展平为时间序列的高维时空特征。
采用全连接神经网络模型判断疲劳标签。具体地，建立由输入层-隐藏层-输出层构成的全连接神经网络结构。将时间序列的高维时空特征作为全连接神经网络的输入，同时设置优化器、目标函数、学习率、训练-验证-测试集分割比、数据集分割比例等网络训练超参数。将前向计算得到的目标函数按照其误差梯度反向传播，更新门控循环单元特征提取网络和全连接神经网络的参数，完成分类器网络的参数训练。
一实施例中，所述车辆状态表征参数包括：车辆的速度、三维加速度以及姿态角度；所述车辆运动表征参数包括：经纬度、海拔、道路平整度、环境信息以及驾驶坡度。
为进一步地说明本方案，本发明还提供基于行车数据的驾驶员疲劳驾驶检测方法的具体应用实例，该具体应用实例包括如下内容，参见图8以及图9。
步骤S1：获取车辆行驶过程中速度、三维加速度、车辆姿态角度等行车检测数据。
需要指出的是，本具体应用实例中主要通过车载信号采集设备收集行车数据，每条数据包含对应的信号采集时间戳。
步骤S2：对采集到的行车数据利用特征工程技术进行预处理，生成由车辆运动参数和行车时间参数构成的标准时间序列。
步骤S3：构建门控循环单元网络分类器。
将实验数据标定疲劳标签，形成带标签的训练数据集。具体地，生成足够的带有疲劳标签的数据用于疲劳检测分类器的参数训练。一实施例中，根据驾驶人的驾驶行为特征，通过观看车内视频记录标定数据的疲劳驾驶时间段。另一实施实例中，通过实验控制驾驶人的休息时间和驾驶时间，将驾驶人分为非疲劳的对照组和疲劳的实验组分别收集行车数据。
搭建适当的门控循环单元神经网络结构实现行车时间序列数据的特征提取。具体地，车辆驾驶过程中的行车数据是连续变化的时间序列，前后数据之间往往具有较强的相关性，建立门控循环单元网络的结构有利于提取行车数据中的时序变化规律。搭建的门控循环单元网络包括门控循环单元网络层和门控循环单元网络隐藏层。模型的具体构建步骤如下：
建立双向门控循环单元网络输入层，读取高维时间序列数据，激活兴奋信号传递给隐藏层提取特征。建立双向门控循环单元网络隐藏层，提取数据在时间、空间维度的耦合关系，向下层网络传递神经兴奋。提取双向门控循环单元网络隐藏层中各个节点的状态特征，将特征展平为时间序列的高维时空特征。采用全连接神经网络模型判断疲劳标签。
具体地，选择人工神经网络中的全连接神经网络完成疲劳标签判断的任务，模型具体构建步骤如下：建立由输入层-隐藏层-输出层构成的全连接神经网络结构。将时间序列的高维时空特征作为全连接神经网络的输入，同时设置优化器、目标函数、学习率、训练-验证-测试集分割比、数据集分割比例等网络训练超参数。
将前向计算得到的目标函数按照其误差梯度反向传播，更新门控循环单元特征提取网络和全连接神经网络的参数，完成分类器网络的参数训练。
步骤S4：根据时间序列数据和门控循环单元网络分类器判断驾驶员的疲劳标签。
根据分类器输出的疲劳标签进行疲劳监控和告警。具体地，若分类器输出的疲劳标签为疲劳正样本，则由车载的信号采集装置发送告警信息，提醒驾驶员注意安全驾驶、及时停车休息。
从上述描述可知，本发明实施例提供的基于行车数据的驾驶员疲劳驾驶检测方法，首先获取行车过程中的车辆状态表征参数；接着，根据车辆状态表征参数以及其对应的行车时间生成车辆运动时间序列；最后根据车辆运动时间序列以及预先建立的门控循环单元网络分类器检测驾驶员的疲劳状态。本发明仅依托车载信号采集设备收集的行车数据检测驾驶疲劳，从而在实际应用上更具有推广性。本发明所使用的车辆运动参数利用了驾驶人疲劳时车辆控制能力下降的现象。本发明将生物钟和累计驾驶时间对于驾驶人疲劳的影响纳入检测判据。同时，利用特征工程的相关技术以及门控循环单元网络对于时序数据强大的特征提取能力提升了检测的准确率。
基于同一发明构思，本申请实施例还提供了基于行车数据的驾驶员疲劳驾驶检测装置，可以用于实现上述实施例所描述的方法，如下面的实施例。由于基于行车数据的驾驶员疲劳驾驶检测装置解决问题的原理与基于行车数据的驾驶员疲劳驾驶检测方法相似，因此基于行车数据的驾驶员疲劳驾驶检测装置的实施可以参见基于行车数据的驾驶员疲劳驾驶检测方法实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的***较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
本发明的实施例提供一种能够实现基于行车数据的驾驶员疲劳驾驶检测方法的基于行车数据的驾驶员疲劳驾驶检测装置的具体实施方式，参见图10，基于行车数据的驾驶员疲劳驾驶检测装置具体包括如下内容：
状态参数获取模块10，用于获取行车过程中的车辆状态表征参数；
运动时间序列生成模块20，用于根据所述车辆状态表征参数以及其对应的行车时间生成车辆运动时间序列；
疲劳状态检测模块30，用于根据所述车辆运动时间序列以及预先建立的门控循环单元网络分类器检测驾驶员的疲劳状态。
一实施例中，参见图11，所述运动时间序列生成模块20包括：
状态参数预处理单元201，用于对所述车辆状态表征参数进行数据清洗以及数据平滑，以生成预处理之后的表征参数；
运动参数提取单元202，用于提取所述预处理之后的表征参数中的车辆运动表征参数；
运动时间序列生成单元203，用于根据所述车辆运动表征参数以及其对应的行车时间生成所述车辆运动时间序列。
一实施例中，参见图12，基于行车数据的驾驶员疲劳驾驶检测装置还包括：分类器建立模块40，用于建立所述门控循环单元网络分类器，参见图13，所述分类器建立模块40包括：
层建立单元401，用于建立双向门控循环单元网络的输入层以及隐藏层；
兴奋信号激活单元402，用于根据所述输入层读取车辆运动时间序列，以激活兴奋信号并传递给隐藏层；
耦合关系提取单元403，用于根据所述隐藏层提取所述兴奋信号在时间、空间维度的耦合关系，并传递所述耦合关系至下层网络；
状态特征提取单元404，用于提取所述隐藏层中各个节点的状态特征；
时空特征生成单元405，用于根据所述状态特征生成高维时空特征；
分类器建立单元406，用于根据所述高维时空特征以及预生成的门控循环单元网络初始模型建立所述门控循环单元网络分类器。
一实施例中，所述车辆状态表征参数包括：车辆的速度、三维加速度以及姿态角度；
所述车辆运动表征参数包括：经纬度、海拔、道路平整度、环境信息以及驾驶坡度。
从上述描述可知，本发明实施例提供的基于行车数据的驾驶员疲劳驾驶检测装置，首先获取行车过程中的车辆状态表征参数；接着，根据车辆状态表征参数以及其对应的行车时间生成车辆运动时间序列；最后根据车辆运动时间序列以及预先建立的门控循环单元网络分类器检测驾驶员的疲劳状态。本发明仅依托车载信号采集设备收集的行车数据检测驾驶疲劳，从而在实际应用上更具有推广性。本发明所使用的车辆运动参数利用了驾驶人疲劳时车辆控制能力下降的现象。本发明将生物钟和累计驾驶时间对于驾驶人疲劳的影响纳入检测判据。同时，利用特征工程的相关技术以及门控循环单元网络对于时序数据强大的特征提取能力提升了检测的准确率。
本申请的实施例还提供能够实现上述实施例中的基于行车数据的驾驶员疲劳驾驶检测方法中全部步骤的一种电子设备的具体实施方式，参见图14，电子设备具体包括如下内容：
处理器(processor)1201、存储器(memory)1202、通信接口(CommunicationsInterface)1203和总线1204；
其中，处理器1201、存储器1202、通信接口1203通过总线1204完成相互间的通信；通信接口1203用于实现服务器端设备、传感器以及客户端设备等相关设备之间的信息传输。
处理器1201用于调用存储器1202中的计算机程序，处理器执行计算机程序时实现上述实施例中的基于行车数据的驾驶员疲劳驾驶检测方法中的全部步骤，例如，处理器执行计算机程序时实现下述步骤：
步骤100：获取行车过程中的车辆状态表征参数；
步骤200：根据所述车辆状态表征参数以及其对应的行车时间生成车辆运动时间序列；
步骤300：根据所述车辆运动时间序列以及预先建立的门控循环单元网络分类器检测驾驶员的疲劳状态。
本申请的实施例还提供能够实现上述实施例中的基于行车数据的驾驶员疲劳驾驶检测方法中全部步骤的一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中的基于行车数据的驾驶员疲劳驾驶检测方法的全部步骤，例如，处理器执行计算机程序时实现下述步骤：
步骤100：获取行车过程中的车辆状态表征参数；
步骤200：根据所述车辆状态表征参数以及其对应的行车时间生成车辆运动时间序列；
步骤300：根据所述车辆运动时间序列以及预先建立的门控循环单元网络分类器检测驾驶员的疲劳状态。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于硬件+程序类实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种基于行车数据的驾驶员疲劳驾驶检测方法，其特征在于，包括：
获取行车过程中的车辆状态表征参数；
根据所述车辆状态表征参数以及其对应的行车时间生成车辆运动时间序列；
根据所述车辆运动时间序列以及预先建立的门控循环单元网络分类器检测驾驶员的疲劳状态。
2.如权利要求1所述的驾驶员疲劳驾驶检测方法，其特征在于，所述根据所述车辆状态表征参数以及其对应的行车时间生成车辆运动时间序列，包括：
对所述车辆状态表征参数进行数据清洗以及数据平滑，以生成预处理之后的表征参数；
提取所述预处理之后的表征参数中的车辆运动表征参数；
根据所述车辆运动表征参数以及其对应的行车时间生成所述车辆运动时间序列。
3.如权利要求1所述的驾驶员疲劳驾驶检测方法，其特征在于，建立所述门控循环单元网络分类器包括以下步骤：
建立双向门控循环单元网络的输入层以及隐藏层；
根据所述输入层读取车辆运动时间序列，以激活兴奋信号并传递给隐藏层；
根据所述隐藏层提取所述兴奋信号在时间、空间维度的耦合关系，并传递所述耦合关系至下层网络；
提取所述隐藏层中各个节点的状态特征；
根据所述状态特征生成高维时空特征；
根据所述高维时空特征以及预生成的门控循环单元网络初始模型建立所述门控循环单元网络分类器。
4.如权利要求1所述的驾驶员疲劳驾驶检测方法，其特征在于，
所述车辆状态表征参数包括：车辆的速度、三维加速度以及姿态角度；
所述车辆运动表征参数包括：经纬度、海拔、道路平整度、环境信息以及驾驶坡度。
5.一种基于行车数据的驾驶员疲劳驾驶检测装置，其特征在于，包括：
状态参数获取模块，用于获取行车过程中的车辆状态表征参数；
运动时间序列生成模块，用于根据所述车辆状态表征参数以及其对应的行车时间生成车辆运动时间序列；
疲劳状态检测模块，用于根据所述车辆运动时间序列以及预先建立的门控循环单元网络分类器检测驾驶员的疲劳状态。
6.如权利要求5所述的驾驶员疲劳驾驶检测装置，其特征在于，所述运动时间序列生成模块包括：
状态参数预处理单元，用于对所述车辆状态表征参数进行数据清洗以及数据平滑，以生成预处理之后的表征参数；
运动参数提取单元，用于提取所述预处理之后的表征参数中的车辆运动表征参数；
运动时间序列生成单元，用于根据所述车辆运动表征参数以及其对应的行车时间生成所述车辆运动时间序列。
7.如权利要求5所述的驾驶员疲劳驾驶检测装置，其特征在于，还包括：分类器建立模块，用于建立所述门控循环单元网络分类器，所述分类器建立模块包括：
层建立单元，用于建立双向门控循环单元网络的输入层以及隐藏层；
兴奋信号激活单元，用于根据所述输入层读取车辆运动时间序列，以激活兴奋信号并传递给隐藏层；
耦合关系提取单元，用于根据所述隐藏层提取所述兴奋信号在时间、空间维度的耦合关系，并传递所述耦合关系至下层网络；
状态特征提取单元，用于提取所述隐藏层中各个节点的状态特征；
时空特征生成单元，用于根据所述状态特征生成高维时空特征；
分类器建立单元，用于根据所述高维时空特征以及预生成的门控循环单元网络初始模型建立所述门控循环单元网络分类器。
8.如权利要求5所述的驾驶员疲劳驾驶检测装置，其特征在于，
所述车辆状态表征参数包括：车辆的速度、三维加速度以及姿态角度；
所述车辆运动表征参数包括：经纬度、海拔、道路平整度、环境信息以及驾驶坡度。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至4任一项所述基于行车数据的驾驶员疲劳驾驶检测方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4任一项所述基于行车数据的驾驶员疲劳驾驶检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210209405.0A CN114581894A (zh) | 2022-03-03 | 2022-03-03 | 基于行车数据的驾驶员疲劳驾驶检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210209405.0A CN114581894A (zh) | 2022-03-03 | 2022-03-03 | 基于行车数据的驾驶员疲劳驾驶检测方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114581894A true CN114581894A (zh) | 2022-06-03 |
Family
ID=81778032
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210209405.0A Pending CN114581894A (zh) | 2022-03-03 | 2022-03-03 | 基于行车数据的驾驶员疲劳驾驶检测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114581894A (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102717765A (zh) * | 2012-07-09 | 2012-10-10 | 湖南赛格导航技术研究有限公司 | 疲劳驾驶检测方法及防疲劳驾驶辅助装置 |
| DE102012018949A1 (de) * | 2012-09-26 | 2014-03-27 | Volkswagen Aktiengesellschaft | Vorrichtung, Steuergerät, Fahrzeug, Verfahren und Computerprogramm zur Müdigkeitserkennung in einem Fahrzeug |
-
2022
- 2022-03-03 CN CN202210209405.0A patent/CN114581894A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102717765A (zh) * | 2012-07-09 | 2012-10-10 | 湖南赛格导航技术研究有限公司 | 疲劳驾驶检测方法及防疲劳驾驶辅助装置 |
| DE102012018949A1 (de) * | 2012-09-26 | 2014-03-27 | Volkswagen Aktiengesellschaft | Vorrichtung, Steuergerät, Fahrzeug, Verfahren und Computerprogramm zur Müdigkeitserkennung in einem Fahrzeug |
Non-Patent Citations (1)
| Title |
|---|
| BERNHARD GAHR等: "Driver Identification via the Steering Wheel", ARXIV:1909.03953V1, 9 September 2019 (2019-09-09), pages 1 - 4 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11237184B2 (en) | Methods and systems for pattern-based identification of a driver of a vehicle | |
| CN104013414B (zh) | 一种基于移动智能手机的驾驶员疲劳检测*** | |
| Sigari et al. | A driver face monitoring system for fatigue and distraction detection | |
| CN109460780A (zh) | 人工神经网络的车辆安全驾驶检测方法、装置及存储介质 | |
| WO2017211395A1 (en) | Control device, system and method for determining the perceptual load of a visual and dynamic driving scene | |
| Al-Madani et al. | Real-time driver drowsiness detection based on eye movement and yawning using facial landmark | |
| CN114020807A (zh) | 基于深度学习的车辆载重确定方法及装置 | |
| Abbas et al. | Hypo-driver: a multiview driver fatigue and distraction level detection system | |
| Zhou et al. | Driving behavior prediction considering cognitive prior and driving context | |
| Rezaei et al. | Simultaneous analysis of driver behaviour and road condition for driver distraction detection | |
| Tang et al. | Real-time image-based driver fatigue detection and monitoring system for monitoring driver vigilance | |
| Ma et al. | Real time drowsiness detection based on lateral distance using wavelet transform and neural network | |
| Butt et al. | Fall detection using LSTM and transfer learning | |
| Hou et al. | A lightweight framework for abnormal driving behavior detection | |
| Kajiwara | Driver-condition detection using a thermal imaging camera and neural networks | |
| Hashemi et al. | Towards safer roads: A deep learning-based multimodal fatigue monitoring system | |
| CN114581894A (zh) | 基于行车数据的驾驶员疲劳驾驶检测方法及装置 | |
| Utomo et al. | Driver fatigue prediction using different sensor data with deep learning | |
| Anumas et al. | Driver fatigue monitoring system using video face images & physiological information | |
| Gaidar et al. | Real-time fatigue features detection | |
| Sun et al. | Recognition of fatigue driving based on steering operation using wearable smart watch | |
| Nuralif et al. | Driver fatigue detection based on face mesh features using deep learning | |
| Bhatia et al. | Drowsiness image detection using computer vision | |
| CN117643470B (zh) | 基于脑电解译的疲劳驾驶检测方法及装置 | |
| Subbaiah et al. | Driver drowsiness detection methods: A comprehensive survey |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |