CN113743471A - 一种驾驶评估方法及其*** - Google Patents

一种驾驶评估方法及其*** Download PDF

Info

Publication number
CN113743471A
CN113743471A CN202110896194.8A CN202110896194A CN113743471A CN 113743471 A CN113743471 A CN 113743471A CN 202110896194 A CN202110896194 A CN 202110896194A CN 113743471 A CN113743471 A CN 113743471A
Authority
CN
China
Prior art keywords
driving
data
eye movement
training
degree
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110896194.8A
Other languages
English (en)
Other versions
CN113743471B (zh
Inventor
马向东
闫勉
高畅
陈炳赞
郭柏淇
廖锦鸿
贾梦婷
贾宇擎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinan University
Original Assignee
Jinan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinan University filed Critical Jinan University
Priority to CN202110896194.8A priority Critical patent/CN113743471B/zh
Publication of CN113743471A publication Critical patent/CN113743471A/zh
Application granted granted Critical
Publication of CN113743471B publication Critical patent/CN113743471B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Eye Examination Apparatus (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明公开了一种驾驶评估方法及其***,该方法包括以下步骤:在VR驾驶环境下采集眼动数据和驾驶数据,利用眼动数据建立驾驶疲劳分析模型,利用眼动数据和驾驶数据建立驾驶分心分析模型、车辆驾驶分析模型和驾驶视觉分散分析模型,结合驾驶疲劳分析模型、驾驶分心分析模型、车辆驾驶分析模型和驾驶视觉分散分析模型,形成集驾驶视觉分散、驾驶分心、驾驶疲劳分析、车辆驾驶分析一体的驾驶评估,通过采用加权SVR,针对不同的驾驶员训练适宜的分析模型,对驾驶集视觉分散程度、注意力分散程度、疲劳程度、驾驶稳定程度分析结果进行量化,最后通过模糊综合评价法对驾驶安全进行评分。本发明从多方面对驾驶员驾驶状况进行分析,具有较高的分析准确性。

Description

一种驾驶评估方法及其***
技术领域
本发明涉及虚拟现实汽车驾驶技术领域,具体涉及一种驾驶评估方法及其***。
背景技术
近年来我国汽车保有量不断激增,道路交通安全问题已成为严重的社会问题,其中,疲劳驾驶、分心驾驶是导致交通事故以及重大交通死亡事故的重要原因。据统计,我国2019年交通事故发生数量为24.8万起,直接造成财产损失13.46亿元,其中约20%的交通事故是由疲劳导致的,接近80%的交通事故是因驾驶分心导致的。可见,减少疲劳驾驶、分心驾驶对降低交通事故发生率、减少交通事故损失具有重大的意义,为尽早地发现驾驶人疲劳驾驶、分心驾驶,并及时给予提醒,防止悲剧的发生,唯有发展先进、有效的驾驶安全检测技术。
目前国内主流的疲劳状态检测指标主要有脑电信号指标、心电信号指标、驾驶行为指标和眼动指标。对于脑电信号指标和心电信号指标的收集,是通过侵入式的监测仪器,实时监测驾驶员的生理信号(如脑电图EEG、心电图ECG等)变化,通过分析生理状态的变化,进而获取驾驶员的驾驶状态,但在实际驾驶中,监测设备可能会引起驾驶员的不适甚至是抵触,且容易受到身体动作产生的噪声干扰,导致监测设备出现错误预警。对于驾驶行为指标,通过对方向盘转角、车辆加速度变化情况、车身摆动情况等特征对驾驶员的疲劳状态进行分析检测,但该检测方法受车辆运行环境、驾驶员自身素质、心情等因素影响,检测准确度偏低。眼动指标检测目前较为常用的方法是PERCLOS法,通过对眼睛闭合时间的占比率对驾驶员状态进行判断,根据闭眼程度不同,采用不同的标准(EM、P70、P80),但研究发现,驾驶员可以在眼睑正常睁开的情形下进入微睡眠状态,导致基于PERCLOS法的疲劳评估产生误差。目前,现有的疲劳驾驶检测主要问题在于模型不具有普适性,对于不同的驾驶员、不同的驾驶环境等,模型准确度有较大的差别,模型的鲁棒性较差。在分心驾驶检测技术上,常常通过摄像头监视的方式,通过获取驾驶员的面部状态判断其是否分心,但该技术可能会侵犯驾驶员的隐私,给人带来不便。
现阶段,市面上大多数的安全监测都已疲劳检测为主,在现有专利中,一种驾驶疲劳的检测方法及***(申请号为202010920492.1)、一种基于人体多类特征的驾驶疲劳监测方法(申请号为202011249649.9)。前者是通过获取多个生理信号,包括眼动特性、脑电波信号、闪光融合频率、心率和心电信号、肌肉信号、面部表情等信息进行综合评价评估,后者是脑电信号、点头率、头部异常率进行融合分析。由此可见,市面上的疲劳驾驶分析多通过脑电信号与其他相关特征信号(包括驾驶行为指标、眼动指标、心电指标)的融合分析,对单一的多个眼动特征进行分析。此外,眼动追踪技术逐渐成熟且被应用于各种领域,航空领域、广告页面评估和人机交互等各个领域几乎都有它的身影,但对于在实际情形进行训练时采集数据而言,一旦受试者出现疲劳状态,则存在一定的安全隐患。
发明内容
为了克服现有技术存在的缺陷与不足,本发明的第一目的在于提出了一种驾驶评估方法,通过在VR驾驶环境下通过采集眼动数据、驾驶数据并训练驾驶疲劳分析模型、驾驶分心分析模型、驾驶视觉分散分析模型以及车辆驾驶分析模型,从而形成集视觉分散程度、注意力分散程度、疲劳程度、驾驶稳定程度分析一体的驾驶评估,从多方面对驾驶员驾驶状况进行分析,具有较高的分析准确性。
本发明的第二目的在于提出了一种驾驶评估***。
为了达到上述第一目的,本发明采用以下技术方案:
一种驾驶评估方法,包括以下步骤:
数据采集步骤:采集用户在当前驾驶行为中的第一眼动数据和驾驶数据,所述第一眼动数据包括时间标签、眼睛睁闭状态、瞳孔直径、视线落点、数据有效性标签,所述驾驶数据包括方向盘转角、转角速度、制动踏板幅度、油门踏板幅度、车速、车辆加速度;
数据预处理步骤:根据数据有效性标签进行筛选第一眼动数据,当数据有效性标签为无效标识时,剔除数据,否则保留数据;
对剔除数据后的第一眼动数据通过线性插值补全,对补全后的第一眼动数据进行滑动平均滤波处理得到第二眼动数据;
基于第二眼动数据通过线性插值、滑动平均滤波、低通滤波、算术运算进行计算闭眼时间占比、瞳孔平均直径、单次眨眼时间、注视时间占比、眨眼频率、凝视时间比例、注视点的水平位置、扫视速度、横向位移;
驾驶疲劳预测步骤:将闭眼时间占比、瞳孔平均直径、单次眨眼时间、注视时间占比作为第一输入特征向量,将所述第一输入特征向量输入至驾驶疲劳分析模型进行预测困倦程度,基于困倦程度与多组预设困倦阈值范围进行分类得到输出的疲劳程度;
所述驾驶疲劳分析模型为使用多组第一训练数据通过机器学***面后得到;
所述多组第一训练数据为基于VR驾驶环境下采集得到。
作为优选的技术方案,所述驾驶疲劳分析模型具体采用以下步骤进行训练得到:
VR驾驶环境搭建步骤:利用VR头戴式装置和驾驶装置搭建虚拟驾驶环境;
VR驾驶时数据采集步骤:采集用户在当前驾驶行为中的第三眼动数据,所述第三眼动数据包括时间标签、眼睛睁闭状态、瞳孔直径、视线落点、数据有效性标签;
VR驾驶时数据预处理步骤:根据数据有效性标签进行筛选第三眼动数据,当数据有效性标签为无效标识时,剔除数据,否则保留数据;
对剔除数据后的第三眼动数据通过线性插值补全,对补全后的第三眼动数据进行滑动平均滤波处理得到第四眼动数据;
基于第四眼动数据通过线性插值、滑动平均滤波、低通滤波、算术运算进行计算闭眼时间占比、瞳孔平均直径、单次眨眼时间、注视时间占比;
驾驶疲劳分析模型训练步骤:
将闭眼时间占比、瞳孔平均直径、单次眨眼时间、注视时间占比作为第一输入特征向量,以标识对应第一输入特征向量的困倦程度作为标签,从而形成多组第一训练样本,将第一训练样本划分为第一训练集和第一测试集;
对多组第一训练样本进行期望信息分类得到原始眼动特征信息,将多组第一训练样本分割为多个第一训练样本块并对每个第一训练样本块按时间点进行期望信息分类得到新眼动特征信息;
计算眼动特征信息增益,具体为原始眼动特征信息与新眼动特征信息相减后差值的平方根,所述眼动特征信息增益用于表示对应眼动特征对分类的贡献程度;
基于眼动特征信息增益的眼动特征加权矩阵:
Figure BDA0003197961990000031
其中,InfoGain(Ai)表示第i个眼动特征Ai的眼动特征信息增益权重值;
引入加权高斯核函数建立并训练加权支持SVR模型,具体为:引入加权高斯核函数设置眼动特征的加权核函数,建立困倦程度的回归超平面方程,基于第一训练集对加权支持SVR模型进行训练以对超平面分类,基于第一测试集对加权支持SVR模型进行测试,当测试分类准确率达到预设准确度阈值时,停止模型训练,将加权支持SVR模型作为驾驶疲劳分析模型,否则继续训练模型。
作为优选的技术方案,所述眼动特征的加权核函数具体为:
KP(xi,xj)=exp(-γ||xiP-xjP||2)
=exp(-γ((xiP-xjP)P-PT(xiP-xjP)T)),γ>0
式中KP(xi,xj)为眼动特征的加权核函数,xi为第i个眼动特征,xj为第j个眼动特征,P为眼动特征加权矩阵,PT为眼动特征加权矩阵的转置形式,γ为支持向量的宽度。
作为优选的技术方案,所述困倦程度的回归超平面方程表示为:
Figure BDA0003197961990000041
式中f(x)为困倦程度的回归超平面方程,yi为第i个样本对应的困倦程度标签值,
Figure BDA0003197961990000042
为第i个样本输入,ω为期望输出回归超平面,b为超平面系数。
作为优选的技术方案,还包括驾驶视觉分散预测步骤:基于第二眼动数据中的视线落点计算垂直和水平方向的视角标准差,将垂直和水平方向的视角标准差作为视觉分散程度,驾驶视觉分散分析模型基于视觉分散程度进行评价搜索广度;
所述驾驶视觉分散分析模型用于预测行车过程中驾驶的视角分布的离散程度。
作为优选的技术方案,还包括驾驶分心预测步骤:对眨眼频率、凝视时间比例、瞳孔平均直径、注视点的水平位置、扫视速度、横向位移、方向盘转角、车速、车辆加速度采用min-max归一法进行归一化,分别计算均值、标准差,采用SVM-RFE对指标特征进行重要度排序,选取第一预设数量的指标特征作为第二输入特征向量;
将所述第二输入特征向量输入至驾驶分心分析模型进行预测注意力分散程度,所述驾驶分心分析模型为使用多组第二训练数据通过机器学习训练得出,多组第二训练数据中的每组数据包括第二输入特征向量和标识该第二输入特征向量所对应的注意力分散程度标签;
所述多组第二训练数据为基于VR驾驶环境下采集得到;
所述驾驶分心分析模型为通过机器学习训练得出,具体为:计算第二输入特征向量中的每个特征的信息增益,构造特征加权矩阵,构造特征加权核函数,使用加权SVR对模型进行训练。
作为优选的技术方案,所述驾驶分心分析模型具体采用以下步骤进行训练:
VR驾驶环境搭建步骤:利用VR头戴式装置和驾驶装置搭建虚拟驾驶环境;
VR驾驶时数据采集步骤:采集用户在当前驾驶行为中的第五眼动数据和驾驶数据,所述第五眼动数据包括时间标签、眼睛睁闭状态、瞳孔直径、视线落点、数据有效性标签;
VR驾驶时数据预处理步骤:根据数据有效性标签进行筛选第五眼动数据,当数据有效性标签为无效标识时,剔除数据,否则保留数据;
对剔除数据后的第五眼动数据通过线性插值补全,对补全后的第五眼动数据进行滑动平均滤波处理得到第六眼动数据;
基于第六眼动数据通过线性插值、滑动平均滤波、低通滤波、算术运算进行计算眨眼频率、凝视时间比例、注视点的水平位置、扫视速度、横向位移;
驾驶分心分析模型训练步骤:对眨眼频率、凝视时间比例、瞳孔平均直径、注视点的水平位置、扫视速度、横向位移、方向盘转角、车速、车辆加速度采用min-max归一法进行归一化,分别计算均值、标准差,采用SVM-RFE对指标特征进行重要度排序,选取第二预设数量的指标特征作为第二输入特征向量;
以标识对应第二输入特征向量的注意力分散程度作为标签,从而形成多组第二训练样本,将第二训练样本划分为第二训练集和第二测试集;
对多组第二训练样本进行期望信息分类得到原始眼动特征信息,将多组第二训练样本分割为多个第二训练样本块并对每个第二训练样本块按时间点进行期望信息分类得到新眼动特征信息;
计算眼动特征信息增益,具体为原始眼动特征信息与新眼动特征信息相减后差值的平方根,所述眼动特征信息增益用于表示对应眼动特征对分类的贡献程度;
基于眼动特征信息增益的眼动特征加权矩阵:
Figure BDA0003197961990000051
其中,InfoGain(Ai)表示第i个眼动特征Ai的眼动特征信息增益权重值;
引入加权高斯核函数建立并训练加权支持SVR模型,具体为:引入加权高斯核函数设置眼动特征的加权核函数,建立困倦程度的回归超平面方程,基于第二训练集对加权支持SVR模型进行训练以对超平面分类,基于第二测试集对加权支持SVR模型进行测试,当测试分类准确率达到预设准确度阈值时,停止模型训练,将加权支持SVR模型作为驾驶分心分析模型,否则继续训练模型。
作为优选的技术方案,还包括车辆驾驶分析步骤:将转角速度、制动踏板幅度、油门踏板幅度、车速、车辆加速度采用min-max归一法进行归一化,分别计算均值、标准差、最大值、最小值进行计算,采用SVM-RFE对指标特征进行重要度排序,选取第三预设数量的指标特征作为第三输入特征向量;
将所述第三输入特征向量输入至车辆驾驶分析模型进行预测驾驶稳定程度,所述车辆驾驶分析模型为使用多组第三训练数据通过机器学习训练得出,多组第三训练数据中的每组数据包括第三输入特征向量和标识该第三输入特征向量所对应的驾驶稳定程度标签;
所述多组第三训练数据为基于VR驾驶环境下采集得到;所述车辆驾驶分析模型为通过机器学习训练得出,具体为:计算第三输入特征向量中的每个特征的信息增益,构造特征加权矩阵,构造特征加权核函数,使用加权SVR对模型进行训练。
作为优选的技术方案,还包括驾驶安全分析步骤:根据预测得到的驾驶疲劳程度、视觉分散程度、驾驶分心程度、驾驶稳定程度构建因素集;
确定因素集中各元素的评价等级;
利用熵权法确定因素集中各指标的权重集合;
各指标利用隶属函数构造模糊关系矩阵形成多个单因素评价隶属向量,基于多个单因素评价隶属向量构成多因素评价隶属矩阵;
将各指标的权重集合和多因素评价隶属矩阵进行相乘得到综合评价结果矩阵,选取综合评价结果矩阵中的最大值作为驾驶安全评分。
为了达到上述第二目的,本发明采用以下技术方案:
一种驾驶评估***,包括:数据采集模块、数据预处理模块、驾驶疲劳预测模块、驾驶视觉分散预测模块、驾驶分心预测模块、车辆驾驶分析模块以及驾驶安全分析模块,所述数据采集模块与数据预处理模块连接,所述数据预处理模块还分别与驾驶疲劳预测模块、驾驶视觉分散预测模块、驾驶分心预测模块、车辆驾驶分析模块连接,驾驶安全分析模块分别与驾驶疲劳预测模块、驾驶视觉分散预测模块、驾驶分心预测模块、车辆驾驶分析模块连接;
所述数据采集模块用于采集用户在当前驾驶行为中的第一眼动数据和驾驶数据,所述第一眼动数据包括时间标签、眼睛睁闭状态、瞳孔直径、视线落点、数据有效性标签,所述驾驶数据包括方向盘转角、转角速度、制动踏板幅度、油门踏板幅度、车速、车辆加速度;
所述数据预处理模块用于根据数据有效性标签进行筛选第一眼动数据,对剔除数据后的第一眼动数据通过线性插值补全,对补全后的第一眼动数据进行滑动平均滤波处理得到第二眼动数据,基于第二眼动数据通过线性插值、滑动平均滤波、低通滤波、算术运算进行计算闭眼时间占比、瞳孔平均直径、单次眨眼时间、注视时间占比、眨眼频率、凝视时间比例、注视点的水平位置、扫视速度、横向位移;
所述驾驶疲劳预测模块用于利用驾驶疲劳分析模型基于第一输入特征向量进行预测困倦程度,基于困倦程度与多组预设困倦阈值范围进行分类得到输出的疲劳程度,所述第一输入特征向量包括闭眼时间占比、瞳孔平均直径、单次眨眼时间、注视时间占比;
所述驾驶疲劳分析模型为使用多组第一训练数据通过机器学***面后得到,所述多组第一训练数据为基于VR驾驶环境下采集得到;
所述驾驶视觉分散预测模块用于利用驾驶视觉分散分析模型进行评价搜索广度,所述驾驶视觉分散分析模型用于预测行车过程中驾驶的视角分布的离散程度;
所述驾驶分心预测模块用于利用驾驶分心分析模型基于第二输入特征向量进行预测注意力分散程度;
所述第二输入特征向量为通过以下处理方式得到:对眨眼频率、凝视时间比例、瞳孔平均直径、注视点的水平位置、扫视速度、横向位移、方向盘转角、车速、车辆加速度采用min-max归一法进行归一化,分别计算均值、标准差,采用SVM-RFE对指标特征进行重要度排序,选取第一预设数量的指标特征作为第二输入特征向量;
所述驾驶分心分析模型为使用多组第二训练数据通过机器学习训练得出,多组第二训练数据中的每组数据包括第二输入特征向量和标识该第二输入特征向量所对应的注意力分散程度标签,所述多组第二训练数据为基于VR驾驶环境下采集得到;
所述车辆驾驶分析模块用于利用车辆驾驶分析模型基于第三输入特征向量进行预测驾驶稳定程度;
所述第三输入特征向量为通过以下处理方式得到:将转角速度、制动踏板幅度、油门踏板幅度、车速、车辆加速度采用min-max归一法进行归一化,分别计算均值、标准差、最大值、最小值进行计算,采用SVM-RFE对指标特征进行重要度排序,选取第三预设数量的指标特征作为第三输入特征向量;
所述车辆驾驶分析模型为使用多组第三训练数据通过机器学习训练得出,多组第三训练数据中的每组数据包括第三输入特征向量和标识该第三输入特征向量所对应的驾驶稳定程度标签,所述多组第三训练数据为基于VR驾驶环境下采集得到;
所述驾驶安全分析模块用于构造模糊关系矩阵对驾驶疲劳程度、视觉分散程度、驾驶分心程度、驾驶稳定程度进行综合评价,进而量化得到驾驶安全评分。本发明与现有技术相比,具有如下优点和有益效果:
(1)本发明提出的驾驶评估方法通过在VR驾驶环境下采集数据,该方法在训练数据收集方式上更加高效、安全,具有较高的参考价值;该方法通过模糊层次分析法评估驾驶安全指数,具有结果清晰、***性强的特点,解决了驾驶安全评分及驾驶绩效难以量化的问题。
(2)本发明提出的驾驶评估方法在VR驾驶环境下采集眼动数据,基于对原始眼动数据分析处理获得闭眼时间占比、瞳孔的平均直径、单次眨眼时间、注视时间占比,通过加权SVR对数据进行训练,基于眼动数据建立驾驶疲劳分析模型,该驾驶疲劳分析模型采用多种眼动特征数据,弥补了现有眼动特征疲劳驾驶分析的特征单一的缺点,在驾驶疲劳分析的判断上具有更高的准确率。
(3)本发明提出的驾驶评估方法在VR驾驶环境下采集眼动数据和驾驶数据,利用眼动数据建立驾驶疲劳分析模型,利用眼动数据和驾驶数据建立驾驶分心分析模型和驾驶视觉分散分析模型,结合驾驶疲劳分析模型、驾驶分心分析模型和驾驶视觉分散分析模型,形成集驾驶视觉分散、驾驶分心、驾驶疲劳分析、车辆驾驶分析一体的驾驶评估,通过采用加权SVR,针对不同的驾驶员训练适宜的分析模型,对驾驶集视觉分散、驾驶分心、驾驶疲劳分析、车辆驾驶分析结果进行量化,利用车辆运行指标、人的生理指标、心理指标从多个角度对驾驶员驾驶状况进行分析,通过赋予不同的加权各模型鲁棒性更高,通过在VR虚拟环境以安全高效的方式进行采集眼动数据、驾驶数据,以满足驾驶环境下对眼动数据指标的分析需求,进而为实际驾驶中的驾驶评估提供参考,也为更加全面反映驾驶员的驾驶状态提供参考。
附图说明
图1为本发明实施例1中驾驶评估方法的流程步骤图;
图2为本发明实施例1中虚拟驾驶环境进行采集数据的示意图;
图3为本发明实施例1中处理注视时间占比的流程图;
图4为本发明实施例1中驾驶疲劳分析模型的训练过程示意图;
图5为本发明实施例2中驾驶评估***的连接示意图。
具体实施方式
在本公开的描述中,需要说明的是,术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本公开和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本公开的限制。
此外,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。同样,“一个”、“一”或者“该”等类似词语也不表示数量限制,而是表示存在至少一个。“包括”或者“包含”等类似的词语意指出现在该词前面的元素或者物件涵盖出现在该词后面列举的元素或者物件及其等同,而不排除其他元素或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接,而是可以包括电性的连接,不管是直接的还是间接的。
在本公开的描述中,需要说明的是,除非另有明确的规定和限定,否则术语“安装”、“相连”、“连接”应做广义理解。例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本公开中的具体含义。此外,下面所描述的本公开不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
实施例
实施例1
如图1所示,本实施提供了一种驾驶评估方法,该方法具体包括以下步骤:
数据采集步骤:采集用户在当前驾驶行为中的第一眼动数据和驾驶数据,第一眼动数据包括时间标签、眼睛睁闭状态、瞳孔直径、视线落点、数据有效性标签,驾驶数据包括方向盘转角、转角速度、制动踏板幅度、油门踏板幅度、车速、车辆加速度;
数据预处理步骤:根据数据有效性标签进行筛选第一眼动数据,对剔除数据后的第一眼动数据通过线性插值补全,对补全后的第一眼动数据进行滑动平均滤波处理得到第二眼动数据,基于第二眼动数据通过线性插值、滑动平均滤波、低通滤波、算术运算进行计算闭眼时间占比、瞳孔平均直径、单次眨眼时间、注视时间占比、眨眼频率、凝视时间比例、注视点的水平位置、扫视速度、横向位移;
驾驶疲劳预测步骤:利用驾驶疲劳分析模型基于第一输入特征向量进行预测困倦程度,基于困倦程度与多组预设困倦阈值范围进行分类得到输出的疲劳程度,第一输入特征向量包括闭眼时间占比、瞳孔平均直径、单次眨眼时间、注视时间占比;
驾驶疲劳分析模型为使用多组第一训练数据通过机器学***面后得到,多组第一训练数据为基于VR驾驶环境下采集得到;
驾驶视觉分散预测步骤:利用驾驶视觉分散分析模型进行评价搜索广度,驾驶视觉分散分析模型用于预测行车过程中驾驶的视角分布的离散程度;
驾驶分心预测模块用于利用驾驶分心分析模型基于第二输入特征向量进行预测注意力分散程度;
第二输入特征向量为通过以下处理方式得到:对眨眼频率、凝视时间比例、瞳孔平均直径、注视点的水平位置、扫视速度、横向位移、方向盘转角、车速、车辆加速度采用min-max归一法进行归一化,分别计算均值、标准差,采用SVM-RFE对指标特征进行重要度排序,选取第一预设数量的指标特征作为第二输入特征向量;
驾驶分心分析模型为使用多组第二训练数据通过机器学习训练得出,多组第二训练数据中的每组数据包括第二输入特征向量和标识该第二输入特征向量所对应的注意力分散程度标签,多组第二训练数据为基于VR驾驶环境下采集得到;
车辆驾驶分析步骤:利用车辆驾驶分析模型基于第三输入特征向量进行预测驾驶稳定程度;
第三输入特征向量为通过以下处理方式得到:将转角速度、制动踏板幅度、油门踏板幅度、车速、车辆加速度采用min-max归一法进行归一化,分别计算均值、标准差、最大值、最小值进行计算,采用SVM-RFE对指标特征进行重要度排序,选取第三预设数量的指标特征作为第三输入特征向量;
车辆驾驶分析模型为使用多组第三训练数据通过机器学习训练得出,多组第三训练数据中的每组数据包括第三输入特征向量和标识该第三输入特征向量所对应的驾驶稳定程度标签,多组第三训练数据为基于VR驾驶环境下采集得到;
驾驶安全分析步骤:构造模糊关系矩阵对驾驶疲劳程度、视觉分散程度、驾驶分心程度、驾驶稳定程度进行综合评价,进而量化得到驾驶安全评分。
实际应用时,该方法在VR驾驶环境下通过虚拟驾驶装置采集眼动数据和驾驶数据,利用眼动数据建立驾驶疲劳分析模型,利用眼动数据和驾驶数据建立驾驶分心分析模型、车辆驾驶分析模型和驾驶视觉分散分析模型,结合驾驶疲劳分析模型、驾驶分心分析模型、车辆驾驶分析模型和驾驶视觉分散分析模型,形成集驾驶视觉分散、驾驶分心、驾驶疲劳分析、车辆驾驶分析一体的驾驶评估,通过采用加权SVR,针对不同的驾驶员训练适宜的分析模型,对驾驶集视觉分散程度、注意力分散程度、疲劳程度、驾驶稳定程度分析结果进行量化,最后通过模糊综合评价法对驾驶安全进行评分。
在本实施例中,在VR驾驶环境下采集眼动数据和驾驶数据,具体包括以下步骤:
S1、搭建典型的城市交通环境,使用交通***资源包,并摆放相应的行人和交通灯,并规划好行人以及交通灯的运行。构建天气时,采取较为典型的阴天、雷雨天、晴天等环境。
S2、对每一个参与实验的驾驶员通过问卷分析其疲劳状态,将困倦程度分为7个层次,根据预设分类得到疲劳状态。通过人为调整,对驾驶员的状态进行调整,使每一个驾驶员能够收集到不同状态的数据。此外在驾驶过程中会随时段对驾驶员的分心等级、车辆驾驶情况进行人为评估。
S3、驾驶虚拟环境由VR头戴式装置展现,具体结合图2所示,VR头戴式装置的数据传输端口与高性能PC机连接进,虚拟驾驶装置中的脚踏板、方向盘等其他物理设备也通过USB接口与PC机连接。PC机将采集的数据进行处理并反馈到Unity中,VR头戴式装置再将Unity中的图像进行展示。同时VR头戴式装置中的眼动仪采集眼动数据,脚踏板传感器、方向盘转角传感器和PC机也在时刻监督记录数据形成驾驶数据,将眼动数据、驾驶数据同步导入到PC机中的数据存储单元进行存放,同时PC机中的数据处理单元将眼动数据、驾驶数据导出。
S4、在疲劳驾驶分析中,对导出的时间标签、眼睛睁闭状态、瞳孔直径、视线落点、数据有效性进行处理,对数据有效性为0的数据进行剔除。对剔除后的数据计算以下四个特征:
①闭眼时间占比:在某一特定时间段,采用EM标准,计算上下眼皮闭合超过50%的帧数与总帧数的比例,以此反映在该段时间内驾驶员闭眼时间占总时段的比例。
②瞳孔平均直径:对收集到的原始瞳孔直径数据进行线性插值,补全丢失的数据。借助FIR滤波器滤除高频数据。最终对特定时间段的瞳孔数据求取平均值。
③单次眨眼时间:对收集到的原始眨眼数据,计算选定时段内的眨眼时间总和与眨眼次数之比,即可获得单次眨眼所用时间。
④注视时间占比:对缺失数据进行时间跨度计算,对时间跨度小于指定阈值的数据进行插值计算,否则保留缺失时刻的眼动数据。在补全数据之后,对数据进行平滑滤波处理。再通过计算相邻两点的变化速度,对变化速度小于指定阈值的点认定为注视点。对相邻的两个注视点的时间间隔、空间间隔、速度间隔进行计算,当三个间隔分别小于对应的阈值时,将两个注视点进行合并,当一类注视点的时间跨度小于100ms时,将会被划分为短注视点,会被剔除,计算所有非短注视点的时间跨度之后与总时间长短的比值,最终得到注视时间占比,具体结合图3所示。
如图4所示,通过VR环境下的数据收集以及对驾驶员进行的疲劳评估,困倦程度分为7个层次,将数据处理后得到的闭眼时间占比、瞳孔直径均值、单次眨眼时间、注视时间占比四个特征参数,输入到加权支持向量机中,通过原始眼动特征信息Info(D)与新眼动特征信息InfoA(D)相减的平方根获取信息熵InfoGain,根据信息熵InfoGain构造基于信息增益的眼动特征加权矩阵P,最终获得眼动特征的加权核函数即可通过眼动特征训练数据集对加权SVR模型进行训练,最后对模型准确性进行评估,若测试准确率符合训练准确率,则导出训练模型作为驾驶疲劳分析模型。
在驾驶视觉分散分析中,将预设时间段内垂直和水平方向的视角标准差作为评价视觉分散程度的指标,导出驾驶视觉分散分析模型。
在驾驶注意力分析中,将预设时间段内眼动数据、驾驶数据的均值、标准差作为评价指标,通过SVM-RFE对指标进行重要程度划分,选取其中的前n个最优特征子集,并将选取出的优秀特征放入加权SVR模型中进行训练,训练完后,导出训练模型作为驾驶分心分析模型。
在车辆驾驶分析中,通过将转角速度、制动踏板幅度、油门踏板幅度、车速、车辆加速度采用min-max归一法进行归一化,并对预设时间段内的均值、标准差、最大值、最小值进行计算,对计算得到的指标采用SVM-RFE进行重要度排序,从中选出重要度较大的指标作为车辆驾驶分析模型的指标,对车辆驾驶分析模型采用SVR进行训练,导出训练模型作为车辆驾驶分析模型。
在驾驶安全分析中,根据驾驶疲劳分析模型、驾驶视觉分散分析模型、驾驶分心分析模型、车辆驾驶分析模型分别评估得到驾驶疲劳程度、视觉分散程度、驾驶分心程度、驾驶稳定程度,结合模糊综合评价获取驾驶安全评分。
在实际驾驶中,根据各模型的评估结果,利用显示器对上述5个评估结果进行显示。实际应用时,显示器采用AR-HUD,利用AR引擎技术进行实景渲染,为驾驶员提供更加安全、直观的信息指引和告警提示。
具体方案设计如下:
环境搭建阶段:为了使虚拟环境与现实环境高度相似,加强虚拟现实的沉浸感。采用了具有高分辨率画质、立体音效和触觉反馈***的VR头戴式装置呈现仿真环境使用户体验到极致的沉浸感,借助多细节层次技术、烘焙技术、灯光探测器群、遮罩剔除、层消隐距离技术等技术,搭建不同环境下的汽车驾驶环境,并且高度还原现实驾驶环境。
数据收集阶段:通过主观判断法,采用问卷的方式,对驾驶员的状态进行评估,状态分类依据斯坦福嗜睡量表将驾驶疲劳划分为不同级别,依据问卷结果对驾驶员进行层级划分。使用一种配备有眼动追踪模块的VR头戴式装置来获取VR环境中受试者的眼动数据、通过模拟驾驶设备获取驾驶数据。该VR头戴式装置使用多个不同方位的近红外光源以提供更多的参照点辅助分析,并使用多个眼动传感器协同工作以更准确地采集反射光线。同时,为每一位被试者生成一个特定的三维眼球模型,基于瞳孔-角膜反射技术精确地计算出眼睛在空间中的位置和被试者视线的落点。每个实验者完成一次实验后,通过人为干涉的方式调整其个人状态,从而实现多个驾驶员、多种状态的数据收集。眼动追踪模块具体采用眼动仪。
数据处理阶段:根据收集到的原始眼动数据的有效性指标进行剔除处理,若数据有效性为0,则剔除对应的收集数据,否则保留数据。其中收集数据包括时间标签、眼睛睁闭状态、瞳孔直径、视线落点数据。对剔除后的数据,线性插值、滑动平均滤波、低通滤波、算术运算等方式,基于matlab求出眼睛在指定时间内的闭眼时间占比、瞳孔平均直径、单次眨眼时间、注视时间占比。
模型训练阶段:使用加权SVR对处理后的特征数据进行训练,通过原始眼动特征信息Info(D)与新眼动特征信息InfoA(D)相减的平方根获取信息熵InfoGain,根据信息熵InfoGain构造基于信息增益的眼动特征加权矩阵P,最终获得眼动特征的加权核函数即可通过眼动特征训练数据集对加权SVR模型进行训练,并导出训练模型。
(1)VR虚拟驾驶实验环境搭建
为了使虚拟环境与现实环境高度相似,保证虚拟现实的沉浸感。在使用了具有高分辨率画质、立体音效和触觉反馈***的VR头戴式装置呈现仿真环境使用户体验到极致的沉浸感,借助多细节层次技术、烘焙技术、灯光探测器群、遮罩剔除、层消隐距离技术等技术,高度还原现实驾驶环境。
实际应用时,从城市的搭建、光照、天气状况、交通以及物理碰撞的方面进行还原:
在城市的搭建上,首先在商城中寻找合适的建筑模型以及相关的物品模型,再使用UNITY编辑器将各模型整合在一起,从而完成城市模型的搭建。
在光照的实现上,同时采用烘焙技术和实时光照技术,通过烘焙静态物体表面光照以减少性能的开销,此外使用实时光照技术实时计算关键物体的亮度以保证视觉的真实性。另外通过使用UNITY的GI(全局光照)***,实现光照在物体之间的折射和反射,极大提升光照的真实性;
在实现天气的变化上,首先寻找晴天、雨天、下雪、沙尘暴、黄昏等图片资源以及特效资源,在通过UNITY打包预制体的方式将各个天气整合起来,最后使用API调用这些预制体以实现天气的变化。
在交通的搭建上,使用交通***的资源包,在城市的路口上摆放交通灯以及在在道路上加入车辆模型及行人模型,并规划好车辆模型、行人模型的行驶路线以模拟真实的道路环境。
在模拟真实世界物理碰撞方面,利用UNITY的碰撞***为车辆、行人和建筑加入碰撞器和刚体组件,模拟出现实世界物体受到重力以及碰撞影响的情况。规划一条可供行驶的路线,并在路线周围加入人群和过往车辆以及在十字路口加入行人模型,以模拟现实城市的路况。
(2)眼动数据收集
时间标签,即采样时刻,由VR头戴式装置的眼动追踪模块中的内部时钟产生,单位为毫秒。
瞳孔直径,包括左眼瞳孔直径和右眼瞳孔直径,以眼动传感器获得的瞳孔图像为基础,计算出实际的瞳孔大小,单位为毫米。
视线落点,包括左眼视线落点和右眼视线落点,以ADCS坐标系中的二维数组(x,y)描述了视线落点在屏幕上的位置。
数据有效性,包括左眼数据有效性和右眼数据有效性,数据有效性能够表示该次取样的置信度,1代表数据有效,0代表无效。
在本实施例中,VR环境下的驾驶数据包括方向盘转角、转角速度、制动踏板幅度、油门踏板幅度、车速、车辆加速度。
(3)疲劳驾驶分析
疲劳驾驶分析时,具体借助上述VR头戴式装置中的眼动数据收集模块,捕获用户眼睛注视点坐标和视线运动轨迹及相关眼球行为数据。利用时间、注视、扫视、眨眼以及瞳孔数据,通过计算获取以下数据:
根据斯坦福嗜睡量表进行量化参与者的困倦程度,其中斯坦福嗜睡表具体如下表1所示
表1斯坦福嗜睡量表
Figure BDA0003197961990000141
由表1可知,困倦程度分为7个程度,本实施例进一步根据困倦程度将驾驶疲劳划分为三个层级,以此来制定驾驶人疲劳程度自我评价。
驾驶员疲劳时生理机能的内在变化可以通过视觉特征显露出来,因此通过同疲劳相关的眼动特征可以对驾驶员的驾驶状态进行分析。在VR虚拟驾驶环境下,收集不同疲劳状态下的驾驶员数据后,将数据文件转化为mat文件,使用matlab对数据进行预处理,将预处理得到的PERCLOS值、瞳孔直径、单次眨眼时间、注视时间占比、作为训练特征值。
在本实施例中,PERCLOS值的处理过程为:
当眼睑遮盖瞳孔达到一半及以上时,仪器便检测不到瞳孔了,此时眼动仪检测到的瞳孔大小为0,通过计算特定时间内,瞳孔大小为0的帧数与总帧数。采用EM标准,可以近似计算出在某一时间段闭眼的时间比例P:
Figure BDA0003197961990000151
在本实施例中,瞳孔直径的处理过程为:
通过线性插值补全丢失的瞳孔直径的数据,从而消除驾驶过程中由于眨眼、外部光线造成的影响;然后通过FIR滤波器对补全后的数据进行低通滤波,该滤波器在时域上的采样函数为:
Figure BDA0003197961990000152
在实际操作中,采用采样函数进行截断处理,从而逼近理想低通滤波器,即将时域采样序列同一个窗函数相乘,将无限时域采样序列截成有限个序列值,该采样函数具体为:
Figure BDA0003197961990000153
选取窗函数为汉宁窗,该汉宁窗在时域中表达式为:
Figure BDA0003197961990000154
汉宁窗在频域表达式为:
Figure BDA0003197961990000155
其中,WR(ω)是矩形窗的频域表达式。
最后通过计算瞳孔直径均值(PDMEAN)作为瞳孔的特征数据,计算公式如下:
Figure BDA0003197961990000156
其中,N为样本中采样点的个数,PDi为瞳孔直径。
在本实施例中,单次眨眼时间的处理过程为:
选取平均眨眼时间(BTMEAN)作为眨眼特征的反应,某一时间段内,平均眨眼时间的计算公式为:
Figure BDA0003197961990000157
其中N为眨眼次数,BTi为一次眨眼时间。
在本实施例中,注视时间占比的处理过程为:
待仪器收集到凝视点数据后,通过线性插值算法进行补全损失的实验数据,再利用滑动平均滤波,以消除周围环境、仪器误差的影响,通过计算凝视点的变化速度,可以识别注视点并合并相邻注视点,最终可以计算得到注视时间的占比。
具体地,对于注视时间占比处理的算法流程如下:
插值:通过计算连续丢失数据的时间段长短与最短眨眼时间比较,若时间跨度大于最短眨眼时间,则该片段应被保留,否则通过线性插值保留数据。
滤波:通过matlab的滑动平均滤波器对数据进行平滑滤波,平滑滤波实现公式为:
Figure BDA0003197961990000161
其中x[n-k]代表输入的数据,2N+1代表滤波窗口长度,y[n]代表输出。
凝视点识别:通过速度变化公式计算相邻两个点之间的变化速度:
Figure BDA0003197961990000162
通过计算出的速度v与设定的速度阈值threshold进行比较,若速度小于该阈值,则判定为凝视点,否则不为凝视点。
合并相邻注视点:设定最大时间间隔Δtmax、最大空间间隔Δdmax、最大速度变化Δvmax用以实现相邻注视点的合并。通过计算可以得到前一个注视点结束的时间t1_end与下一个注视点开始的时间t2_begin的时间差Δt,前一个注视点结束的位置(x1_end,y1_end)与下一个注视点开始的位置(x2_end,y2_end)的距离差Δd,以及前一个注视点变化速度v1与后一个注视点的变化速度v2的速度差Δv,当Δt<Δtmax、Δd<Δdmax、Δv<Δvmax同时满足时,合并两个相邻注视点。
去除短注视点:当完成注视点合并后,若注视时间小于最短注视时间,则将被判定为短注视点并将其剔除。
注视比例计算:将某一事件段的注视时间占比作为特征,注视时间占比(FTPER)的计算如下:
Figure BDA0003197961990000163
式中T为整个事件时间,FTi为第i个注视时间段。
(4)收集眼动特征数据集
在实验前一晚,让参与者控制睡眠时间,按睡眠时间分为三组:正常睡眠(8±1小时)、睡眠减少(4±1小时)睡眠剥夺(1±1小时)。实验前,让参与者填写斯坦福嗜睡量表(SSS),量化参与者的困倦程度为7个程度,并基于斯坦福嗜睡量表的量化结果将受试者的疲劳程度分为三个状态:清醒驾驶、疲劳驾驶、疲倦驾驶。
借助VR头戴式装置的眼动追踪模块提取驾驶人的眼动数据,计算出眼动特征,各个眼动特征组成特征向量,基于斯坦福嗜睡量表中的困倦程度作为驾驶状态标签,共同组成眼动特征训练集和测试集,表达式如下:
Ttrain={(x1,y1),(x2,y2),…,(xN,yN)}
其中,
Figure BDA0003197961990000171
为输入眼动特征向量;n是眼动特征的数量;yi∈Y={1,2,3,…,7}是训练标签,i为训练集的序号,i=1,2,…,N,N为训练集的总数量。
(5)计算每个特征的信息增益,并构造特征加权矩阵
在加权支持向量机中,与疲劳驾驶紧密相关的眼动特征的信息增益应该被赋予更大的权重来计算核函数参数。因此,首先要计算信息增益,以估计每个眼动特征对疲劳驾驶识别的相对重要性,进而构造特征加权矩阵以计算核函数。
设D是困倦程度的七个量化指标类别{1,2,3,…,7}的样本集,C{i,D}是D的子集,其中i=1,2,3,…,7分别代表7种困倦程度。|D|和|C{i,D}|分别表示D和C{i,D}的样本大小(即眼动数据时域采样点数目)。则|C{i,D}|/|D|近似等于每个时间点属于第i个困倦程度的概率。因此,对样本集D中的样本进行分类的期望信息可以表示为:
Figure BDA0003197961990000172
将样本集D分割为多个训练集{D1,D2,…,Dv},v为训练集个数,则对每个时间点进行分类的期望信息可以表示为:
Figure BDA0003197961990000173
令眼动特征信息增益为原始眼动特征信息Info(D)与新眼动特征信息InfoA(D)相减后差值的平方根,表达式如下:
Figure BDA0003197961990000174
眼动特征信息增益越大,对应的眼动特征对分类的贡献越大。进而构造基于眼动特征信息增益的眼动特征加权矩阵:
Figure BDA0003197961990000181
其中,InfoGain(Ai)表示第i个眼动特征Ai的眼动特征信息增益权重值,i=1,2,…,n。
(6)构造特征加权核函数,并对模型进行训练
在加权支持向量机模型中,根据眼动特征的信息增益和眼动特征加权矩阵,构造特征加权核函数来代替经典的SVM核函数。
为了使模型能用一个超平面实现分类,设置眼动特征的加权核函数表达式如下:
KP(xi,xj)=φ(xiP)·φ(xjP)=K(xiP,xjP)
其中,φ(xiP)T·φ(xjP)表示眼动特征映射到高维特征空间之后的内积。
结合SVM中常用的高斯核函数,可以构造出加权高斯核函数,该加权高斯核函数的表达式如下:
KP(xi,xj)=exp(-γ||xiP-xjP||2)
=exp(-γ((xiP-xjP)P-PT(xiP-xjP)T)),γ>0
式中,γ为支持向量的宽度。
设置好特征加权核函数后,即可利用眼动特征训练数据集对加权支持SVR模型进行训练,并导出训练模型。
(7)训练加权SVR回归分析模型
SVR是线性回归模型,作为SVM的分支,是SVM的一种典型应用。与SVM一样,需要找到一个超平面,不同的是:在SVM中要找出一个间隔最大的超平面,而SVR是要使到超平面最远的样本点的“距离”最小。
对于训练数据集Ttrain={(x1,y1),(x2,y2),…,(xN,yN)},
Figure BDA0003197961990000182
为输入眼动特征向量;n是眼动特征的数量;yi∈Y={1,2,3,…,7}是困倦程度训练标签,i=1,2,…,N。则其困倦程度的回归超平面函数表示为:
Figure BDA0003197961990000191
式中,
Figure BDA0003197961990000192
为第i个输入;yi为第i个样本对应的困倦程度标签值;ω为期望输出回归超平面;b为超平面系数。
通过最小化规则化风险函数r(C)求得ω,该规则化风险函数的表达式为:
Figure BDA0003197961990000193
式中,C为惩罚因子;Lε(dt,yt)为ε不敏感损失函数;dt为第t个样本的期望输出;yt为第t个样本的实测值。
通过引入非负松弛变量、拉格朗日乘子法和对偶理论,得到最大的超平面间隔:
Figure BDA0003197961990000194
式中,K(xi,xj)是核函数,ε是超平面间隔的系数,di为第i个样本的期望输出,
Figure BDA0003197961990000195
为最大的超平面间隔。这里使用先前构造出来的加权高斯核函数KP(xi,xj)。
约束条件为:
Figure BDA0003197961990000196
式中,αi,
Figure BDA0003197961990000197
均为非负的拉格朗日乘子,
Figure BDA0003197961990000198
为超平面间隔。
期望输出回归超平面表示为:
Figure BDA0003197961990000199
最终困倦程度的回归超平面方程表示为
Figure BDA00031979619900001910
基于上述步骤,利用眼动特征训练数据集对加权支持向量机模型进行训练,并导出训练模型。
根据SVR输出结果对困倦程度分级。将PERCLOS值、瞳孔直径、单次眨眼时间、注视时间占比、视觉搜索广度、峰值扫射速度、平均扫射速度作为测试数据特征值,上述加权SVR回归分析模型会返回一个值作为困倦程度的量化值。根据这个困倦程度量化值,根据预设疲劳等级阈值将困倦程度划分为三个驾驶状态:清醒驾驶、疲劳驾驶、疲倦驾驶,分类标准如下:
Figure BDA0003197961990000201
因此,模型的回归输出可作为疲劳程度的量化指标。
(8)评估加权支持向量机模型的性能
利用眼动特征测试数据集来评估所得到的加权SVR模型的性能。首先对疲劳驾驶分类结果进行定义,具体如下表2所示:
表2疲劳分类结果表
Figure BDA0003197961990000202
其中TPO为真阳性,表示疲倦状态检测结果正确;FPO为假阳性,表示疲倦状态检测结果错误;TNE为真中性,表示疲劳状态检测结果正确;FNE为假阳性,表示疲劳状态检测结果错误。TNA为真阳性,表示清醒状态检测结果正确;FNA为假阳性,表示清醒状态检测结果错误。其中FNE(1)、FPO(1)、FNA(2)、FPO(2)、FNA(3)、FNE(3)均为分类错误时的结果。
接着,构造了准确性、灵敏度、特异性三个评价指标来评价模型性能,计算公式如下:
Figure BDA0003197961990000203
Figure BDA0003197961990000204
Figure BDA0003197961990000205
其中,TRN为驾驶状态识别正确的样本点数,即包含TPO、TNE、TNA的和,TON为测试样本点总数;TPO为真阳性,即检测到疲倦状态;FPO为假阳性,即未检测到疲劳状态;TNE为真中性,即检测到疲劳状态,FNE为假中性,即未检测到疲劳状态;TNA为真阴性,即检测到清醒状态,FNA为假阴性,即未检测到清醒状态。
在本实施例中,视觉分散程度即为视觉搜索广度,其包含了水平视觉搜索范围和垂直视觉搜索范围。将垂直和水平方向的视角标准差作为评价搜索广度的指标,由此反映行车过程中驾驶的视角分布的离散程度,离散程度越高,表明驾驶状态越好。通过视觉分散公式可计算得到视觉分散程度
Figure BDA0003197961990000211
该视觉分散公式具体为:
Figure BDA0003197961990000212
其中,xi为第i个样本数据,xm为视线落点在水平方向的均值,ym为视线落点在垂直方向的均值;
Figure BDA0003197961990000213
Figure BDA0003197961990000214
在本实施例中,注意力分散程度通过对上述的眨眼频率、凝视时间比例、瞳孔平均直径、注视点的水平位置、扫视速度、横向位移等眼动数据特征,方向盘转角、车速、车辆加速度等驾驶数据采用min-max归一法进行归一化,并对预设时间段内的均值和标准差进行计算,对计算得到的18个指标采用SVM-RFE进行重要度排序,从中选出预设数量的重要度较大的指标作为驾驶分心分析模型的输入指标,实际应用时,基于重要度选取了前8个指标,此外本领域技术人员可根据实际情况按重要度选取不同数量的指标作为驾驶分心分析模型的输入指标;
SVM采用的代价函数方程为:
Figure BDA0003197961990000215
式中H是一个样本矩阵,其元素为yiyjK(xi,xj),H(-h)为消除第h个特征后的矩阵。
将高斯径向基函数作为支持向量机的核函数,高斯径向基函数具体为:
K(xi,xj)=exp(-γ||xi,xj||2)
式中xi,xj均为测量样本。根据识别精度择优选取最优特征子集,即选取最优的前n个指标作为注意力分散程度的判别指标,γ为支持向量的宽度。
对选取出的优秀特征,计算每个特征的信息增益,并构造特征加权矩阵,构造特征加权核函数,使用加权SVR对模型进行训练,重复模型训练相关的步骤。
(9)车辆驾驶指标
通过对方向盘转角和对应时刻,计算出相应时刻的转角速度,通过将转角速度、制动踏板幅度、油门踏板幅度、车速、车辆加速度采用min-max归一法进行归一化,并对预设时间段内的均值、标准差、最大值、最小值进行计算,对计算得到的指标采用SVM-RFE进行重要度排序,从中选出重要度较大的指标作为车辆驾驶分析模型的指标,在采用SVR对模型进行训练,导出训练模型得到车辆驾驶分析模型,进而得到驾驶稳定程度。
(10)驾驶安全指标
安全指标包括人的生理指标和人的心理指标,人的生理指标具体为疲劳指标以及视觉分散指标,人的心理指标具体为分心指标、车辆驾驶指标;
构建因素集,具体为
U={u1,u2,…,um}
其中U是所有评价指标组成的因素集,m是指标个数,ui是对评价对象有影响的第i个指标(1≤i≤m)。
确定待评价对象的评价等级V,其中V为:
V={v1,v2,…,vn}
其中V是所有评语等级的集合,n是评价等级数。
利用熵权法确定各个指标权重集合:
W={w1,w2,…,wm}
W是评价指标权重向量,m是指标个数。
通过构造梯形型、偏小型的隶属函数进行构造模糊关系矩阵:
Ri=(ri1,ri2,…,rij,…,rin)
Figure BDA0003197961990000221
其中R是多因素评价隶属矩阵,Ri是第i个评价指标对应于每个评价等级的隶属度,Ri为单因素评价隶属度向量,rij是第i个指标相对于第j层评价等级的隶属度。
根据上述获取的数据,计算综合评价结果矩阵为:
Figure BDA0003197961990000222
最终选取向量S中最大的值,即为驾驶安全评分。
实施例2
如图5所示,本实施例提供了一种驾驶评估***,该***包括:数据采集模块、数据预处理模块、驾驶疲劳预测模块、驾驶视觉分散预测模块、驾驶分心预测模块、车辆驾驶分析模块以及驾驶安全分析模块,数据采集模块与数据预处理模块连接,数据预处理模块还分别与驾驶疲劳预测模块、驾驶视觉分散预测模块、驾驶分心预测模块、车辆驾驶分析模块连接,驾驶安全分析模块分别与驾驶疲劳预测模块、驾驶视觉分散预测模块、驾驶分心预测模块、车辆驾驶分析模块连接;
数据采集模块用于采集用户在当前驾驶行为中的第一眼动数据和驾驶数据,第一眼动数据包括时间标签、眼睛睁闭状态、瞳孔直径、视线落点、数据有效性标签,驾驶数据包括方向盘转角、转角速度、制动踏板幅度、油门踏板幅度、车速、车辆加速度;
数据预处理模块用于根据数据有效性标签进行筛选第一眼动数据,对剔除数据后的第一眼动数据通过线性插值补全,对补全后的第一眼动数据进行滑动平均滤波处理得到第二眼动数据,基于第二眼动数据通过线性插值、滑动平均滤波、低通滤波、算术运算进行计算闭眼时间占比、瞳孔平均直径、单次眨眼时间、注视时间占比、眨眼频率、凝视时间比例、注视点的水平位置、扫视速度、横向位移;
驾驶疲劳预测模块用于利用驾驶疲劳分析模型基于第一输入特征向量进行预测困倦程度,基于困倦程度与多组预设困倦阈值范围进行分类得到输出的疲劳程度,第一输入特征向量包括闭眼时间占比、瞳孔平均直径、单次眨眼时间、注视时间占比;
驾驶疲劳分析模型为使用多组第一训练数据通过机器学***面后得到,多组第一训练数据为基于VR驾驶环境下采集得到;
驾驶视觉分散预测模块用于利用驾驶视觉分散分析模型进行评价搜索广度,驾驶视觉分散分析模型用于预测行车过程中驾驶的视角分布的离散程度;
驾驶分心预测模块用于利用驾驶分心分析模型基于第二输入特征向量进行预测注意力分散程度,第二输入特征向量为通过以下处理方式得到:对眨眼频率、凝视时间比例、瞳孔平均直径、注视点的水平位置、扫视速度、横向位移、方向盘转角、车速、车辆加速度采用min-max归一法进行归一化,分别计算均值、标准差,采用SVM-RFE对指标特征进行重要度排序,选取第一预设数量的指标特征作为第二输入特征向量;
驾驶分心分析模型为使用多组第二训练数据通过机器学习训练得出,多组第二训练数据中的每组数据包括第二输入特征向量和标识该第二输入特征向量所对应的注意力分散程度标签,多组第二训练数据为基于VR驾驶环境下采集得到;
车辆驾驶分析模块用于利用车辆驾驶分析模型基于第三输入特征向量进行预测驾驶稳定程度,第三输入特征向量为通过以下处理方式得到:将转角速度、制动踏板幅度、油门踏板幅度、车速、车辆加速度采用min-max归一法进行归一化,分别计算均值、标准差、最大值、最小值进行计算,采用SVM-RFE对指标特征进行重要度排序,选取第三预设数量的指标特征作为第三输入特征向量;
车辆驾驶分析模型为使用多组第三训练数据通过机器学习训练得出,多组第三训练数据中的每组数据包括第三输入特征向量和标识该第三输入特征向量所对应的驾驶稳定程度标签,多组第三训练数据为基于VR驾驶环境下采集得到;
驾驶安全分析模块用于构造模糊关系矩阵对驾驶疲劳程度、视觉分散程度、驾驶分心程度、驾驶稳定程度进行综合评价,进而量化得到驾驶安全评分。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。

Claims (10)

1.一种驾驶评估方法,其特征在于,包括以下步骤:
数据采集步骤:
采集用户在当前驾驶行为中的第一眼动数据和驾驶数据,所述第一眼动数据包括时间标签、眼睛睁闭状态、瞳孔直径、视线落点、数据有效性标签,所述驾驶数据包括方向盘转角、转角速度、制动踏板幅度、油门踏板幅度、车速、车辆加速度;
数据预处理步骤:
根据数据有效性标签进行筛选第一眼动数据,当数据有效性标签为无效标识时,剔除数据,否则保留数据;
对剔除数据后的第一眼动数据通过线性插值补全,对补全后的第一眼动数据进行滑动平均滤波处理得到第二眼动数据;
基于第二眼动数据通过线性插值、滑动平均滤波、低通滤波、算术运算进行计算闭眼时间占比、瞳孔平均直径、单次眨眼时间、注视时间占比、眨眼频率、凝视时间比例、注视点的水平位置、扫视速度、横向位移;
驾驶疲劳预测步骤:
将闭眼时间占比、瞳孔平均直径、单次眨眼时间、注视时间占比作为第一输入特征向量,将所述第一输入特征向量输入至驾驶疲劳分析模型进行预测困倦程度,基于困倦程度与多组预设困倦阈值范围进行分类得到输出的疲劳程度;
所述驾驶疲劳分析模型为使用多组第一训练数据通过机器学***面后得到;
所述多组第一训练数据为基于VR驾驶环境下采集得到。
2.根据权利要求1所述的驾驶评估方法,其特征在于,所述驾驶疲劳分析模型具体采用以下步骤进行训练得到:
VR驾驶环境搭建步骤:利用VR头戴式装置和驾驶装置搭建虚拟驾驶环境;
VR驾驶时数据采集步骤:采集用户在当前驾驶行为中的第三眼动数据,所述第三眼动数据包括时间标签、眼睛睁闭状态、瞳孔直径、视线落点、数据有效性标签;
VR驾驶时数据预处理步骤:根据数据有效性标签进行筛选第三眼动数据,当数据有效性标签为无效标识时,剔除数据,否则保留数据;
对剔除数据后的第三眼动数据通过线性插值补全,对补全后的第三眼动数据进行滑动平均滤波处理得到第四眼动数据;
基于第四眼动数据通过线性插值、滑动平均滤波、低通滤波、算术运算进行计算闭眼时间占比、瞳孔平均直径、单次眨眼时间、注视时间占比;
驾驶疲劳分析模型训练步骤:
将闭眼时间占比、瞳孔平均直径、单次眨眼时间、注视时间占比作为第一输入特征向量,以标识对应第一输入特征向量的困倦程度作为标签,从而形成多组第一训练样本,将第一训练样本划分为第一训练集和第一测试集;
对多组第一训练样本进行期望信息分类得到原始眼动特征信息,将多组第一训练样本分割为多个第一训练样本块并对每个第一训练样本块按时间点进行期望信息分类得到新眼动特征信息;
计算眼动特征信息增益,具体为原始眼动特征信息与新眼动特征信息相减后差值的平方根,所述眼动特征信息增益用于表示对应眼动特征对分类的贡献程度;
基于眼动特征信息增益的眼动特征加权矩阵:
Figure FDA0003197961980000021
其中,InfoGain(Ai)表示第i个眼动特征Ai的眼动特征信息增益权重值;
引入加权高斯核函数建立并训练加权支持SVR模型,具体为:引入加权高斯核函数设置眼动特征的加权核函数,建立困倦程度的回归超平面方程,基于第一训练集对加权支持SVR模型进行训练以对超平面分类,基于第一测试集对加权支持SVR模型进行测试,当测试分类准确率达到预设准确度阈值时,停止模型训练,将加权支持SVR模型作为驾驶疲劳分析模型,否则继续训练模型。
3.根据权利要求2所述的驾驶评估方法,其特征在于,所述眼动特征的加权核函数具体为:
KP(xi,xj)=exp(-γ||xiP-xjP||2)
=exp(-γ((xiP-xjP)P-PT(xiP-xjP)T)),γ>0
式中KP(xi,xj)为眼动特征的加权核函数,xi为第i个眼动特征,xj为第j个眼动特征,P为眼动特征加权矩阵,PT为眼动特征加权矩阵的转置形式,γ为支持向量的宽度。
4.根据权利要求2所述的驾驶评估方法,其特征在于,所述困倦程度的回归超平面方程表示为:
Figure FDA0003197961980000031
式中f(x)为困倦程度的回归超平面方程,yi为第i个样本对应的困倦程度标签值,
Figure FDA0003197961980000032
为第i个样本输入,ω为期望输出回归超平面,b为超平面系数。
5.根据权利要求1所述的驾驶评估方法,其特征在于,还包括驾驶视觉分散预测步骤:
基于第二眼动数据中的视线落点计算垂直和水平方向的视角标准差,将垂直和水平方向的视角标准差作为视觉分散程度,驾驶视觉分散分析模型基于视觉分散程度进行评价搜索广度;
所述驾驶视觉分散分析模型用于预测行车过程中驾驶的视角分布的离散程度。
6.根据权利要求5所述的驾驶评估方法,其特征在于,还包括驾驶分心预测步骤:
对眨眼频率、凝视时间比例、瞳孔平均直径、注视点的水平位置、扫视速度、横向位移、方向盘转角、车速、车辆加速度采用min-max归一法进行归一化,分别计算均值、标准差,采用SVM-RFE对指标特征进行重要度排序,选取第一预设数量的指标特征作为第二输入特征向量;
将所述第二输入特征向量输入至驾驶分心分析模型进行预测注意力分散程度,所述驾驶分心分析模型为使用多组第二训练数据通过机器学习训练得出,多组第二训练数据中的每组数据包括第二输入特征向量和标识该第二输入特征向量所对应的注意力分散程度标签;
所述多组第二训练数据为基于VR驾驶环境下采集得到;
所述驾驶分心分析模型为通过机器学习训练得出,具体为:计算第二输入特征向量中的每个特征的信息增益,构造特征加权矩阵,构造特征加权核函数,使用加权SVR对模型进行训练。
7.根据权利要求6所述的驾驶评估方法,其特征在于,所述驾驶分心分析模型具体采用以下步骤进行训练:
VR驾驶环境搭建步骤:利用VR头戴式装置和驾驶装置搭建虚拟驾驶环境;
VR驾驶时数据采集步骤:采集用户在当前驾驶行为中的第五眼动数据和驾驶数据,所述第五眼动数据包括时间标签、眼睛睁闭状态、瞳孔直径、视线落点、数据有效性标签;
VR驾驶时数据预处理步骤:根据数据有效性标签进行筛选第五眼动数据,当数据有效性标签为无效标识时,剔除数据,否则保留数据;
对剔除数据后的第五眼动数据通过线性插值补全,对补全后的第五眼动数据进行滑动平均滤波处理得到第六眼动数据;
基于第六眼动数据通过线性插值、滑动平均滤波、低通滤波、算术运算进行计算眨眼频率、凝视时间比例、注视点的水平位置、扫视速度、横向位移;
驾驶分心分析模型训练步骤:
对眨眼频率、凝视时间比例、瞳孔平均直径、注视点的水平位置、扫视速度、横向位移、方向盘转角、车速、车辆加速度采用min-max归一法进行归一化,分别计算均值、标准差,采用SVM-RFE对指标特征进行重要度排序,选取第二预设数量的指标特征作为第二输入特征向量;
以标识对应第二输入特征向量的注意力分散程度作为标签,从而形成多组第二训练样本,将第二训练样本划分为第二训练集和第二测试集;
对多组第二训练样本进行期望信息分类得到原始眼动特征信息,将多组第二训练样本分割为多个第二训练样本块并对每个第二训练样本块按时间点进行期望信息分类得到新眼动特征信息;
计算眼动特征信息增益,具体为原始眼动特征信息与新眼动特征信息相减后差值的平方根,所述眼动特征信息增益用于表示对应眼动特征对分类的贡献程度;
基于眼动特征信息增益的眼动特征加权矩阵:
Figure FDA0003197961980000041
其中,InfoGain(Ai)表示第i个眼动特征Ai的眼动特征信息增益权重值;
引入加权高斯核函数建立并训练加权支持SVR模型,具体为:引入加权高斯核函数设置眼动特征的加权核函数,建立困倦程度的回归超平面方程,基于第二训练集对加权支持SVR模型进行训练以对超平面分类,基于第二测试集对加权支持SVR模型进行测试,当测试分类准确率达到预设准确度阈值时,停止模型训练,将加权支持SVR模型作为驾驶分心分析模型,否则继续训练模型。
8.根据权利要求6所述的驾驶评估方法,其特征在于,还包括车辆驾驶分析步骤:
将转角速度、制动踏板幅度、油门踏板幅度、车速、车辆加速度采用min-max归一法进行归一化,分别计算均值、标准差、最大值、最小值进行计算,采用SVM-RFE对指标特征进行重要度排序,选取第三预设数量的指标特征作为第三输入特征向量;
将所述第三输入特征向量输入至车辆驾驶分析模型进行预测驾驶稳定程度,所述车辆驾驶分析模型为使用多组第三训练数据通过机器学习训练得出,多组第三训练数据中的每组数据包括第三输入特征向量和标识该第三输入特征向量所对应的驾驶稳定程度标签;
所述多组第三训练数据为基于VR驾驶环境下采集得到;
所述车辆驾驶分析模型为通过机器学习训练得出,具体为:计算第三输入特征向量中的每个特征的信息增益,构造特征加权矩阵,构造特征加权核函数,使用加权SVR对模型进行训练。
9.根据权利要求8所述的驾驶评估方法,其特征在于,还包括驾驶安全分析步骤:
根据预测得到的驾驶疲劳程度、视觉分散程度、驾驶分心程度、驾驶稳定程度构建因素集;
确定因素集中各元素的评价等级;
利用熵权法确定因素集中各指标的权重集合;
各指标利用隶属函数构造模糊关系矩阵形成多个单因素评价隶属向量,基于多个单因素评价隶属向量构成多因素评价隶属矩阵;
将各指标的权重集合和多因素评价隶属矩阵进行相乘得到综合评价结果矩阵,选取综合评价结果矩阵中的最大值作为驾驶安全评分。
10.一种驾驶评估***,其特征在于,包括:数据采集模块、数据预处理模块、驾驶疲劳预测模块、驾驶视觉分散预测模块、驾驶分心预测模块、车辆驾驶分析模块以及驾驶安全分析模块,所述数据采集模块与数据预处理模块连接,所述数据预处理模块还分别与驾驶疲劳预测模块、驾驶视觉分散预测模块、驾驶分心预测模块、车辆驾驶分析模块连接,驾驶安全分析模块分别与驾驶疲劳预测模块、驾驶视觉分散预测模块、驾驶分心预测模块、车辆驾驶分析模块连接;
所述数据采集模块用于采集用户在当前驾驶行为中的第一眼动数据和驾驶数据,所述第一眼动数据包括时间标签、眼睛睁闭状态、瞳孔直径、视线落点、数据有效性标签,所述驾驶数据包括方向盘转角、转角速度、制动踏板幅度、油门踏板幅度、车速、车辆加速度;
所述数据预处理模块用于根据数据有效性标签进行筛选第一眼动数据,对剔除数据后的第一眼动数据通过线性插值补全,对补全后的第一眼动数据进行滑动平均滤波处理得到第二眼动数据,基于第二眼动数据通过线性插值、滑动平均滤波、低通滤波、算术运算进行计算闭眼时间占比、瞳孔平均直径、单次眨眼时间、注视时间占比、眨眼频率、凝视时间比例、注视点的水平位置、扫视速度、横向位移;
所述驾驶疲劳预测模块用于利用驾驶疲劳分析模型基于第一输入特征向量进行预测困倦程度,基于困倦程度与多组预设困倦阈值范围进行分类得到输出的疲劳程度,所述第一输入特征向量包括闭眼时间占比、瞳孔平均直径、单次眨眼时间、注视时间占比;
所述驾驶疲劳分析模型为使用多组第一训练数据通过机器学***面后得到,所述多组第一训练数据为基于VR驾驶环境下采集得到;
所述驾驶视觉分散预测模块用于利用驾驶视觉分散分析模型进行评价搜索广度,所述驾驶视觉分散分析模型用于预测行车过程中驾驶的视角分布的离散程度;
所述驾驶分心预测模块用于利用驾驶分心分析模型基于第二输入特征向量进行预测注意力分散程度;
所述第二输入特征向量为通过以下处理方式得到:对眨眼频率、凝视时间比例、瞳孔平均直径、注视点的水平位置、扫视速度、横向位移、方向盘转角、车速、车辆加速度采用min-max归一法进行归一化,分别计算均值、标准差,采用SVM-RFE对指标特征进行重要度排序,选取第一预设数量的指标特征作为第二输入特征向量;
所述驾驶分心分析模型为使用多组第二训练数据通过机器学习训练得出,多组第二训练数据中的每组数据包括第二输入特征向量和标识该第二输入特征向量所对应的注意力分散程度标签,所述多组第二训练数据为基于VR驾驶环境下采集得到;
所述车辆驾驶分析模块用于利用车辆驾驶分析模型基于第三输入特征向量进行预测驾驶稳定程度;
所述第三输入特征向量为通过以下处理方式得到:将转角速度、制动踏板幅度、油门踏板幅度、车速、车辆加速度采用min-max归一法进行归一化,分别计算均值、标准差、最大值、最小值进行计算,采用SVM-RFE对指标特征进行重要度排序,选取第三预设数量的指标特征作为第三输入特征向量;
所述车辆驾驶分析模型为使用多组第三训练数据通过机器学习训练得出,多组第三训练数据中的每组数据包括第三输入特征向量和标识该第三输入特征向量所对应的驾驶稳定程度标签,所述多组第三训练数据为基于VR驾驶环境下采集得到;
所述驾驶安全分析模块用于构造模糊关系矩阵对驾驶疲劳程度、视觉分散程度、驾驶分心程度、驾驶稳定程度进行综合评价,进而量化得到驾驶安全评分。
CN202110896194.8A 2021-08-05 2021-08-05 一种驾驶评估方法及其*** Active CN113743471B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110896194.8A CN113743471B (zh) 2021-08-05 2021-08-05 一种驾驶评估方法及其***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110896194.8A CN113743471B (zh) 2021-08-05 2021-08-05 一种驾驶评估方法及其***

Publications (2)

Publication Number Publication Date
CN113743471A true CN113743471A (zh) 2021-12-03
CN113743471B CN113743471B (zh) 2023-06-09

Family

ID=78730195

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110896194.8A Active CN113743471B (zh) 2021-08-05 2021-08-05 一种驾驶评估方法及其***

Country Status (1)

Country Link
CN (1) CN113743471B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114170588A (zh) * 2021-12-13 2022-03-11 西南交通大学 基于眼部特征的铁路调度员不良状态识别方法
CN114179811A (zh) * 2022-02-17 2022-03-15 北京心驰智途科技有限公司 一种获取驾驶状态的数据处理方法、设备、介质及产品
CN114343661A (zh) * 2022-03-07 2022-04-15 西南交通大学 高铁司机反应时间估计方法、装置、设备及可读存储介质
CN115331513A (zh) * 2022-07-27 2022-11-11 山东心法科技有限公司 一种汽车驾驶技能的辅助训练方法、设备及介质
CN116720800A (zh) * 2023-06-14 2023-09-08 深圳市深泰创建科技有限公司 智能物流调度***
CN118070154A (zh) * 2024-04-22 2024-05-24 四川省公路规划勘察设计研究院有限公司 一种基于lstm神经网络驾驶疲劳判别方法和装置
CN118070154B (zh) * 2024-04-22 2024-07-09 四川省公路规划勘察设计研究院有限公司 一种基于lstm神经网络驾驶疲劳判别方法和装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111738337A (zh) * 2020-06-23 2020-10-02 吉林大学 一种混行交通环境下的驾驶人分心状态检测识别方法
US20210124962A1 (en) * 2019-10-29 2021-04-29 Lg Electronics Inc. Artificial intelligence apparatus and method for determining inattention of driver

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210124962A1 (en) * 2019-10-29 2021-04-29 Lg Electronics Inc. Artificial intelligence apparatus and method for determining inattention of driver
CN111738337A (zh) * 2020-06-23 2020-10-02 吉林大学 一种混行交通环境下的驾驶人分心状态检测识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
XIANGDONG MA 等: "The impact of AR-HUD intelligent driving on the allocation of cognitive resources under the breakthrough of 5G technology", 《ICAIIS 2021》, pages 1 - 8 *
陈朝阳;王文军;张超飞;成波;曾超;孟祥杰;JOHN M CAVANAUGH;: "监测疲劳驾驶时定量脑电图特征量化指标分析", 汽车安全与节能学报, no. 02, pages 42 - 48 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114170588A (zh) * 2021-12-13 2022-03-11 西南交通大学 基于眼部特征的铁路调度员不良状态识别方法
CN114170588B (zh) * 2021-12-13 2023-09-12 西南交通大学 基于眼部特征的铁路调度员不良状态识别方法
CN114179811A (zh) * 2022-02-17 2022-03-15 北京心驰智途科技有限公司 一种获取驾驶状态的数据处理方法、设备、介质及产品
CN114179811B (zh) * 2022-02-17 2022-06-10 北京心驰智途科技有限公司 一种获取驾驶状态的数据处理方法、设备、介质及产品
CN114343661A (zh) * 2022-03-07 2022-04-15 西南交通大学 高铁司机反应时间估计方法、装置、设备及可读存储介质
CN114343661B (zh) * 2022-03-07 2022-05-27 西南交通大学 高铁司机反应时间估计方法、装置、设备及可读存储介质
CN115331513A (zh) * 2022-07-27 2022-11-11 山东心法科技有限公司 一种汽车驾驶技能的辅助训练方法、设备及介质
CN116720800A (zh) * 2023-06-14 2023-09-08 深圳市深泰创建科技有限公司 智能物流调度***
CN116720800B (zh) * 2023-06-14 2024-03-08 深圳市深泰创建科技有限公司 智能物流调度***
CN118070154A (zh) * 2024-04-22 2024-05-24 四川省公路规划勘察设计研究院有限公司 一种基于lstm神经网络驾驶疲劳判别方法和装置
CN118070154B (zh) * 2024-04-22 2024-07-09 四川省公路规划勘察设计研究院有限公司 一种基于lstm神经网络驾驶疲劳判别方法和装置

Also Published As

Publication number Publication date
CN113743471B (zh) 2023-06-09

Similar Documents

Publication Publication Date Title
CN113743471B (zh) 一种驾驶评估方法及其***
CN109726771B (zh) 异常驾驶检测模型建立方法、装置及存储介质
CN101583313B (zh) 觉醒状态判断模型生成装置、觉醒状态判断装置以及警告装置
CN105877766B (zh) 一种基于多生理信号融合的精神状态检测***及方法
CN109460703B (zh) 一种基于心率和面部特征的非侵入式疲劳驾驶识别方法
WO2020029444A1 (zh) 一种驾驶员驾驶时注意力检测方法和***
CN112274162B (zh) 基于生成对抗域自适应的跨被试eeg疲劳状态分类方法
CN103340637A (zh) 基于眼动与脑电融合的驾驶员警觉度智能监控***及方法
Lu et al. XGBoost algorithm-based monitoring model for urban driving stress: Combining driving behaviour, driving environment, and route familiarity
CN106128032A (zh) 一种疲劳状态监测及预警方法及其***
Peng et al. 3D-STCNN: Spatiotemporal Convolutional Neural Network based on EEG 3D features for detecting driving fatigue
CN109664894A (zh) 基于多源异构数据感知的疲劳驾驶安全预警***
Tang et al. Real-time image-based driver fatigue detection and monitoring system for monitoring driver vigilance
CN115312195A (zh) 一种基于情绪数据计算个体心理异常的健康评估方法
Guo et al. Psycho-physiological measures on a bicycle simulator in immersive virtual environments: How protected/curbside bike lanes may improve perceived safety
CN109875583A (zh) 一种基于ar技术的疲劳驾驶检测***及方法
CN117547270A (zh) 一种多源数据融合的飞行员认知负荷反馈***
Piaseczna et al. Evaluation of intoxication level with EOG analysis and machine learning: a study on driving simulator
CN112308136B (zh) 一种基于SVM-Adaboost的驾驶分心检测方法
Dehzangi et al. Unobtrusive driver drowsiness prediction using driving behavior from vehicular sensors
CN114298189A (zh) 疲劳驾驶检测方法、装置、设备及存储介质
Hong et al. Towards drowsiness driving detection based on multi-feature fusion and LSTM networks
CN114863318A (zh) 一种基于多模态数据融合的行为识别方法
Rusmin et al. Design and implementation of driver drowsiness detection system on digitalized driver system
Wang et al. Fatigue driving detection of urban road at night based on multimodal information fusion.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant