CN113191214A - 一种驾驶人员失误操作风险预警方法及*** - Google Patents

一种驾驶人员失误操作风险预警方法及*** Download PDF

Info

Publication number
CN113191214A
CN113191214A CN202110390322.1A CN202110390322A CN113191214A CN 113191214 A CN113191214 A CN 113191214A CN 202110390322 A CN202110390322 A CN 202110390322A CN 113191214 A CN113191214 A CN 113191214A
Authority
CN
China
Prior art keywords
prediction
variable
early warning
driver
misoperation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110390322.1A
Other languages
English (en)
Inventor
孙晓
汪萌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Zhongjuyuan Intelligent Technology Co ltd
Original Assignee
Institute of Artificial Intelligence of Hefei Comprehensive National Science Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Artificial Intelligence of Hefei Comprehensive National Science Center filed Critical Institute of Artificial Intelligence of Hefei Comprehensive National Science Center
Priority to CN202110390322.1A priority Critical patent/CN113191214A/zh
Publication of CN113191214A publication Critical patent/CN113191214A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0635—Risk analysis of enterprise or organisation activities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B31/00—Predictive alarm systems characterised by extrapolation or other computation using updated historic data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Business, Economics & Management (AREA)
  • Computing Systems (AREA)
  • Tourism & Hospitality (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Development Economics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Game Theory and Decision Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • Ophthalmology & Optometry (AREA)
  • Educational Administration (AREA)
  • Emergency Management (AREA)
  • Primary Health Care (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种驾驶人员失误操作风险预警方法及***，属于智能驾驶技术领域，包括：获取待测驾驶人员的实时驾驶视频作为待测数据；对待测数据进行分析，得到预测变量，并将预测变量转换为对应的预测向量；将预测向量作为预先训练好的风险预警模型的输入，得到该待测驾驶人员的风险预警结果。本发明不仅考虑认知负荷对失误操作的影响，还增加了动作协调度、负面情绪变量的作用，将失误操作的风险因素考虑更加齐全，极大地提升了对失误操作的风险预测能力和预测准确率。

Description

一种驾驶人员失误操作风险预警方法及***
技术领域
本发明涉及智能驾驶技术领域，特别涉及一种驾驶人员失误操作风险预警方法及***。
背景技术
现阶段，一般通过驾驶人员在驾驶过程中的表现来判断驾驶员的驾驶状态，既有技术中的认知负荷检测方法主要包括以下几个类型：
(1)主观测量法：要求被试者陈述自身的认知负荷，对自身体验状态进行自评报告；
(2)任务绩效测量法：通过被试者在不同认知负荷条件下，得到的任务绩效、行为记录、测试成绩，通过成绩、绩效的高低反向推断认知负荷的程度；
(3)生理关联测试法：通过建立生理信号与认知负荷的关联，从而估计出认知负荷的强度，在生理关联法中又进一步可以分为基于以下几种生理信号进行探测的方法：
(3-1)基于PPG(Photoplethysmoghy)血管容积脉搏波描记法，利用光电手段将血管容积转化为电信号，通过PPG获取血管容积的变化，对PPG信号进行平滑处理、归一化处理、与压力信号进行关联分析，得到压力的PPG标记值；
(3-2)基于事件相关电位(ERP)的脑电信号进行认知负荷计算的方法，通过诱发特定的刺激事件或者高度认知负荷任务的场景，刺激被试处于高度认知负荷场景下，记录被试在认知负荷条件下的脑电数据特征，并建立两者间的关联，由脑电数据特征推断认知负荷强度；
(3-3)基于心率等基础生理信号的认知负荷计算的方法，通过在不同等级的认知负荷条件下，观测被试的心率、心率变异性等基础生理指标，并建立其与不同的认知负荷等级相关的关联，由基础生理数据推断计算认知负荷强度；
(3-4)基于眼动信号的认知负荷计算的方法，通过提取被试在认知疲劳状态下的眼动、瞳孔特征，即任务诱发瞳孔反应(TERP：Task Evoked Pupillary Response)分析其主波峰延迟等信号特征，或者凝视时长、凝视次数、扫视时长、扫视角度、瞳孔面积、眨眼率等信号特征，建立其与认知负荷/疲劳程度的关联模型，据眼动/瞳孔特征推断计算认知负荷程度。
(4)伴随行为估测法：伴随行为估测法主要通过在执行认知任务过程中被试的行为表现，对特定行为进行量化建模，由此估计认知负荷的强度。
上述现有技术存在的缺陷在于：原有技术局限性在于：
(1)原有技术未将认知负荷和失误操作两个概念区分开，从认知神经科学与人机工效学角度来看，认知负荷高并不意味着一定出现失误操作，失误操作的影响因素还包括负面情绪、注意偏差等多种因素，故在设计研发失误操作预警设备装置时，应当在考虑认知负荷检测时进一步将其他影响失误操作的因素纳入预警预测变量中；
(2)原有技术中许多技术未能考虑适用于驾驶环境与驾驶场景，在实际的驾驶场景中，用户驾驶员不可能在佩戴脑电等传感器的条件下进行驾驶操作，也不可能在车内放置大型传感与计算装置；
(3)原有技术中许多技术并未在真实的驾驶场景或者专门定向针对驾驶特征的模拟场景中进行实验，并获取实验数据，并依据这些实验数据设计预警模型，缺乏科学性与效果证明力。
发明内容
本发明的目的在于克服上述背景技术中的不足，提高驾驶失误操作行为预测准确性。
为实现以上目的，一方面，本发明采用一种驾驶人员失误操作风险预警方法，包括：
获取待测驾驶人员的实时驾驶视频作为待测数据；
对待测数据进行分析，得到预测变量，并将预测变量转换为对应的预测向量；
将预测向量作为预先训练好的风险预警模型的输入，得到该待测驾驶人员的风险预警结果。
进一步地，所述预测变量包括：第一预测变量、第二预测变量和第三预测变量，其中第一预测变量为眼部注视角度-头部朝向-躯干朝向偏转角度，第二预测变量为面部表情，第三预测变量为眼部注视角度不变性持续时间长度。
进一步地，所述将预测变量转换为对应的预测向量，包括：
将所述第一预测变量以眼部切平面为基准的法线与头部框定的正方体面部平面部分的夹角为角A、头部框定的正方体耳部平面部分与躯干中线确定的垂直于躯干正面的平面夹角为角B，构建第一预测变量对应的第一预测向量为F1(A,B)；
将所述第二预测变量中愤怒表情定义为F-A，悲伤表情定义为F-S，焦虑表情定义为F-F，构建第二预测变量对应的第二预测向量为F2(F-A，F-S，F-F)；
将所述第三预测变量定义为F3＝Gt。
进一步地，在所述获取待测驾驶人员的实时驾驶视频作为待测数据之前，还包括：
获取样本驾驶人员在出现失误操作前的驾驶视频作为样本数据；
对样本数据进行分析，得到预测变量及其对应的预测向量；
利用预测向量和预警结果分别作为所述风险预警模型的输入和输出，以对所述风险预警模型进行训练，得到所述训练好的风险预警模型。
进一步地，所述获取样本驾驶人员在出现失误操作前的驾驶视频作为样本数据，包括：
定义驾驶场景下的失误操作行为；
由所述样本驾驶人员逐个进行驾驶模拟，记录所述样本驾驶人员在出现失误操作行为前的驾驶视频；
由所述样本驾驶人员逐个进行驾驶模型，记录所述样本驾驶人员在出现事故前的驾驶视频。
进一步地，还包括：
对所述风险预警模型进行验证，并在验证结果不合格时，对所述风险预警模型进行修正。
另一方面，采用一种驾驶人员失误操作风险预警***，包括获取模块、预测向量构建模块和风险预警模块，其中：
获取模块用于获取待测驾驶人员的实时驾驶视频作为待测数据；
预测向量构建模块用于对待测数据进行分析，得到预测变量，并将预测变量转换为对应的预测向量；
风险预警模块用于将预测向量作为预先训练好的风险预警模型的输入，得到该待测驾驶人员的风险预警结果。
进一步地，所述预测向量构建模块包括预测变量抽取单元和预测向量构建单元，其中：
预测变量抽取单元用于从所述待测数据中抽取得到预测变量，该预测变量包括所述预测变量包括：第一预测变量、第二预测变量和第三预测变量，其中第一预测变量为眼部注视角度-头部朝向-躯干朝向偏转角度，第二预测变量为面部表情，第三预测变量为眼部注视角度不变性持续时间长度；
预测向量构建单元用于将所述预测变量转换为对应的预测向量。
进一步地，所述预测向量构建单元包括第一预测向量构建子单元、第二预测向量构建子单元以及第三预测向量构建子单元，其中：
第一预测向量构建子单元用于将所述第一预测变量以眼部切平面为基准的法线与头部框定的正方体面部平面部分的夹角为角A、头部框定的正方体耳部平面部分与躯干中线确定的垂直于躯干正面的平面夹角为角B，构建第一预测变量对应的第一预测向量为F1(A,B)；
第二预测向量构建子单元用于将所述第二预测变量中愤怒表情定义为F-A，悲伤表情定义为F-S，焦虑表情定义为F-F，构建第二预测变量对应的第二预测向量为F2(F-A，F-S，F-F)；
第三预测向量构建子单元用于将所述第三预测变量定义为F3＝Gt。
进一步地，还包括样本数据获取模块、分析模块和模型训练模块，其中：
样本数据获取模块用于获取样本驾驶人员在出现失误操作前的驾驶视频作为样本数据；
分析模块用于对样本数据进行分析，得到预测变量及其对应的预测向量；
模型训练模块用于利用预测向量和预警结果分别作为所述风险预警模型的输入和输出，以对所述风险预警模型进行训练，得到所述训练好的风险预警模型。
与现有技术相比，本发明存在以下技术效果：本发明不同于现有技术中未将认知负荷与失误操作区分开，综合考虑了失误操作的影响因素还包括负面情绪、注意偏差等多种因素，将认知负荷、负面情绪、注意偏差等影响失误操作的因素作为预测变量对失误操作进行预警，极大的提升了对失误操作的风险预测能力，提高了失误曹组风险预测的准确率。
附图说明
下面结合附图，对本发明的具体实施方式进行详细描述：
图1是一种驾驶人员失误操作风险预警方法的流程图；
图2是一种驾驶人员失误操作风险预警***的结构图。
具体实施方式
为了更进一步说明本发明的特征，请参阅以下有关本发明的详细说明与附图。所附图仅供参考与说明之用，并非用来对本发明的保护范围加以限制。
如图1所示，本实施例公开了一种驾驶人员失误操作风险预警方法，包括如下步骤：
S1、获取待测驾驶人员的实时驾驶视频作为待测数据；
S2、对待测数据进行分析，得到预测变量，并将预测变量转换为对应的预测向量；
具体为：将待测数据视频按照时间序列切分，每10秒切分为一个视频单位，从一个视频单位中抽取每秒50张图片。针对抽取的每单位视频的500张图片，建立8个点确定眼部位置，建立4*4个立方体点位组合确定头部姿态与头部朝向，建立3个点位确定躯干位置与朝向，在抽取出基础特征后，据此计算眼部、躯干、头部相关的预警特征，并将预测变量转换为对应的预测向量；
S3、将预测向量作为预先训练好的风险预警模型的输入，得到该待测驾驶人员的风险预警结果。
需要说明的是，本实施例突破了既有技术在预测失误操作行为上，仅考虑认知负荷对失误操作的影响，增加了动作协调度、负面情绪变量的作用，将失误操作的风险因素考虑更加齐全；极大地提升了对失误操作的风险预测能力，将预测准确率提升到95％以上，将召回率提升到55％以上。
作为进一步优选的技术方案，所述预测变量包括：第一预测变量、第二预测变量和第三预测变量，其中第一预测变量为眼部注视角度-头部朝向-躯干朝向偏转角度，第二预测变量为面部表情，第三预测变量为眼部注视角度不变性持续时间长度。
作为进一步优选的技术方案，上述步骤S2中的将预测变量转换为对应的预测向量，具体包括如下细分步骤：
将所述第一预测变量以眼部切平面为基准的法线与头部框定的正方体面部平面部分的夹角为角A、头部框定的正方体耳部平面部分与躯干中线确定的垂直于躯干正面的平面夹角为角B，构建第一预测变量对应的第一预测向量为F1(A,B)；
将所述第二预测变量中愤怒表情定义为F-A，悲伤表情定义为F-S，焦虑表情定义为F-F，构建第二预测变量对应的第二预测向量为F2(F-A，F-S，F-F)；
将所述第三预测变量定义为F3＝Gt。
需要说明的是，本实施例中的风险预警模型采用RNN模型，本实施例除了考虑认知负荷对失误操作的影响外，还加入了动作不协调(第一预测变量)、情绪因素(第二预测变量)，提高了失误操作预警准确性。
作为进一步优选的技术方案，在上述步骤S1：获取待测驾驶人员的实时驾驶视频作为待测数据之前，还包括如下步骤：
(1)获取样本驾驶人员在出现失误操作前的驾驶视频作为样本数据，具体为：
样本选取：选取样本驾驶人员200名，其中涵盖男性/女性各100名，年龄段在18-30，30-40，40-50的样本分布为70名、70名、60名，并且上述样本均获得驾驶执照可以合法进行驾驶行为；
定义驾驶场景下的失误行为数据：通过对上述200名样本间断驾驶模拟，总计每个样本36小时的驾驶视频进行动作分析，根据方向盘操作、车灯操作、车速操作、驾驶注意操作四个模态以及轻微、中度、严重三个等级，将失误行为编码为轻微方向盘操作失误、中度方向盘操作失误、严重方向盘操作失误、轻微车灯操作失误......总计12中失误标签。
获取失误行为前的驾驶视频：要求被试逐个进入驾驶模拟舱进行驾驶模拟，并分别记录驾驶人员在出现失误行为前的驾驶视频影像资料；
获取事故前的驾驶视频：记录驾驶人员在模拟驾驶场景中出现驾驶事故的数据，并分别记录驾驶人员在出现事故前的视频影像资料。重复上述失误动作编码过程，发现编码完备，在真实场景中无需进一步扩展标签即可实现有效的风险预测。
需要说明的是，本实施例在仿真模拟驾驶场景中进行了大规模仿真实验，获取了针对驾驶场景的专门化数据集。
(2)对样本数据进行分析，得到预测变量及其对应的预测向量；
需要说明的是，对样本数据进行分析的过程与上述步骤S2相同，得到用于作为模型的输入的第一预测向量、第二预测向量和第三预测向量。
(3)利用预测向量和预警结果构建训练数据集，将预测向量和预警结果分别作为所述风险预警模型的输入和输出，以对所述风险预警模型进行训练，得到所述训练好的风险预警模型。
需要说明的是，本实施例定义分级预警为两个级别，轻度级别与重度级别，轻度级别为出现容易出现失误行为但不会出现事故现象，重度级别为容易出现失误行为并出现事故现象；预警结果为轻度级别、重度级别和无风险。
本实施例定义了针对驾驶场景中的失误驾驶行为，进一步区分了失误驾驶行为-造成事故概率较高以及失误驾驶行为-造成事故概率较低两种预警标签。
需要说明的是，本实施例中的训练数据集共包括2487条数据，取其中378条作为验证数据；将训练数据输入到RNN模型中训练，使用验证数据调整RNN参数，得到一组预测准确率大于等于95％，召回率大于等于50％的RNN预警模型。
作为进一步优选的技术方案，还包括：对所述风险预警模型进行验证，并在验证结果不合格时，对所述风险预警模型进行修正。
需要说明的是，本实施例在使用验证数据集对模型进行验证，发现预测准确率大于等于95％且召回率大于50％；重新采样，随机选取驾驶员样本500人进行驾驶模拟实验，发现增加修正的第三预测变量F3，设计F3>15s作为轻度风险预警规则，通过补充这样一个预警规则，效果较好，可将召回率可提升至55％以上。
需要说明的是，本实施例通过对风险预警模型进行验证，在验证基础上补强基于RNN模型的预警模型，增加补强预警规则。
如图2所示，本实施例公开了一种驾驶人员失误操作风险预警***，包括获取模块、预测向量构建模块和风险预警模块，其中：
获取模块用于获取待测驾驶人员的实时驾驶视频作为待测数据；
预测向量构建模块用于对待测数据进行分析，得到预测变量，并将预测变量转换为对应的预测向量；
风险预警模块用于将预测向量作为预先训练好的风险预警模型的输入，得到该待测驾驶人员的风险预警结果。
作为进一步优选的技术方案，所述预测向量构建模块包括预测变量抽取单元和预测向量构建单元，其中：
预测变量抽取单元用于从所述待测数据中抽取得到预测变量，该预测变量包括所述预测变量包括：第一预测变量、第二预测变量和第三预测变量，其中第一预测变量为眼部注视角度-头部朝向-躯干朝向偏转角度，第二预测变量为面部表情，第三预测变量为眼部注视角度不变性持续时间长度；
预测向量构建单元用于将所述预测变量转换为对应的预测向量。
作为进一步优选的技术方案，所述预测向量构建单元包括第一预测向量构建子单元、第二预测向量构建子单元以及第三预测向量构建子单元，其中：
第一预测向量构建子单元用于将所述第一预测变量以眼部切平面为基准的法线与头部框定的正方体面部平面部分的夹角为角A、头部框定的正方体耳部平面部分与躯干中线确定的垂直于躯干正面的平面夹角为角B，构建第一预测变量对应的第一预测向量为F1(A,B)；
第二预测向量构建子单元用于将所述第二预测变量中愤怒表情定义为F-A，悲伤表情定义为F-S，焦虑表情定义为F-F，构建第二预测变量对应的第二预测向量为F2(F-A，F-S，F-F)；
第三预测向量构建子单元用于将所述第三预测变量定义为F3＝Gt。
作为进一步优选的技术方案，还包括样本数据获取模块、分析模块和模型训练模块，其中：
样本数据获取模块用于获取样本驾驶人员在出现失误操作前的驾驶视频作为样本数据；
分析模块用于对样本数据进行分析，得到预测变量及其对应的预测向量；
模型训练模块用于利用预测向量和预警结果分别作为所述风险预警模型的输入和输出，以对所述风险预警模型进行训练，得到所述训练好的风险预警模型。
需要说明的是，本实施例提供的一种驾驶人员失误操作风险预警***与上述实施例公开的一种驾驶人员失误操作风险预警方法具有相应的技术特征及效果，该处不再赘述。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种驾驶人员失误操作风险预警方法，其特征在于，包括：
获取待测驾驶人员的实时驾驶视频作为待测数据；
对待测数据进行分析，得到预测变量，并将预测变量转换为对应的预测向量；
将预测向量作为预先训练好的风险预警模型的输入，得到该待测驾驶人员的风险预警结果。
2.如权利要求1所述的驾驶人员失误操作风险预警方法，其特征在于，所述预测变量包括：第一预测变量、第二预测变量和第三预测变量，其中第一预测变量为眼部注视角度-头部朝向-躯干朝向偏转角度，第二预测变量为面部表情，第三预测变量为眼部注视角度不变性持续时间长度。
3.如权利要求2所述的驾驶人员失误操作风险预警方法，其特征在于，所述将预测变量转换为对应的预测向量，包括：
将所述第一预测变量以眼部切平面为基准的法线与头部框定的正方体面部平面部分的夹角为角A、头部框定的正方体耳部平面部分与躯干中线确定的垂直于躯干正面的平面夹角为角B，构建第一预测变量对应的第一预测向量为F1(A,B)；
将所述第二预测变量中愤怒表情定义为F-A，悲伤表情定义为F-S，焦虑表情定义为F-F，构建第二预测变量对应的第二预测向量为F2(F-A，F-S，F-F)；
将所述第三预测变量定义为F3＝Gt。
4.如权利要求1所述的驾驶人员失误操作风险预警方法，其特征在于，在所述获取待测驾驶人员的实时驾驶视频作为待测数据之前，还包括：
获取样本驾驶人员在出现失误操作前的驾驶视频作为样本数据；
对样本数据进行分析，得到预测变量及其对应的预测向量；
利用预测向量和预警结果分别作为所述风险预警模型的输入和输出，以对所述风险预警模型进行训练，得到所述训练好的风险预警模型。
5.如权利要求4所述的驾驶人员失误操作风险预警方法，其特征在于，所述获取样本驾驶人员在出现失误操作前的驾驶视频作为样本数据，包括：
定义驾驶场景下的失误操作行为；
由所述样本驾驶人员逐个进行驾驶模拟，记录所述样本驾驶人员在出现失误操作行为前的驾驶视频；
由所述样本驾驶人员逐个进行驾驶模型，记录所述样本驾驶人员在出现事故前的驾驶视频。
6.如权利要求1-5任一项所述的驾驶人员失误操作风险预警方法，其特征在于，还包括：
对所述风险预警模型进行验证，并在验证结果不合格时，对所述风险预警模型进行修正。
7.一种驾驶人员失误操作风险预警***，其特征在于，包括获取模块、预测向量构建模块和风险预警模块，其中：
获取模块用于获取待测驾驶人员的实时驾驶视频作为待测数据；
预测向量构建模块用于对待测数据进行分析，得到预测变量，并将预测变量转换为对应的预测向量；
风险预警模块用于将预测向量作为预先训练好的风险预警模型的输入，得到该待测驾驶人员的风险预警结果。
8.如权利要求7所述的驾驶人员失误操作风险预警***，其特征在于，所述预测向量构建模块包括预测变量抽取单元和预测向量构建单元，其中：
预测变量抽取单元用于从所述待测数据中抽取得到预测变量，该预测变量包括所述预测变量包括：第一预测变量、第二预测变量和第三预测变量，其中第一预测变量为眼部注视角度-头部朝向-躯干朝向偏转角度，第二预测变量为面部表情，第三预测变量为眼部注视角度不变性持续时间长度；
预测向量构建单元用于将所述预测变量转换为对应的预测向量。
9.如权利要求8所述的驾驶人员失误操作风险预警***，其特征在于，所述预测向量构建单元包括第一预测向量构建子单元、第二预测向量构建子单元以及第三预测向量构建子单元，其中：
第一预测向量构建子单元用于将所述第一预测变量以眼部切平面为基准的法线与头部框定的正方体面部平面部分的夹角为角A、头部框定的正方体耳部平面部分与躯干中线确定的垂直于躯干正面的平面夹角为角B，构建第一预测变量对应的第一预测向量为F1(A,B)；
第二预测向量构建子单元用于将所述第二预测变量中愤怒表情定义为F-A，悲伤表情定义为F-S，焦虑表情定义为F-F，构建第二预测变量对应的第二预测向量为F2(F-A，F-S，F-F)；
第三预测向量构建子单元用于将所述第三预测变量定义为F3＝Gt。
10.如权利要求7-9任一项所述的驾驶人员失误操作风险预警***，其特征在于，还包括样本数据获取模块、分析模块和模型训练模块，其中：
样本数据获取模块用于获取样本驾驶人员在出现失误操作前的驾驶视频作为样本数据；
分析模块用于对样本数据进行分析，得到预测变量及其对应的预测向量；
模型训练模块用于利用预测向量和预警结果分别作为所述风险预警模型的输入和输出，以对所述风险预警模型进行训练，得到所述训练好的风险预警模型。
CN202110390322.1A 2021-04-12 2021-04-12 一种驾驶人员失误操作风险预警方法及*** Pending CN113191214A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110390322.1A CN113191214A (zh) 2021-04-12 2021-04-12 一种驾驶人员失误操作风险预警方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110390322.1A CN113191214A (zh) 2021-04-12 2021-04-12 一种驾驶人员失误操作风险预警方法及***

Publications (1)

Publication Number Publication Date
CN113191214A true CN113191214A (zh) 2021-07-30

Family

ID=76975511

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110390322.1A Pending CN113191214A (zh) 2021-04-12 2021-04-12 一种驾驶人员失误操作风险预警方法及***

Country Status (1)

Country Link
CN (1) CN113191214A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9990553B1 (en) * 2016-06-14 2018-06-05 State Farm Mutual Automobile Insurance Company Apparatuses, systems, and methods for determining degrees of risk associated with a vehicle operator
CN108446600A (zh) * 2018-02-27 2018-08-24 上海汽车集团股份有限公司 一种车辆驾驶员疲劳监测预警***及方法
US10289938B1 (en) * 2017-05-16 2019-05-14 State Farm Mutual Automobile Insurance Company Systems and methods regarding image distification and prediction models
CN110582437A (zh) * 2019-05-31 2019-12-17 驭势（上海）汽车科技有限公司 驾驶提醒方法、驾驶状态检测方法和计算设备
CN110991353A (zh) * 2019-12-06 2020-04-10 中国科学院自动化研究所 识别驾驶员驾驶行为及危险驾驶行为预警方法
CN111414874A (zh) * 2020-03-26 2020-07-14 中国平安财产保险股份有限公司 基于人脸的驾驶风险预测方法、装置、设备和存储介质
CN111516700A (zh) * 2020-05-11 2020-08-11 安徽大学 一种驾驶员分心细粒度监测方法和***

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9990553B1 (en) * 2016-06-14 2018-06-05 State Farm Mutual Automobile Insurance Company Apparatuses, systems, and methods for determining degrees of risk associated with a vehicle operator
US10289938B1 (en) * 2017-05-16 2019-05-14 State Farm Mutual Automobile Insurance Company Systems and methods regarding image distification and prediction models
CN108446600A (zh) * 2018-02-27 2018-08-24 上海汽车集团股份有限公司 一种车辆驾驶员疲劳监测预警***及方法
CN110582437A (zh) * 2019-05-31 2019-12-17 驭势（上海）汽车科技有限公司 驾驶提醒方法、驾驶状态检测方法和计算设备
CN110991353A (zh) * 2019-12-06 2020-04-10 中国科学院自动化研究所 识别驾驶员驾驶行为及危险驾驶行为预警方法
CN111414874A (zh) * 2020-03-26 2020-07-14 中国平安财产保险股份有限公司 基于人脸的驾驶风险预测方法、装置、设备和存储介质
CN111516700A (zh) * 2020-05-11 2020-08-11 安徽大学 一种驾驶员分心细粒度监测方法和***

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
孙忆晨: "基于视觉特征的疲劳检测算法研究", 《中国优秀硕士学位论文全文数据库 (工程科技Ⅱ辑)》 *
崔子岩: "基于时序性面部动作信息的驾驶员状态检测框架", 《计算机应用研究》 *
王宏雁: "汽车驾驶人姿态监测***研究综述", 《中国公路学报》 *

Similar Documents

Publication Publication Date Title
Manawadu et al. Multiclass classification of driver perceived workload using long short-term memory based recurrent neural network
CN105286802B (zh) 基于视频信息的驾驶员疲劳检测方法
EP3465532A1 (en) Control device, system and method for determining the perceptual load of a visual and dynamic driving scene
CN112617835B (zh) 一种基于迁移学习的多特征融合疲劳检测方法
Huang et al. P-FDCN based eye state analysis for fatigue detection
CN109875583B (zh) 一种基于ar技术的疲劳驾驶检测***及方法
CN110859609A (zh) 基于语音分析的多特征融合疲劳驾驶检测方法
KR102631311B1 (ko) 심장신호 처리장치 및 방법, 이를 포함하는 모니터링 시스템
CN113133769A (zh) 基于运动想象脑电信号的设备控制方法、装置及终端
CN113544471A (zh) 一种dms设备性能评估***、方法、存储介质及电子设备
CN111222464B (zh) 情感分析方法以及***
CN115713246A (zh) 一种关于虚拟场景的多模态人机交互的性能评估方法
Zero et al. EEG based BCI system for driver’s arm movements identification
Dehzangi et al. Unobtrusive driver drowsiness prediction using driving behavior from vehicular sensors
CN106990835B (zh) 一种运动训练评估方法及装置
CN108962379B (zh) 一种脑神经***疾病的手机辅助检测***
CN113191214A (zh) 一种驾驶人员失误操作风险预警方法及***
Zontone et al. Stress recognition in a simulated city environment using Skin Potential Response (SPR) signals
Huve et al. Online recognition of the mental states of drivers with an fnirs-based brain-computer interface using deep neural network
Mao et al. A driver drowsiness detection scheme based on 3d convolutional neural networks
CN116712099A (zh) 基于多模态数据的胎心状态检测方法、电子设备、存储介质
Murphey et al. Personalized driver workload estimation in real-world driving
CN112370039B (zh) 一种基于智慧课堂的课堂质量检测方法及装置
CN115996666A (zh) 用于确定认知需求的***和方法
CN110838027A (zh) 车辆使用满意度的确定方法及装置、存储介质、计算设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220130

Address after: 230000 No. 5089, high tech Zone, Hefei, Anhui

Applicant after: Hefei zhongjuyuan Intelligent Technology Co.,Ltd.

Address before: No. 5089, Wangjiang West Road, Hefei City, Anhui Province, 230000, b1205-b1208, future center, Institute of advanced technology, University of science and technology of China

Applicant before: Artificial Intelligence Research Institute of Hefei comprehensive national science center (Artificial Intelligence Laboratory of Anhui Province)

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210730