CN116597611A - 驾驶员状态监测与预警方法、***和装置 - Google Patents

驾驶员状态监测与预警方法、***和装置 Download PDF

Info

Publication number
CN116597611A
CN116597611A CN202211708136.9A CN202211708136A CN116597611A CN 116597611 A CN116597611 A CN 116597611A CN 202211708136 A CN202211708136 A CN 202211708136A CN 116597611 A CN116597611 A CN 116597611A
Authority
CN
China
Prior art keywords
data
driver
fatigue state
driving
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211708136.9A
Other languages
English (en)
Inventor
请求不公布姓名
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kingfar International Inc
Original Assignee
Kingfar International Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kingfar International Inc filed Critical Kingfar International Inc
Priority to CN202211708136.9A priority Critical patent/CN116597611A/zh
Publication of CN116597611A publication Critical patent/CN116597611A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0808—Diagnosing performance data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B60W2040/0827—Inactivity or incapacity of driver due to sleepiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Emergency Management (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Business, Economics & Management (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供一种驾驶员状态监测与预警方法、***和装置，所述方法包括：采集驾驶员在驾驶前和驾驶中的疲劳状态相关数据、环境数据和车辆运行状态数据，并将驾驶前的疲劳状态相关数据作为基准数据；将驾驶前和驾驶中的疲劳状态相关数据进行差异分析后再进行归一化得到驾驶员的疲劳状态综合指标；基于以基准数据为非疲劳状态特征参数与以符合预设疲劳状态阈值范围的疲劳状态综合指标为疲劳状态特征参数通过机器学习算法训练疲劳状态识别模型；将实时采集的驾驶中的疲劳状态相关数据输入至疲劳状态识别模型识别驾驶员的疲劳状态；若驾驶员为疲劳状态，通过熵权法确定环境数据和车辆运行状态数据对驾驶员的驾驶疲劳的影响程度，进行相应地预警干预。

Description

驾驶员状态监测与预警方法、***和装置
技术领域
本发明涉及疲劳驾驶技术领域，尤其涉及一种驾驶员状态监测与预警方法、***和装置。
背景技术
疲劳驾驶是导致严重交通事故的重要原因之一，因此在驾驶过程中对于驾驶员的疲劳状态进行监测识别与预警干预就显得尤为重要。当前对于驾驶员疲劳状态的监测识别主要通过以下三种方式进行，首先是通过基于人体生理指标的监测进行，常见的有脑电、眼电、肌电、心电、皮电等，这也是判断驾驶员疲劳状态的最有效的方法；其次是通过驾驶员在驾驶过程中的行为指标来进行，比如方向盘转角、车道偏离程度及驾驶员的驾驶姿态等，此外就是驾驶员的身体特征来判断驾驶员的疲劳状态，如眼睑闭合度、瞳孔直径、眨眼次数、点头频率、打哈欠等等。在疲劳状态的计算方法中主要是围绕多指标融合的方法来提高疲劳状态的识别程度。但是当前这些方法仍然存在一些问题，由于在不同的环境下，导致驾驶员疲劳状态的程度和原因不同，在一些特征指标上的标准并不完全适用，因此对于疲劳状态的监测识别与预警干预的准确度就造成了影响。
因此，亟需一种能够根据驾驶员疲劳状态的不同程度和原因进行相应地预警干预的方案。
发明内容
鉴于此，本发明实施例提供了一种驾驶员状态监测与预警方法、***和装置，能够提高驾驶员在驾驶过程中，对驾驶员疲劳状态的监测识别与相应的预警干预的准确度和有效性。
本发明的一个方面提供了一种驾驶员状态监测与预警方法，该方法包括以下步骤：
采集驾驶员在驾驶前的疲劳状态相关数据、驾驶员在驾驶过程中的疲劳状态相关数据、驾驶环境数据以及车辆运行状态数据，并将所述驾驶员在驾驶前的疲劳状态相关数据作为基准数据；所述疲劳状态相关数据包括：与驾驶疲劳状态相关的生理数据和眼动数据；
将采集到的驾驶员在驾驶过程中的疲劳状态相关数据与所述基准数据进行差异性分析，将得到的差异性数据进行归一化得到驾驶员的疲劳状态综合指标；
基于以所述基准数据为非疲劳状态特征参数与以符合预设疲劳状态阈值范围的驾驶员的疲劳状态综合指标为疲劳状态特征参数通过机器学习算法训练疲劳状态识别模型；
将实时采集的驾驶员在驾驶过程中的疲劳状态相关数据输入至训练好的疲劳状态识别模型识别驾驶员在当前驾驶过程中的疲劳状态；
若驾驶员在当前驾驶过程中为疲劳状态，通过熵权法确定采集到的驾驶环境数据中的各指标和车辆运行状态数据中的各指标对驾驶员的驾驶疲劳的影响程度，并基于影响程度大小选择驾驶环境数据和/或车辆运行状态数据中的指标进行相应地预警干预。
在本发明的一些实施例中，所述与驾驶疲劳状态相关的生理数据包括以下一种或多种指标：心电、皮电和脑电；
所述与驾驶疲劳状态相关的眼动数据包括以下一种或多种指标：瞳孔直径、眨眼频率和眼睑闭合度。
在本发明的一些实施例中，所述将采集到的驾驶员在驾驶过程中的状态数据与所述基准数据进行差异性分析，将得到的差异性数据进行归一化得到所述驾驶员的疲劳状态综合指标，包括：
将所述采集到的所述驾驶员在驾驶过程中的状态数据与所述基准数据的均值与标准差进行差异性分析，得到差异性数据；
利用归一化方法将所述得到的差异性数据中的差异性进行归一化，得到所述驾驶员的疲劳状态综合指标。
在本发明的一些实施例中，所述基于以所述基准数据为非疲劳状态特征参数与以符合预设疲劳状态阈值范围的驾驶员的疲劳状态综合指标为疲劳状态特征参数通过机器学习算法训练疲劳状态识别模型，包括：
基于以所述基准数据为非疲劳状态特征参数与以符合预设疲劳状态阈值范围的驾驶员的疲劳状态综合指标为疲劳状态特征参数构建特征向量集；
将所述构建好的特征向量集通过邻近算法训练疲劳状态识别模型。
在本发明的一些实施例中，所述通过熵权法确定采集到的驾驶环境数据中的各指标和车辆运行状态数据中的各指标对驾驶员的驾驶疲劳的影响程度，包括：
将所述驾驶环境数据中的各指标和车辆运行状态数据中的各指标进行数据标准化，得到标准化数据；
基于所述标准化数据赋予比重得到所述标准化数据的比重；
基于所述标准化数据的比重计算得到所述标准化数据的信息熵；
将所述得到的标准化数据的信息熵赋予权重，得到采集到的驾驶环境数据中的各指标和车辆运行状态数据中的各指标对驾驶员的驾驶疲劳的影响程度。
在本发明的一些实施例中，所述基于选择的指标进行相应地预警干预包括对驾驶员进行感官预警干预；
所述感官预警干预包括以下一种或多种：听觉预警、视觉预警、嗅觉预警和触觉预警。
在本发明的一些实施例中，所述基于选择的指标进行相应地预警干预还包括对车辆的运行状态进行预警干预，包括：
在基于选择的指标对驾驶员进行感官预警干预的情况下，驾驶员做出继续驾驶的反应后继续对驾驶员的疲劳状态进行监测；
若感官预警次数达到预设次数仍为疲劳状态，在对驾驶员进行感官预警干预的同时根据所述选择的指标进行车辆运行状态干预。
本发明的另一方面提供了一种驾驶员状态监测与预警***，所述***包括：驾驶疲劳状态数据采集***、驾驶疲劳状态评价***和驾驶疲劳状态预警***；
所述驾驶疲劳状态数据采集***包括环境状态模块、驾驶员基准状态模块、驾驶员驾驶状态模块和车辆运行状态模块；所述环境状态模块用于采集驾驶环境数据；所述驾驶员基准状态模块用于采集驾驶员在驾驶前的疲劳状态相关数据；所述驶员驾驶状态模块用于采集驾驶员在驾驶过程中的疲劳状态相关数据；所述车辆运行状态模块用于采集车辆运行状态数据；
所述驾驶疲劳状态评价***包括驾驶疲劳状态评价模块，用于将采集到的驾驶员在驾驶过程中的疲劳状态相关数据和驾驶员在驾驶前的疲劳状态相关数据进行差异性分析，将得到的差异性数据进行归一化得到驾驶员的疲劳状态综合指标；基于以驾驶员在驾驶前的疲劳状态相关数据为非疲劳状态特征参数与以符合预设疲劳状态阈值范围的驾驶员的疲劳状态综合指标为疲劳状态特征参数通过机器学习算法训练疲劳状态识别模型，并将实时采集的驾驶员在驾驶过程中的疲劳状态相关数据输入至训练好的疲劳状态识别模型识别驾驶员在当前驾驶过程中的疲劳状态，输出驾驶员的疲劳状态；
所述驾驶疲劳状态预警***包括预警干预模块，用于根据接收的驾驶员的疲劳状态通过熵权法确定采集到的驾驶环境数据中的各指标和车辆运行状态数据中的各指标对驾驶员的驾驶疲劳的影响程度，并基于影响程度大小选择驾驶环境数据和/或车辆运行状态数据中的指标进行相应地预警干预。
本发明的另一方面提供了一种驾驶员状态监测与预警装置，该装置包括处理器和存储器，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该装置实现如上任一项所述方法的步骤。
本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上任一项所述方法的步骤。
本发明的驾驶员状态监测与预警方法、***和装置，能够通过多模态数据进行驾驶员在驾驶过程中的疲劳状态监测识别；能够通过熵权法确定对驾驶员疲劳状态的影响原因及程度，并根据其影响原因和程度进行相应地预警干预，实现对不同原因导致的驾驶疲劳实施相应地预警干预方式，提高预警干预的精准性和有效性。
本发明的附加优点、目的，以及特征将在下面的描述中将部分地加以阐述，且将对于本领域普通技术人员在研究下文后部分地变得明显，或者可以根据本发明的实践而获知。本发明的目的和其它优点可以通过在说明书以及附图中具体指出的结构实现到并获得。
本领域技术人员将会理解的是，能够用本发明实现的目的和优点不限于以上具体所述，并且根据以下详细说明将更清楚地理解本发明能够实现的上述和其他目的。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。在附图中：
图1为本发明一实施例中驾驶员状态监测与预警流程示意图。
图2为本发明另一实施例中驾驶员状态监测与预警方法示意图。
图3为本发明一实施例中驾驶员状态监测与预警***示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施方式和附图，对本发明做进一步详细说明。在此，本发明的示意性实施方式及其说明用于解释本发明，但并不作为对本发明的限定。
在此，还需要说明的是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的结构和/或处理步骤，而省略了与本发明关系不大的其他细节。
应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。
在此，还需要说明的是，如果没有特殊说明，术语“连接”在本文不仅可以指直接连接，也可以表示存在中间物的间接连接。
在下文中，将参考附图描述本发明的实施例。在附图中，相同的附图标记代表相同或类似的部件，或者相同或类似的步骤。
为了克服现有技术中不同原因导致的驾驶疲劳的预警干预方式不适用的问题，本发明提出了一种驾驶员状态监测与预警方法、***和装置，能够通过多模态数据进行驾驶员在驾驶过程中的疲劳状态监测识别；能够通过熵权法确定对驾驶员疲劳状态的影响原因及程度，并根据其影响原因和程度进行相应地预警干预，实现对不同原因导致的驾驶疲劳实施相应地预警干预方式，提高预警干预的精准性和有效性。
图1所示为本发明一实施例中驾驶员状态监测与预警流程示意图，如图1所示，采集驾驶员在驾驶前和驾驶过程中的眼动、脑电、生理等数据，并将采集到的驾驶前和驾驶过程中的不同指标数据进行差异性分析，得到差异性数据；将得到的差异性数据进行归一化处理得到驾驶员的疲劳状态综合指标，并将驾驶前的数据作为非疲劳状态标签(非疲劳状态特征参数)，在疲劳状态阈值范围的驾驶员的疲劳状态综合指标为疲劳状态标签(疲劳状态特征参数)；通过邻近算法(K-NearestNeighbor，KNN)建立疲劳状态识别模型；将实时采集到的驾驶过程的疲劳状态相关数据输入疲劳识别模型进行识别判断驾驶员是否为疲劳状态；若为非疲劳状态，则继续采集驾驶员在驾驶中的数据；若为疲劳状态，通过熵权法确定环境状态数据与车辆运行状态数据对驾驶员驾驶疲劳的影响因素，根据影响因素确定感官预警的提醒内容来进行疲劳预警干预；在驾驶员做出继续驾驶的反应后，继续对驾驶员的疲劳状态进行监测，若感官预警次数达到三次以上，仍为疲劳状态，对驾驶员进行感官预警的同时根据环境数据和车辆运行状态数据对车辆进行运行状态干预；若感官预警次数未达到3次以上，驾驶员无疲劳状态，则继续采集驾驶员在驾驶中的数据。
图2为本发明另一实施例中驾驶员状态监测与预警方法示意图，如图2所示，该方法包括以下步骤：
步骤S110，采集驾驶员在驾驶前的疲劳状态相关数据、驾驶员在驾驶过程中的疲劳状态相关数据、驾驶环境数据以及车辆运行状态数据，并将所述驾驶员在驾驶前的疲劳状态相关数据作为基准数据；所述疲劳状态相关数据包括：与驾驶疲劳状态相关的生理数据和眼动数据。
在本步骤中，通过驾驶员基准模块采集驾驶员在驾驶前的疲劳状态相关数据，并将驾驶员在驾驶前的疲劳状态相关数据作为基准数据，通过驾驶员状态模块采集驾驶员在驾驶过程中的疲劳状态相关数据，通过环境状态模块采集环境状态数据，通过车辆运行状态模块采集车辆运行状态数据。
在本发明一实施例中，驾驶员在驾驶前的疲劳状态相关数据包括：驾驶前与驾驶疲劳状态相关的生理数据和眼动数据，其驾驶前与驾驶疲劳状态相关的生理数据包括驾驶员在驾驶前的心电、皮电和脑电等人体生理数据；其驾驶前与驾驶疲劳状态相关的眼动数据包括驾驶员在驾驶前的瞳孔直径、眨眼频率和眼睑闭合度。
在本发明一实施例中，驾驶员在驾驶过程中的疲劳状态相关数据包括：驾驶过程中与驾驶疲劳状态相关的生理数据和眼动数据，其驾驶过程找那个与驾驶疲劳状态相关的生理数据包括驾驶员在驾驶过程中的心电、皮电和脑电等人体生理数据；其驾驶过程中与驾驶疲劳状态相关的眼动数据包括驾驶员在驾驶过程中的瞳孔直径、眨眼频率和眼睑闭合度。
在本发明一实施例中，其生理数据可以通过无线可穿戴或非接触远程探测设备进行采集，眼动数据可以通过可进行面部表情识别的摄像头的眼动仪进行采集，以上仅为示例，本发明不仅限于此。
在本发明的另一实施例中，以10s为时间间隔采集驾驶员在驾驶前的心电、皮电和脑电等人体生理数据和瞳孔直径、眨眼频率和眼睑闭合度等眼动数据以及驾驶员在驾驶过程中的心电、皮电和脑电等人体生理数据和瞳孔直径、眨眼频率和眼睑闭合度等眼动数据。其中10s为时间间隔仅为示例，还可设置在其他时间范围内，本发明在此不做限定。
在本发明一实施例中，驾驶环境数据包括但不限于：当前驾驶阶段的时间、季度、温度和天气。
在本发明一实施例中，车辆运行状态数据包括但不限于：驾驶员在驾驶过程中持续驾驶时间数据、方向盘转角速度、车道偏离程度和刹车次数。其车辆运行状态数据可由车辆内置或外置的传感器进行采集。
步骤S120，将采集到的驾驶员在驾驶过程中的疲劳状态相关数据与所述基准数据进行差异性分析，将得到的差异性数据进行归一化得到驾驶员的疲劳状态综合指标。
在本步骤中，将采集的驾驶员在驾驶过程中的疲劳状态相关数据与基准数据(驾驶前的疲劳状态相关数据)的均值与标准差进行差异性分析，得到差异性数据，利用归一化方法将差异性数据中的差异性进行归一化，得到驾驶员的疲劳状态综合指标。
在本发明一实施例中，对预设时间内采集的驾驶过程中的疲劳状态相关数据和驾驶前的疲劳状态相关数据的均值与标准差进行差异性分析，例如：将10s内采集到的驾驶员在驾驶过程中的瞳孔直径与驾驶前的瞳孔直径的均值与标准差进行差异性分析，当在10s时间内驾驶员在驾驶过程中的瞳孔直径的均值与标准差与驾驶员在驾驶前的瞳孔直径的均值与标准差有偏差，则得出具有差异性的瞳孔直径数据。
在本发明一实施例中，对得到的差异性数据进行归一化处理，即为将差异性数据归一到均值为0，方差为1的分布中，得到驾驶员的疲劳状态综合指标，其归一化方法满足：
其中，xscale表示的是驾驶员的疲劳状态综合指标，x表示的是差异性数据，xmean表示的是基准数据(驾驶前的疲劳状态相关数据)，S表示的是归一化因子。
步骤S130，基于以所述基准数据为非疲劳状态特征参数与以符合预设疲劳状态阈值范围的驾驶员的疲劳状态综合指标为疲劳状态特征参数通过机器学习算法训练疲劳状态识别模型。
在本步骤中，以基准数据(驾驶前的疲劳状态相关数据)作为非疲劳状态特征参数和以符合预设疲劳状态阈值范围的驾驶员的疲劳状态综合指标作为疲劳状态特征参数建立特征向量集构建疲劳状态识别模型，通过机器学习算法训练疲劳状态识别模型。
在本发明一实施例中，预设疲劳状态阈值范围，例如：眨眼频率，人在正常状态下的眨眼频率为10～15次/分，每两次眨眼间隔时间大约为4～5秒，因此当人处于疲劳状态的时候，人的眨眼频率会增加，因此就可将人眼最快的眨眼频率作为阈值范围，当识别出驾驶员眨眼频率大于该阈值范围时认定驾驶员处于疲劳之中，否则为正常状况。以上仅为示例，本发明不仅限于此。
在本发明一实施例中，以基准数据(驾驶前的疲劳状态相关数据)作为非疲劳状态特征参数和以符合预设疲劳状态阈值范围的驾驶员的疲劳状态综合指标作为疲劳状态特征参数建立特征向量集可通过KNN算法训练疲劳状态识别模型，还可通过其他机器学习算法进行训练，仅为示例，本发明不仅限于此。该模型如下所示：
xi∈X＝{a1,a2,…,ak}；
yi∈Y＝{b1,b2,…,bk}；
其中，xi表示的是疲劳状态特征参数，yi表示的是非疲劳状态特征参数，X表示疲劳状态类别，Y表示的是非疲劳状态类别，ak表示符合预设疲劳状态阈值范围的驾驶员的疲劳状态综合指标，bk表示基准数据，i为指标特征向量，i＝1,2,3，…，n。
步骤S140，将实时采集的驾驶员在驾驶过程中的疲劳状态相关数据输入至训练好的疲劳状态识别模型识别驾驶员在当前驾驶过程中的疲劳状态。
在本发明一实施例中，将实时采集的驾驶员在驾驶过程中的疲劳状态相关数据输入至训练好的疲劳状态识别模型识别驾驶员在当前驾驶过程中的疲劳状态，例如：选择在10s时间内实时采集到的驾驶员的眼动数据和生理数据的5个邻近指标输入疲劳状态识别模型中，将输入的数据与疲劳识别模型中对应的特征进行相互比较，找到疲劳状态识别模型中与输入的数据最为相似的前k个数据，则该输入的数据对应的类别就是k个数据中出现次数最多的那个分类，其分类结果为1时，说明驾驶员处于疲劳状态；分类结果为0时，说明驾驶员处于非疲劳状态。
步骤S150，若驾驶员在当前驾驶过程中为疲劳状态，通过熵权法确定采集到的驾驶环境数据中的各指标和车辆运行状态数据中的各指标对驾驶员的驾驶疲劳的影响程度，并基于影响程度大小选择驾驶环境数据和/或车辆运行状态数据中的指标进行相应地预警干预。
在本步骤中，基于步骤S140对驾驶员的疲劳状态的识别，若识别出驾驶员在当前驾驶过程中为疲劳状态时，根据采集到的驾驶环境数据和车辆运行状态数据通过熵权法确定驾驶环境数据中的各指标和车辆运行状态数据中的各指标对驾驶员的驾驶疲劳的影响程度，并基于影响程度大小选择驾驶环境数据和/或车辆运行状态数据中的指标进行相应地预警干预。
在本发明一实施例中，当驾驶员处于疲劳状态时，根据采集到的驾驶环境数据和车辆运行状态数据通过熵权法确定驾驶环境数据中的各指标和车辆运行状态数据中的各指标对驾驶员的驾驶疲劳的影响程度具体为将驾驶环境数据中的各指标和车辆运行状态数据中的各指标进行数据标准化，满足：
其中，Yij表示为标准化数据，Xij表示为驾驶环境数据或车辆运行状态数据中第j个指标的第i个样本数据，Xi表示驾驶环境数据或车辆运行状态数据中第i个样本数据。
基于上述得到的标准化数据，通过给标准化数据赋予比重，得到标准化数据的比重，满足：
其中，Pij表示为标准化数据的比重。
基于得到的标准化数据的比重，再通过计算得到该标准化数据的信息熵，满足：
其中，Ej表示为标准化数据的信息熵。
将标准化数据的信息熵赋予权重，得到采集到的驾驶环境数据中的各指标和车辆运行状态数据中的各指标对驾驶员的驾驶疲劳的影响程度，满足：
其中，wj表示标准化数据的权重值，也即为驾驶环境数据中的各指标和车辆运行状态数据中的各指标对驾驶员的驾驶疲劳的影响程度。
在本发明一实施例中，根据确定的驾驶环境数据中的各指标和车辆运行状态数据中的各指标对驾驶员的驾驶疲劳的影响程度选择驾驶环境数据和/或车辆运行状态数据中的指标进行相应地预警干预，该预警干预包括根据影响指标来源进行感官预警干预，感官预警干预包括但不限于：听觉预警、视觉预警、嗅觉预警和触觉预警。例如：由于驾驶时间过长所导致的疲劳状态，预警干预首先会是“您已长时间驾驶，请停车休息”此类带有疲劳原因的语音、图像等形式的听觉预警和/或视觉预警。再例如：冬季驾驶时存在开空调的情况，而温度较高会导致驾驶员相对夏季更容易疲劳(困倦)，因此预警干预可通过降低空调温度来降低驾驶室的温度进行触觉预警，或者通过喷洒能够降低疲劳的香氛喷雾进行触觉预警和/或嗅觉预警。
在本发明一实施例中，在对驾驶员已经进行感官预警干预的情况下，驾驶员做出继续驾驶的反应后继续对驾驶员的疲劳状态进行监测，若感官预警次数到达预设次数，驾驶员的监测结果仍为疲劳状态时，在对驾驶员进行感官预警干预的同时根据外置传感器采集的车辆运行状态数据判断车辆周边运行情况是否安全，在安全的情况下，对车辆的运行状态进行干预，例如：对于处于安全环境的车辆，通过控制刹车或者油门进行减速；再例如：对于有自动驾驶***的车辆，通过控制方向盘、刹车和方向灯进行靠边停车。其预设次数可以是3次，仅为示例，本发明不仅限于此。
本发明还提供了一种驾驶员状态监测与预警***，如图3所示，该***包括：驾驶疲劳状态数据采集***、驾驶疲劳状态评价***和驾驶疲劳状态预警***。
驾驶疲劳状态数据采集***包括环境状态模块、驾驶员基准状态模块、驾驶员驾驶状态模块和车辆运行状态模块；该环境状态模块用于采集驾驶环境数据；该驾驶员基准状态模块用于采集驾驶员在驾驶前的疲劳状态相关数据；该驶员驾驶状态模块用于采集驾驶员在驾驶过程中的疲劳状态相关数据；该车辆运行状态模块用于采集车辆运行状态数据。
驾驶疲劳状态评价***包括驾驶疲劳状态评价模块，用于将采集到的驾驶员在驾驶过程中的疲劳状态相关数据和驾驶员在驾驶前的疲劳状态相关数据进行差异性分析得到差异性数据，并将差异性数据进行归一化得到驾驶员的疲劳状态综合指标；基于以驾驶员在驾驶前的疲劳状态相关数据为非疲劳状态特征参数与以符合预设疲劳状态阈值范围的驾驶员的疲劳状态综合指标为疲劳状态特征参数通过机器学习算法训练疲劳状态识别模型，并将实时采集的驾驶员在驾驶过程中的疲劳状态相关数据输入至训练好的疲劳状态识别模型识别驾驶员在当前驾驶过程中的疲劳状态，输出驾驶员的疲劳状态。
驾驶疲劳状态预警***包括预警干预模块，用于根据接收的驾驶员的疲劳状态通过熵权法确定采集到的驾驶环境数据中的各指标和车辆运行状态数据中的各指标对驾驶员的驾驶疲劳的影响程度，并基于影响程度大小选择驾驶环境数据和/或车辆运行状态数据中的指标进行相应地预警干预。
在本发明一实施例中，驾驶员基准状态模块中还包含驾驶员个人信息，例如：姓名、性别和年龄。
与上述方法相应地，本发明还提供了一种驾驶员状态监测与预警装置，该装置包括计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该装置实现如前所述方法的步骤。
综上所述，本发明提出了一种驾驶员状态监测与预警方法、***和装置，能够通过多模态数据进行驾驶员在驾驶过程中的疲劳状态监测识别；能够通过熵权法确定对驾驶员疲劳状态的影响原因及程度，并根据其影响原因和程度进行相应地预警干预，实现对不同原因导致的驾驶疲劳实施相应地预警干预方式，提高预警干预的精准性和有效性。
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时以实现前述边缘计算服务器部署方法的步骤。该计算机可读存储介质可以是有形存储介质，诸如随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、软盘、硬盘、可移动存储盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质。
本领域普通技术人员应该可以明白，结合本文中所公开的实施方式描述的各示例性的组成部分、***和方法，能够以硬件、软件或者二者的结合来实现。具体究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。
需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
本发明中，针对一个实施方式描述和/或例示的特征，可以在一个或更多个其它实施方式中以相同方式或以类似方式使用，和/或与其他实施方式的特征相结合或代替其他实施方式的特征。
以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种驾驶员状态监测与预警方法，其特征在于，所述方法包括以下步骤：
采集驾驶员在驾驶前的疲劳状态相关数据、驾驶员在驾驶过程中的疲劳状态相关数据、驾驶环境数据以及车辆运行状态数据，并将所述驾驶员在驾驶前的疲劳状态相关数据作为基准数据；所述疲劳状态相关数据包括：与驾驶疲劳状态相关的生理数据和眼动数据；
将采集到的驾驶员在驾驶过程中的疲劳状态相关数据与所述基准数据进行差异性分析，将得到的差异性数据进行归一化得到驾驶员的疲劳状态综合指标；
基于以所述基准数据为非疲劳状态特征参数与以符合预设疲劳状态阈值范围的驾驶员的疲劳状态综合指标为疲劳状态特征参数通过机器学习算法训练疲劳状态识别模型；
将实时采集的驾驶员在驾驶过程中的疲劳状态相关数据输入至训练好的疲劳状态识别模型识别驾驶员在当前驾驶过程中的疲劳状态；
若驾驶员在当前驾驶过程中为疲劳状态，通过熵权法确定采集到的驾驶环境数据中的各指标和车辆运行状态数据中的各指标对驾驶员的驾驶疲劳的影响程度，并基于影响程度大小选择驾驶环境数据和/或车辆运行状态数据中的指标进行相应地预警干预。
2.根据权利要求1所述的方法，其特征在于，
所述与驾驶疲劳状态相关的生理数据包括以下一种或多种指标：心电、皮电和脑电；
所述与驾驶疲劳状态相关的眼动数据包括以下一种或多种指标：瞳孔直径、眨眼频率和眼睑闭合度。
3.根据权利要求1所述的方法，其特征在于，所述将采集到的驾驶员在驾驶过程中的状态数据与所述基准数据进行差异性分析，将得到的差异性数据进行归一化得到所述驾驶员的疲劳状态综合指标，包括：
将所述采集到的所述驾驶员在驾驶过程中的状态数据与所述基准数据的均值与标准差进行差异性分析，得到差异性数据；
利用归一化方法将所述得到的差异性数据中的差异性进行归一化，得到所述驾驶员的疲劳状态综合指标。
4.根据权利要求1所述的方法，其特征在于，所述基于以所述基准数据为非疲劳状态特征参数与以符合预设疲劳状态阈值范围的驾驶员的疲劳状态综合指标为疲劳状态特征参数通过机器学习算法训练疲劳状态识别模型，包括：
基于以所述基准数据为非疲劳状态特征参数与以符合预设疲劳状态阈值范围的驾驶员的疲劳状态综合指标为疲劳状态特征参数构建特征向量集；
将所述构建好的特征向量集通过邻近算法训练疲劳状态识别模型。
5.根据权利要求1所述的方法，其特征在于，所述通过熵权法确定采集到的驾驶环境数据中的各指标和车辆运行状态数据中的各指标对驾驶员的驾驶疲劳的影响程度，包括：
将所述驾驶环境数据中的各指标和车辆运行状态数据中的各指标进行数据标准化，得到标准化数据；
基于所述标准化数据赋予比重得到所述标准化数据的比重；
基于所述标准化数据的比重计算得到所述标准化数据的信息熵；
将所述得到的标准化数据的信息熵赋予权重，得到采集到的驾驶环境数据中的各指标和车辆运行状态数据中的各指标对驾驶员的驾驶疲劳的影响程度。
6.根据权利要求1所述的方法，其特征在于，所述基于选择的指标进行相应地预警干预包括对驾驶员进行感官预警干预；
所述感官预警干预包括以下一种或多种：听觉预警、视觉预警、嗅觉预警和触觉预警。
7.根据权利要求6所述的方法，其特征在于，所述基于选择的指标进行相应地预警干预还包括对车辆的运行状态进行预警干预，包括：
在基于选择的指标对驾驶员进行感官预警干预的情况下，驾驶员做出继续驾驶的反应后继续对驾驶员的疲劳状态进行监测；
若感官预警次数达到预设次数仍为疲劳状态，在对驾驶员进行感官预警干预的同时根据所述选择的指标进行车辆运行状态干预。
8.一种驾驶员状态监测与预警***，其特征在于，所述***包括：驾驶疲劳状态数据采集***、驾驶疲劳状态评价***和驾驶疲劳状态预警***；
所述驾驶疲劳状态数据采集***包括环境状态模块、驾驶员基准状态模块、驾驶员驾驶状态模块和车辆运行状态模块；所述环境状态模块用于采集驾驶环境数据；所述驾驶员基准状态模块用于采集驾驶员在驾驶前的疲劳状态相关数据；所述驶员驾驶状态模块用于采集驾驶员在驾驶过程中的疲劳状态相关数据；所述车辆运行状态模块用于采集车辆运行状态数据；
所述驾驶疲劳状态评价***包括驾驶疲劳状态评价模块，用于将采集到的驾驶员在驾驶过程中的疲劳状态相关数据和驾驶员在驾驶前的疲劳状态相关数据进行差异性分析，将得到的差异性数据进行归一化得到驾驶员的疲劳状态综合指标；基于以驾驶员在驾驶前的疲劳状态相关数据为非疲劳状态特征参数与以符合预设疲劳状态阈值范围的驾驶员的疲劳状态综合指标为疲劳状态特征参数通过机器学习算法训练疲劳状态识别模型，并将实时采集的驾驶员在驾驶过程中的疲劳状态相关数据输入至训练好的疲劳状态识别模型识别驾驶员在当前驾驶过程中的疲劳状态，输出驾驶员的疲劳状态；
所述驾驶疲劳状态预警***包括预警干预模块，用于根据接收的驾驶员的疲劳状态通过熵权法确定采集到的驾驶环境数据中的各指标和车辆运行状态数据中的各指标对驾驶员的驾驶疲劳的影响程度，并基于影响程度大小选择驾驶环境数据和/或车辆运行状态数据中的指标进行相应地预警干预。
9.一种驾驶员状态监测与预警装置，包括处理器和存储器，其特征在于，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该装置实现如权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至7中任一项所述方法的步骤。
CN202211708136.9A 2022-12-29 2022-12-29 驾驶员状态监测与预警方法、***和装置 Pending CN116597611A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211708136.9A CN116597611A (zh) 2022-12-29 2022-12-29 驾驶员状态监测与预警方法、***和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211708136.9A CN116597611A (zh) 2022-12-29 2022-12-29 驾驶员状态监测与预警方法、***和装置

Publications (1)

Publication Number Publication Date
CN116597611A true CN116597611A (zh) 2023-08-15

Family

ID=87606783

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211708136.9A Pending CN116597611A (zh) 2022-12-29 2022-12-29 驾驶员状态监测与预警方法、***和装置

Country Status (1)

Country Link
CN (1) CN116597611A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118051810A (zh) * 2024-04-15 2024-05-17 吉林大学 一种非侵入式驾驶人驾驶疲劳状态识别方法及***

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118051810A (zh) * 2024-04-15 2024-05-17 吉林大学 一种非侵入式驾驶人驾驶疲劳状态识别方法及***
CN118051810B (zh) * 2024-04-15 2024-07-19 吉林大学 一种非侵入式驾驶人驾驶疲劳状态识别方法及***

Similar Documents

Publication Publication Date Title
US11783601B2 (en) Driver fatigue detection method and system based on combining a pseudo-3D convolutional neural network and an attention mechanism
Hossain et al. IOT based real-time drowsy driving detection system for the prevention of road accidents
Chan et al. A comprehensive review of driver behavior analysis utilizing smartphones
Uma et al. Accident prevention and safety assistance using IOT and machine learning
Kaplan et al. Driver behavior analysis for safe driving: A survey
Wang et al. Driver fatigue detection: a survey
Wu et al. Reasoning-based framework for driving safety monitoring using driving event recognition
CA2649731A1 (en) An unobtrusive driver drowsiness detection method
Sun et al. An integrated solution for lane level irregular driving detection on highways
CN109664894A (zh) 基于多源异构数据感知的疲劳驾驶安全预警***
CN116597611A (zh) 驾驶员状态监测与预警方法、***和装置
Alam et al. Vision-based driver’s attention monitoring system for smart vehicles
Wongphanngam et al. Fatigue warning system for driver nodding off using depth image from Kinect
Pandey et al. A survey on visual and non-visual features in Driver’s drowsiness detection
Sistla et al. Stacked ensemble classification based real-time driver drowsiness detection
Ansari et al. Application of fully adaptive symbolic representation to driver mental fatigue detection based on body posture
Wu et al. Fuzzy logic based driving behavior monitoring using hidden markov models
Razzaq et al. A hybrid approach for fatigue detection and quantification
Qureshi et al. An Effective IOT based Driver's Drowsiness Detection and Monitoring System to Avoid Real-Time Road Accidents
Srivastava On the physiological measures based driver's drowsiness detection
Xie et al. An SVM parameter learning algorithm scalable on large data size for driver fatigue detection
Shome et al. Driver drowsiness detection system using DLib
Subbaiah et al. Driver drowsiness detection methods: A comprehensive survey
Hammedi et al. Performance benchmarking of drowsiness detection methods
Niranjan et al. Drowsiness Detection Using Adaboost Method and Haar Cascade Classifier to Improve Safety of Drivers

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination