CN111144311A - 一种基于驾驶员注意力的辅助速控方法、装置及*** - Google Patents

一种基于驾驶员注意力的辅助速控方法、装置及*** Download PDF

Info

Publication number
CN111144311A
CN111144311A CN201911373656.7A CN201911373656A CN111144311A CN 111144311 A CN111144311 A CN 111144311A CN 201911373656 A CN201911373656 A CN 201911373656A CN 111144311 A CN111144311 A CN 111144311A
Authority
CN
China
Prior art keywords
attention
driver
score
vehicle
steering wheel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911373656.7A
Other languages
English (en)
Inventor
熊盛武
陆林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University of Technology WUT
Original Assignee
Wuhan University of Technology WUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University of Technology WUT filed Critical Wuhan University of Technology WUT
Priority to CN201911373656.7A priority Critical patent/CN111144311A/zh
Publication of CN111144311A publication Critical patent/CN111144311A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于驾驶员注意力的辅助速控方法、装置及***，其中的方法包括：获取驾驶员人脸动态数据和车辆运行动态数据；根据人脸动态数据识别面部特征；根据车辆运行动态数据识别车辆运行特征；根据识别出的面部特征和车辆运行特征，对驾驶员的注意力进行评分，其中，驾驶员的注意力得分用以表征驾驶员的注意力程度；根据驾驶员的注意力得分与预先设置的决策阈值之间的关系，采取辅助速控策略。本发明的方法充分考虑了各信息源的相关性和互补性，注意力识别评价更加准确，并且可以根据注意力得分进一步进行辅助速控，提高了安全性。

Description

一种基于驾驶员注意力的辅助速控方法、装置及***
技术领域
本发明涉辅助驾驶技术领域，具体涉及一种基于驾驶员注意力的辅助速控方法、装置及***。
背景技术
根据世卫组织2013年在印度所做的排名调查，因分心、打瞌睡等注意力分散驾驶导致的死亡人数居意外死亡人数第9位。仅2013年一年，就有137000多人死于交通事故，这意味着每5分钟就有1人死亡。此外，NCRB的数据显示，从2014年到2015年，仅在印度，交通事故死亡人数就从3.1％上升到5.1％。哈佛医学院睡眠医学部的数据显示，在美国，每天有25万名司机存在疲劳驾驶，在国家睡眠基金会的一项全国性调查中，54％的成年司机说他们在过去的一年里开车时会打瞌睡，28％的人说他们实际开车时有过完全睡着的现象。根据美国国家公路交通安全管理局的数据，每月有数百万司机在驾驶时睡着，大约15％的致命车祸都是由司机疲劳驾驶造成的。
针对这一现状，许多研究者从各个方面提供了相应的司机疲劳驾驶检测方法或***，用于预测司机的驾驶状态，并提前预警。
本申请发明人在实施本发明的过程中，发现现有技术的方法，至少存在如下技术问题：
现有技术中大多数疲劳预警***仅停留在声光方面对司机进行警示，缺乏辅助安全控制，由于疲劳、昏睡甚至醉酒状态下的驾驶员不能及时对车辆进行有效制动控制，因而预警效果不佳，仍存在安全隐患，
由此可知，现有技术的方法存在安全性不高的技术问题。
发明内容
有鉴于此，本发明提供了一种基于驾驶员注意力的辅助速控方法、装置及***，用以解决或者至少部分解决现有技术的方法存在的安全性不高的技术问题。
为了解决上述技术问题，本发明第一方面提供了一种基于驾驶员注意力的辅助速控方法，包括：
获取驾驶员人脸动态数据和车辆运行动态数据；
根据人脸动态数据识别面部特征；
根据车辆运行动态数据识别车辆运行特征；
根据识别出的面部特征和车辆运行特征，对驾驶员的注意力进行评分，其中，驾驶员的注意力得分用以表征驾驶员的注意力程度；
根据驾驶员的注意力得分与预先设置的决策阈值之间的关系，采取辅助速控策略。
在一种实施方式中，面部特征包括眼部闭合特征和嘴部张合特征，根据人脸动态数据识别面部特征，包括：
加载预先训练的人脸识别标记模型文件，调用相应算法库对输入的每一帧图像进行人脸检测，并获得嘴唇标记点和第一位置信息、眼睛标记点以及第二位置信息，其中，第一位置信息包括上嘴唇的最高标记点和下嘴唇的最低标记点，第二位置信息包括左眼的一组垂直距离和水平距离、右眼的一组垂直距离和水平距离；
根据左眼的一组垂直距离和水平距离、右眼的一组垂直距离和水平距离，计算眼睛的长宽比作为所述眼部闭合特征值；
根据上嘴唇的最高标记点和下嘴唇的最低标记点，计算上嘴唇和下嘴唇之间的绝对欧几里德距离，作为嘴部张合特征值。
在一种实施方式中，车辆运行特征包括持续行驶特征和方向盘抖动特征，根据车辆运行动态数据识别车辆运行特征，包括：
根据引擎传感器信号以及速度传感器数据，获取持续行驶特征，其中，引擎传感器信号通过引擎传感器获取，速度传感器数据通过速度传感器获取；
根据车辆方向盘传感器信号时间序列计算出方向盘抖动特征，车辆方向盘传感器信号时间序列通过方向盘转角传感器获取。
在一种实施方式中，根据车辆方向盘传感器信号时间序列计算出方向盘抖动特征，包括：
获取一个时间窗口内的N个SWA时间序列，表示为{u(1),u(2),...,u(N)}，N个SWA时间序列近似熵ApEn计算公式如公式一所示：
公式一：
Figure BDA0002340348190000031
其中，m为整数，表示比较向量的长度；r为实数，作为尺度的容限参数，满足条件的向量数量
Figure BDA0002340348190000032
的计算公式如公式二所示：
公式二：
Figure BDA0002340348190000033
其中，Bi表示满足d|X(i),X(j)|≤r的X(j)的个数，d|X(i),X(j)|测量X(i)和X(j)之间的距离，且i，j＝1～N-m+1，X(i)和X(j)用于表示输入的时间序列u(n)的m维重构向量X，X用公式三表示：
公式三：
Figure BDA0002340348190000034
将计算出的近似熵ApEn作为方向盘抖动特征值。
在一种实施方式中，面部特征包括眼部闭合特征和嘴部张合特征，眼部闭合特征值为EAR，嘴部张合特征值为DBLs，车辆运行特征包括持续行驶特征和方向盘抖动特征，持续行驶特征值为Duration，方向盘抖动特征值为ApEn，根据识别出的面部特征和车辆运行特征，对驾驶员的注意力进行评分，包括：
将注意力得分初始化为最大得分阈值，预先设置评分规则阈值，评分规则阈值包括闭眼阈值、打哈欠阈值、持续行驶时长阈值，方向盘抖动阈值；
根据EAR与闭眼阈值的关系，对当前注意力得分进行修正；
根据DBLs与打哈欠阈值的关系，对当前注意力得分进行修正；
根据Duration与持续行驶时长阈值的关系，对当前注意力得分进行修正；
根据ApEn与方向盘抖动阈值的关系，对当前注意力得分进行修正，获得修正后的评分，作为驾驶员的注意力得分。
在一种实施方式中，预先设置最大评分阈值和得分增量值，所述方法还包括：
如果在一帧图像内未检测到闭眼和打哈欠特征，且当前注意力得分小于最大得分阈值，则将当前注意力得分加上得分增量值；
如果在一个时间窗口内未检测到方向盘抖动，且当前注意力得分小于最大得分阈值，则将当前注意力得分加上得分增量值。
在一种实施方式中，决策阈值包括声音告警水平值、限速激活水平值、自动刹车水平值，根据驾驶员的注意力分数与预先设置的决策阈值之间的关系，采取辅助速控策略，包括：
当注意力得分从正常水平下降到低于声音告警水平值，发送声音报警信号
当注意力得分低于限速激活水平值时，发送跛行激活声音报警信号，并发送跛行控制激活信号；
当注意力得分继续低于自动刹车水平值时，发送危险驾驶声音报警信号和主动刹车信号，以使车速从限速状态逐渐刹停。
基于同样的发明构思，本发明第二方面提供了一种基于驾驶员注意力的辅助速控装置，包括：
信号采集单元，用于获取驾驶员人脸动态数据和车辆运行动态数据；
面部特征识别单元，用于根据人脸动态数据识别面部特征；
车辆特征识别单元，用于根据车辆运行动态数据识别车辆运行特征；
评分单元，用于根据识别出的面部特征和车辆运行特征，对驾驶员的注意力进行评分，其中，驾驶员的注意力得分用以表征驾驶员的注意力程度；
决策单元，用于根据驾驶员的注意力得分与预先设置的决策阈值之间的关系，采取辅助速控策略。
在一种实施方式中，还包括数据存储单元和信号输出单元，其中，所述信号输出单元通过音频连接线输出语音信号，通过CAN总线接口输出跛行控制激活信号与跛行解除信号、主动刹车信号。
所述数据存储单元，用于保存***初始化数据、相应的算法库、预先训练的人脸识别标记模型文件以及识别出的面部特征值和车辆运行特征值。
基于同样的发明构思，本发明第三方面提供了一种基于驾驶员注意力的辅助速控***，其特征在于，包括第二方面所述的辅助速控装置，还包括车载视频摄像装置、速度传感器、车辆方向盘传感器以及引擎传感器，其中，车载视频摄像装置通过视频连接线与信号采集单元连接，速度传感器、车辆方向盘传感器以及引擎传感器通过CAN总线与信号采集单元连接。
本申请实施例中的上述一个或多个技术方案，至少具有如下一种或多种技术效果：
相比于现有的仅通过单一模态特征分析驾驶员疲劳等级，本发明结合识别出的面部特征和车辆运行特征进行融合分析驾驶员注意力水平，以克服单一信息源的局限性，并充分考虑了各信息源的相关性和互补性，注意力识别评价更加准确，进而可以根据驾驶员的注意力得分与预先设置的决策阈值之间的关系，采取辅助速控策略，从而提高了安全性，也改善了预警效果。
进一步地，提出了具体的辅助速控策略，相比于现有技术的纯粹声光报警或突然紧急刹车，本发明在确定驾驶员处于轻度注意力降低状态时，先进行声音报警，以提醒驾驶员提高注意力，当驾驶员处于中度注意力降低状态时，向发动机ECU发动跛行激活信号，限制发动机输出扭矩，从而使车辆速度逐渐平滑下降在限制速度以内；最后当驾驶员处于重度注意力降低状态时，执行ABS紧急刹车，将车辆从限速状态下逐渐停车，从而解决现有的因紧急刹车可能造成的连环追尾事故。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为发明实施例提供的一种基于驾驶员注意力的辅助速控方法的流程图；
图2为发明实施例提供的一种基于驾驶员注意力的辅助速控装置的结构框图；
图3为发明实施例提供的一种基于驾驶员注意力的辅助速控***的原理框图；
图4为本发明实施例提供的驾驶员注意力评价和辅助速控决策的原理框图；
图5为本发明实施例提供的用于获取车辆方向盘转角近似熵特征的滑移时间窗示意图；
图6为一种示例中基于注意力的辅助速控方法的流程图。
具体实施方式
本发明申请人通过大量的研究与实践发现：现有技术中大多数疲劳预警***仅停留在声光方面对司机进行警示，缺乏辅助安全控制。这是因为疲劳、昏睡甚至醉酒状态下的驾驶员已经不能及时对车辆进行有效制动控制，本发明提出了一种基于注意力的辅助速控方法，在频繁声音预警提醒无效情况下，通过限速或自动制动技术可以强制驾驶员停车休息，防止由于驾驶员困倦和疲劳而发生事故，提高了安全性。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
本实施例提供了一种基于驾驶员注意力的辅助速控方法，请参见图1，该方法包括：
S1：获取驾驶员人脸动态数据和车辆运行动态数据。
具体来说，人脸动态数据可以从驾驶员的人脸动态图像中获取，人脸动态图像可以通过车载摄像装置采集。车辆运行动态数据可以通过传感器采集的数据中获取。
S2：根据人脸动态数据识别面部特征。
具体来说，可以通过现有的人脸识别方法识别面部特征，例如与注意力密切相关的眼部和嘴部特征等。
S3：根据车辆运行动态数据识别车辆运行特征。
具体来说，车辆运行特征包括车辆运行速度、引擎是否开启以及方向盘的相关特征。
S4：根据识别出的面部特征和车辆运行特征，对驾驶员的注意力进行评分，其中，驾驶员的注意力得分用以表征驾驶员的注意力程度。
具体来说，如果识别出的面部特征与驾驶员打瞌睡、注意力不集中的特征相符，则注意力得分低，反之得分高，如果车辆运行特征与驾驶员注意力不集中的特征相符，例如引擎为开启，速度为0的持续时间小于预设时长等，则注意力得分高，反之得分低，注意力得分高表示注意力程度高。
S5：根据驾驶员的注意力得分与预先设置的决策阈值之间的关系，采取辅助速控策略。
具体来说，决策阈值可以分为不同的阶段或者级别，在安全范围内，则可以仅进行声音警报，超过安全范围则进行限速，或者直接使车停止运行。
在一种实施方式中，面部特征包括眼部闭合特征和嘴部张合特征，根据人脸动态数据识别面部特征，包括：
加载预先训练的人脸识别标记模型文件，调用相应算法库对输入的每一帧图像进行人脸检测，并获得嘴唇标记点和第一位置信息、眼睛标记点以及第二位置信息，其中，第一位置信息包括上嘴唇的最高标记点和下嘴唇的最低标记点，第二位置信息包括左眼的一组垂直距离和水平距离、右眼的一组垂直距离和水平距离；
根据左眼的一组垂直距离和水平距离、右眼的一组垂直距离和水平距离，计算眼睛的长宽比作为所述眼部闭合特征值；
根据上嘴唇的最高标记点和下嘴唇的最低标记点，计算上嘴唇和下嘴唇之间的绝对欧几里德距离，作为嘴部张合特征值。
具体来说，每只眼睛有一组垂直距离和水平距离，例如为欧几里得距离，垂直距离和水平距离的比值为长宽比，两只眼睛得到的两组长宽比取均值，得到最终的眼睛的长宽比，即眼部闭合特征值。
在一种实施方式中，车辆运行特征包括持续行驶特征和方向盘抖动特征，根据车辆运行动态数据识别车辆运行特征，包括：
根据引擎传感器信号以及速度传感器数据，获取持续行驶特征，其中，引擎传感器信号通过引擎传感器获取，速度传感器数据通过速度传感器获取；
根据车辆方向盘传感器信号时间序列计算出方向盘抖动特征，车辆方向盘传感器信号时间序列通过方向盘转角传感器获取。
具体来说，持续行驶特征在本实施方式中为累计运行时长，表示为Duration；所述方向盘抖动特征具体为一个时间窗口内的方向盘转角近似熵，表示为ApEn。
运行特征识别功能判断车辆持续运行的规则为：引擎信号为开启且速度为0的持续时间小于预设时长，例如5分钟、6分钟、8分钟等。
其中，根据车辆方向盘传感器信号时间序列计算出方向盘抖动特征，包括：
获取一个时间窗口内的N个SWA时间序列，表示为{u(1),u(2),...,u(N)}，N个SWA时间序列近似熵ApEn计算公式如公式一所示：
公式一：
Figure BDA0002340348190000071
其中，m为整数，表示比较向量的长度；r为实数，作为尺度的容限参数，满足条件的向量数量
Figure BDA0002340348190000081
的计算公式如公式二所示：
公式二：
Figure BDA0002340348190000082
其中，Bi表示满足d|X(i),X(j)|≤r的X(j)的个数，d|X(i),X(j)|测量X(i)和X(j)之间的距离，且i，j＝1～N-m+1，X(i)和X(j)用于表示输入的时间序列u(n)的m维重构向量X，X用公式三表示：
公式三：
Figure BDA0002340348190000083
将计算出的近似熵ApEn作为方向盘抖动特征值。
图5为本发明实施例提供的用于获取车辆方向盘转角近似熵特征的滑移时间窗示意图，在ApEn计算过程中，时间窗口T选择3秒，则时间序列长度N为15，参数m＝2，参数r一般取r＝0.2×SD(SD为窗口时间序列的标准差)
优选地，假设当前时刻为t，特征参数xi的最优时间窗为Ti，所述时间窗覆盖了多个采集的CAN信号值。假设特征参数xi的下一个提取时刻为t+Δt，时间窗向前滑移了Δt，提取数据的时间段为[t+Δt-Ti,t+Δt]，数据重复为(Ti-Δt)/Ti。
其中，本发明选择滑移时间窗T为3秒，Δt为1秒。
在一种实施方式中，面部特征包括眼部闭合特征和嘴部张合特征，眼部闭合特征值为EAR，嘴部张合特征值为DBLs，车辆运行特征包括持续行驶特征和方向盘抖动特征，持续行驶特征值为Duration，方向盘抖动特征值为ApEn，根据识别出的面部特征和车辆运行特征，对驾驶员的注意力进行评分，包括：
将注意力得分初始化为最大得分阈值，预先设置评分规则阈值，评分规则阈值包括闭眼阈值、打哈欠阈值、持续行驶时长阈值，方向盘抖动阈值；
根据EAR与闭眼阈值的关系，对当前注意力得分进行修正；
根据DBLs与打哈欠阈值的关系，对当前注意力得分进行修正；
根据Duration与持续行驶时长阈值的关系，对当前注意力得分进行修正；
根据ApEn与方向盘抖动阈值的关系，对当前注意力得分进行修正，获得修正后的评分，作为驾驶员的注意力得分。
具体来说，对当前注意力得分进行修正，即对注意力得分进行调整，如果面部特征值(EAR、DBLs)或者车辆运行特征值(Duration、ApEn)超过对应的评分规则阈值，则对当前注意力得分进行减小，减小的幅度可以根据实际情况进行设置。
在具体的实施过程中，评分方法可以是：
a.如果EAR小于等于闭眼阈值，则闭眼持续帧数加1，且attention_score减去2乘以闭眼持续帧数；否则闭眼持续帧数重置为0；
b.如果DBLs小于等于打哈欠阈值，则哈欠持续帧数加1，且attention_score减去2乘以哈欠持续帧数；否则哈欠持续帧数重置为0；
c.如果Duration大于等于持续行驶时长阈值(例如240分钟)，且attention_score大于声音告警阈值，则attention_score置为声音告警水平值减去持续行驶时长阈值。
d.如果ApEn大于等于所述方向盘抖动阈值，则持续次数加1，且attention_score减去2乘以抖动持续次数；否则抖动持续次数重置为0。
a～d为并列执行，具体请参见图6，为一种具体示例中的疲劳驾驶控制的流程图，attention_score为当前注意力得分，闭眼持续帧数、哈欠持续帧数、持续次数的初始值均为0，以EAR为例，当EAR小于等于闭眼阈值时，则闭眼持续帧数由0变为1，然后将当前注意得分attention_score减去2*1，然后继续判断当前帧的EAR是否小于等于闭眼阈值，循环执行。其他几个特征的判断流程类似，具体可以参见图6，在此不再详述
在一种实施方式中，预先设置最大评分阈值和得分增量值，所述方法还包括：
如果在一帧图像内未检测到闭眼和打哈欠特征，且当前注意力得分小于最大得分阈值，则将当前注意力得分加上得分增量值；
如果在一个时间窗口内未检测到方向盘抖动，且当前注意力得分小于最大得分阈值，则将当前注意力得分加上得分增量值。
具体来说，为了进一步提高评分的准确性，即注意力程度的计算准确性，本发明还设置了加分规则。
在一种实施方式中，决策阈值包括声音告警水平值、限速激活水平值、自动刹车水平值，根据驾驶员的注意力分数与预先设置的决策阈值之间的关系，采取辅助速控策略，包括：
当注意力得分从正常水平下降到低于声音告警水平值，发送声音报警信号
当注意力得分低于限速激活水平值时，发送跛行激活声音报警信号，并发送跛行控制激活信号；
当注意力得分继续低于自动刹车水平值时，发送危险驾驶声音报警信号和主动刹车信号，以使车速从限速状态逐渐刹停。
具体来说，通过前述步骤计算得到注意力得分后，将注意力得分与决策阈值进行比较，并根据比较结果进行相对应的决策。
当注意力得分从正常水平下降到低于声音告警水平值，发送声音报警信号，提醒司机保持专注；当注意力得分低于限速激活水平值时，发送跛行激活声音报警信号，并发送跛行控制激活信号给发动机ECU；当注意力得分低于自动刹车水平值时，发送危险驾驶声音报警信号，并激活主动刹车直到车速为0。此外，当引擎熄火且跛行控制处于激活状态时，发送跛行控制解除信号给发动机ECU。
请参见图6，为具体示例中基于注意力的辅助速控方法的流程图，驾驶注意力最大评分为80000，打哈欠距离阈值为32，眨眼长宽比阈值为0.25，方向盘抖动近似熵阈值为0.6。
速控辅助决策功能根据注意力得分进行决策的具体过程为：
当注意力得分从正常水平下降到低于声音告警水平值时，发送“请保持专注”声音报警信号；
当注意力得分继续低于跛行控制阈值时，发送“您已经疲劳驾驶，跛行激活！”声音报警信号，并发送限速控制激活信号给发动机ECU；
其中，发送的跛行激活指令报文，包括但不限于最大输出转速、最大输出扭矩、最大车速。所述限制速度为合理预设的安全速度，例如40km/h。
当注意力得分继续低于主动刹车阈值时，发送“危险驾驶！”声音报警信号，并激活主动刹车。
本实施例中，声音告警阈值为8000，限速控制阈值为6000，自动刹车阈值为3000，具体可以根据实际情况进行设置，在此不做具体限定。
实施例二
基于同样的发明构思，本实施例提供了一种基于驾驶员注意力的辅助速控装置，包括：
信号采集单元201，用于获取驾驶员人脸动态数据和车辆运行动态数据；
面部特征识别单元202，用于根据人脸动态数据识别面部特征；
车辆特征识别单元203，用于根据车辆运行动态数据识别车辆运行特征；
评分单元204，用于根据识别出的面部特征和车辆运行特征，对驾驶员的注意力进行评分，其中，驾驶员的注意力得分用以表征驾驶员的注意力程度；
决策单元205，用于根据驾驶员的注意力得分与预先设置的决策阈值之间的关系，采取辅助速控策略。
在一种实施方式中，所述装置还包括数据存储单元和信号输出单元，其中，所述信号输出单元通过音频连接线输出语音信号，通过CAN总线接口输出跛行控制激活信号与跛行解除信号、主动刹车信号。
所述数据存储单元，用于保存***初始化数据、相应的算法库、预先训练的人脸识别标记模型文件以及识别出的面部特征值和车辆运行特征值。
由于本发明实施例二所介绍的基于驾驶员注意力的辅助速控装置，为基于本发明实施例一中基于驾驶员注意力的辅助速控方法所采用的装置，故而基于本发明实施例一所介绍的方法，本领域所属人员能够了解该装置的具体组曾及其变形，故而在此不再赘述。凡是基于本发明实施例一的方法所采用的装置都属于本发明所欲保护的范围。
实施例三
基于同样的发明构思，本申请还提供了一种基于驾驶员注意力的辅助速控***，包括实施例二的辅助速控装置，还包括车载视频摄像装置、速度传感器、车辆方向盘传感器以及引擎传感器，其中，车载视频摄像装置通过视频连接线与信号采集单元连接，速度传感器、车辆方向盘传感器以及引擎传感器通过CAN总线与信号采集单元连接。
具体来说，辅助速控装置中，信号采集单元、面部特征识别单元、车辆特征识别单元、评分单元、决策单元、数据存储单元以及信号输出单元构成嵌入式单元主板，面部特征识别单元、车辆特征识别单元、评分单元、决策单元构成中央处理单元。
车载视频摄像装置的输出与嵌入式单元主板连接嵌入式单元主板通过CAN总线接口与车辆进行数据交互，嵌入式单元主板的音频输出线通与汽车的立体声音频连接；车载视频摄像装置，用于实时采集驾驶员的人脸动态图像，图像为可见光图像或红外图像。车辆方向盘传感器获取方向盘转角SWA，速度传感器获取车速信息，引擎传感器采集引擎开关信号。
优选地，车载视频装置的摄像头的安装要求包括：不应遮挡驾驶员的视线；所获取的图像应在其中央包含驾驶员面部；来自其他车辆的直射光或路灯不应落在摄像头上；车辆振动的影响应最小。
优选地，车载视频装置包括可见光摄像头和红外摄像头；可见光摄像头用于白天采集驾驶员的人脸动态图像，红外摄像头用于夜间采集驾驶员的人脸动态图像。
中央处理单元与信号采集单元连接，用于处理采集的图像帧和车辆传感器信号；与数据存储单元连接，用于存取数据库中保存的数据；与信号输出单元连接，用于输出相应的控制指令。信号输出单元通过音频连接线输出语音信号，通过CAN总线接口输出跛行激活与跛行解除信号、ABS刹车信号。数据存储单元，用于保存***初始化数据、相应的算法库、预先训练的人脸识别标记模型文件和所述中央处理单元处理后发送的数据(即面部特征值和车辆运行特征值)。
中央处理单元通过面部识别单元完成面部特征识别功能、车辆特征识别单元完成运行特征识别功能，评分单元完成注意力评分功能，决策单元完成辅助速控决策功能。
本发明通过嵌入式开发单元进行识别和决策的实时性强，能够在危险发生前及时采取降速或制动的有效措施。
在具体的实施过程中，车载视频装置的图像采集频率为每秒30帧，信号采集单元通过CAN总线接口采集车辆运行信息的频率为200毫秒每次。
如图3所示，信号采集单元通过视频线获取车载视频摄像装置的图像帧；通过CAN接口获取车辆传感器信号，具体包括方向盘转角、车速和引擎开关信号。中央处理单元与信号采集单元连接，用于处理获取的图像帧和车辆传感器信号。信号输出单元通过音频连接线输出语音信号；通过CAN总线接口输出跛行激活与跛行解除信号、ABS刹车信号。数据存储单元，用于保存***初始化数据、相应的算法库、预先训练的人脸识别标记模型文件和中央处理单元处理后发送的数据。
如图4所示，为本发明提供的驾驶员注意力评价和辅助速控决策的原理框图，中央处理单元包括面部特征识别功能、运行特征识别功能、注意力评分功能、辅助速控决策功能。前述实施例已经详细介绍了这几个功能的具体实现过程，在此不再赘述。
由于本发明实施例三所介绍的一种基于驾驶员注意力的辅助速控***为实施本发明实施例一中的方法所采用的***故而基于本发明实施例一所介绍的方法，本领域所属人员能够了解该***的具体结构及变形，故而在此不再赘述。凡是本发明实施例一中方法所采用的***都属于本发明所欲保护的范围。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样，倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于驾驶员注意力的辅助速控方法，其特征在于，包括：
获取驾驶员人脸动态数据和车辆运行动态数据；
根据人脸动态数据识别面部特征；
根据车辆运行动态数据识别车辆运行特征；
根据识别出的面部特征和车辆运行特征，对驾驶员的注意力进行评分，其中，驾驶员的注意力得分用以表征驾驶员的注意力程度；
根据驾驶员的注意力得分与预先设置的决策阈值之间的关系，采取辅助速控策略。
2.如权利要求1所述的方法，其特征在于，面部特征包括眼部闭合特征和嘴部张合特征，根据人脸动态数据识别面部特征，包括：
加载预先训练的人脸识别标记模型文件，调用相应算法库对输入的每一帧图像进行人脸检测，并获得嘴唇标记点和第一位置信息、眼睛标记点以及第二位置信息，其中，第一位置信息包括上嘴唇的最高标记点和下嘴唇的最低标记点，第二位置信息包括左眼的一组垂直距离和水平距离、右眼的一组垂直距离和水平距离；
根据左眼的一组垂直距离和水平距离、右眼的一组垂直距离和水平距离，计算眼睛的长宽比作为所述眼部闭合特征值；
根据上嘴唇的最高标记点和下嘴唇的最低标记点，计算上嘴唇和下嘴唇之间的绝对欧几里德距离，作为嘴部张合特征值。
3.如权利要求1所述的方法，其特征在于，车辆运行特征包括持续行驶特征和方向盘抖动特征，根据车辆运行动态数据识别车辆运行特征，包括：
根据引擎传感器信号以及速度传感器数据，获取持续行驶特征，其中，引擎传感器信号通过引擎传感器获取，速度传感器数据通过速度传感器获取；
根据车辆方向盘传感器信号时间序列计算出方向盘抖动特征，车辆方向盘传感器信号时间序列通过方向盘转角传感器获取。
4.如权利要求3所述的方法，其特征在于，根据车辆方向盘传感器信号时间序列计算出方向盘抖动特征，包括：
获取一个时间窗口内的N个SWA时间序列，表示为{u(1),u(2),...,u(N)}，N个SWA时间序列近似熵ApEn计算公式如公式一所示：
公式一：
Figure FDA0002340348180000021
其中，m为整数，表示比较向量的长度；r为实数，作为尺度的容限参数，满足条件的向量数量
Figure FDA0002340348180000022
的计算公式如公式二所示：
公式二：
Figure FDA0002340348180000023
其中，Bi表示满足d|X(i),X(j)|≤r的X(j)的个数，d|X(i),X(j)|测量X(i)和X(j)之间的距离，且i，j＝1～N-m+1，X(i)和X(j)用于表示输入的时间序列u(n)的m维重构向量X，X用公式三表示：
公式三：
Figure FDA0002340348180000024
将计算出的近似熵ApEn作为方向盘抖动特征值。
5.如权利要求1所述的方法，其特征在于，面部特征包括眼部闭合特征和嘴部张合特征，眼部闭合特征值为EAR，嘴部张合特征值为DBLs，车辆运行特征包括持续行驶特征和方向盘抖动特征，持续行驶特征值为Duration，方向盘抖动特征值为ApEn，根据识别出的面部特征和车辆运行特征，对驾驶员的注意力进行评分，包括：
将注意力得分初始化为最大得分阈值，预先设置评分规则阈值，评分规则阈值包括闭眼阈值、打哈欠阈值、持续行驶时长阈值，方向盘抖动阈值；
根据EAR与闭眼阈值的关系，对当前注意力得分进行修正；
根据DBLs与打哈欠阈值的关系，对当前注意力得分进行修正；
根据Duration与持续行驶时长阈值的关系，对当前注意力得分进行修正；
根据ApEn与方向盘抖动阈值的关系，对当前注意力得分进行修正，获得修正后的评分，作为驾驶员的注意力得分。
6.如权利要求5所述的方法，其特征在于，预先设置最大评分阈值和得分增量值，所述方法还包括：
如果在一帧图像内未检测到闭眼和打哈欠特征，且当前注意力得分小于最大得分阈值，则将当前注意力得分加上得分增量值；
如果在一个时间窗口内未检测到方向盘抖动，且当前注意力得分小于最大得分阈值，则将当前注意力得分加上得分增量值。
7.如权利要求1所述的方法，其特征在于，决策阈值包括声音告警水平值、限速激活水平值、自动刹车水平值，根据驾驶员的注意力分数与预先设置的决策阈值之间的关系，采取辅助速控策略，包括：
当注意力得分从正常水平下降到低于声音告警水平值，发送声音报警信号
当注意力得分低于限速激活水平值时，发送跛行激活声音报警信号，并发送跛行控制激活信号；
当注意力得分继续低于自动刹车水平值时，发送危险驾驶声音报警信号和主动刹车信号，以使车速从限速状态逐渐刹停。
8.一种基于驾驶员注意力的辅助速控装置，其特征在于，包括：
信号采集单元，用于获取驾驶员人脸动态数据和车辆运行动态数据；
面部特征识别单元，用于根据人脸动态数据识别面部特征；
车辆特征识别单元，用于根据车辆运行动态数据识别车辆运行特征；
评分单元，用于根据识别出的面部特征和车辆运行特征，对驾驶员的注意力进行评分，其中，驾驶员的注意力得分用以表征驾驶员的注意力程度；
决策单元，用于根据驾驶员的注意力得分与预先设置的决策阈值之间的关系，采取辅助速控策略。
9.如权利要求8所述的装置，其特征在于，还包括数据存储单元和信号输出单元，其中，所述信号输出单元通过音频连接线输出语音信号，通过CAN总线接口输出跛行控制激活信号与跛行解除信号、主动刹车信号。
所述数据存储单元，用于保存***初始化数据、相应的算法库、预先训练的人脸识别标记模型文件以及识别出的面部特征值和车辆运行特征值。
10.一种基于驾驶员注意力的辅助速控***，其特征在于，包括如权利要求8或9所述的辅助速控装置，还包括车载视频摄像装置、速度传感器、车辆方向盘传感器以及引擎传感器，其中，车载视频摄像装置通过视频连接线与信号采集单元连接，速度传感器、车辆方向盘传感器以及引擎传感器通过CAN总线与信号采集单元连接。
CN201911373656.7A 2019-12-27 2019-12-27 一种基于驾驶员注意力的辅助速控方法、装置及*** Pending CN111144311A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911373656.7A CN111144311A (zh) 2019-12-27 2019-12-27 一种基于驾驶员注意力的辅助速控方法、装置及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911373656.7A CN111144311A (zh) 2019-12-27 2019-12-27 一种基于驾驶员注意力的辅助速控方法、装置及***

Publications (1)

Publication Number Publication Date
CN111144311A true CN111144311A (zh) 2020-05-12

Family

ID=70520729

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911373656.7A Pending CN111144311A (zh) 2019-12-27 2019-12-27 一种基于驾驶员注意力的辅助速控方法、装置及***

Country Status (1)

Country Link
CN (1) CN111144311A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111986443A (zh) * 2020-08-31 2020-11-24 上海博泰悦臻网络技术服务有限公司 一种疲劳驾驶的监测装置及方法
CN112124320A (zh) * 2020-09-10 2020-12-25 恒大新能源汽车投资控股集团有限公司 车辆控制方法、***及车辆
CN112597790A (zh) * 2020-09-09 2021-04-02 禾多科技（北京）有限公司 驾驶员注意力检测方法、装置、设备和计算机可读介质
CN113386786A (zh) * 2021-07-29 2021-09-14 阿波罗智联(北京)科技有限公司 信息提示方法、装置、设备、介质、云控平台和车辆
CN113942519A (zh) * 2020-06-30 2022-01-18 比亚迪股份有限公司 车辆操作辅助方法、***及车辆
CN114043992A (zh) * 2021-11-12 2022-02-15 东风柳州汽车有限公司 车辆控制方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ITMI20050788A1 (it) * 2005-05-02 2006-11-03 Iveco Spa Sistema di ausilio alla guida per supportare il mantenimento corsia per assistere il cambio di corsia e monitorare lo stato del guidatore di un veicolo
CN101032405A (zh) * 2007-03-21 2007-09-12 汤一平 基于全方位计算机视觉的安全驾驶辅助装置
CN104276085A (zh) * 2013-06-08 2015-01-14 王芳 汽车驾驶员疲劳状态预判***
CN104794855A (zh) * 2014-01-22 2015-07-22 径卫视觉科技（上海）有限公司 驾驶员注意力综合评估装置
CN109677404A (zh) * 2019-01-11 2019-04-26 南京航空航天大学 一种基于驾驶行为的车路协同的汽车主动安全辅助装置及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ITMI20050788A1 (it) * 2005-05-02 2006-11-03 Iveco Spa Sistema di ausilio alla guida per supportare il mantenimento corsia per assistere il cambio di corsia e monitorare lo stato del guidatore di un veicolo
CN101032405A (zh) * 2007-03-21 2007-09-12 汤一平 基于全方位计算机视觉的安全驾驶辅助装置
CN104276085A (zh) * 2013-06-08 2015-01-14 王芳 汽车驾驶员疲劳状态预判***
CN104794855A (zh) * 2014-01-22 2015-07-22 径卫视觉科技（上海）有限公司 驾驶员注意力综合评估装置
CN109677404A (zh) * 2019-01-11 2019-04-26 南京航空航天大学 一种基于驾驶行为的车路协同的汽车主动安全辅助装置及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李作进: "基于方向盘转角近似熵与复杂度的驾驶人疲劳状态识别" *
王勤: "基于多特征信息的疲劳驾驶检测***研究" *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113942519A (zh) * 2020-06-30 2022-01-18 比亚迪股份有限公司 车辆操作辅助方法、***及车辆
CN113942519B (zh) * 2020-06-30 2023-08-08 比亚迪股份有限公司 车辆操作辅助方法、***及车辆
CN111986443A (zh) * 2020-08-31 2020-11-24 上海博泰悦臻网络技术服务有限公司 一种疲劳驾驶的监测装置及方法
CN112597790A (zh) * 2020-09-09 2021-04-02 禾多科技（北京）有限公司 驾驶员注意力检测方法、装置、设备和计算机可读介质
CN112597790B (zh) * 2020-09-09 2021-11-23 禾多科技（北京）有限公司 驾驶员注意力检测方法、装置、设备和计算机可读介质
CN112124320A (zh) * 2020-09-10 2020-12-25 恒大新能源汽车投资控股集团有限公司 车辆控制方法、***及车辆
CN113386786A (zh) * 2021-07-29 2021-09-14 阿波罗智联(北京)科技有限公司 信息提示方法、装置、设备、介质、云控平台和车辆
CN114043992A (zh) * 2021-11-12 2022-02-15 东风柳州汽车有限公司 车辆控制方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN111144311A (zh) 一种基于驾驶员注意力的辅助速控方法、装置及***
CN114512030B (zh) 驾驶员的驾驶不能状态检测装置
JP6142718B2 (ja) 運転支援装置、および運転支援方法
JP4400624B2 (ja) 居眠り防止装置及び方法
EP1721800B1 (en) Driver condition detecting device, in-vehicle alarm system and drive assistance system
CN106515742B (zh) 一种车道偏离预警方法及***
JP4182131B2 (ja) 覚醒度判定装置及び覚醒度判定方法
US20080186154A1 (en) Method and Device for Driver Support
JP2000268297A (ja) 安全運転評価装置
CN109690654B (zh) 集中度判定装置、集中度判定方法及用于集中度判定的程序
EP3885220A1 (en) Automatically estimating skill levels and confidence levels of drivers
CN105398379B (zh) 驾驶辅助影像显示方法
JPH09188234A (ja) 道路交通での衝突状況を回避およびまたは最小限に抑える装置
JP2003099899A (ja) 運転行動危険度演算装置
JP3890996B2 (ja) 運転支援装置
WO2018168121A1 (ja) 運転状態判定装置、運転状態判定方法及び運転状態判定のためのプログラム
CN109541600A (zh) 一种重型商用汽车安全智能驾驶辅助***
JP6468306B2 (ja) 視認支援装置、方法およびプログラム
CN113487912B (zh) 一种交通事故预警及保护方法、汽车及可读存储介质
KR20150066308A (ko) 운전자 운행 상태 판단 장치 및 그 방법
WO2018168097A1 (ja) 運転状態判定装置、運転状態判定方法及び運転状態判定のためのプログラム
JP2008065380A (ja) 運転支援装置
US10945651B2 (en) Arousal level determination device
CN111717196A (zh) 一种基于视觉分析的驾驶安全辅助装置
CN113968241A (zh) 危险驾驶行为的控制方法、装置、车辆及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination