CN111434553A - 制动***、方法、装置、疲劳驾驶模型的训练方法和装置 - Google Patents
制动***、方法、装置、疲劳驾驶模型的训练方法和装置 Download PDFInfo
- Publication number
- CN111434553A CN111434553A CN201910037187.5A CN201910037187A CN111434553A CN 111434553 A CN111434553 A CN 111434553A CN 201910037187 A CN201910037187 A CN 201910037187A CN 111434553 A CN111434553 A CN 111434553A
- Authority
- CN
- China
- Prior art keywords
- driver
- state
- automatic emergency
- emergency braking
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 126
- 238000012549 training Methods 0.000 title claims abstract description 69
- 238000001514 detection method Methods 0.000 claims abstract description 147
- 238000012806 monitoring device Methods 0.000 claims abstract description 92
- 230000006996 mental state Effects 0.000 claims abstract description 61
- 210000001508 eye Anatomy 0.000 claims description 43
- 230000008569 process Effects 0.000 claims description 42
- 238000012544 monitoring process Methods 0.000 claims description 38
- 238000011156 evaluation Methods 0.000 claims description 23
- 210000005252 bulbus oculi Anatomy 0.000 claims description 21
- 230000008859 change Effects 0.000 claims description 7
- 210000004279 orbit Anatomy 0.000 claims description 4
- 238000013527 convolutional neural network Methods 0.000 description 28
- 238000004590 computer program Methods 0.000 description 14
- 238000012545 processing Methods 0.000 description 14
- 238000013135 deep learning Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 241001282135 Poromitra oscitans Species 0.000 description 7
- 206010048232 Yawning Diseases 0.000 description 7
- 230000009471 action Effects 0.000 description 7
- 238000000605 extraction Methods 0.000 description 6
- 230000004044 response Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000004397 blinking Effects 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 230000001960 triggered effect Effects 0.000 description 3
- 208000027418 Wounds and injury Diseases 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000004399 eye closure Effects 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 208000014674 injury Diseases 0.000 description 2
- 230000007935 neutral effect Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000011664 signaling Effects 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 208000004350 Strabismus Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 210000000088 lip Anatomy 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
- B60T7/00—Brake-action initiating means
- B60T7/12—Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
- B60T7/00—Brake-action initiating means
- B60T7/12—Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger
- B60T7/22—Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger initiated by contact of vehicle, e.g. bumper, with an external object, e.g. another vehicle, or by means of contactless obstacle detectors mounted on the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0818—Inactivity or incapacity of driver
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/143—Alarm means
Landscapes
- Engineering & Computer Science (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Human Computer Interaction (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明实施例公开了一种车辆的制动***、方法、装置、疲劳驾驶模型的训练方法和装置。其中,车辆的制动***包括自动紧急制动装置和驾驶员监控装置;其中,自动紧急制动装置在检测到风险区域时,向驾驶员监控装置发送存在风险区域的检测结果;驾驶员监控装置在接收到自动紧急制动装置发送的检测结果时,基于预先设置的疲劳驾驶检测模型,对包含有驾驶员人脸区域的图像进行识别确定驾驶员的精神状态,并根据精神状态判断驾驶员的反应状态,并将判断结果发送给自动紧急制动装置;自动紧急制动装置被配置为接收判断结果,并根据判断结果对制动策略进行调整。通过采用上述技术方案,提高了自动紧急制动装置触发的准确性与安全性。
Description
技术领域
本发明涉及自动驾驶技术领域,具体涉及一种车辆的制动***、方法、装置、疲劳驾驶 模型的训练方法和装置。
背景技术
随着时代的发展,人工智能逐渐在各个领域得到了广泛运用,因此也衍生出了“自动驾 驶”、“无人车”等新兴概念。道路场景分析与环境识别是自动驾驶领域需要重点攻克的难题, 而能否针对实时的道路环境进行正确、迅速的反应与处理,则是能否保证自动驾驶安全性的 关键因素。因此,自动驾驶领域研究的一个重点就是汽车主动安全技术。
AEB(Autonomous Emergency Braking,自动紧急制动),是一种汽车主动安全技术。目 前AEB是已经广泛应用于中高端车型中的主动安全技术之一,它可以在车辆即将与前方目标 发生碰撞且司机没有相应反应时,车辆自动进行紧急制动,以避免碰撞或降低碰撞伤害。AEB ***最简单的原理就是采用雷达测出与前车或者障碍物的距离,然后利用数据分析模块将测 出的距离与警报距离和分别安全距离进行比较,小于警报距离时就进行警报提示,而小于安 全距离时即使在驾驶员没有来得及踩制动踏板的情况下,AEB***也会启动,使汽车自动制 动,从而为安全出行保驾护航。
但AEB技术也有比较显著的缺陷:因为它会触发非常强烈的制动,一旦车辆对于前方目 标检测发生误检,那么就会发生不必要的紧急制动,这不仅会严重影响驾驶体验,甚至还可 能造成驾驶员伤害、后车追尾等严重事故。
为了降低误触发,现有AEB***设置了非常严格的触发条件与退出逻辑。如前方碰撞障 碍物必须满足位置、速度上的某些条件才能触发AEB,驾驶员必须持续踩油门踏板才能触发 AEB等等。这就造成了很多AEB***不能对所有危险情况做出反应。
发明内容
本发明实施例公开了一种车辆的制动***、方法、装置、疲劳驾驶模型的训练方法和装 置,提高了AEB***触发的准确性与安全性。
第一方面,本发明实施例公开了一种车辆的制动***,该制动***包括自动紧急制动装 置和驾驶员监控装置;其中,
所述自动紧急制动装置在检测到风险区域时,被配置为向所述驾驶员监控装置发送存在 风险区域的检测结果,其中,所述风险区域为与车辆满足设定距离时存在障碍物的区域;
所述驾驶员监控装置,在接收到自动紧急制动装置发送的存在风险区域的检测结果时, 被配置为基于预先设置的疲劳驾驶检测模型,对包含有驾驶员人脸区域的图像进行识别,确 定驾驶员的精神状态,并根据所述精神状态判断驾驶员的反应状态,并将判断结果发送给所 述自动紧急制动装置,所述精神状态包括疲劳状态和/或分神状态;
所述自动紧急制动装置,被配置为接收所述判断结果,并根据所述判断结果对制动策略 进行调整。
作为一种可选的实施方式,在本发明实施例第一方面中,所述驾驶员监控装置,在接收 到自动紧急制动装置发送的存在风险区域的检测结果时,具体被配置为:
基于预先设置的疲劳驾驶检测模型,对人脸区域进行关键点定位,确定包含有眼部和嘴 部的目标区域;
基于所述疲劳驾驶检测模型,识别驾驶员的眼部状态,以判断驾驶员是否处于疲劳状态;
和/或,
基于所述疲劳驾驶检测模型,识别驾驶员的嘴部状态,以判断驾驶员是否处于分神状态。
作为一种可选的实施方式,在本发明实施例第一方面中,所述驾驶员监控装置具体被配 置为:
检测驾驶员眼球姿态以及驾驶员眼球相对眼眶方位变化,确定驾驶员的视线注视方向;
判断所述视线注视方向是否为风险区域方向,并根据判断结果确定驾驶员的反应状态。
作为一种可选的实施方式,在本发明实施例第一方面中,所述自动紧急制动装置包括置 信区间调整单元,和/或介入时间调整单元,其中,
所述置信区间调整单元被配置为根据所述判断结果调整对于障碍物检测的置信区间;
所述介入时间调整单元被配置为根据所述判断结果调整介入制动过程的介入时间。
作为一种可选的实施方式,在本发明实施例第一方面中,所述置信区间调整单元具体被 配置为:
如果判断结果为驾驶员处于高反应状态,则调大对于障碍物检测的置信度区间;或者,
如果评定结果为驾驶员处于低反应状态,则调小对于障碍物检测的置信区间;或者,
如果评定结果为驾驶员处于中反应状态,则将对于障碍物检测的置信区间调整到预设置 信区间范围内。
作为一种可选的实施方式,在本发明实施例第一方面中,所述介入时间调整单元具体被 配置为:
如果评定结果为驾驶员处于高反应状态,则当检测到与障碍物发生碰撞的剩余时间TTC 达到第一时间阈值时介入车辆的制动过程;或者,
如果评定结果为驾驶员处于低反应状态,则当检测到与障碍物发生碰撞的剩余时间TTC 达到第二时间阈值之前介入车辆的制动过程;
其中,所述第二时间阈值大于所述第一时间阈值。
第二方面,本发明实施例公开了一种车辆的制动方法,应用于自动紧急制动装置,该方 法包括:
当检测到风险区域时,向所述驾驶员监控装置发送存在风险区域的检测结果,其中,所 述风险区域为与车辆满足设定距离时存在障碍物的区域;
接收所述驾驶员监控装置基于所述检测结果所发送的对驾驶员反应状态的判断结果;
根据所述判断结果对制动策略进行调整;
其中,所述判断结果是所述驾驶员监控装置根据所述驾驶员的精神状态确定的,所述驾 驶员的精神状态包括疲劳状态和/或分神状态,所述精神状态是所述驾驶员监控装置基于预先 设置的疲劳驾驶检测模型,通过对包含有驾驶员人脸区域的图像进行识别得到的。
作为一种可选的实施方式,在本发明实施例第二方面中,所述根据所述判断结果对制动 策略进行调整包括:
根据所述判断结果调整对于障碍物检测的置信区间,和/或,
根据所述判断结果调整介入制动过程的介入时间。
作为一种可选的实施方式,在本发明实施例第二方面中,所述根据所述判断结果调整对 于障碍物检测的置信区间,包括:
如果判断结果为驾驶员处于高反应状态,则调大对于障碍物检测的置信区间;或者,
如果评定结果为驾驶员处于低反应状态,则调小对于障碍物检测的置信区间;或者,
如果评定结果为驾驶员处于中反应状态,则将对于障碍物检测的置信区间调整到预设置 信区间范围内。
作为一种可选的实施方式,在本发明实施例第二方面中,根据所述判断结果调整介入制 动过程的介入时间,包括:
如果评定结果为驾驶员处于高反应状态,则当检测到与障碍物发生碰撞的剩余时间TTC 达到第一时间阈值时介入车辆的制动过程;
或者,
如果评定结果为驾驶员处于低反应状态,则当检测到与障碍物发生碰撞的剩余时间TTC 达到第二时间阈值之前介入车辆的制动过程;
其中,所述第二时间阈值大于所述第一时间阈值。
作为一种可选的实施方式,在本发明实施例第二方面中,
所述高反应状态为:驾驶员不处于分神状态也不处于疲劳状态,并且如果检测存在风险 区域时,驾驶员视线方向为注视风险区域方向时的状态;
所述低反应状态为:驾驶员处于分神状态和/或处于疲劳状态;
所述中反应状态为:驾驶员不处于分神状态,也不处于疲劳状态,但驾驶员视线未注视 到所述风险区域的状态。
第三方面,本发明实施例还公开了一种车辆的自动紧急制动装置,该装置包括:
风险监测结果发送模块,用于当检测到风险区域时,向驾驶员监控装置发送存在风险区 域的检测结果,其中,所述风险区域为与车辆满足设定距离时存在障碍物的区域;
反应状态接收模块,用于接收驾驶员监控装置基于所述检测结果所发送的对驾驶员反应 状态的判断结果;
制动策略调整模块,用于根据所述判断结果对制动策略进行调整;
其中,所述判断结果是所述驾驶员监控装置根据所述驾驶员的精神状态确定的,所述驾 驶员的精神状态包括疲劳状态和/或分神状态,所述精神状态是所述驾驶员监控装置基于预先 设置的疲劳驾驶检测模型,通过对包含有驾驶员人脸区域的图像进行识别得到的。
作为一种可选的实施方式,在本发明实施例第三方面中,所述制动策略调整模块包括:
置信区间调整单元,用于根据所述判断结果调整对于障碍物检测的置信区间,和/或,
介入时间调整单元,用于根据所述判断结果调整介入制动过程的介入时间。
作为一种可选的实施方式,在本发明实施例第三方面中,所述置信区间调整单元具体被 配置为:
如果判断结果为驾驶员处于高反应状态,则调大对于障碍物检测的置信区间;或者,
如果评定结果为驾驶员处于低反应状态,则调小对于障碍物检测的置信区间;或者,
如果评定结果为驾驶员处于中反应状态,则将对于障碍物检测的置信区间调整到预设置 信区间范围内。
作为一种可选的实施方式,在本发明实施例第三方面中,所述介入时间调整单元具体被 配置为:
如果评定结果为驾驶员处于高反应状态,则当检测到与障碍物发生碰撞的剩余时间TTC 达到第一时间阈值时介入车辆的制动过程;
或者,
如果评定结果为驾驶员处于低反应状态,则当检测到与障碍物发生碰撞的剩余时间TTC 达到第二时间阈值时介入车辆的制动过程;
其中,所述第二时间阈值小于所述第一时间阈值。
作为一种可选的实施方式,在本发明实施例第三方面中,
所述高反应状态为:驾驶员不处于分神状态也不处于疲劳状态,并且如果检测出存在风 险区域,则驾驶员视线方向为风险区域方向时的状态;
所述低反应状态为驾驶员处于分神状态和/或处于疲劳状态;
所述中反应状态为驾驶员处于分神状态和处于疲劳状态,且驾驶员视线未注视到所述风 险区域的状态。
第四方面,本发明实施例还提供了一种疲劳驾驶模型的训练方法,包括:
获取包含有驾驶员人脸区域的图像;
对所述人脸区域进行关键点定位,确定包含有所述关键点的目标区域,所述目标区域中 至少包括眼部和嘴部;
基于多个图像中的不同眼部特征和嘴部特征及不同眼部特征和嘴部特征分别对应的驾驶 员的精神状态类别生成训练样本集;
基于所述训练样本集对初始深度回归网络模型进行训练,得到疲劳驾驶检测模型,所述 疲劳驾驶检测模型使得所述训练样本集中每个图像中的眼部特征、嘴部特征与该图像对应的 驾驶员的精神状态类别相关联。
第五方面,本发明实施例还提供了一种疲劳驾驶模型的训练装置,包括:
人脸图像获取模块,被配置为获取包含有驾驶员人脸区域的图像;
目标区域确定模块,被配置为对所述人脸区域进行关键点定位,确定包含有所述关键点 的目标区域,所述目标区域中至少包括眼部和嘴部;
训练样本集生成模块,被配置为基于多个图像中的不同眼部特征和嘴部特征及不同眼部 特征和嘴部特征分别对应的驾驶员的精神状态类别生成训练样本集;
模型训练模块,被配置为基于所述训练样本集对初始深度回归网络模型进行训练,得到 疲劳驾驶检测模型,所述疲劳驾驶检测模型使得所述训练样本集中每个图像中的眼部特征、 嘴部特征与该图像对应的驾驶员的精神状态类别相关联。
第六方面,本发明实施例还提供了一种计算机可读存储介质,其存储计算机程序,所述 计算机程序包括用于执行本发明任意实施例所提供的应用于自动紧急制动装置的车辆的制动 方法的部分或全部步骤的指令。
第七方面,本发明实施例还提供了一种计算机可读存储介质,其存储计算机程序,所述 计算机程序包括用于执行本发明任意实施例所提供的疲劳驾驶模型的训练方法的部分或全部 步骤的指令。第八方面,本发明实施例还提供了一种计算机程序产品,当所述计算机程序产 品在计算机上运行时,使得计算机执行本发明任意实施例所提供的应用于自动紧急制动装置 的车辆的制动方法的部分或全部步骤。
第九方面,本发明实施例还提供了一种计算机程序产品,当所述计算机程序产品在计算 机上运行时,使得计算机执行本发明任意实施例所提供的疲劳驾驶模型的训练方法的部分或 全部步骤。
现有技术中自动紧急制动装置对于驾驶员状态的了解只能通过类似“踩油门踏板”这类方 式得到,信息不够准确。而本发明实施例的技术方案将自动紧急制动装置和驾驶员监控装置 进行有机结合,利用驾驶员监控装置判断出驾驶员全面的反应状态信息,并将反应状态的判 断结果发送给自动紧急制动装置。自动紧急制动装置根据接收到的判断结果改进自身的处理 逻辑,以提高自动紧急制动装置的触发准确性与安全性。
本发明实施例的发明点包括:
1、驾驶员监控装置判断出驾驶员全面的反应状态信息,并将反应状态的判断结果发送给 自动紧急制动装置。自动紧急制动装置根据接收到的判断结果改进自身的处理逻辑,以提高 自动紧急制动装置的触发准确性与安全性,是本发明实施例的发明点之一。
2、本发明实施例提供的技术方案中,驾驶员监控装置将驾驶员分为高反应状态、中反应 状态和低反应状态三种状态。如果驾驶员处于高反应状态,说明有越大的可能性可以有效应 对紧急情况,此时自动紧急制动装置可通过提高障碍物检测的置信度、提高触发自动制动功 能的阈值或延后介入时间等方式降低介入程度;如果驾驶员处于中反应状态,则将对于障碍 物检测的置信度阈值调整到预设置信度阈值范围内;如果评定结果为驾驶员处于低反应状态, 则说明有越大的可能性无法有效应对紧急情况,因此自动紧急制动装置可通过降低障碍物检 测的置信度阈值、降低触发自动制动功能的阈值或提前介入时间等方式更多地介入制动过程, 从而避免危险,是本发明实施例的发明点之一。
3、本发明实施例的技术方案中,驾驶员监控装置在判断驾驶员的反应状态时,除了根据 驾驶员的疲劳和/或分神状态来确定之外,还可通过检测驾驶员眼球姿态以及驾驶员眼球相对 眼眶方位变化,确定驾驶员的视线注视方向是否为风险区域方向,通过判断该视线注视方向 是否为风险区域方向来判断驾驶员的反应状态,从而进一步提高驾驶员监控装置处理的灵敏 度和精确度,是本发明实施例的发明点之一。
4、本发明实施例的技术方案中,自动紧急制动装置在检测出存在风险区域后,可先向驾 驶员监控装置发送检测结果。如果驾驶员监控装置判断出驾驶员未注视风险区域,则再由自 动紧急制动装置发出碰撞警报,从而进一步提醒驾驶员,以避免自动紧急制动装置一监测到 风险就发出警报的频繁预警现象,是本发明实施例的发明点之一。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例中所需要使用的附图作 简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通 技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1a是本发明实施例提供的一种疲劳驾驶模型的训练方法的流程图;
图1b是本发明实施例提供的一种基于目标检测和深度学习的疲劳驾驶检测模型执行方 法的流程图;
图2是本发明实施例提供的一种车辆的制动方法的流程示意图;
图3是本发明实施例提供的一种车辆的制动方法的流程示意图;
图4是本发明实施例提供的一种车辆的制动方法的流程示意图;
图5是本发明实施例提供的一种车辆的制动方法的流程示意图;
图6是本发明实施例提供的一种车辆的制动***的结构框图;
图7是本发明实施例提供的一种结合驾驶员监控装置和自动紧急制动装置的智能化紧急 制动方案的实施流程图;
图8是本发明实施例提供的一种车辆的自动紧急制动装置的结构示意图;
图9是本发明实施例提供的一种驾驶员监控装置的结构示意图。
图10是本发明实施例提供的一种疲劳驾驶模型的训练装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描 述,显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中 的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都 属于本发明保护的范围。
需要说明的是,本发明实施例及附图中的术语“包括”和“具有”以及它们任何变形,意图 在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没 有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括 对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了清楚、明白地解释本发明各实施例的内容,下面先对本发明实施例的实现原理进行 简单介绍:本发明实施例的技术方案,主要是利用DMS(Driver MonitoringSystem,驾驶员 监控装置)确定驾驶员的精神状态,从而根据精神状态判断驾驶员的反应状态,并将判断结 果发送给自动紧急制动装置。自动紧急制动装置根据接收到的判断结果调整其自身的制动策 略。
其中,由于识别驾驶员的精神状态是基础,本发明实施例主要是利用疲劳驾驶检测模型 来确定驾驶员的精神状态。可以理解的是,在使用疲劳驾驶检测模型极性之前,需要利用训 练样本集来训练初始深度回归网络模型,得到该疲劳驾驶检测模型。具体训练过程请参阅如 下图1a的内容。
实施例一
请参阅图1a,图1a是本发明实施例提供的一种疲劳驾驶模型的训练方法的流程图,该方 法可应用于自动驾驶领域,一般可集成在疲劳驾驶模型的训练装置中,该装置可通过软件和/ 或硬件的方式来实现。如图1a所示,该方法包括:
102、获取包含有驾驶员人脸区域的图像。
本实施例中,包含有驾驶员人脸区域的图像的来源可以采用公开数据集中的图像,也可 以从车辆的存储设备中获取车辆的摄像头所采集的驾驶员图像。在有些情况下,也可以直接 获取样本图像,例如,直接获取车辆的摄像头实时采集的图像,对人脸进行检测切分后,对 人脸图像进行标注,将标注后的图像作为样本图像,即训练样本集。
需要说明的是,通过步骤102监测到人脸区域后,可以通过裁剪的方式得到较小尺寸且 只含人脸的图像,有利于减小提取特征以及训练网络的工程量,并提高关键点定位的精确度。
104、对人脸区域进行关键点定位,确定包含有关键点的目标区域,该目标区域中至少包 括眼部和嘴部。
示例性的,可利用人脸关键点检测技术对人脸区域进行关键点定位。其中,人脸关键点 检测也称为人脸关键点定位或者人脸对齐,是指给定人脸图像,定位出人脸面部的关键区域 位置,包括眉毛、眼睛、鼻子、嘴巴和脸部轮廓等。目前比较有代表性的人脸关键点检测方 法有ASM(Active Shape Model,主动形状模型)、AAM(Active Appearance Model,主动外 观模型)、CPR(Cascaded Shape Regressor,级联形状回归)等手工设计特征的方法,以及利 用了深度学习的DCNN(Deep Convolutional Network Cascade,深度卷积神经网络)、TCDCN (Tasks-Constrained Deep Convolutional Network,任务受限的深度卷积网络)、MTCNN (Multi-task Cascaded Convolutional Networks,多任务级联卷积神经网络)、TCNN(Tweaked Convolutional Neural Networks,调整卷积神经网络)、DAN(DeepAlignment Networks,深度 对齐网络)等方法。因此,本申请实例可以根据实际算法运行速度、效率等因素,选择恰当 的方法实现人脸关键点的定位。
106、基于多个图像中的不同眼部特征和嘴部特征及不同眼部特征和嘴部特征分别对应的 驾驶员的精神状态类别生成训练样本集。
本发明实例中,优选采用有监督的训练方式。因而,训练样本集中的图像可以分为以下 几类:
1.驾驶员驾驶时闭眼(眯眼)图像;2.驾驶员正常时眼睛睁开的图像;3.驾驶员驾驶时嘴 巴张开(打哈欠)的图像;4.驾驶员正常驾驶嘴巴闭合的图像。本实施例中,人脸关键点样 本图像的来源可以采用公开数据集中的图像,也可以从车辆的存储设备中获取车辆的摄像头 所采集的驾驶员图像。在有些情况下,也可以直接获取样本图像,例如,直接获取车辆的摄 像头实时采集的图像,对人脸进行检测切分后,对人脸图像进行标注,将标注后的图像作为 样本图像,即训练样本集。
108、基于训练样本集对初始深度回归网络模型进行训练,得到疲劳驾驶检测模型,该疲 劳驾驶检测模型使得训练样本集中每个图像中的眼部特征、嘴部特征与该图像对应的驾驶员 的精神状态类别相关联。
在获取到训练样本集后,可以将样本图像输入到预先建立的初始深度回归网络模型,以 便利用人脸关键点样本图像对初始深度回归网络模型进行训练,得到疲劳驾驶检测模型,所 述疲劳驾驶检测模型使得训练样本集中每个图像中的眼部特征、嘴部特征与该图像对应的驾 驶员的精神状态类别相关联。
在本申请实施实例中,可以采用深度卷积神经网络作为初始深度回归网络模型。除了自 行设计新的深度卷积神经网络,也可以采用迁移学习的方法,利用已有的在人脸检测领域取 得较好结果的深度卷积神经网络,对其输出类别数量及可能需要修改的其他部位的结构做出 相应的修改,并直接采用原有网络模型中已有的已经充分训练的参数,作为初始深度回归网 络模型,采用微调的方法,利用人脸样本图像,对神经网络进行训练。
通过利用深度回归网络模型对驾驶员脸部关键点图像进行处理,可以初步对驾驶员的状 态进行分类:是否存在闭眼打盹或者张嘴打哈欠等情况;同时,可以通过连续采集若干相邻 帧数内驾驶员的面部图像并定位其眼球位置的方式,判断驾驶员是否存在缓慢眨眼或者眼球 呆滞不动的状态;其次,可以通过比较脸部关键特征来判断驾驶员的脸是否偏向一侧,以及 是否手持手机通话,因为此时驾驶员特征提取结果与驾驶员正常驾驶(脸朝向正中间)时的 特征提取结果存在差异。
综上,当识别出驾驶员出现面部朝向一侧、打哈欠或打电话等状态则确定驾驶员处于分 神状态;或者如果识别出驾驶员长时间出现闭眼、缓慢眨眼或者视线长时间呆滞等状态时, 则判断驾驶员处于疲劳状态。
在完成疲劳驾驶模型的训练后,可利用该模型识别驾驶员在驾驶过程中的精神状态。具 体的识别过程如下:
请参阅图1b,图1b是本发明实施例提供的一种基于目标检测和深度学习的疲劳驾驶检 测模型执行方法的流程图,该方法可应用于自动驾驶领域,一般可集成在驾驶员监控装置中, 如图1b所示,该方法包括:
110、获取图像传感器采集的驾驶员监控画面检测出人脸区域。
目前比较常用的人脸检测算法分为传统特征提取算法和深度学习算法两类,前者包含有 HOG(Histogram of Oriented Gradien,方向梯度直方图)算法、Adaboost(迭代)算法等,后 者的代表网络模型有Face R-CNN(Region-CNN,区域卷积神经网络)、SSH(singlestage headless,单步人脸检测算法)、PyramidBox(金字塔网络)等等。在本申请实施实例中,可 以考虑使用基于U-Net(U型网络)深度学习网络模型对含有驾驶员面部的图像进行分割处 理。即采用有监督的训练模式,将标记好人脸区域的样本图像作为训练集,对网络进行训练 与微调;然后将图像传感器采取的驾驶员监控画面作为输入,利用神经网络的输出对含有人 脸的区域图像进行标记,实现人脸检测的目的。
此外,在本申请实施例的一些可能的实现方式中,也可以利用其他深度学习的方法实现 人脸检测,以便提高检测的准确性。
120、利用人脸关键点检测技术,确定包含有关键点的目标区域,所述目标区域中至少包 括眼部和嘴部。
其中,人脸关键点检测也称为人脸关键点定位或者人脸对齐,是指给定人脸图像,定位 出人脸面部的关键区域位置,包括眉毛、眼睛、鼻子、嘴巴、脸部轮廓等。目前比较有代表 性的人脸关键点检测方法有ASM(Active Shape Model,主动形状模型)、AAM(ActiveAppearance Model,主动外观模型)、CPR(Cascaded Shape Regressor,级联形状回归)等手工设计特征的方法,以及利用了深度学习的DCNN(Deep Convolutional Network Cascade,深 度卷积神经网络)、TCDCN(Tasks-Constrained Deep Convolutional Network,任务受限的深度 卷积网络)、MTCNN(Multi-task Cascaded Convolutional Networks,多任务级联卷积神经网络)、 TCNN(Tweaked Convolutional Neural Networks,调整卷积神经网络)、DAN(Deep Alignment Networks,深度对齐网络)等方法。因此,本申请实例可以根据实际算法运行速度、效率等 因素,选择恰当的方法实现人脸关键点的定位。
130、基于预先设置的疲劳驾驶检测模型,识别驾驶员的眼部状态,以判断驾驶员是否处 于疲劳状态;和/或,基于预先设置的疲劳驾驶检测模型,识别驾驶员的的嘴部状态,以判断 驾驶员是否处于分神状态。
其中,分神状态定义为驾驶员出现若干特殊动作,如面部朝向一侧、打哈欠或打电话等。 分神状态是通过监控驾驶员的面部表情和动作等来完成的,如果出现以上一种或者几种状态, 即判断为分神状态。本实施例中主要是通过利用卷基于预先设置的疲劳驾驶检测模型,对连 续若干相邻帧数图像的目标区域进行识别,如果判断出驾驶员处于打电话或打哈欠状态,则 确定驾驶员处于分神状态。
本实施例中,疲劳状态的判断主要是通过监控驾驶员的眼部状态来完成的,如果利用卷 积神经网络对连续若干相邻帧数图像的目标区域进行识别,通过确定驾驶员的眼球位置判断 出驾驶员处于缓慢眨眼或者眼球呆滞不动的状态,则确定驾驶员处于疲劳状态。
由上可知,本实施例提供了一种基于目标检测和深度学习的疲劳驾驶检测模型。通过人 脸检测、关键点定位、基于CNN卷积网络的深度学习等方法,可以准确地判断出驾驶员的实 时精神状态。上述算法可应用于车辆的制动过程中。将利用上述算法得出的驾驶员的反应状 态的判断结果发送给自动紧急制动装置,该判断结果可作为自动紧急制动装置的输入,用于 指示自动紧急制动装置对制动策略进行调整。
接下来,对本发明实施例中提供的一种基于以上目标检测和深度学习的疲劳驾驶检测模 型的车辆的制动方法的具体实现方式进行介绍。
实施例二
请参阅图2,图2是本发明实施例提供的一种车辆的制动方法的流程示意图。该方法应 用于自动驾驶中,可由驾驶员监控装置来执行,该装置可通过软件和/或硬件的方式实现,一 般可应用于车载电脑、车载工业控制计算机(Industrial personal Computer,IPC)等车辆的制 动***中,本发明实施例不做限定。如图2所示,本实施例提供的车辆的制动方法,具体包 括:
210、基于预先设置的疲劳驾驶检测模型,对包含有驾驶员人脸区域的图像进行识别,确 定驾驶员的精神状态。
其中,驾驶员的精神状态包括疲劳状态、分神状态、无疲劳状态和无分神状态等。上述 精神状态可通过识别驾驶员的脸部区域的图像来确定。本实施中,驾驶员监控装置可利用图 像传感器对驾驶员进行实时拍摄,然后将监控图像传送到驾驶员监控装置的处理器,作为上 述疲劳驾驶监测模型的输入。上述疲劳驾驶监测模型的基本实现流程如下:
首先可进行人脸检测,划定人脸区域,并进行根据需要判断是否进行尺寸的归一化;然 后将人脸区域图像输入到人脸关键点检测模型,模型可以对待处理图像进行特征提取,并对 提取到的特征进行映射,最终标记出人眼、嘴唇、耳朵等关键点;最后利用深度回归网络模 型对关键点图像进行分类,判断驾驶员是否存在闭眼、打哈欠、打电话等疲劳或分神行为。 具体的,疲劳驾驶监测模型每一步的工作原理及其具体实施方式可参见上文内容,本实施例 不再赘述。本实施例中,通过利用上述疲劳监测模型,可准确判断地出驾驶员是否处在分神 或疲劳状态。
220、根据精神状态判断驾驶员的反应状态,并将判断结果发送给自动紧急制动装置,将 判断结果作为自动紧急制动装置的输入,用于指示自动紧急制动装置对制动策略进行调整。
其中,驾驶员的反应状态可分为三个等级:高反应状态、中反应状态和低反应状态。当 然,也可以采取其他的量化方式来确定精神状态的等级评定结果。本实施例中以高反应状态、 中反应状态和低反应状态为例进行说明。
示例性的,根据精神状态判断驾驶员的反应状态具体可包括但并不局限于如下实施方式:
(1)根据疲劳状态和/或分神状态确定驾驶员的反应状态。
如果驾驶员不处于分神状态也不处于疲劳状态,则确定驾驶员的反应状态为高反应状态。 在该状态下,驾驶过程比较安全;如果驾驶员处于分神状态或者处于疲劳状态,或者既处于 分神状态又处于疲劳状态,则确定驾驶员处于低反应状态。在该状态下,驾驶员对于可能出 现的危险状况来不及反应,驾驶过程有风险。
进一步的,作为一种可选的实施方式,在判断驾驶员的反应状态时还可结合驾驶员的视 线注视方向进行判断,即:
(2)根据疲劳状态、分神状态和驾驶员的视线方向来确定驾驶员的反应状态。
该方式具体可以为:检测驾驶员眼球姿态以及驾驶员眼球相对眼眶方位变化,确定驾驶 员的视线注视方向;判断视线注视方向是否为风险区域方向,并根据判断结果确定驾驶员的 反应状态。
其中,风险区域指的是有可能发生碰撞的区域,由自动紧急制动装置检测并向驾驶员监 控装置发送检测结果,再由驾驶员监控装置判断驾驶员是否注意到该风险区域。
具体的,驾驶员监控装置可以通过图像传感器实时拍摄驾驶员图像,通过目标检测或者 深度学习的方法,判断出驾驶员的头部朝向,以确定驾驶员的视线注视方向;或者也可以直 接利用上述步骤130中的驾驶员脸部朝向的判断结果,对驾驶员的头部朝向方位进行更为精 确的计算和估计,以确定驾驶员的视线注视方向。
本实施例中,对驾驶员眼球姿态以及驾驶员眼球相对眼眶方位的捕捉结果,可以估计出 驾驶员的视线注视方向。正常情况下,如果确实在车辆行驶过程中有碰撞风险,驾驶员应当 将视线集中在潜在碰撞对象的区域。驾驶员监控装置可以用这个先验信息来判断驾驶员是否 可以及时对于碰撞做出反应。
在实际驾驶过程中,当驾驶员处于疲劳状态或者分神状态时,如果视线没有注视到可能 发生风险区域,那么发生事故或者意外的可能性将大大增高,因此可以将通过检测驾驶员视 线注视方向是否为风险区域方向,从而判断驾驶员精神状态这一实施方式作为上述根据驾驶 员是否疲劳和/或分神状态来判断精神状态这一实施方式的补充,即上述实施方式(2)可作 为上述实施方式(1)的补充方案,从而进一步提高驾驶员监控装置处理的灵敏度和精确度。
具体的,在上述实现方式的基础上,如果确定驾驶员不处于分神状态也不处于疲劳状态 时,且判断出驾驶员视线注视方向为风险区域方向时,则可进一步确定驾驶员的反应状态为 高反应状态。但如果确定驾驶员不处于分神状态也不处于疲劳状态时,但判断出驾驶员视线 注视方向非风险区域方向时,说明驾驶员处于分神或者疲劳状态,此时则可确定驾驶员的反 应状态为中反应状态。
(3)如果检测到自动紧急制动装置发出碰撞警报,则判断驾驶员对该碰撞警报的反应, 从而确定驾驶员的反应状态。
需要说明的是,上述实施方式(3)作为另外一种可选的实施方式,当自动紧急制动装置 检测到存在风险区域时,可发出碰撞警报以提醒驾驶员存在危险,并可根据用户对碰撞警报 的反应来确定驾驶员的反应状态。对于这种实施方式,可将其作为根据驾驶员精神状态来判 断反应状态这一实施方式,即实施方式(1)相并列的实施方式,这两种实施方式的执行顺序 不存在先后之分,可以同时进行也可以顺序执行。
还需要说明的是,上述实施方式(3)还可作为与实施方式(2)相并列的实施方式,二 者可以同时进行,即当自动紧急制动装置检测到存在风险区域时,可立即发出碰撞警报以提 醒驾驶员存在危险,并可根据用户对碰撞警报的反应来确定驾驶员的反应状态。同时,也可 根据实施方式(2)中的疲劳状态、分神状态和驾驶员的视线方向来确定驾驶员的反应状态。
优选的,还可将上述实施方式(3)进行改进,具体可以为:
当接收到自动紧急制动装置发送的存在风险区域的检测结果时,可先确定驾驶员是否处 于分神或者处于疲劳状态,如果处于分神或者疲劳状态,或者两个状态都存在时,即驾驶员 处于低反应状态时再发出警报以提醒驾驶员,从而进一步确定驾驶员的反应状态,即将改进 后的实施方式(3)在实施方式(2)之后来执行。这样设置是因为如果驾驶员处于高反应状 态,则无需发出警报驾驶员也会自动注意到风险区域,从而避免一旦监测到风险则发出警报 而导致的频繁预警的情况发生,有助于提升驾驶员的驾驶体验。
具体的,驾驶员监控装置在检测驾驶员对碰撞警报的反应时,可以通过图像传感器,实 时捕捉驾驶员的动作、头部朝向和视线方向,并利用上述步骤所提到的相关算法对驾驶员的 行为进行分析。如果发出警报后较短一段时间内,驾驶员没有产生任何动作、视线变化等, 则可以认为驾驶员没有对警报做出反应,此时,可进一步说明驾驶员的反应状态为低反应状 态。
本实施例中,上述驾驶员监控装置对驾驶员的反应状态进行判断的目的在于:将反应状 态发送到自动紧急制动装置后,自动紧急制动装置可根据评定结果调整自身的制动策略。示 例性的,如果驾驶员反应状态越高,说明有越大的可能性可以有效应对紧急情况。此时自动 紧急制动装置可将其介入程度适当降低,例如,可通过提高对于障碍物检测的置信区间、或 者提高触发自动制动功能的阈值,或者延后介入时间等。示例性的,如果驾驶员的反应状态 越低,说明有越大的可能性无法有效应对紧急情况。此时,自动紧急制动装置应当更多介入, 即可通过降低障碍物检测的置信度阈值,或者降低触发自动制动功能的阈值,或者提前介入 时间等方式来避免危险。
本实施例提供了将驾驶员监控装置与自动紧急制动装置相结合的技术方案,通过利用驾 驶员监控装置中的摄像头等传感器,可以有效获取驾驶员的注意力、疲劳状况和危险动作等 信息。并根据这些信息确定驾驶员的反应等级,从而可根据反应等级指示自动紧急制动装置 改进其处理逻辑,以提高自动紧急制动装置触发的准确性与安全性。
实施例三
请参阅图3,图3是本发明实施例提供的一种车辆的制动方法的流程示意图。该方法应 用于自动驾驶中,可由自动紧急制动装置来执行,该装置可通过软件和/或硬件的方式实现, 可应用于车载电脑、车载工业控制计算机(Industrial personal Computer,IPC)等车辆的制动 ***中,本发明实施例不做限定。如图3所示,本实施例提供的车辆的制动方法,具体包括:
310、接收驾驶员监控装置所发送的对驾驶员反应状态的判断结果。
其中,驾驶员监控装置所发送的对驾驶员反应状态的判断结果是驾驶员监控装置根据驾 驶员的精神状态确定的,驾驶员的精神状态是驾驶员监控装置基于预先设置的疲劳驾驶检测 模型,通过对包含有驾驶员人脸区域的图像进行识别得到的,该精神状态包括疲劳状态或分 神状态,或者二者同时存在。本实施中,可通过驾驶员监控装置中的图像传感器对驾驶员进 行实时拍摄,然后对图像进行处理,作为上述疲劳驾驶监测模型的输入。其中,疲劳驾驶监 测模型的工作原理可参见上文内容,本实施例不再赘述。本实施例中,驾驶员监控装置图像 传感器结合上述疲劳监测模型,可准确判断地出驾驶员是否处在分神或疲劳状态。
320、根据判断结果对制动策略进行调整。
示例性的,本实施例中,制动策略包括但不限于自动紧急制动装置对于障碍物检测的置 信区间。在传统自动紧急制动装置中,置信区间往往是一个不变量,没有考虑到驾驶员状态 本身对于风险判定的影响,因此要么牺牲驾驶体验的舒适度,选择保障出行的安全性;要么 为了保障驾驶体验,增大置信区间,给车辆驾驶带来更高的风险。而本申请实例中,则可以 根据驾驶员的反应状态的判断结果,实时对置信区间进行反馈调节。
示例性的,本实施例中,制动策略还包括但不限于自动紧急制动装置介入制动过程的介 入时间TTC(Time to collision),TTC指的是如果车辆延续当前的运动状态,与障碍物发生碰 撞的剩余时间。
本实施例中,如果驾驶员反应状态越高,说明有越大的可能性可以有效应对紧急情况。 此时自动紧急制动装置可将其介入程度适当降低,例如,可通过提高对于障碍物检测的置信 度、或者提高触发自动制动功能的阈值,或者延后介入时间等。反之,如果驾驶员的反应状 态越低,说明有越大的可能性无法有效应对紧急情况。此时,自动紧急制动装置应当更多介 入,即可通过降低障碍物检测的置信度阈值,或者降低触发自动制动功能的阈值,或者提前 介入时间等方式来避免危险。
本实施例提供了将驾驶员监控装置与自动紧急制动装置相结合的技术方案,通过利用驾 驶员监控装置***中的摄像头等传感器,可以有效获取驾驶员的注意力、疲劳状况和危险动 作等信息。根据这些信息驾驶员监控装置可确定出驾驶员的反应状态并向自动紧急制动装置 发送驾驶员的反应状态。自动紧急制动装置可根据反应状态改进其自身的处理逻辑,例如根 据反应状态可调整自动紧急制动装置自身对于障碍物检测的置信度阈值,或者调整介入时间 等,从而提高自动紧急制动装置触发的准确性与安全性。
实施例四
请参阅图4,图4是本发明实施例提供的一种车辆的制动方法的流程示意图,该方法应 用于自动驾驶中,可由自动紧急制动装置来执行。本实施例在上述实施例的基础上进行了优 化,针对驾驶员不同的反应状态给出了不同的置信度阈值调整方式。如图4所示,本实施例 提供的车辆的制动方法,具体包括:
400、当检测到风险区域时,向驾驶员监控装置发送存在风险区域的检测结果。
其中,所述风险区域为与车辆满足设定距离时存在障碍物的区域。
410、接收驾驶员监控装置基于所述检测结果所发送的对驾驶员反应状态的判断结果。
420、如果判断结果为驾驶员处于高反应状态,则调大对于障碍物检测的置信区间。
本实施例中,如果驾驶员处于高反应状态,说明驾驶员有比较高的可能性能够顺利地处 理潜在的驾驶危险,因此,应该调大置信区间,例如可将置信区间调高到90%-100%以上, 从而更多地避免驾驶员监控装置误触发并产生不必要的风险。
430、如果评定结果为驾驶员处于低反应状态,则调低对于障碍物检测的置信度阈值。
本实施例中,如果驾驶员处于低反应状态,说明驾驶员有比较低的可能性对潜在风险进 行正确判断和处理,因此,应该调小置信区间,例如可将置信去调低到50%以下,具体可以 为调低到30%-50%范围内,从而让自动紧急制动装置能够更容易触发。
440、如果评定结果为驾驶员处于中反应状态,则将对于障碍物检测的置信度阈值调整到 预设置信度阈值范围内。
其中,预设置信区间可以设置为经验值50%~70%。
需要说明的是,上述步骤420、430、和440是驾驶员处于不同反应状态时所对应的不同 的制动策略调整方式,这三个步骤为并列的步骤,其执行顺序不存在先后之分。
本实施例的技术方案中,可变的置信区间调节***充分考虑了驾驶员行驶状态这一主观 因素以及车辆与障碍物距离、行驶速度等客观因素,让自动紧急制动装置的触发更具智能性。
实施例五
请参阅图5,图5是本发明实施例提供的一种车辆的制动方法的流程示意图,该方法应 用于自动驾驶中,可由自动紧急制动装置来执行。本实施例在上述实施例的基础上进行了优 化,针对驾驶员不同的反应状态给出了不同的介入时间。如图5所示,本实施例提供的车辆 的制动方法,具体包括:
500、当检测到风险区域时,向驾驶员监控装置发送存在风险区域的检测结果。
其中,所述风险区域为与车辆满足设定距离时存在障碍物的区域。
510、接收驾驶员监控装置基于所述检测结果所发送的对驾驶员反应状态的判断结果。
520、如果评定结果为驾驶员处于高反应状态,则当检测到与障碍物发生碰撞的剩余时间 达到第一时间阈值时介入车辆的制动过程。
本实施例中,如果驾驶员处于高反应状态,说明驾驶员有比较高的可能性能够顺利地处 理潜在的驾驶危险,那么自动紧急制动装置可以在TTC更短的时间,即与障碍物更近的时候 再介入自动紧急制动装置,从而避免自动紧急制动装置误触发。其中,第一时间阈值为经验 值,表示最晚开始介入制动的时间。
530、如果评定结果为驾驶员处于低反应状态,则当检测到与障碍物发生碰撞的剩余时间 达到第二时间阈值之前介入车辆的制动过程。
本实施例中,如果驾驶员处于低反应状态,说明驾驶员有比较低的可能性对潜在风险进 行正确判断和处理,那么为了最大程度地保证安全,应当在TTC更大、即与障碍物距离更远 更早的时候介入制动过程。其中,第二时间阈值为最晚介入制动的时间,该第二时间阈值大 于第一时间阈值。为了提高驾驶的安全性,自动紧急制动装置应该在第二时间阈值到达之间 就介入自动过程。
需要说明的是,上述步骤520和530是驾驶员处于不同反应状态时所对应的不同的制动 策略调整方式,这三个步骤为并列的步骤,其执行顺序不存在先后之分。
本实施例的技术方案,自动紧急制动装置通过调整自身介入制动过程的时间,保证了驾 驶的安全性,也避免了自动紧急制动装置的误触发。
还需要说明的是,对于实施例五和实施例四提供的两种不同的制动策略调整方式,在自 动紧急制动装置进行制动策略调整时,这两种不同的策略调整方式可以被同时采样,自动紧 急制动装置也可以采用其中的任意一种,本发明实施例对此不做具体限定。
实施例六
请参阅图6,图6是本发明实施例提供的一种车辆的制动***的结构框图,该车辆的制 动***可应用于自动驾驶领域。如图6所示,该车辆的制动***600包括:驾驶员监控装置 610和自动紧急制动装置620;其中,
自动紧急制动装置620,在检测到风险区域时,被配置为向所述驾驶员监控装置发送存 在风险区域的检测结果,其中,所述风险区域为与车辆满足设定距离时存在障碍物的区域;
驾驶员监控装置610,在接收到自动紧急制动装置发送的存在风险区域的检测结果时, 被配置为基于预先设置的疲劳驾驶检测模型,对包含有驾驶员人脸区域的图像进行识别,确 定驾驶员的精神状态,并根据所述精神状态判断驾驶员的反应状态,并将判断结果发送给所 述自动紧急制动装置,所述精神状态包括疲劳状态和/或分神状态;
自动紧急制动装置620,被配置为接收判断结果,并根据该判断结果对制动策略进行调 整。
需要说明的是,本实施例中,驾驶员监控装置和车辆的自动紧急制动装置集成于同一个 车辆的制动***中,但二者也可分别集成于两个车辆的制动***中,两个车辆的制动***之 间存在通信连接。
示例性的,请参阅图7,图7是本发明实施例提供的一种结合驾驶员监控装置和自动紧 急制动装置的智能化紧急制动方案的实施流程图,应用于自动驾驶领域,参见图7,该方法 包括:
700、自动紧急制动装置检测到碰撞风险并发出碰撞警报,并将风险区域的检测结果发送 到驾驶员监控装置。
710、驾驶员监控装置接收自动紧急制动装置发送的检测结果,并判断驾驶员对碰撞警报 是否存在反应,若是,则执行步骤720;否则,执行步骤760。
720、驾驶员监控装置接收自动紧急制动装置发送的检测结果,并判断驾驶员是否处于分 神和/或疲劳状态,若是(判断出驾驶员处于分神状态或疲劳状态中的任意一种或两种),则 执行步骤760;否则(如果不处于分神状态也不处于疲劳状态),则执行步骤730。
需要说明的是,步骤710和720可先后执行,也可同时进行,即步骤700之后也可直接 执行步骤720。
730、驾驶员监控装置检测驾驶员眼球姿态以及驾驶员眼球相对眼眶方位变化,确定驾驶 员的视线注视方向,判断视线注视方向是否为风险区域方向,若是,则执行步骤740;否则, 执行步骤750;
740、驾驶员监控装置确定驾驶员处于高反应状态,继续执行步骤770。
750、驾驶员监控装置确定驾驶员处于中反应状态,继续执行步骤780。
760、驾驶员监控装置确定驾驶员处于低反应状态,继续执行步骤790。
770、自动紧急制动装置根据驾驶员监控装置发送的反应状态的判断结果,调高对于障碍 物检测的置信区间,和/或当自动紧急制动装置检测到与障碍物发生碰撞的剩余时间TTC达 到第一时间阈值时介入车辆的制动过程。
780、自动紧急制动装置根据驾驶员监控装置发送的反应状态的判断结果,将对于障碍物 检测的置信区间调整到预设置信区间范围内。
790、自动紧急制动装置根据驾驶员监控装置发送的反应状态的判断结果,调低***对于 障碍物检测的置信区间,和/或当检测到与障碍物发生碰撞的剩余时间TTC达到第二时间阈 值之前介入车辆的制动过程。
其中,第二时间阈值大于第一时间阈值。
本实施例提供的智能化紧急制动方案,驾驶员监控装置和自动紧急制动装置联合组成了 一个行之有效的监测模型,可以对驾驶员的驾驶状态进行全面的量化评级。驾驶员监控装置 将驾驶员评定为高反应状态、中反应状态、低反应状态等三个等级,自动紧急制动装置再根 据并根据驾驶员的反应状态对自身的逻辑判断进行调整,有别于传统方法逻辑判断的单一性 和粗暴性,改善了自动紧急制动装置的处理逻辑。
实施例七
请参阅图8,图8是本发明实施例提供的一种车辆的自动紧急制动装置的结构示意图, 如图8所示,该车辆的自动紧急制动装置800包括:风险监测结果发送模块810、反应状态 接收模块820和制动策略调整模块830;其中,
风险监测结果发送模块810,当检测到风险区域时,被配置为向驾驶员监控装置发送存 在风险区域的检测结果,其中,所述风险区域为与车辆满足设定距离时存在障碍物的区域;
反应状态接收模块820,被配置为接收驾驶员监控装置基于所述检测结果所发送的对驾 驶员反应状态的判断结果;
制动策略调整模块830,被配置为根据所述判断结果对制动策略进行调整。
本实施例提供了将驾驶员监控装置与自动紧急制动装置相结合的技术方案,通过利用驾 驶员监控装置中的摄像头等传感器,可以有效获取驾驶员的注意力、疲劳状况和危险动作等 信息。根据这些信息驾驶员监控装置可确定出驾驶员的反应状态并向自动紧急制动装置发送 驾驶员的反应状态。自动紧急制动装置可根据反应状态改进其自身的处理逻辑,例如根据反 应状态可调整自动紧急制动装置自身对于障碍物检测的置信度阈值,或者调整介入时间等, 从而提高自动紧急制动装置触发的准确性与安全性。
在上述实施例的基础上,所述制动策略调整模块830包括:
置信区间调整单元,用于根据所述判断结果调整对于障碍物检测的置信区间,和/或,
介入时间调整单元,用于根据所述判断结果调整介入制动过程的介入时间。
在上述实施例的基础上,所述置信区间调整单元具体被配置为:
如果判断结果为驾驶员处于高反应状态,则调大对于障碍物检测的置信区间;或者,
如果评定结果为驾驶员处于低反应状态,则调小对于障碍物检测的置信区间;或者,
如果评定结果为驾驶员处于中反应状态,则将对于障碍物检测的置信区间调整到预设置 信区间范围内。
在上述实施例的基础上,所述介入时间调整单元具体被配置为:
如果评定结果为驾驶员处于高反应状态,则当检测到与障碍物发生碰撞的剩余时间TTC 达到第一时间阈值时介入车辆的制动过程;
或者,
如果评定结果为驾驶员处于低反应状态,则当检测到与障碍物发生碰撞的剩余时间TTC 达到第二时间阈值时介入车辆的制动过程;
其中,所述第二时间阈值小于所述第一时间阈值。
在上述实施例的基础上,所述高反应状态为:驾驶员不处于分神状态也不处于疲劳状态, 并且如果检测出存在风险区域,则驾驶员视线方向为风险区域方向时的状态;其中,所述风 险区域为与车辆满足设定距离时存在障碍物的区域;
所述低反应状态为:驾驶员处于分神状态和/或处于疲劳状态;
所述中反应状态为:驾驶员处于分神状态和处于疲劳状态,且驾驶员视线未注视到所述 风险区域的状态。
本发明实施例所提供的车辆的制动***可执行本发明任意实施例所提供的应用于自动紧 急制动装置的车辆的制动方法,具备执行方法相应的功能模块和有益效果。未在上述实施例 中详尽描述的技术细节,可参见本发明任意实施例所提供的应用于自动紧急制动装置的车辆 的制动方法。
本发明实施例还提供了一种计算机可读存储介质,其存储计算机程序,所述计算机程序 包括用于执行本发明任意实施例所提供的应用于自动紧急制动装置的车辆的制动方法的部分 或全部步骤的指令。
本发明实施例公开一种计算机程序产品,其中,当计算机程序产品在计算机上运行时, 使得计算机执行本发明任意实施例所提供的应用于自动紧急制动装置的车辆的制动方法的部 分或全部步骤。
实施例八
请参阅图9,图9是本发明实施例提供的一种驾驶员监控装置的结构示意图,如图9所 示,该驾驶员监控装置900包括:精神状态确定模块910和判断结果发送模块920;其中,
精神状态确定模块910,用于基于预先设置的疲劳驾驶检测模型,对包含有驾驶员人脸 区域的图像进行识别,确定驾驶员的精神状态,所述精神状态包括疲劳状态和/或分神状态;
判断结果发送模块920,用于根据所述精神状态判断驾驶员的反应状态,并将判断结果 发送给自动紧急制动装置,所述判断结果作为自动紧急制动装置的输入,用于指示自动紧急 制动装置对制动策略进行调整。
本实施例提供了将驾驶员监控装置与自动紧急制动装置相结合的技术方案,通过利用驾 驶员监控装置中的摄像头等传感器,可以有效获取驾驶员的注意力、疲劳状况和危险动作等 信息。根据这些信息驾驶员监控装置可确定出驾驶员的反应状态并向自动紧急制动装置发送 驾驶员的反应状态。自动紧急制动装置可根据反应状态改进其自身的处理逻辑,例如根据反 应状态可调整自动紧急制动装置自身对于障碍物检测的置信度阈值,或者调整介入时间等, 从而提高自动紧急制动装置触发的准确性与安全性。
在上述实施例的基础上,所述疲劳驾驶检测模型通过以下方式构建:
获取包含有驾驶员人脸区域的图像;
对所述人脸区域进行关键点定位,确定包含有所述关键点的目标区域,所述目标区域中 至少包括眼部和嘴部;
基于多个图像中的不同眼部特征和嘴部特征及不同眼部特征和嘴部特征分别对应的驾驶 员的精神状态类别生成训练样本集;
基于所述训练样本集对所述初始深度回归网络模型进行训练,得到疲劳驾驶检测模型, 所述疲劳驾驶检测模型使得所述训练样本集中每个图像中的眼部特征、嘴部特征与该图像对 应的驾驶员的精神状态类别相关联。
在上述实施例的基础上,所述装置还包括:
视线注视方向确定模块,用于检测驾驶员眼球姿态以及驾驶员眼球相对眼眶方位变化, 确定驾驶员的视线注视方向;
风向区域方向判断模块,用于判断所述视线注视方向是否为风险区域方向,并根据判断 结果确定驾驶员的反应状态。
在上述实施例的基础上,所述装置还包括:
警报反应模块,用于如果检测到自动紧急制动装置发出碰撞警报,则判断驾驶员对所述 碰撞警报的反应,以确定驾驶员的反应状态。
在上述实施例的基础上,所述精神状态确定模块910,包括:
目标区域确定单元,用于基于预先设置的疲劳驾驶检测模型,对人脸区域进行关键点定 位,确定包含有所述关键点的目标区域,所述目标区域中至少包括眼部和嘴部;
疲劳状态判断单元,用于基于所述疲劳驾驶检测模型,识别驾驶员的眼部状态,以判断 驾驶员是否处于疲劳状态;
和/或,
分神状态判断单元,用于基于所述疲劳驾驶检测模型,识别驾驶员的嘴部状态,以判断 驾驶员是否处于分神状态。
在上述实施例的基础上,所述疲劳状态判断单元具体用于:
基于所述疲劳驾驶检测模型,对连续若干相邻帧数图像的目标区域进行识别,确定驾驶 员的眼球位置,以判断驾驶员是否处于缓慢眨眼或者眼球呆滞不动的状态;
如果判断出驾驶员处于缓慢眨眼或者眼球呆滞不动的状态,则确定驾驶员处于疲劳状态。
在上述实施例的基础上,所述分神状态判断单元具体用于:
基于所述疲劳驾驶检测模型,对连续若干相邻帧数图像的目标区域进行识别,判断驾驶 员是否处于打电话或打哈欠状态;
如果处于打电话或打哈欠状态,则确定驾驶员处于分神状态。
本发明实施例所提供的驾驶员监控装置可执行本发明任意实施例所提供的应用于驾驶员 监控装置的车辆的制动方法,具备执行方法相应的功能模块和有益效果。未在上述实施例中 详尽描述的技术细节,可参见本发明任意实施例所提供的应用于驾驶员监控装置的车辆的制 动方法。
本发明实施例还提供了一种计算机可读存储介质,其存储计算机程序,所述计算机程序 包括用于执行本发明任意实施例所提供的应用于驾驶员监控装置的车辆的制动方法的部分或 全部步骤的指令。
本发明实施例还公开一种计算机程序产品,其中,当所述计算机程序产品在计算机上运 行时,使得计算机执行本发明任意实施例所提供的应用于驾驶员监控装置的车辆的制动方法 的部分或全部步骤。
实施例十
请参阅图10,图10是本发明实施例提供的一种疲劳驾驶模型的训练装置的结构示意图, 如图10所示,该疲劳驾驶模型的训练装置1000包括:人脸图像获取模块1010和目标区域确 定模块1020、训练样本集生成模块1030和模型训练模块1040;其中,
人脸图像获取模块1010,用于获取包含有驾驶员人脸区域的图像;
目标区域确定模块1020,用于对所述人脸区域进行关键点定位,确定包含有所述关键点 的目标区域,所述目标区域中至少包括眼部和嘴部;
训练样本集生成模块1030,用于基于多个图像中的不同眼部特征和嘴部特征及不同眼部 特征和嘴部特征分别对应的驾驶员的精神状态类别生成训练样本集;
模型训练模块1040,用于基于所述训练样本集对所述初始深度回归网络模型进行训练, 得到疲劳驾驶检测模型,所述疲劳驾驶检测模型使得所述训练样本集中每个图像中的眼部特 征、嘴部特征与该图像对应的驾驶员的精神状态类别相关联。
通过采用上述技术方案,可得到疲劳驾驶检测模型,利用该模型可准确对驾驶员的精神 状态进行分类。
本发明实施例还提供了一种计算机可读存储介质,其存储计算机程序,所述计算机程序 包括用于执行本发明任意实施例所提供的疲劳驾驶模型的训练方法的部分或全部步骤。
本发明实施例还公开一种计算机程序产品,其中,当计算机程序产品在计算机上运行时, 使得计算机执行本发明任意实施例所提供的疲劳驾驶模型的训练方法的部分或全部步骤。
综上所述,以上各实施例中的疲劳监测以及状态分析模型,主要是以卷积神经网络模型 为基础,对驾驶员实时图像进行分析处理,提取人脸区域以及人脸关键点,并基于提前训练 好的人脸关键点姿态分类网络,判断驾驶员是否存在闭眼、张嘴打哈欠等行为,对驾驶员的 驾驶精神状态进行量化分级。而随着机器学习的不断发展,本实施例中所用到的卷积神经网 络模型也在不断发展。具体的,基于所要训练的模型的功能以及该模型所要处理的数据,可 以采用不同类型的卷积神经网络作为初始神经网络。常见的用于对象检测的卷积神经网络包 括R-CNN(Regions with Convolution Neural Network,基于区域的卷积神经网络)、Fast R-CNN (Fast Regions with Convolution Neural Network,快速的基于区域的卷积神经网络)、Faster R-CNN(Faster Regions with Convolution NeuralNetwork,更快的基于区域的卷积神经网络)、 R-FCN(Region-based fully convolutionalnetwork,基于区域的完全卷积网络)、YOLO(You only look once,实施对象检测***)、YOLO9000、SSD(single shot multibox detector,单发多箱 探测器)、NASNet(NeuralArchitecture Search Net,神经架构搜索网络)、Mask R-CNN等。 在一些可能的实现方式中,可以采用SSD作为初始神经网络模型,修改其部分结构后,对其 进行微调再进行训练。在一些可能的实现方式中,可以采用上述提到的其他卷积神经网络, 或者采用其他在此领域中取得较好结果的网络。本申请的实施方式在此方面不受任何限制。
由此可见,本申请实例中提供了一种疲劳驾驶监测算法和一种基于此算法的驾驶员疲劳 监测模型,以及基于以上两种模型建立的智能化紧急制动方案。目前尚没有AEB与驾驶员监 控装置结合的方案,因此本发明的关键点和预保护点在于将AEB与驾驶员监控装置有机结合, 互相辅助,利用驾驶员监控装置改进AEB处理逻辑的方法,提高了自动紧急制动装置触发的 安全性和准确性,同时保证了驾驶员驾驶的安全性和舒适性。需要注意的是,疲劳监测算法 中所涉及到的目标检测、深度学习模型、以及姿态识别算法,可以在具体实施过程中根据实 际情况进行必要的改变或者改进;而在驾驶员监控装置中,除了利用上述所提到的疲劳监测 算法、检查视线注视方向、检查驾驶员对警报的反馈等方法,驾驶员监控装置也可以利用其 它行之有效的方法对驾驶员的驾驶状态进行判定和分析,本申请的实施方式在此方面不受任 何限制。
在本发明的各种实施例中,应理解,上述各过程的序号的大小并不意味着执行顺序的必 然先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程 构成任何限定。
在本发明所提供的实施例中,应理解,“与A相应的B”表示B与A相关联,根据A可以确定B。但还应理解,根据A确定B并不意味着仅仅根据A确定B,还可以根据A和/或其 他信息确定B。
另外,在本发明各实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单 元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采 用硬件的形式实现,也可以采用软件功能单元的形式实现。
上述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存 储在一个计算机可获取的存储器中。基于这样的理解,本发明的技术方案本质上或者说对现 有技术做出贡献的部分或者该技术方案的全部或者部分,可以以软件产品的形式体现出来, 该计算机软件产品存储在一个存储器中,包括若干请求用以使得一台计算机设备(可以为个 人计算机、服务器或者网络设备等,具体可以是计算机设备中的处理器)执行本发明的各个 实施例上述方法的部分或全部步骤。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程 序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质包括只 读存储器(Read-Only Memory,ROM)、随机存储器(Random Access Memory,RAM)、可 编程只读存储器(Programmable Read-only Memory,PROM)、可擦除可编程只读存储器 (Erasable Programmable Read Only Memory,EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory,OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory,EEPROM)、只读光盘(CompactDisc Read-Only Memory,CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用 于携带或存储数据的计算机可读的任何其他介质。
以上对本发明实施例公开的一种基于自动驾驶电子导航地图的驾驶策略生成方法及装置 进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施 例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员, 依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内 容不应理解为对本发明的限制。
Claims (14)
1.一种车辆的制动***,其特征在于,包括自动紧急制动装置和驾驶员监控装置;其中,
所述自动紧急制动装置在检测到风险区域时,被配置为向所述驾驶员监控装置发送存在风险区域的检测结果,其中,所述风险区域为与车辆满足设定距离时存在障碍物的区域;
所述驾驶员监控装置,在接收到所述自动紧急制动装置发送的存在风险区域的检测结果时,被配置为基于预先设置的疲劳驾驶检测模型,对包含有驾驶员人脸区域的图像进行识别,确定驾驶员的精神状态,并根据所述精神状态判断驾驶员的反应状态,并将判断结果发送给所述自动紧急制动装置,所述精神状态包括疲劳状态和/或分神状态;
所述自动紧急制动装置被配置为接收所述判断结果,并根据所述判断结果对制动策略进行调整。
2.根据权利要求1所述的制动***,其特征在于,所述驾驶员监控装置,在接收到自动紧急制动装置发送的存在风险区域的检测结果时,具体被配置为:
基于预先设置的疲劳驾驶检测模型,对人脸区域进行关键点定位,确定包含有眼部和嘴部的目标区域;
基于所述疲劳驾驶检测模型,识别驾驶员的眼部状态,以判断驾驶员是否处于疲劳状态;
和/或,
基于所述疲劳驾驶检测模型,识别驾驶员的嘴部状态,以判断驾驶员是否处于分神状态。
3.根据权利要求1或2所述的制动***,其特征在于,所述驾驶员监控装置具体被配置为:
检测驾驶员眼球姿态以及驾驶员眼球相对眼眶方位变化,确定驾驶员的视线注视方向;
判断所述视线注视方向是否为风险区域方向,并根据判断结果确定驾驶员的反应状态。
4.根据权利要求1所述的制动***,其特征在于,所述自动紧急制动装置包括置信区间调整单元,和/或介入时间调整单元,其中,
所述置信区间调整单元被配置为根据所述判断结果调整对于障碍物检测的置信区间;
所述介入时间调整单元被配置为根据所述判断结果调整介入制动过程的介入时间。
5.根据权利要求4所述的制动***,其特征在于,所述置信区间调整单元具体被配置为:
如果判断结果为驾驶员处于高反应状态,则调大对于障碍物检测的置信区间;或者,
如果评定结果为驾驶员处于低反应状态,则调小对于障碍物检测的置信区间;或者,
如果评定结果为驾驶员处于中反应状态,则将对于障碍物检测的置信区间调整到预设置信区间范围内。
6.根据权利要求4所述的制动***,其特征在于,所述介入时间调整单元具体被配置为:
如果评定结果为驾驶员处于高反应状态,则当检测到与障碍物发生碰撞的剩余时间TTC达到第一时间阈值时介入车辆的制动过程;或者,
如果评定结果为驾驶员处于低反应状态,则当检测到与障碍物发生碰撞的剩余时间TTC达到第二时间阈值之前介入车辆的制动过程;
其中,所述第二时间阈值大于所述第一时间阈值。
7.一种车辆的制动方法,应用于自动紧急制动装置,其特征在于,包括:
当检测到风险区域时,向驾驶员监控装置发送存在风险区域的检测结果,其中,所述风险区域为与车辆满足设定距离时存在障碍物的区域;
接收所述驾驶员监控装置基于所述检测结果所发送的对驾驶员反应状态的判断结果;
根据所述判断结果对制动策略进行调整;
其中,所述判断结果是所述驾驶员监控装置根据所述驾驶员的精神状态确定的,所述驾驶员的精神状态包括疲劳状态和/或分神状态,所述精神状态是所述驾驶员监控装置基于预先设置的疲劳驾驶检测模型,通过对包含有驾驶员人脸区域的图像进行识别得到。
8.根据权利要求7所述的方法,其特征在于,所述根据所述判断结果对制动策略进行调整包括:
根据所述判断结果调整对于障碍物检测的置信区间,和/或,
根据所述判断结果调整介入制动过程的介入时间。
9.根据权利要求8所述的方法,其特征在于,所述根据所述判断结果调整对于障碍物检测的置信区间,包括:
如果判断结果为驾驶员处于高反应状态,则调大对于障碍物检测的置信区间;或者,
如果评定结果为驾驶员处于低反应状态,则调小对于障碍物检测的置信区间;或者,
如果评定结果为驾驶员处于中反应状态,则将对于障碍物检测的置信区间调整到预设置信区间范围内。
10.根据权利要求9或8任一所述的方法,其特征在于,所述根据所述判断结果调整介入制动过程的介入时间,包括:
如果评定结果为驾驶员处于高反应状态,则当检测到与障碍物发生碰撞的剩余时间TTC达到第一时间阈值时介入车辆的制动过程;
或者,
如果评定结果为驾驶员处于低反应状态,则当检测到与障碍物发生碰撞的剩余时间TTC达到第二时间阈值之前介入车辆的制动过程;
其中,所述第二时间阈值大于所述第一时间阈值。
11.根据权利要求7-10任一所述的方法,其特征在于,
所述高反应状态为:驾驶员不处于分神状态也不处于疲劳状态,并且如果检测存在风险区域时,驾驶员视线方向为注视风险区域方向时的状态;其中,所述风险区域为与车辆满足设定距离时存在障碍物的区域;
所述低反应状态为:驾驶员处于分神状态和/或处于疲劳状态;
所述中反应状态为:驾驶员不处于分神状态,也不处于疲劳状态,但驾驶员视线未注视到所述风险区域的状态。
12.一种车辆的自动紧急制动装置,其特征在于,包括:
风险监测结果发送模块,当检测到风险区域时,被配置为向驾驶员监控装置发送存在风险区域的检测结果,其中,所述风险区域为与车辆满足设定距离时存在障碍物的区域;
反应状态接收模块,被配置为接收驾驶员监控装置基于所述检测结果所发送的对驾驶员反应状态的判断结果;
制动策略调整模块,被配置为根据所述判断结果对制动策略进行调整;
其中,所述判断结果是所述驾驶员监控装置根据所述驾驶员的精神状态确定的,所述驾驶员的精神状态包括疲劳状态和/或分神状态,所述精神状态是所述驾驶员监控装置基于预先设置的疲劳驾驶检测模型,通过对包含有驾驶员人脸区域的图像进行识别得到的。
13.一种疲劳驾驶模型的训练方法,其特征在于,包括:
获取包含有驾驶员人脸区域的图像;
对所述人脸区域进行关键点定位,确定包含有所述关键点的目标区域,所述目标区域中至少包括眼部和嘴部;
基于多个图像中的不同眼部特征和嘴部特征及不同眼部特征和嘴部特征分别对应的驾驶员的精神状态类别生成训练样本集;
基于所述训练样本集对初始深度回归网络模型进行训练,得到疲劳驾驶检测模型,所述疲劳驾驶检测模型使得所述训练样本集中每个图像中的眼部特征、嘴部特征与该图像对应的驾驶员的精神状态类别相关联。
14.一种疲劳驾驶模型的训练装置,其特征在于,包括:
人脸图像获取模块,被配置为获取包含有驾驶员人脸区域的图像;
目标区域确定模块,被配置为对所述人脸区域进行关键点定位,确定包含有所述关键点的目标区域,所述目标区域中至少包括眼部和嘴部;
训练样本集生成模块,被配置为基于多个图像中的不同眼部特征和嘴部特征及不同眼部特征和嘴部特征分别对应的驾驶员的精神状态类别生成训练样本集;
模型训练模块,被配置为基于所述训练样本集对初始深度回归网络模型进行训练,得到疲劳驾驶检测模型,所述疲劳驾驶检测模型使得所述训练样本集中每个图像中的眼部特征、嘴部特征与该图像对应的驾驶员的精神状态类别相关联。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910037187.5A CN111434553B (zh) | 2019-01-15 | 2019-01-15 | 制动***、方法、装置、疲劳驾驶模型的训练方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910037187.5A CN111434553B (zh) | 2019-01-15 | 2019-01-15 | 制动***、方法、装置、疲劳驾驶模型的训练方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111434553A true CN111434553A (zh) | 2020-07-21 |
CN111434553B CN111434553B (zh) | 2021-12-24 |
Family
ID=71580081
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910037187.5A Active CN111434553B (zh) | 2019-01-15 | 2019-01-15 | 制动***、方法、装置、疲劳驾驶模型的训练方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111434553B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112009717A (zh) * | 2020-08-31 | 2020-12-01 | 南京迪沃航空技术有限公司 | 一种机场散装货物装载机及散装货物装载机用靠机防撞***及其防撞方法 |
CN112558510A (zh) * | 2020-10-20 | 2021-03-26 | 山东亦贝数据技术有限公司 | 一种智能网联汽车安全预警***及预警方法 |
CN112622892A (zh) * | 2020-12-14 | 2021-04-09 | 深圳技术大学 | 基于人脸和肢体姿态识别的紧急制动方法及*** |
CN112721924A (zh) * | 2021-01-19 | 2021-04-30 | 英博超算(南京)科技有限公司 | 一种结合驾驶员状态监控的自动紧急制动*** |
CN113592828A (zh) * | 2021-08-03 | 2021-11-02 | 南京市特种设备安全监督检验研究院 | 基于工业内窥镜的无损检测方法及*** |
US20210380080A1 (en) * | 2020-06-03 | 2021-12-09 | Micron Technology, Inc. | Customized vehicle operation based on driver status |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101153798A (zh) * | 2006-09-28 | 2008-04-02 | 高田株式会社 | 乘员检测***、警报***、制动***和车辆 |
CN103370252A (zh) * | 2011-02-18 | 2013-10-23 | 本田技研工业株式会社 | 对驾驶员行为进行响应的***和方法 |
CN103909926A (zh) * | 2014-03-31 | 2014-07-09 | 长城汽车股份有限公司 | 车辆侧向防碰撞方法、设备以及*** |
CN104183091A (zh) * | 2014-08-14 | 2014-12-03 | 苏州清研微视电子科技有限公司 | 一种自适应调整疲劳驾驶预警***灵敏度的*** |
JP2016034810A (ja) * | 2014-08-04 | 2016-03-17 | 株式会社デンソーアイティーラボラトリ | 車両制御装置 |
CN105818817A (zh) * | 2015-01-22 | 2016-08-03 | 株式会社万都 | 用于控制车辆的设备和方法 |
CN106335506A (zh) * | 2015-07-06 | 2017-01-18 | 福特全球技术公司 | 用于避免车辆与物体碰撞的方法,以及驾驶员辅助*** |
CN107074246A (zh) * | 2014-11-19 | 2017-08-18 | 捷豹路虎有限公司 | 动态控制装置及相关方法 |
CN107209995A (zh) * | 2015-01-19 | 2017-09-26 | 爱信精机株式会社 | 驾驶辅助装置、方法及程序 |
CN108345875A (zh) * | 2018-04-08 | 2018-07-31 | 北京初速度科技有限公司 | 可行驶区域检测模型训练方法、检测方法和装置 |
CN108960065A (zh) * | 2018-06-01 | 2018-12-07 | 浙江零跑科技有限公司 | 一种基于视觉的驾驶行为检测方法 |
US20180370502A1 (en) * | 2017-06-27 | 2018-12-27 | Dura Operating, Llc | Method and system for autonomous emergency self-learning braking for a vehicle |
-
2019
- 2019-01-15 CN CN201910037187.5A patent/CN111434553B/zh active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101153798A (zh) * | 2006-09-28 | 2008-04-02 | 高田株式会社 | 乘员检测***、警报***、制动***和车辆 |
CN103370252A (zh) * | 2011-02-18 | 2013-10-23 | 本田技研工业株式会社 | 对驾驶员行为进行响应的***和方法 |
US20160152233A1 (en) * | 2011-02-18 | 2016-06-02 | Honda Motor Co., Ltd. | System and method for responding to driver behavior |
CN103909926A (zh) * | 2014-03-31 | 2014-07-09 | 长城汽车股份有限公司 | 车辆侧向防碰撞方法、设备以及*** |
JP2016034810A (ja) * | 2014-08-04 | 2016-03-17 | 株式会社デンソーアイティーラボラトリ | 車両制御装置 |
CN104183091A (zh) * | 2014-08-14 | 2014-12-03 | 苏州清研微视电子科技有限公司 | 一种自适应调整疲劳驾驶预警***灵敏度的*** |
CN107074246A (zh) * | 2014-11-19 | 2017-08-18 | 捷豹路虎有限公司 | 动态控制装置及相关方法 |
CN107209995A (zh) * | 2015-01-19 | 2017-09-26 | 爱信精机株式会社 | 驾驶辅助装置、方法及程序 |
CN105818817A (zh) * | 2015-01-22 | 2016-08-03 | 株式会社万都 | 用于控制车辆的设备和方法 |
CN106335506A (zh) * | 2015-07-06 | 2017-01-18 | 福特全球技术公司 | 用于避免车辆与物体碰撞的方法,以及驾驶员辅助*** |
US20180370502A1 (en) * | 2017-06-27 | 2018-12-27 | Dura Operating, Llc | Method and system for autonomous emergency self-learning braking for a vehicle |
CN108345875A (zh) * | 2018-04-08 | 2018-07-31 | 北京初速度科技有限公司 | 可行驶区域检测模型训练方法、检测方法和装置 |
CN108960065A (zh) * | 2018-06-01 | 2018-12-07 | 浙江零跑科技有限公司 | 一种基于视觉的驾驶行为检测方法 |
Non-Patent Citations (1)
Title |
---|
臧宁宁等: "适用于商用车的自主紧急制动***控制算法研究", 《重型汽车》 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210380080A1 (en) * | 2020-06-03 | 2021-12-09 | Micron Technology, Inc. | Customized vehicle operation based on driver status |
CN112009717A (zh) * | 2020-08-31 | 2020-12-01 | 南京迪沃航空技术有限公司 | 一种机场散装货物装载机及散装货物装载机用靠机防撞***及其防撞方法 |
CN112009717B (zh) * | 2020-08-31 | 2022-08-02 | 南京迪沃航空技术有限公司 | 一种机场散装货物装载机及散装货物装载机用靠机防撞***及其防撞方法 |
CN112558510A (zh) * | 2020-10-20 | 2021-03-26 | 山东亦贝数据技术有限公司 | 一种智能网联汽车安全预警***及预警方法 |
CN112622892A (zh) * | 2020-12-14 | 2021-04-09 | 深圳技术大学 | 基于人脸和肢体姿态识别的紧急制动方法及*** |
CN112721924A (zh) * | 2021-01-19 | 2021-04-30 | 英博超算(南京)科技有限公司 | 一种结合驾驶员状态监控的自动紧急制动*** |
CN112721924B (zh) * | 2021-01-19 | 2022-04-19 | 英博超算(南京)科技有限公司 | 一种结合驾驶员状态监控的自动紧急制动*** |
CN113592828A (zh) * | 2021-08-03 | 2021-11-02 | 南京市特种设备安全监督检验研究院 | 基于工业内窥镜的无损检测方法及*** |
Also Published As
Publication number | Publication date |
---|---|
CN111434553B (zh) | 2021-12-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111434553B (zh) | 制动***、方法、装置、疲劳驾驶模型的训练方法和装置 | |
CN111274881B (zh) | 驾驶安全的监控方法、装置、计算机设备及存储介质 | |
CN108995654B (zh) | 一种驾驶员状态识别方法及*** | |
CN109460699B (zh) | 一种基于深度学习的驾驶员安全带佩戴识别方法 | |
WO2019232972A1 (zh) | 驾驶管理方法和***、车载智能***、电子设备、介质 | |
CN110766912B (zh) | 驾驶预警方法、设备及计算机可读存储介质 | |
WO2015064980A1 (ko) | 동작, 안면, 눈, 입모양 인지를 통한 2단계 졸음운전 방지 장치 | |
KR101276770B1 (ko) | 사용자 적응형 특이행동 검출기반의 안전운전보조시스템 | |
CN110866427A (zh) | 一种车辆行为检测方法及装置 | |
CN104637246A (zh) | 一种驾驶员多种行为预警***及危险评估方法 | |
CN110879973A (zh) | 一种驾驶员疲劳状态面部特征识别检测方法 | |
CN106467057A (zh) | 车道偏离预警的方法、装置及*** | |
CN109740477A (zh) | 驾驶员疲劳检测***及其疲劳检测方法 | |
JP7154959B2 (ja) | 走行状況判断情報基盤の運転者状態認識装置及び方法 | |
CN112277957B (zh) | 一种用于驾驶员分心纠正的预警方法及其***、存储介质 | |
CN114049677A (zh) | 基于驾驶员情绪指数的车辆adas控制方法及*** | |
CN115937830A (zh) | 一种面向特种车辆的驾驶员疲劳检测方法 | |
Khan et al. | Real time eyes tracking and classification for driver fatigue detection | |
CN113312958B (zh) | 一种基于司机状态的派单优先度调整方法及装置 | |
Pavani et al. | Drowsy Driver Monitoring Using Machine Learning and Visible Actions | |
CN114998874A (zh) | 一种基于深度学习的驾驶员异常行为检测方法 | |
CN107341428B (zh) | 影像辨识***及自适应学习方法 | |
WO2021024905A1 (ja) | 画像処理装置、モニタリング装置、制御システム、画像処理方法、コンピュータプログラム、及び記憶媒体 | |
CN111626334B (zh) | 一种车载高级辅助驾驶***的关键控制目标选择方法 | |
JP7230710B2 (ja) | 画像処理装置、モニタリング装置、制御システム、画像処理方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20211126 Address after: 215100 floor 23, Tiancheng Times Business Plaza, No. 58, qinglonggang Road, high speed rail new town, Xiangcheng District, Suzhou, Jiangsu Province Applicant after: MOMENTA (SUZHOU) TECHNOLOGY Co.,Ltd. Address before: Room 601-a32, Tiancheng information building, No. 88, South Tiancheng Road, high speed rail new town, Xiangcheng District, Suzhou City, Jiangsu Province Applicant before: MOMENTA (SUZHOU) TECHNOLOGY Co.,Ltd. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |