CN115782914A - 一种驾驶员提醒方法、装置、***和移动载体 - Google Patents
一种驾驶员提醒方法、装置、***和移动载体 Download PDFInfo
- Publication number
- CN115782914A CN115782914A CN202211069559.0A CN202211069559A CN115782914A CN 115782914 A CN115782914 A CN 115782914A CN 202211069559 A CN202211069559 A CN 202211069559A CN 115782914 A CN115782914 A CN 115782914A
- Authority
- CN
- China
- Prior art keywords
- driver
- mobile terminal
- reminding
- mobile carrier
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 89
- 238000004891 communication Methods 0.000 claims description 39
- 238000001514 detection method Methods 0.000 claims description 19
- 238000003860 storage Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 10
- 230000009286 beneficial effect Effects 0.000 abstract 1
- 230000008569 process Effects 0.000 description 29
- 238000010586 diagram Methods 0.000 description 26
- 230000006870 function Effects 0.000 description 23
- 230000006399 behavior Effects 0.000 description 22
- 238000012545 processing Methods 0.000 description 20
- 230000004044 response Effects 0.000 description 18
- 230000003993 interaction Effects 0.000 description 15
- 238000012544 monitoring process Methods 0.000 description 9
- 238000013473 artificial intelligence Methods 0.000 description 7
- 238000004519 manufacturing process Methods 0.000 description 7
- 238000013461 design Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 230000001960 triggered effect Effects 0.000 description 5
- 230000002159 abnormal effect Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 206010000117 Abnormal behaviour Diseases 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000007812 deficiency Effects 0.000 description 3
- 238000012806 monitoring device Methods 0.000 description 3
- 206010039203 Road traffic accident Diseases 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000011065 in-situ storage Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000035484 reaction time Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请实施例提供了一种驾驶员提醒方法、装置、***和移动载体。该方法包括:在移动载体处于驾驶状态时,获取来自移动终端的传感器采集的第一数据,且获取移动载体的座舱内的传感器采集的第二数据。根据第一数据和第二数据,确定驾驶员状态。在驾驶员状态指示驾驶员不在环时,控制提示装置提示驾驶员接管移动载体。这样,多元数据确定的驾驶状态,可以提高对驾驶员状态判断的准确性,从而有助于驾驶员及时有效地接管移动载体,进而提高了移动载体的安全性。
Description
技术领域
本申请实施例涉及智能驾驶领域,更具体地,涉及一种驾驶员提醒方法、装置、***和移动载体。
背景技术
随着车辆的智能化发展,国际自动机工程师学会(society of automotiveengineers international,SAE international)将自动驾驶技术分为L0至L5共六个等级。全自动驾驶是车辆的智能化发展的目标。然而,在这个发展过程中,从L3等级以下的自动驾驶仍然属于辅助驾驶,驾驶员仍然是事故发生的主要责任主体,驾驶员应当时刻关注驾驶任务及车辆周边交通场景。因此,驾驶员监测***(driver monitor system,DMS)和分级提醒***,是L3等级以下的自动驾驶强制准入功能***。
当自动驾驶***故障,或者车辆驾驶条件处于运行设计场景(operation designdomain,ODD)之外,或者车辆处于紧急情况之下,通过驾驶员监测***实时监测在环驾驶员的情况,并通过分级提醒***可以及时提醒驾驶员接管车辆,以保证行车安全。
目前的驾驶员监测和分级提醒***主要用于L3等级以下的高级驾驶辅助***(advanced driving assistant system,ADAS),主要通过车载仪表显示接管提醒信息来提醒驾驶员接管车辆。然而,如果驾驶员注意力在移动终端(例如,手机)上,那么驾驶员可能会由于注意力的转移,错过基于车载仪表的驾驶员监测和分级提醒***发出的接管提醒信息,从而增加了交通事故发生的风险。
因此,在自动驾驶***(autonomous driving system,ADS)启动过程中,当需要驾驶员接管车辆时,如何确保驾驶员可以接收到提醒信息,有助于驾驶员及时有效地接管车辆,成为一个亟待解决的问题。
发明内容
本申请实施例提供一种驾驶员提醒方法、装置、***和移动载体,可以保证驾驶员可以接收到提醒信息,从而有助于驾驶员及时有效地接管移动载体,进而提高了移动载体的安全性。
第一方面,提供了一种驾驶员提醒方法,该方法包括,在移动载体处于驾驶状态时,获取来自移动终端的传感器采集的第一数据,且获取移动载体的座舱内的传感器采集的第二数据;根据第一数据和第二数据,确定驾驶员状态;在驾驶员状态指示驾驶员不在环时,控制提示装置提示驾驶员接管移动载体。
在本申请中,通过移动终端获得的第一数据可以弥补座舱采集的第二数据在视角上存在的不足,多元数据确定的驾驶状态,可以提高对驾驶员状态判断的准确性。基于准确的驾驶员状态,既能防止由于DMS的误检发出的驾驶员管提醒,改善用户体验,又能有助于通过多设备发出驾驶员提醒,降低驾驶员错过提醒带来的安全隐患,从而提高行驶安全性。
结合第一方面,在第一方面的某些实现方式中,该方法还包括:向移动终端发送第一提示信息,第一提示信息用于指示驾驶员接管移动载体。
在本申请中,通过座舱内接管提示装置和移动终端协作向驾驶员发出接管提醒信息,降低驾驶员由于错过座舱内发出的接管提醒而使得移动载体发生事故的可能性,提高了接管提醒信息传递的有效性和及时性,从而提高了移动载体的安全性。
结合第一方面,在第一方面的某些实现方式中,向移动终端发送第一提示信息包括:在检测到驾驶员的注意力在移动终端上时,向移动终端发送第一提示信息。
在本申请中,当驾驶员不在环并且驾驶员注意力在移动终端上时,通过座舱内提示装置和移动终端在第一时间发出接管提醒,可以避免驾驶员注意力在移动终端上时,错过座舱内接管提醒装置上显示的接管提醒,可以提高接管提醒发出的有效性和驾驶员接收到接管提醒的及时性,从而提高了移动载体的安全性。
在一些可能的实现方式中,在检测到驾驶员的注意力在移动终端上时,通过移动终端的第一分级提醒方式,向移动终端发送第一提示信息。
示例性地,移动终端的第一分级提醒方式包括移动终端的第一级提醒、移动终端的第二级提醒和移动终端的第三级提醒。其中,移动终端的第一级提醒可以包括移动终端显示提醒;移动终端的第二级提醒可以包括移动终端显示提醒和声音提醒,或者包括移动终端显示提醒和振动提醒;移动终端三级提醒包括移动终端显示提醒、声音提醒和振动提醒。
在一些可能的实现方式中,在驾驶员状态指示驾驶员不在环,并且未检测到驾驶员的注意力在移动终端上时,通过移动终端的第二分级提醒方式,向移动终端发送第一提示信息。
示例性地,移动终端的第二分级提醒方式包括移动终端的第一级提醒、移动终端的第二级提醒和移动终端的第三级提醒。其中,移动终端的第一级提醒可以包括移动终端的振动提醒,或者移动终端的声音提醒;移动终端的第二级提醒可以包括移动终端的振动提醒和声音提醒;移动终端三级提醒包括移动终端的显示提醒、声音提醒和振动提醒。
在本申请中,当驾驶员不在环并且未检测到驾驶员注意力在移动终端上时,通过振动方式或者声音方式在移动终端接管提醒装置上发出接管提醒,可以降低当驾驶员注意力不在移动终端上且驾驶员不在环时错过接管提醒的可能性,进一步提高接管提醒发出的有效性和驾驶员接收到接管提醒的及时性,从而提高了移动载体的安全性。
结合第一方面,在第一方面的某些实现方式中,控制提示装置提示驾驶员接管移动载体包括:根据驾驶员不在环的持续时长,控制提示装置提示驾驶员接管移动载体。
在一些可能的实现方式中,以驾驶员不在环持续时长的等级,通过座舱分级提醒方式控制提示装置提示驾驶员接管移动载体。
例如,当驾驶员不在环的持续时长达到第一阈值(例如,15s),通过座舱的第一级提醒,控制座舱内的显示装置提示驾驶员接管移动载体;如果驾驶员在座舱的第一级提醒下未接管移动载体,那么当驾驶员不在环持续时长累计到第二阈值(例如,30s)时,通过座舱的第二级提醒,控制座舱内的显示装置和发声装置提示驾驶员接管移动载体;如果驾驶员在在座舱的第二级提醒下未接管移动载体,那么当驾驶员不在环持续时长累计到第三阈值(例如,50s)时,通过座舱的第三级提醒,控制座舱内的显示装置、发声装置和安全带振动装置提示驾驶员接管移动载体。
结合第一方面,在第一方面的某些实现方式中,控制提示装置提示驾驶员接管移动载体包括:根在驾驶员状态指示驾驶员不在环,且检测到紧急事件发生时,控制提示装置提示驾驶员接管移动载体。
在一些可能的实现方式中,在检测到紧急事件发生后,通过座舱的第一级提醒,控制显示装置提示驾驶员接管移动载体,如果驾驶员在座舱的第一级提醒下未接管移动载体,以驾驶员不在环持续时长的等级,通过座舱分级提醒方式控制提示装置提示驾驶员接管移动载体。
示例性地,如果驾驶员在座舱的第一级提醒方式下未接管移动载体,驾驶员不在环持续时长达到第四阈值(例如,20s),通过座舱的第二级提醒,控制座舱内的显示装置和发声装置提示驾驶员接管移动载体;如果驾驶员在在座舱的第二级提醒下未接管移动载体,那么当驾驶员不在环持续时长累计到第五阈值(例如,35s)时,通过座舱的第三级提醒,控制座舱内的显示装置、发声装置和安全带振动装置提示驾驶员接管移动载体。
在本申请中,当驾驶员不在环时,如果通过紧急事件触发座舱的第一级提醒之后,可以以驾驶员不在环持续时长等级,控制提示装置提示驾驶员接管移动载体,可以及时有效地将接管提醒信息传递给驾驶员,从而提高行驶安全性。
结合第一方面,在第一方面的某些实现方式中,该方法还包括:在控制提示装置提示驾驶员接管移动载体之前,确定移动载体的行驶速度大于或等于速度阈值。
在本申请中,将移动载体的行驶速度作为接管提醒触发的考虑因素,可以进一步提高行驶安全性,以及用户体验。例如,当自动驾驶***开启自动泊车功能时,驾驶员可以脱手脱眼,此时移动载体的速度是小于速度阈值的,除非有突发事件发生,不然驾驶员不会收到接管提醒信息,这样可以提高用户体验。
结合第一方面,在第一方面的某些实现方式中,控制提示装置提示驾驶员接管移动载体和向移动终端发送第一提示信息同步进行。
结合第一方面,在第一方面的某些实现方式中,该方法还包括:记录驾驶员接管移动载体的响应参数;向云端服务器发送响应参数,其中,响应参数用于确定驾驶员的驾驶行为分数,驾驶行为分数用于评估驾驶员的行为安全性;接收来自云端服务器的定制信息,定制信息是根据驾驶行为分数确定的。
在本申请中,当驾驶员不在环的结果是通过座舱内驾驶员监测装置和移动终端采集的数据共同得到的时,那么基于此发出的驾驶员提醒越精准,从而使得驾驶员接管移动载体的响应参数记录地更加准确,以便于提高后续信息推送的准确性。
第二方面,提供了一种驾驶员提醒装置,该装置包括获取单元、确定单元和控制单元。该获取单元用于,在移动载体处于驾驶状态时,获取来自移动终端的传感器采集的第一数据,且获取移动载体的座舱内的传感器采集的第二数据。该确定单元用于,根据第一数据和第二数据,确定驾驶员状态。该控制单元用于,在驾驶员状态指示驾驶员不在环时,控制提示装置提示驾驶员接管移动载体。
在本申请中,通过移动终端获得的第一数据可以弥补座舱采集的第二数据在视角上存在的不足,多元数据确定的驾驶状态,可以提高对驾驶员状态判断的准确性。基于准确的驾驶员状态,既能防止由于DMS的误检发出的驾驶员提醒,改善用户体验,又能有助于通过多设备发出驾驶员提醒,降低驾驶员错过接管提醒带来的安全隐患,从而提高行驶安全性。
结合第二方面,在第二方面的某些实现方式中,该装置还包括通信单元,该通信单元用于,向移动终端发送第一提示信息,第一提示信息用于指示驾驶员接管移动载体。
在本申请中,通过座舱内接管提示装置和移动终端协作向驾驶员发出接管提醒信息,降低驾驶员由于错过座舱内发出的接管提醒而使得移动载体发生事故的可能性,提高了接管提醒信息传递的有效性和及时性,从而提高了移动载体的安全性。
结合第二方面,在第二方面的某些实现方式中,该装置还包括第一检测单元,在第一检测单元检测到驾驶员的注意力在移动终端上时,该通信单元具体用于,向移动终端发送第一提示信息。
在本申请中,当驾驶员不在环并且驾驶员注意力在移动终端上时,通过座舱内提示装置和移动终端在第一时间发出接管提醒,可以避免驾驶员注意力在移动终端上时,错过座舱内接管提醒装置上显示的接管提醒,可以提高接管提醒发出的有效性和驾驶员接收到接管提醒的及时性,从而提高了移动载体的安全性。
在一些可能的实现方式中,在第一检测单元检测到驾驶员的注意力在移动终端上时,该通信单元用于,通过移动终端的第一分级提醒方式,向移动终端发送第一提示信息。
示例性地,移动终端的第一分级提醒方式包括移动终端的第一级提醒、移动终端的第二级提醒和移动终端的第三级提醒。其中,移动终端的第一级提醒可以包括移动终端显示提醒;移动终端的第二级提醒可以包括移动终端显示提醒和声音提醒,或者包括移动终端显示提醒和振动提醒;移动终端三级提醒包括移动终端显示提醒、声音提醒和振动提醒。
在一些可能的实现方式中,在驾驶员状态指示驾驶员不在环,并且第一检测单元未检测到驾驶员的注意力在移动终端上时,通信单元用于,通过移动终端的第二分级提醒方式,向移动终端发送第一提示信息。
示例性地,移动终端的第二分级提醒方式包括移动终端的第一级提醒、移动终端的第二级提醒和移动终端的第三级提醒。其中,移动终端的第一级提醒可以包括移动终端的振动提醒,或者移动终端的声音提醒;移动终端的第二级提醒可以包括移动终端的振动提醒和声音提醒;移动终端三级提醒包括移动终端的显示提醒、声音提醒和振动提醒。
在本申请中,当驾驶员不在环并且未检测到驾驶员注意力在移动终端上时,通过振动方式或者声音方式在移动终端接管提醒装置上发出接管提醒,可以降低当驾驶员注意力不在移动终端上且驾驶员不在环时错过接管提醒的可能性,进一步提高接管提醒发出的有效性和驾驶员接收到接管提醒的及时性,从而提高了移动载体的安全性。
结合第二方面,在第二方面的某些实现方式中,该控制单元用于:根据驾驶员不在环的持续时长,控制提示装置提示驾驶员接管移动载体。
在一些可能的实现方式中,以驾驶员不在环持续时长的等级,控制单元用于,通过座舱分级提醒方式控制提示装置提示驾驶员接管移动载体。
例如,当驾驶员不在环的持续时长达到第一阈值(例如,15s),通过座舱的第一级提醒,控制座舱内的显示装置提示驾驶员接管移动载体;如果驾驶员在座舱的第一级提醒下未接管移动载体,那么当驾驶员不在环持续时长累计到第二阈值(例如,30s)时,通过座舱的第二级提醒,控制座舱内的显示装置和发声装置提示驾驶员接管移动载体;如果驾驶员在在座舱的第二级提醒下未接管移动载体,那么当驾驶员不在环持续时长累计到第三阈值(例如,50s)时,通过座舱的第三级提醒,控制座舱内的显示装置、发声装置和安全带振动装置提示驾驶员接管移动载体。
结合第二方面,在第二方面的某些实现方式中,该装置还包括第二检测单元,在驾驶员状态指示驾驶员不在环,且第二检测单元检测到紧急事件发生时,控制单元用于,控制提示装置提示驾驶员接管移动载体。
在一些可能的实现方式中,控制单元具体用于,在检测到紧急事件发生后,通过座舱的第一级提醒,控制显示装置提示驾驶员接管移动载体,如果驾驶员在座舱的第一级提醒下未接管移动载体,以驾驶员不在环持续时长的等级,通过座舱分级提醒方式控制提示装置提示驾驶员接管移动载体。
示例性地,如果驾驶员在座舱的第一级提醒方式下未接管移动载体,驾驶员不在环持续时长达到第四阈值(例如,20s),通过座舱的第二级提醒,控制座舱内的显示装置和发声装置提示驾驶员接管移动载体;如果驾驶员在在座舱的第二级提醒下未接管移动载体,那么当驾驶员不在环持续时长累计到第五阈值(例如,35s)时,通过座舱的第三级提醒,控制座舱内的显示装置、发声装置和安全带振动装置提示驾驶员接管移动载体。
在本申请中,当驾驶员不在环时,如果通过紧急事件触发座舱的第一级提醒之后,可以以驾驶员不在环持续时长等级,控制提示装置提示驾驶员接管移动载体,可以及时有效地将接管提醒信息传递给驾驶员,从而提高行驶安全性。
结合第二方面,在第二方面的某些实现方式中,该确定单元还用于:在控制提示装置提示驾驶员接管移动载体之前,确定移动载体的行驶速度大于或等于速度阈值。
在本申请中,将移动载体的行驶速度作为接管提醒触发的考虑因素,可以进一步提高行驶安全性,以及用户体验。例如,当自动驾驶***开启自动泊车功能时,驾驶员可以脱手脱眼,此时移动载体的速度是小于速度阈值的,除非有突发事件发生,不然驾驶员不会收到接管提醒信息,这样可以提高用户体验。
结合第二方面,在第二方面的某些实现方式中,控制单元控制提示装置提示驾驶员接管移动载体和通信单元向移动终端发送第一提示信息同步进行。
结合第二方面,在第二方面的某些实现方式中,该装置还包括记录单元,该记录单元用于,记录驾驶员接管移动载体的响应参数。通信单元还用于,向云端服务器发送响应参数,其中,响应参数用于确定驾驶员的驾驶行为分数,驾驶行为分数用于评估驾驶员的行为安全性。通信单元还具体用于,接收来自云端服务器的定制信息,定制信息是根据驾驶行为分数确定的。
在本申请中,当驾驶员不在环的结果是通过座舱内驾驶员监测装置和移动终端采集的数据共同得到的时,那么基于此发出的驾驶员提醒越精准,从而使得驾驶员接管移动载体的响应参数记录地更加准确,以便于提高后续信息推送的准确性。
第三方面,提供了一种驾驶员提醒装置,该装置包括至少一个处理器和接口电路,该处理器通过接口电路与提示装置通信;该至少一个处理器用于执行上述第一方面中任一项所述的方法,控制该提示装置。
在一些可能的实现方式中,该提示装置可以为显示装置、发声装置(例如,扬声器)、安全带振动装置、氛围灯中的至少一种。
在一些可能的实现方式中,该显示装置可以包括车载显示屏或者投影显示屏。
第四方面,提供了一种驾驶员提醒装置,该装置包括处理单元和存储单元,其中存储单元用于存储指令,处理单元执行存储单元所存储的指令,以使该装置执行第一方面中任一种可能的方法。
可选地,上述处理单元可以包括至少一个处理器,上述存储单元可以是存储器,其中存储器可以是芯片内的存储单元(例如,寄存器、缓存等),也可以是移动载体内位于芯片外部的存储单元(例如,只读存储器、随机存取存储器等)。
第五方面,提供了一种驾驶员提醒***,该驾驶员提醒***包括计算平台和提示装置,该计算平台包括上述第二方面、第三方面或者第四方面任一方面所述的装置。
在一些可能的实现方式中,该提示装置可以为显示装置、发声装置(例如,扬声器)、安全带振动装置、氛围灯中的至少一种。
第六方面,提供了一种移动载体,该移动载体包括上述第二方面、第三方面或者第四方面中任一方面所述的装置,或者,该移动载体包括上述第五方面所述的驾驶员提醒***。
结合第六方面,在第六方面的某些实现方式中,该移动载体为车辆。
第七方面,提供了一种计算机程序产品,所述计算机程序产品包括:计算机程序代码,当所述计算机程序代码在计算机上运行时,使得计算机执行上述第一方面中任一种可能的方法。
需要说明的是,上述计算机程序代码可以全部或者部分存储在第一存储介质上,其中第一存储介质可以与处理器封装在一起的,也可以与处理器单独封装,本申请实施例对此不作具体限定。
第八方面,提供了一种计算机可读介质,所述计算机可读介质存储有程序代码,当所述计算机程序代码在计算机上运行时,使得计算机执行上述第一方面中任一种可能的方法。
第九方面,本申请实施例提供了一种芯片***,该芯片***包括处理器,用于调用存储器中存储的计算机程序或计算机指令,以使得该处理器执行上述第一方面任一种可能的方法。
结合第九方面,在一种可能的实现方式中,该处理器通过接口与存储器耦合。
结合第九方面,在一种可能的实现方式中,该芯片***还包括存储器,该存储器中存储有计算机程序或计算机指令。
附图说明
图1是本申请实施例提供的移动载体的一个功能框图示意;
图2是本申请实施例提供的一种驾驶员提醒方法的流程示意图;
图3是本申请实施例提供的一种移动终端接入移动载体的交互流程的示意图;
图4是本申请实施例提供的一种移动终端和车载座舱数字平台连接示意图;
图5本申请实施例提供的另一种移动终端和车载座舱数字平台连接示意图;
图6是本申请实施例提供的另一种移动终端和车载座舱数字平台连接示意图;
图7是本申请实施例提供的一种驾驶员提醒方法的交互示意图;
图8是本申请实施例提供的一种座舱分级提醒方式的示意图;
图9是本申请实施例提供的一种移动终端的分级提醒方式示意图;
图10是本申请实施例提供的另一种驾驶员提醒方法的交互示意图;
图11是本申请实施例提供的一种基于驾驶员提醒记录的驾驶行为评估方法的示意图;
图12是本申请实施例提供的一种驾驶员提醒信息发送流程的示意图;
图13是本申请实施例提供的一种座舱内驾驶员提醒信息和移动终端驾驶员提醒信息的人机交互示意图;
图14是本申请实施例提供的一种驾驶员提醒装置的示意图;
图15是本申请实施提供的一种驾驶员提醒装置的硬件结构示意图。
具体实施方式
下面将结合附图,对本申请实施例中的技术方案进行描述。其中,在本申请实施例的描述中,除非另有说明,“/”表示或的意思,例如,A/B可以表示A或B;本文中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。
本申请实施例中采用诸如“第一”、“第二”的前缀词,仅仅为了区分不同的描述对象,对被描述对象的位置、顺序、优先级、数量或内容等没有限定作用。本申请实施例中对序数词等用于区分描述对象的前缀词的使用不对所描述对象构成限制,对所描述对象的陈述参见权利要求或实施例中上下文的描述,不应因为使用这种前缀词而构成多余的限制。此外,在本实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。
图1是本申请实施例提供的移动载体100的一个功能框图示意。移动载体100可以包括感知***120、显示装置130和计算平台150,其中,感知***120可以包括感测关于移动载体100周边的环境的信息的若干种传感器。例如,感知***120可以包括定位***,定位***可以是全球定位***(global positioning system,GPS),也可以是北斗***或者其他定位***、惯性测量单元(inertial measurement unit,IMU)。感知***120还可以包括激光雷达、毫米波雷达、超声雷达以及摄像装置中的一种或者多种。
移动载体100的部分或所有功能可以由计算平台150控制。计算平台150可以包括一个或者多个处理器,例如,处理器151至15n(n为正整数),处理器是一种具有信号的处理能力的电路,在一种实现中,处理器可以是具有指令读取与运行能力的电路,例如中央处理单元(central processing unit,CPU)、微处理器、图形处理器(graphics processingunit,GPU)(可以理解为一种微处理器)、或数字信号处理器(digital signal processor,DSP)等;在另一种实现中,处理器可以通过硬件电路的逻辑关系实现一定功能,该硬件电路的逻辑关系是固定的或可以重构的,例如处理器为专用集成电路(application-specificintegrated circuit,ASIC)或可编程逻辑器件(programmable logic device,PLD)实现的硬件电路,例如现场可编程逻辑门阵列(field programmable gate array,FPGA)。在可重构的硬件电路中,处理器加载配置文档,实现硬件电路配置的过程,可以理解为处理器加载指令,以实现以上部分或全部单元的功能的过程。此外,还可以是针对人工智能设计的硬件电路,其可以理解为一种ASIC,例如神经网络处理单元(neural network processingunit,NPU)、张量处理单元(tensor processing unit,TPU)、深度学***台150还可以包括存储器,存储器用于存储指令,处理器151至15n中的部分或全部处理器可以调用存储器中的指令,执行指令,以实现相应的功能。
本申请中的移动载体可以包括路上交通工具、水上交通工具、空中交通工具、工业设备、农业设备、或娱乐设备等。例如移动载体可以为车辆,该车辆为广义概念上的车辆,可以是交通工具(如商用车、乘用车、摩托车、飞行车、火车等),工业车辆(如:叉车、挂车、牵引车等),工程车辆(如挖掘机、推土车、吊车等),农用设备(如割草机、收割机等),游乐设备,玩具车辆等,本申请实施例对车辆的类型不作具体限定。再如,移动载体可以为飞机、或轮船等交通工具。下文以移动载体是车辆为例进行说明。
移动载体的座舱内的显示装置130主要分为两类,第一类是车载显示屏;第二类是投影显示屏,例如抬头显示装置(head up display,HUD)。车载显示屏是一种物理显示屏,是车载信息娱乐***的重要组成部分,座舱内可以设置有多块显示屏,如数字仪表显示屏,中控屏,副驾驶位上的乘客(也称为前排乘客)面前的显示屏,左侧后排乘客面前的显示屏以及右侧后排乘客面前的显示屏,甚至是车窗也可以作为显示屏进行显示。抬头显示,也称平视显示***。主要用于在驾驶员前方的显示设备(例如挡风玻璃)上显示例如时速、导航等驾驶信息。以降低驾驶员视线转移时间,避免因驾驶员视线转移而导致的瞳孔变化,提升行驶安全性和舒适性。HUD例如包括组合型抬头显示(combiner-HUD,C-HUD)***、风挡型抬头显示(windshield-HUD,W-HUD)***、增强现实型抬头显示***(augmented realityHUD,AR-HUD)。在一些可能的实现方式中,车载显示屏可以包括人机交互界面(humanmachine interface,HMI)。
在具体说明本申请实施例的具体方案之前,为了便于理解,首先对本申请实施例涉及的术语名词作如下解释。
1.驾驶员监测***(driver monitor system,DMS)
驾驶员监测***是用于监测驾驶员的状态,以防止驾驶员疲劳、分神等危害驾驶过程的行为发生。
2.运行设计域ODD
运行设计域,是自动驾驶汽车能够正常安全行驶的外部条件,如道路类型、行驶区域、速度、环境(例如,天气、白天/夜间等)等。
自动驾驶还处于不断发展的阶段,无法覆盖所有的驾驶场景。因此,ODD就是用于启动自动驾驶***的运行限制条件。如果车辆行驶的外部环境不符合ODD,也就是超过自动驾驶***的设定好的ODD,那么自动驾驶***可以发出驾驶员提醒,使得驾驶员可以及时接管车辆,以防事故的发生。
3.最小风险策略(minimum risk maneuver,MRM)
最小风险策略是指自动驾驶***在出现***性的失效(导致***不工作的故障)或者出现超过***原有的ODD的情况下,所采取的最小化风险的解决路径,以保障自动驾驶车辆在运行过程中安全。这套策略可在自动驾驶***要求人工接管而未得到响应的情况下自动执行,也可在面临严重碰撞风险或车辆故障情况下自动执行。
自动驾驶分为不同的等级,L0级为无自动化;L1级为驾驶支援;L2级为部分自动化;L3级为有条件自动化;L4级为高度自动化;L5级为完全自动化。其中,L1级至L3级监测路况并做出反应的任务都由驾驶员和***共同完成,并需要驾驶员接管动态驾驶任务。广义上来说,L1级至L3级的自动驾驶属于人机共驾的阶段。L4和L5级可以让驾驶员完全转变为乘客的角色。
虽然将自动驾驶分为不同的等级,但是如果发生以下情况,驾驶员都需要及时接管车辆。以防止事故的发生。例如,自动驾驶***故障,或者车辆驾驶条件处于ODD之外,或者车辆处于紧急情况之下等。
目前,驾驶员监测***和分级提醒***中的显示提醒,大多数都是基于车载的显示装置130,在自动驾驶处于L3级以下时,自动驾驶***实则可以看作驾驶辅助***,辅助驾驶员的驾驶操作,驾驶员仍然为驾驶任务的主要操作者以及责任者。因此,处于L3级以下的驾驶辅助***是不允许驾驶员处于脱手脱眼状态的,也就是驾驶员在整个驾驶过程中是在环状态。因此,当目前的驾驶员监测***,监测到驾驶员处于不在环状态时,分级提醒***发出驾驶员提醒。从视觉、声觉和触觉上,分别通过显示装置、发声装置(例如,扬声器)以及安全带来实现分级接管提醒。
随着自动驾驶技术的发展,当ADS***被激活后,驾驶员处于生理和心理等因素的影响,驾驶员无法时刻关注座舱内的显示装置,驾驶员可能在使用移动终端,例如,智能手机、平板电脑、智能手环或智能手表等移动终端。如果此时出现紧急情况,驾驶员监测***监测到驾驶员处于不在环状态时,分级提醒***需要发出驾驶员提醒信息。由于驾驶员的注意力并不是在驾驶任务上,因此,基于目前的座舱显示装置进行显示提醒的方式,有可能使得驾驶员接收到接管显示提醒的最佳时机,从而引发潜在的交通事故的发生。
为了解决上述问题,本申请实施例提出了一种驾驶员提醒方法、装置、***和车辆,降低驾驶员错过接收到接管显示提醒最佳时机的风险,从而提高自动驾驶的行车安全性。
图2是本申请实施例提供的一种驾驶员提醒方法200的流程示意图。如图2所述,该方法200可以由移动载体(例如,车辆)执行,或者,该方法200可以由计算平台和提示装置组成的***执行,或者,该方法200可以由计算平台执行,或者,该方法200可以由计算平台中的片上***(system-on-a-chip,SOC)执行,或者,该方法200可以由计算平台中的处理器执行。该方法200包括:
S210,在移动载体处于驾驶状态时,获取来自移动终端的传感器采集的第一数据,且获取移动载体的座舱内的传感器采集的第二数据。
应理解,在移动载体处于驾驶状态时,可以为在行车场景中移动载体开启了自适应巡航控制(adaptive cruise control,ACC)、移动载体开启了车道居中控制(lanecentering control,LCC)、领航辅助驾驶(navigate on autopilot,NOA)等功能,还可以为在泊车场景中移动载体开启了自动泊车辅助功能(auto parking assist,APA)等功能。
需要说明的是,移动终端的传感器可以为移动终端的摄像装置或者屏幕触摸感应装置等,移动载体的座舱内的传感器可以为DMS***中的摄像装置,该摄像装置可以安装于内后视镜上、驾驶位置侧的A柱上、或者方向盘上等位置,本申请实施例对此不作限制。
示例性地,移动终端可以是智能手机、平板电脑、智能手环或智能手表等移动终端。
S220,根据第一数据和第二数据,确定驾驶员状态。
作为一种可能的实现方式,判断第一数据和第二数据的可靠性,根据可靠的驾驶数据,确定驾驶员状态,其中,可靠的驾驶数据可以为第一数据或者第二数据。
示例性地,当移动载体的座舱内的传感器追踪驾驶员视线时,仅可以追踪到驾驶员的一只眼睛,而移动终端的传感器追踪驾驶员视线时,可以追踪到驾驶员的两只眼睛,那么来自移动终端的传感器的第一数据更加可靠。反之,来自移动载体的座舱内的传感器的第二数据更加可靠。
作为一种可能的实现方式,融合第一数据和第二数据,得到驾驶员状态。
具体地,融合第一数据和第一数据的原始数据,得到驾驶员状态,或者融合第一数据的数据结果和第二数据的数据结果,得到驾驶员状态。
应理解,驾驶员状态可以为驾驶员在环或者驾驶员不在环,其中,驾驶员在环表示驾驶员注意力在驾驶任务上,驾驶员不在环可以表示驾驶员注意力不在驾驶任务上,例如,驾驶员出现分神、疲劳、使用移动终端设备等异常驾驶行为。
S230,在驾驶员状态指示驾驶员不在环时,控制提示装置提示驾驶员接管移动载体。
在本申请实施例中,第二数据来自固定安装在座舱内的摄像装置,其安装位置固定,安装角度固定,因此座舱内摄像装置可能存在视场角(filed of view,FOV)不足或者被遮挡的情况,使得座舱内摄像装置采集的数据不准确,从而导致仅根据DMS得到的驾驶员状态不准确的情况。因此,本申请实施例中,通过移动终端获得的第一数据可以弥补座舱采集的第二数据在视角上存在的不足,多元数据确定的驾驶状态,可以提高对驾驶员状态判断的准确性。基于准确的驾驶员状态,既能防止由于DMS的误检发出的驾驶员提醒,改善用户体验,又能有助于通过多设备发出驾驶员提醒,降低驾驶员错过接管提醒带来的安全隐患,从而提高行驶安全性。
图3是本申请实施例提供的一种移动终端接入移动载体的交互流程300的示意图。
S301,移动终端向车载座舱数字平台发送接入请求消息。
作为一种可能的实现方式,移动终端可以通过无线通信方式向车载座舱数字平台发送接入请求消息。其中,无线通信方式可以为近场通信(near field communication,NFC)、蓝牙(Bluetooth)或者绿牙等方式,本申请实施例对此不作限制。
示例性地,车载座舱数字平台可以为座舱域控制器(cockpit domaincontroller,CDC)。
S302,车载座舱数字平台授权移动终端接入。
作为一种可能的实现方式,车载座舱数字平台通过信息安全机制,根据请求接入的移动终端的身份标识码(identity document,ID),判断认证该移动终端的ID是否属于已注册的白名单用户对应的移动终端。如果判断认证通过,那么车载座舱数字平台接收移动终端的接入请求,并授权移动终端接入。如果判断认证不通过,那么车载座舱数字平台拒绝该移动终端的接入请求。
S303,车载座舱数字平台向移动终端发送接入应答消息。
应理解,车载座舱数字平台也可以通过无线通信方式将接入应答消息发送给移动终端,具体的无线通信方式和S301中类似。
S304,车载座舱数字平台向车辆的计算平台发送移动终端接入消息。
作为一种可能的实现方式,车载座舱数字平台通过网关将移动终端接入消息发送给车辆的计算平台。
应理解,车辆的计算平台可以为图1中的计算平台130,例如,可以为移动数据中心(mobile data center,MDC)。
作为一种可能的实现方式,如果车辆的计算平台具有无线通信功能,移动终端接入车辆的交互过程可以直接通过无线通讯的方式,实现移动终端接入车辆的计算平台中。
图4是本申请实施例提供的一种移动终端和车载座舱数字平台连接示意图。
当移动终端通过图3所示的消息交互流程接入车载座舱数字平台后,车载座舱数字平台的显示装置,显示弹窗内容:移动终端已接入。例如,如图4所示,中控屏幕显示:移动终端1已接入,其中,移动终端1可以为如图4所示的智能手机。
移动终端显示弹窗内容“本机设备接入车载座舱数字平台”,如图4所示,与此同时,驾驶员在环应用被启动,移动终端显示弹窗内容:“驾驶员在环应用”启动,如图4所示。
示例性地,如图4所示,座舱内的传感器可以是座舱内的摄像装置,座舱内的摄像装置安装于驾驶员侧的A柱上,移动终端的传感器可以为智能手机的前置摄像头。当移动终端和车载座舱数字平台连接后,座舱内的摄像装置通过车内通信网络和车辆的计算平台连接,移动终端的摄像装置通过无线通信网络和车辆的计算平台连接。其中,车内通信网络可以是汽车串行总线,例如,控制器域网(controller area network,CAN)总线、本地互联网络(local interconnect network,LIN)总线等,还可以是车载以太网络,本申请实施例对此不作限制。
图5本申请实施例提供的另一种移动终端和车载座舱数字平台连接示意图。
如图5的所示,当移动终端通过图3所示的消息交互流程接入车载座舱数字平台后,车载座舱数字平台的显示装置上显示的内容和图4相同,为了简洁,在此不做赘述。移动终端的动态显示驾驶员在环服务的启动过程如图5的(a)至图5的(c)所示。
如图5的(a)所示,当移动终端通过图3所示的消息交互流程接入车载座舱数字平台后,移动终端显示弹窗内容“本机设备接入车载座舱数字平台”,如图5的(a)所示。
如图5的(b)所示,移动终端响应于第一操作,打开人机交互应用,例如,驾驶应用程序(application,APP)。
如图5的(c)所示的人机互联应用的操作界面,在人机交互应用启动之后,移动终端显示弹窗内容:“驾驶员在环服务”启动。
应理解,“驾驶员在环服务”启动的信息为弹窗信息,该信息在移动终端上显示一段时间之后,就会自动消失,此时,“驾驶员在环服务”在后台运行。
图6是本申请实施例提供的又一种移动终端和车载座舱数字平台连接示意图。当移动终端无摄像头装置时,可以通过移动终端的屏幕触摸感应装置监测驾驶员使用移动终端的情况。
当移动终端通过图3所示的消息交互流程接入车载座舱数字平台后,车载座舱数字平台的显示装置,显示弹窗内容:移动终端已接入。例如,如图6所示,中控屏幕显示:移动终端2已接入,其中,移动终端2可以为如图6所示的智能手表。移动终端的动态显示驾驶员在环服务的启动过程如图6的(a)至图6的(c)所示。驾驶员在环服务的动态启动过程和图5的(a)至图5的(c)相同,为了简洁,在此不做赘述。
ADS***被激活,也就是ADS***处于运行状态,座舱内的DMS***处于运行状态和移动终端中的“驾驶员在环服务”均已启动。
下面将结合图7至图13详细说明本申请实施例提供驾驶员提醒方法。
图7是本申请实施例提供的一种驾驶员提醒方法700的交互示意图。如图7所示,该方法700包括:
S701,移动终端获取第一数据。
作为一种可能的实现方式,通过移动终端的摄像装置采集第一数据,第一数据可以是移动终端所处位置视角下采集到的驾驶员的视频流数据。
作为一种可能的实现方式,通过移动终端的非摄像装置(例如,屏幕触摸感应装置)采集第一数据,第一数据可以是驾驶员点击移动终端的记录数据。
S702,车辆的计算平台获取第二数据和车辆行驶速度。
作为一种可能的实现方式,车辆的计算平台获取移动载体的传感器采集的第二数据。
示例性地,移动载体的传感器可以为座舱内的摄像装置,此时第二数据可以为座舱内的摄像装置追踪驾驶员视线的数据。
作为一种可能的实现方式,车辆的计算平台通过车内通信获取移动载体的行驶速度。
应理解,本申请实施例对S701和S702两个步骤的执行顺序不作限制。
S703,车辆的计算平台获取移动终端的第一数据。
作为一种可能的实现方式,车辆的计算平台通过无线通信方式,接收来自移动终端的第一数据。
作为一种可能的实现方式,移动终端通过无线通信方式,将第一数据发送给车载座舱数字平台,车载座舱数字平台再通过车内通信网络将第一数据发送给车辆的计算平台。
应理解,第一数据可以反映驾驶员的注意力是否在移动终端上。
还应理解,本申请实施例对S702和S703两个步骤的执行顺序不作限制。
S704,车辆的计算平台根据第一数据和/或第二数据,确定驾驶员状态。
其中,驾驶员状态用于指示驾驶员在环或者驾驶员不在环,如果驾驶员不在环,那么驾驶员状态还用于指示是否检测到驾驶员注意力在移动终端上。
应理解,驾驶员状态可以通过第二数据获得,或者通过第一数据获得,或者通过第二数据和第一数据获得。如表1所示,“1”表示驾驶员状态所采用的数据,“0”表示驾驶员状态未采用的数据。
表1
方式1 | 方式2 | 方式3 | |
第二数据 | 1 | 0 | 1 |
第一数据 | 0 | 1 | 1 |
方式1,车辆的计算平台根据第二数据,确定驾驶员状态。
示例性地,通过人工智能(artificial intelligent,AI)算法,对第二数据分析,完成对驾驶员活体在位检测、用户ID账号检测、头部位姿检测和视线追踪检测等检测任务,从而得到驾驶员是否在环的驾驶员状态。
其中,本申请实施例对具体的AI算法不作限定,例如,可以是卷积神经网络、循环神经网络、对抗神经网络等。
应理解,通过完成上述驾驶员检测任务,可以检测出驾驶员的驾驶异常行为,例如,驾驶员出现疲劳、分神、长时间使用手机等注意力不在驾驶任务上的异常行为。当检测出驾驶员出现驾驶异常行为,即可认为驾驶员状态中包括驾驶员不在环。
方式2,车辆的计算平台根据第一数据,确定驾驶员状态。
示例性地,当第一数据是通过移动终端的摄像装置获得的时,对第一数据的处理方式和第二数据类似,为了简洁,在此不做赘述。
方式3,车辆的计算平台根据第二数据和第一数据,确定驾驶员状态。
作为一种可能的实现方式,判断第一数据和第二数据的可靠性,根据可靠的驾驶数据,确定驾驶员状态,其中,可靠的驾驶数据可以为第一数据或者第二数据。
作为一种可能的实现方式,车辆的计算平台融合第二数据和第一数据,得到驾驶员状态。
通过AI算法融合第二数据和第一数据,得到驾驶员状态。
示例性地,第二数据和第一数据均为视频流数据,通过AI算法分析第二数据和第一数据中的驾驶员的视线,得到驾驶员是否在环,如果驾驶员不在环的话,进一步分析驾驶员的注意力是否在移动终端上。
驾驶员状态存在以下几种情况,第一种,驾驶员不在环,并且检测到驾驶员注意力在移动终端上,第二种,驾驶员不在环,并且未检测到驾驶员注意力在移动终端上,第三种驾驶员在环。
通过融合第二数据的数据结果和第一数据的数据结果,确定驾驶员状态
示例性地,第二数据的处理过程和方式1中类似,为了简洁,在此不做赘述。
示例性地,如果第一数据是通过移动终端的摄像装置获得的,那么对第一数据的处理方式和第二数据类似,为了简洁,在此不做赘述。
示例性地,如果第一数据是通过移动终端的屏幕触摸感应装置获得的,那么可以通过记录屏幕触摸的时间以及驾驶员操作屏幕的时间长度,来确定驾驶员是否在环。例如,如果驾驶员操作屏幕时间长度超过阈值,则确定驾驶员目前正在专注于移动终端,驾驶员不在环。
具体地,驾驶员状态如表2所示。
表2
情况1,如果根据第二数据,确定驾驶员状态为不在环,根据第一数据,也确定驾驶员状态为不在环,那么驾驶员状态包括驾驶员不在环,并且检测到驾驶员注意力在移动终端上。
例如,驾驶员正在查看移动终端的实时信息,开会等注意力在移动终端的情况,座舱采集的驾驶状态数据可以反映出驾驶员处于分神状态,移动终端采集的驾驶员状态也可以反映出驾驶员不在环。
情况2,如果根据第二数据,确定驾驶员状态为不在环,根据第一数据,确定驾驶员状态为未知是否在环,那么驾驶员状态包括驾驶员不在环,并且未检测到驾驶员的注意力在移动终端上。
需要说明的是,通过第一数据得到驾驶员是否在环未知的结果,意味着驾驶员的注意力不在移动终端上,无法通过移动终端的传感器采集的数据判断驾驶员是否在环。
例如,移动终端的传感器采集的第一数据可以为驾驶员操作移动终端的记录,该记录可以包括数据类型:驾驶员是否操作移动终端;数据返回值:0或1,其中,“0”可以表示驾驶员未操作移动终端,“1”可以表示驾驶员操作移动终端,当数据返回值为1时,该记录还包括驾驶员操作移动终端的时长。
又如,移动终端的传感器采集的第一数据可以为驾驶员的视线追踪数据,当驾驶员的注意力不在移动终端上时,驾驶员的视线追踪数据指示未检测到驾驶员注意力在移动终端上。
示例性地,当第一数据驾驶员操作移动终端的记录的数据返回值为0时,或者当第一数据表示驾驶员的双眼不在注视移动终端时,确定驾驶员状态为未知驾驶员是否在环。
情况2对应的场景可以为,通过座舱采集的驾驶状态数据可以确定驾驶员出现疲劳、分神等异常行为,即驾驶员不在环,但通过移动终端采集的驾驶状态数据确定驾驶员在环,即驾驶员并未操作移动终端的情况。
情况3,如果根据第二数据,确定驾驶员状态为在环,根据第一数据,也确定驾驶员状态为在环,那么驾驶员状态为驾驶员在环。
S705,在驾驶员状态指示驾驶员不在环时,车辆的计算平台控制提示装置提示驾驶员接管移动载体。
作为一种可能的实现方式,根据驾驶员不在环的持续时长,车辆的计算平台控制提示装置提示驾驶员接管移动载体。
具体地,当驾驶员状态包括驾驶员不在环时,并且驾驶员不在环的持续时长大于或等于第一阈值时,车辆的计算平台控制提示装置提示驾驶员接管移动载体。示例如,驾驶员不在环的持续时间超过15秒,车辆的计算平台控制提示装置提示驾驶员接管移动载体。
作为一种可能的实现方式,在驾驶员状态指示驾驶员不在环,且检测到紧急事件发生时,车辆的计算平台控制提示装置提示驾驶员接管移动载体。
具体地,紧急事件可以是ADS出现故障、或者车辆驾驶条件处于ODD之外,或者行驶车辆出现突发事件等紧急事件。
示例性地,在驾驶员不在环的持续时长还未到第一阈值时,车辆的计算平台检测到紧急事件发生后,控制提示装置提示驾驶员接管移动载体。
应理解,提示装置可以位于座舱内,例如,座舱内的显示装置、发声装置(例如,扬声器)、氛围灯、安全带振动装置等,本申请实施例对此不作限制。
作为一种可能的实现方式,在车辆的计算平台控制提示装置提示驾驶员接管移动载体之前,确定移动载体的行驶速度大于或等于速度阈值。速度阈值可以为10km/h,或者是其他数值,本申请实施例对此不作限制。
在本申请实施例中,将移动载体的行驶速度作为接管提醒触发的考虑因素,可以进一步提高行驶安全性,以及用户体验。例如,当自动驾驶***开启自动泊车功能时,驾驶员可以脱手脱眼,此时移动载体的速度是小于速度阈值的,除非有突发事件发生,不然驾驶员不会收到接管提醒信息,这样可以提高用户体验。
作为一种可能的实现方式,车辆的计算平台通过座舱分级提醒方式,来控制提示装置提示驾驶员接管移动载体。
图8是本申请实施例提供的一种座舱分级提醒方式的示意图。
如图8所示,座舱分级提醒方式可以包括座舱的第一级提醒、座舱的第二级提醒和座舱的三级提醒。其中,座舱的第一级提醒包括座舱内的显示提醒;座舱的第二级提醒包括座舱内的显示提醒和声音提醒;座舱的三级提醒包括座舱内的显示提醒、声音提醒和振动提醒。
S706,在驾驶员状态指示驾驶员不在环时,车辆的计算平台向移动终端发送第一提示信息,其中,第一提示信息用于指示驾驶员接管移动载体。
在本申请实施例中,通过座舱内接管提示装置和移动终端协作向驾驶员发出接管提醒信息,降低驾驶员由于错过座舱内发出的接管提醒而使得车辆发生事故的可能性,提高了接管提醒信息传递的有效性和及时性,从而提高了车辆的安全性。
作为一种可能的实现方式,根据驾驶员不在环的持续时长,车辆的计算平台向移动终端发送第一提示信息。
作为一种可能的实现方式,在驾驶员状态指示驾驶员不在环,且检测到紧急事件发生时,车辆的计算平台向移动终端发送第一提示信息。
作为一种可能的实现方式,在驾驶员状态指示驾驶员不在环,且检测到驾驶员的注意力在移动终端上时,向移动终端发送第一提示信息。
作为一种可能的实现方式,车辆的计算平台通过移动终端的分级提醒方式,向移动终端发送第一提示信息。
具体地,在检测到驾驶员的注意力在移动终端上时,车辆的计算平台通过移动终端的第一分级提醒方式,向移动终端发送第一提示信息。
在本申请实施例中,当驾驶员不在环并且驾驶员注意力在移动终端上时,通过座舱内提示装置和移动终端在第一时间发出接管提醒,可以避免驾驶员注意力在移动终端上时,错过座舱内接管提醒装置上显示的接管提醒,可以提高接管提醒发出的有效性和驾驶员接收到接管提醒的及时性,从而提高了车辆的安全性。
可选地,在检测到驾驶员的注意力不在移动终端上时,车辆的计算平台通过移动终端的第二分级提醒方式,向移动终端发送驾驶员提醒信息。
在本申请实施例中,当驾驶员不在环并且未检测到驾驶员注意力在移动终端上时,通过振动方式或者声音方式在移动终端接管提醒装置上发出接管提醒,可以降低当驾驶员注意力不在移动终端上且驾驶员不在环时错过接管提醒的可能性,进一步提高接管提醒发出的有效性和驾驶员接收到接管提醒的及时性,从而提高了车辆的安全性。例如,驾驶员状态指示驾驶员不在环,驾驶员出现疲劳、分神等异常行为,但驾驶员并未操作移动终端的情况,仅仅依靠座舱内的显示提醒可能无法让驾驶员及时接收到接管提醒信息,因此,额外通过移动终端的振动提醒或者声音提醒,可以提高驾驶员接收到接管提醒的及时性和有效性,从而提高了车辆的安全性。
图9是本申请实施例提供的一种移动终端的分级提醒方式示意图。
如图9的(a)所示,移动终端的第一分级提醒方式包括移动终端的第一级提醒、移动终端的第二级提醒和移动终端三级提醒。其中,移动终端的第一级提醒可以包括移动终端显示提醒;移动终端的第二级提醒可以包括移动终端显示提醒和声音提醒,或者包括移动终端显示提醒和振动提醒;移动终端三级提醒包括移动终端显示提醒、声音提醒和振动提醒。
如图9的(b)所示,移动终端的第二分级提醒方式包括移动终端的第一级提醒、移动终端的第二级提醒和移动终端的第三级提醒。其中,移动终端的第一级提醒可以包括移动终端的振动提醒,或者移动终端的声音提醒;移动终端的第二级提醒可以包括移动终端的振动提醒和声音提醒;移动终端三级提醒包括移动终端的显示提醒、声音提醒和振动提醒。
应理解,声音提醒可以是包括具体提示内容的语音提醒,例如,“请接管车辆”的语音提醒,也可以是无具体提示内容的声音提醒,例如,“嘀-嘀”的声音提醒。本申请实施例对声音提醒的类型不作限制。
还应理解,第二级提醒中的声音提醒可以比第一级提醒中的声音提醒更强烈,例如,如果是包括具体内容的语音提醒,那么语音提醒的音量可以增大,如果是不包括具体内容的声音提醒,那么可以提高语音提醒的频率,从“嘀-嘀”短促的声音变成“嘀嘀-嘀嘀”的急促的声音。
图10是本申请实施例提供的另一种驾驶员提醒方法1000的交互示意图。该方法1000包括:
S1001,移动终端获取第一数据。
需要说明的是,S1001和S701类似,详情请参考S701。
S1002,车辆的计算平台获取第二数据和车辆行驶速度。
需要说明的是,S1002和S702类似,详情请参考S702。
S1003,移动终端获取车辆的计算平台的第二数据和车辆行驶速度。
作为一种可能的实现方式,移动终端通过无线通信方式,获取来自车辆的计算平台的第二数据。
S1004,移动终端根据第一数据和/或第二数据,确定驾驶员状态。
需要说明的是,S1004中移动终端确定驾驶员状态的过程和S704中车辆的计算平台确定驾驶员状态的过程类似,详情请参考S704。
S1005,在驾驶员状态指示驾驶员不在环时,移动终端控制移动终端相应的装置提示驾驶员接管移动载体。
需要说明的是,S1005中移动终端控制移动终端相应的装置提示驾驶员接管移动载体的过程和S705中车辆的计算平台控制提示装置提示驾驶员接管移动载体的过程类似,详情请参考S705。
S1006,如果驾驶员状态包括驾驶员不在环,移动终端向车辆的计算平台发送第一提示信息,其中,第一提示信息用于指示驾驶员接管移动载体。
需要说明的是,S1006中的具体步骤可以参考S706。
作为一种可能的实现方式,确定驾驶员状态的过程可以由云端服务器实现,云端服务器将驾驶员状态发送给车辆的计算平台,车辆的计算平台控制提示装置提示驾驶员接管车辆,向移动终端发送第一提示信息。
图11是本申请实施例提供的一种基于驾驶员提醒记录的驾驶行为评估方法1100的示意图。
S1101,车辆的计算平台记录驾驶员接管车辆的响应参数。
应理解,响应参数包括一个驾驶任务中,接管提醒的次数和每次接管提醒中驾驶员接管车辆时对应的接管提醒等级。
应理解,接管提醒的方式是通过本申请实施例中图7所示的方式实现的。
例如,一个驾驶任务可以是从A地到B地的正常行驶任务,或者还可以为自动泊车任务。
其中,接管提醒的次数表示在一个驾驶任务中驾驶员不在环的次数,接管提醒次数越多表示驾驶员处于异常驾驶行为状态的次数越多,即驾驶员的驾驶行为越危险。
其中,驾驶员接管车辆时对应的接管提醒等级越高意味着驾驶员接管车辆反应时间越长,即驾驶员的驾驶行为越危险。
S1102,车辆的计算平台将响应参数发送给云端服务器。
S1103,云端服务器接收响应参数,并根据响应参数,确定驾驶员的驾驶行为分数,驾驶员的驾驶行为分数用于评估驾驶员的驾驶行为的安全性。
应理解,在一个驾驶任务中,如果接管提醒次数越多,那么驾驶行为分数越低。如果每次接管提醒中驾驶员接管车辆时对应的接管提醒等级越高,那么驾驶员行为分数越低。
在本申请实施例中,当驾驶员不在环的结果是通过座舱内驾驶员监测装置和移动终端采集的数据共同得到的时,那么基于此发出的驾驶员提醒越精准,从而使得驾驶员接管车辆的响应参数记录地更加准确,以便于提高后续信息推送的准确性。
S1104,云端服务器根据驾驶员的驾驶行为分数,向车辆推送定制信息。
例如,如果驾驶员的驾驶行为分数低,那么可以向车辆推送驾驶安全教育信息,如果驾驶员的驾驶行为分数高,那么可以向车辆推送新的自动驾驶功能。
图7和图10中都分别通过座舱的分级提醒方式和移动终端的分级提醒方式,使得驾驶员提醒信息可以通过座舱内的装置和移动终端传递给驾驶员。本申请实施例对座舱的分级提醒方式中每一级提醒的发出时机和移动终端的分级提醒方式中每一级提醒的发出时机不作限定,例如,座舱分级提醒方式中座舱的第i级提醒的发出时机和移动终端分级提醒方式中移动终端的第i级提醒的发出时机可以相同或者不同,其中i=1,2,3。
示例性地,下面将结合图12和图13详细说明座舱分级提醒方式中座舱的每一级提醒的发出时机和移动终端分级提醒方式中移动终端的每一级提醒的发出时机相同的驾驶员提醒信息发送过程。图12和13以图7所示的驾驶员提醒方法为例进行说明。并且以时间触发驾驶员提醒信息的传递为例进行说明。
图12是本申请实施例提供的一种驾驶员提醒信息发送流程1200的示意图。
S1201,在驾驶员状态指示驾驶员不在环时,车辆的计算平台控制提示装置提示驾驶员接管移动载体和向移动终端发送第一提示信息。
S1202,车辆的计算平台在控制提示装置发出座舱的第一级提醒的,同步地通过移动终端的第一级提醒向移动终端发送第一提示信息。
作为一种可能的实现方式,驾驶员不在环持续时长累计到第一阈值(例如,15秒),车辆的计算平台在控制提示装置发出座舱的第一级提醒的,同步地通过移动终端的第一级提醒向移动终端发送第一提示信息。
作为一种可能的实现方式,在驾驶员状态指示驾驶员不在环,并且检测到紧急事件发生时,车辆的计算平台在控制提示装置发出座舱的第一级提醒的,同步地通过移动终端的第一级提醒向移动终端发送第一提示信息。
该场景可以是,驾驶员不在环持续时长尚未累计到第一阈值,但是此时,检测到紧急事件发生,需要驾驶员接管车辆。
示例性地,如果驾驶员状态包括驾驶员的注意力在移动终端上,车辆的计算平台控制车辆座舱内的显示装置显示接管提醒信息,同步地向移动终端发送该显示提醒。
示例性地,如果驾驶员状态包括驾驶员的注意力不在移动终端上,车辆的计算平台控制车辆座舱内的显示装置显示接管提醒信息,同步地向移动终端发送振动提醒;或者,车辆的计算平台控制车辆座舱内的显示装置显示接管提醒信息,同步地向移动终端发送声音提醒。
S1203,判断驾驶员是否已经接管车辆。
当驾驶员已经接管车辆,执行S1201,也就是驾驶员提醒进入新的提醒周期,在驾驶员状态指示驾驶员不在环时,控制提示装置提示驾驶员接管移动载体和向移动终端发送第一提示信息。
当驾驶员未接管车辆时,执行S1204,车辆的计算平台在控制提示装置发出座舱的第二级提醒,同步地通过移动终端的第二级提醒向移动终端发送第一提示信息。
作为一种可能的实现方式,驾驶员不在环持续时长累计到第二阈值(例如,30秒),车辆的计算平台在控制提示装置发出座舱的第二级提醒,同步地向移动终端发送移动终端的第二级提醒。
作为一种可能的实现方式,在检测到紧急事件发生后,驾驶员不在环持续时长累计到第四阈值(例如,20s)时,车辆的计算平台在控制提示装置发出座舱的第二级提醒,同步地向移动终端发送移动终端的第二级提醒。
该场景可以是,在检测到紧急事件发生时,在座舱和移动终端的第一级提醒下,驾驶员未接管车辆,此时驾驶员不在环持续时长累计到第四阈值,触发座舱和移动终端的第二级提醒。
示例性地,如果驾驶员状态包括驾驶员注意力在移动终端上,车辆的计算平台在控制提示装置发出座舱的第二级提醒,同步地通过移动终端的第二级提醒向移动终端发送第一提示信息可以为:第一,车辆的计算平台在控制车辆座舱内的显示装置显示接管提醒信息和车辆座舱内发声装置发出声音提醒,同步地向移动终端发送显示提醒和声音提醒。或者,第二,车辆的计算平台在控制车辆座舱内的显示装置显示接管提醒信息和车辆座舱内发声装置发出声音提醒,同步地向移动终端发送显示提醒和振动提醒。
示例性地,如果驾驶员状态包括驾驶员注意力不在移动终端上,车辆的计算平台在控制提示装置发出座舱的第二级提醒,同步地通过移动终端的第一级提醒向移动终端发送第一提示信息可以为第一,车辆的计算平台在控制车辆座舱内的显示装置显示接管提醒信息和车辆座舱内发声装置发出声音提醒,同步地向移动终端发送振动提醒和声音提醒。
S1205,判断驾驶员是否已经接管车辆,
当驾驶员已经接管车辆,执行S1201,也就是驾驶员提醒进入新的提醒周期。
当驾驶员未接管车辆时,执行S1206,车辆的计算平台在控制提示装置发出座舱的第三级提醒,同步地通过移动终端的第三级提醒向移动终端发送第一提示信息。
作为一种可能的实现方式,驾驶员不在环持续时长累计到第三阈值(例如,50秒),车辆的计算平台在控制提示装置发出座舱的第三级提醒,同步地通过移动终端的第三级提醒向移动终端发送第一提示信息。
作为一种可能的实现方式,在检测到紧急事件发生后,驾驶员不在环持续时长累计到第五阈值(例如,35s)时,车辆的计算平台在控制提示装置发出座舱的第三级提醒,同步地向移动终端发送移动终端的第三级提醒。
该场景可以是,在检测到紧急事件发生时,在座舱和移动终端的第一级提醒和第二级提醒下,驾驶员未接管车辆,此时驾驶员不在环持续时长累计到第五阈值,触发座舱和移动终端的第三级提醒。
示例性地,无论驾驶员状态包括驾驶员注意力在移动终端上还是包括驾驶员注意力不在移动终端上,车辆的计算平台在控制车辆座舱内的显示装置显示接管提醒信息,车辆座舱内的发声装置发出声音提醒和车辆座舱内的安全带发出振动提醒,同步地向移动终端发送移动终端的显示提醒、声音提醒和振动提醒。
S1207,判断驾驶员是否已经接管车辆,
当驾驶员已经接管车辆,执行S1201,也就是驾驶员提醒进入新的提醒周期。
当驾驶员未接管车辆时,执行S1208,自动驾驶***进入惩罚状态,例如,自动驾驶***强制制动。
在本申请实施例中,通过同步地使用座舱内接管提醒装置和移动终端接管提醒装置,可以加强驾驶员提醒信息发送的时效性和有效性,提高行驶安全性。
下面将结合图13详细说明座舱内驾驶员提醒信息和移动终端驾驶员提醒信息的人机交互示意图。以时间触发驾驶员提醒信息的传递为例进行说明
图13是本申请实施例提供的一种座舱内驾驶员提醒信息和移动终端驾驶员提醒信息的人机交互示意图。图13是驾驶员状态包括驾驶员注意力在移动终端上。
如图13的(a)所示,当驾驶员不在环持续时长累计到第一阈值时,座舱的显示装置和移动终端的屏幕同步地显示第一级提醒,例如,在座舱的显示装置中显示“请接管车辆”的提醒,同步地移动终端的屏幕上显示“请接管车辆”的弹窗。
应理解,车辆的计算平台可以通过车内通信(例如,汽车串行总线或者车载以太网络)控制车内的显示装置显示座舱的第一级提醒。车辆的计算平台通过无线网络将移动终端的第一级提醒发送给移动终端,或者车辆的计算平台通过车内通信将第一级提醒发送给车载座舱数字平台,车载座舱数字平台再通过无线通信将第一级提醒发给移动终端。
如图13的(b)所示,当驾驶员在第一级提醒下未及时接管车辆时,驾驶员不在环持续时长累计到第二阈值,座舱的显示装置和发声装置发出第二级提醒,同步地移动终端的屏幕和发声装置发出第二级提醒。例如,在座舱的显示装置中显示“请接管车辆”的提醒,在座舱的发声装置中发出“请接管车辆”的提醒,同步地移动终端的屏幕上显示“请接管车辆”的弹窗,移动终端的发声装置发出“请接管车辆”的语音提醒。
应理解,图13的(b)仅仅示出了如果驾驶员注意力在移动终端上的,座舱和移动终端发出的一种第二级提醒方式,其他第二级提醒方式请具体参考前文的描述。
如图13的(c)所示,当驾驶员在第二级提醒才未及时接管车辆时,驾驶员不在环持续时长累计到第三阈值,座舱的显示装置、发声装置和振动装置(例如,主动安全带振动)发出三级提醒,同步地移动终端的屏幕、发声装置和振动装置发出三级提醒。例如,在座舱的显示装置中显示“请接管车辆”的提醒,在座舱的发声装置中发出“请接管车辆”的提醒,驾驶员的安全带发出振动提醒,同步地移动终端的屏幕上显示“请接管车辆”的弹窗,移动终端的发声装置发出“请接管车辆”的语音提醒,移动终端的振动装置发出振动提醒。
当驾驶员在三级提醒下未及时接管车辆时,自动驾驶***进入惩罚状态,例如,自动驾驶***强制制动。
作为一种可能的实现方式,座舱分级提醒方式中座舱的每一级提醒的发出时机和移动终端分级提醒方式中移动终端的每一级提醒的发出时机可以不同。
示例性地,先控制提示装置发出座舱的第一级提醒,在驾驶员没有接管车辆的情况下,驾驶员注意力在移动终端上时,再将移动终端的第一级提醒发送给移动终端,如果驾驶员没有接管车辆,那么后续再依次发出座舱的第二级提醒、移动终端的第二级提醒、座舱的第三级提醒和移动终端的第三级提醒,如果驾驶员在多设备多级提醒下都未接管车辆时,自动驾驶***进入惩罚状态。
在本申请实施例中,座舱接管提醒信息的发出时机和移动终端接管提醒信息发出的时机为交错的,可以避免同一时间多设备同时发出接管提醒,而是通过不同设备交错时间发出提醒信息,在总的提醒时长不变的情况下,提高接管提醒的频率。相比于,目前仅基于座舱内设备进行接管提醒而言,即使将目前的提醒频率提高,也不一定可以在错过座舱内发出的接管提醒之后,有效地接收到接管提醒信息,以及时接管车辆,提高行驶安全性。此外,接管提醒信息发出的时机为交错式的,可以避免在同一时刻驾驶员接收过多的提醒信息产生厌烦情绪,以此在提高行驶安全性的同时也可以提高用户体验。
作为一种可能的实现方式,座舱的第一级提醒和移动终端的第一级提醒的发出时机相同,如果驾驶员没有接管车辆,那么依次发出座舱的第二级提醒,再发出移动终端的第二级提醒,如果驾驶员在座舱和移动终端的第二级提醒下都未接管车辆,那么同步地发出座舱的第三级提醒和移动终端的第三级提醒,如果驾驶员在多设备多级提醒下都未接管车辆时,自动驾驶***进入惩罚状态。
在本申请实施例中,针对驾驶员不在环,行驶车速满足车速阈值条件,并且突发事件发生的情况或者驾驶员不在环持续时长达到第一阈值时,可以在第一时间通过多设备提醒驾驶员接管,从而防止驾驶员在第一时间错过接管提醒信息,从而提高行驶安全性。
上述内容为本申请实施例的驾驶员提醒方法,下面将结合图14和15对驾驶员提醒装置做详细说明。应理解,装置实施例的描述和方法实施例的描述相互对应。因此,未详细描述的内容可以参见上文方法实施例,为了简洁,在此不作赘述。
图14是本申请实施例提供的一种驾驶员提醒装置的示意图。如图14所示,该装置包括:获取单元1401、确定单元1402和控制单元1403。
获取单元1401用于,在移动载体处于驾驶状态时,获取来自移动终端的传感器采集的第一数据,且获取移动载体的座舱内的传感器采集的第二数据;
确定单元1402用于,根据第一数据和第二数据,确定驾驶员状态;
控制单元1403用于,在驾驶员状态指示驾驶员不在环时,控制提示装置提示驾驶员接管移动载体。
可选地,该装置还包括通信单元1404,该通信单元1404用于,向移动终端发送第一提示信息,第一提示信息用于指示驾驶员接管移动载体。
可选地,该装置还包括第一检测单元1405,在第一检测单元1405检测到驾驶员的注意力在移动终端上时,该通信单元1404用于,向移动终端发送第一提示信息。
可选地,该控制单元1403用于,根据驾驶员不在环的持续时长,控制提示装置提示驾驶员接管移动载体。
可选地,该装置还包括第二检测单元1406,在驾驶员状态指示驾驶员不在环,且第二检测单元1406检测到紧急事件发生时,该控制单元1403用于,控制提示装置提示驾驶员接管移动载体。
可选地,该确定单元1402还用于,在控制提示装置提示驾驶员接管移动载体之前,确定移动载体的行驶速度大于或等于速度阈值。
示例性地,该获取单元1401可以是图1中的计算平台或者计算平台中的处理电路、处理器或者控制器。以获取单元1401为计算平台中的处理器151为例,在移动载体处于驾驶状态时,处理器151可以获取来自移动终端的传感器采集的第一数据和移动座舱内的传感器采集的第二数据。
示例性地,该确定单元1402可以是图1中的计算平台或者计算平台中的处理电路、处理器或者控制器。以确定单元1402为计算平台中的处理器152为例,处理器152可以根据第一数据和第二数据,确定驾驶员状态。
示例性地,该控制单元1403可以是图1中的计算平台或者计算平台中的处理电路、处理器或者控制器。以控制单元1403为计算平台中的处理器153为例,在驾驶员状态指示驾驶员不在环时,处理器152可以控制提示装置提示驾驶员接管移动载体。
以上获取单元1401所实现的功能、确定单元1402和控制单元1403所实现的功能可以分别由不同的处理器实现,或者,也可以由相同的处理器实现,本申请实施例对此不作限定。
应理解以上装置中各单元的划分仅是一种逻辑功能的划分,实际实现时可以全部或部分集成到一个物理实体上,也可以物理上分开。此外,装置中的单元可以以处理器调用软件的形式实现;例如装置包括处理器,处理器与存储器连接,存储器中存储有指令,处理器调用存储器中存储的指令,以实现以上任一种方法或实现该装置各单元的功能,其中处理器例如为通用处理器,例如CPU或微处理器,存储器为装置内的存储器或装置外的存储器。或者,装置中的单元可以以硬件电路的形式实现,可以通过对硬件电路的设计实现部分或全部单元的功能,该硬件电路可以理解为一个或多个处理器;例如,在一种实现中,该硬件电路为ASIC,通过对电路内元件逻辑关系的设计,实现以上部分或全部单元的功能;再如,在另一种实现中,该硬件电路为可以通过PLD实现,以FPGA为例,其可以包括大量逻辑门电路,通过配置文件来配置逻辑门电路之间的连接关系,从而实现以上部分或全部单元的功能。以上装置的所有单元可以全部通过处理器调用软件的形式实现,或全部通过硬件电路的形式实现,或部分通过处理器调用软件的形式实现,剩余部分通过硬件电路的形式实现。
在本申请实施例中,处理器是一种具有信号的处理能力的电路,在一种实现中,处理器可以是具有指令读取与运行能力的电路,例如CPU、微处理器、GPU、或DSP等;在另一种实现中,处理器可以通过硬件电路的逻辑关系实现一定功能,该硬件电路的逻辑关系是固定的或可以重构的,例如处理器为ASIC或PLD实现的硬件电路,例如FPGA。在可重构的硬件电路中,处理器加载配置文档,实现硬件电路配置的过程,可以理解为处理器加载指令,以实现以上部分或全部单元的功能的过程。此外,还可以是针对人工智能设计的硬件电路,其可以理解为一种ASIC,例如NPU、TPU、DPU等。
可见,以上装置中的各单元可以是被配置成实施以上方法的一个或多个处理器(或处理电路),例如:CPU、GPU、NPU、TPU、DPU、微处理器、DSP、ASIC、FPGA,或这些处理器形式中至少两种的组合。
此外,以上装置中的各单元可以全部或部分可以集成在一起,或者可以独立实现。在一种实现中,这些单元集成在一起,以SOC的形式实现。该SOC中可以包括至少一个处理器,用于实现以上任一种方法或实现该装置各单元的功能,该至少一个处理器的种类可以不同,例如包括CPU和FPGA,CPU和人工智能处理器,CPU和GPU等。
图15是本申请实施提供的一种驾驶员提醒装置的硬件结构示意图。图15所示的驾驶员提醒装置1500可以包括:存储器1510、处理器1520、以及通信接口1530。其中,存储器1510、处理器1520,通信接口1530通过内部连接通路相连,该存储器1510用于存储指令,该处理器1520用于执行该存储器1520存储的指令,以控制输入/输出接口1530接收/发送第二信道模型的至少部分参数。可选地,存储器1510既可以和处理器1520通过接口耦合,也可以和处理器1520集成在一起。
示例性地,驾驶员提醒装置1500可以是图1中的计算平台150。
需要说明的是,上述通信接口1530使用例如但不限于收发器一类的收发装置,来实现通信设备1500与其他设备或通信网络之间的通信。上述通信接口1530还可以包括输入/输出接口(input/output interface)。
在实现过程中,上述方法的各步骤可以通过处理器1520中的硬件的集成逻辑电路或者软件形式的指令完成。结合本申请实施例所公开的方法可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器1510,处理器1520读取存储器1510中的信息,结合其硬件完成上述方法的步骤。为避免重复,这里不再详细描述。
还应理解,本申请实施例中,该存储器可以包括只读存储器和随机存取存储器,并向处理器提供指令和数据。处理器的一部分还可以包括非易失性随机存取存储器。例如,处理器还可以存储设备类型的信息。
应理解,本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
应理解,在本申请的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
本申请实施例还提供了一种显示***,该显示***包括计算平台和提示装置,该计算平台可以包括驾驶员提醒装置1500。
示例性的,该提示装置可以包括显示装置、发声装置(例如,扬声器)、安全带振动装置、氛围灯中的至少一种。
本申请实施例还提供了一种装置,该装置包括处理单元和存储单元,其中存储单元用于存储指令,处理单元执行存储单元所存储的指令,以使该装置执行上述驾驶员提醒方法。
本申请实施例还提供一种计算机可读介质,所述计算机可读介质存储有程序代码,当所述计算机程序代码在计算机上运行时,使得所述计算机执行上述方法。
本申请实施例还提供一种芯片,包括:至少一个处理器和存储器,所述至少一个处理器与所述存储器耦合,用于读取并执行所述存储器中的指令,以执行上述方法。
本申请实施例还提供一种车辆,包括:至少一个处理器和存储器,所述至少一个处理器与所述存储器耦合,用于读取并执行所述存储器中的指令,以执行上述方法。
在本说明书中使用的术语“部件”、“模块”、“***”等用于表示计算机相关的实体、硬件、固件、硬件和软件的组合、软件、或执行中的软件。例如,部件可以是但不限于,在处理器上运行的进程、处理器、对象、可执行文件、执行线程、程序和/或计算机。通过图示,在计算设备上运行的应用和计算设备都可以是部件。一个或多个部件可驻留在进程和/或执行线程中,部件可位于一个计算机上和/或分布在2个或更多个计算机之间。此外,这些部件可从在上面存储有各种数据结构的各种计算机可读介质执行。部件可例如根据具有一个或多个数据分组(例如来自与本地***、分布式***和/或网络间的另一部件交互的二个部件的数据,例如通过信号与其它***交互的互联网)的信号通过本地和/或远程进程来通信。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同装置来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的***、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的***、方法和装置,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述装置的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
Claims (18)
1.一种驾驶员提醒方法,其特征在于,包括:
在移动载体处于驾驶状态时,获取来自移动终端的传感器采集的第一数据,且获取所述移动载体的座舱内的传感器采集的第二数据;
根据所述第一数据和所述第二数据,确定驾驶员状态;
在所述驾驶员状态指示所述驾驶员不在环时,控制提示装置提示所述驾驶员接管所述移动载体。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
向所述移动终端发送第一提示信息,所述第一提示信息用于指示所述驾驶员接管所述移动载体。
3.根据权利要求2所述的方法,其特征在于,所述向所述移动终端发送第一提示信息包括:
在检测到所述驾驶员的注意力在所述移动终端上时,向所述移动终端发送第一提示信息。
4.根据权利要求1至3任一项所述的方法,其特征在于,所述控制提示装置提示所述驾驶员接管所述移动载体包括:
根据所述驾驶员不在环的持续时长,控制所述提示装置提示所述驾驶员接管所述移动载体。
5.根据权利要求1至3任一项所述的方法,其特征在于,所述控制提示装置提示所述驾驶员接管所述移动载体包括:
在所述驾驶员状态指示所述驾驶员不在环,且检测到紧急事件发生时,控制所述提示装置提示所述驾驶员接管所述移动载体。
6.根据权利要求1至5任一项所述的方法,其特征在于,所述方法还包括:
在控制所述提示装置提示所述驾驶员接管所述移动载体之前,确定所述移动载体的行驶速度大于或等于速度阈值。
7.一种驾驶员提醒装置,其特征在于,所述装置包括获取单元、确定单元和控制单元,
所述获取单元用于,在移动载体处于驾驶状态时,获取来自移动终端的传感器采集的第一数据,且获取所述移动载体的座舱内的传感器采集的第二数据;
所述确定单元用于,根据所述第一数据和所述第二数据,确定驾驶员状态;
所述控制单元用于,在所述驾驶员状态指示所述驾驶员不在环时,控制提示装置提示所述驾驶员接管所述移动载体。
8.根据权利要求7所述的装置,其特征在于,所述装置还包括通信单元:
所述通信单元用于,向所述移动终端发送第一提示信息,所述第一提示信息用于指示所述驾驶员接管所述移动载体。
9.根据权利要求8所述的装置,其特征在于,所述装置还包括第一检测单元,
在所述第一检测单元检测到所述驾驶员的注意力在所述移动终端上时,所述通信单元用于:向所述移动终端发送第一提示信息。
10.根据权利要求7至9任一项所述的装置,其特征在于,所述控制单元用于:
根据所述驾驶员不在环的持续时长,控制所述提示装置提示所述驾驶员接管所述移动载体。
11.根据权利要求7至9任一项所述的装置,其特征在于,所述装置还包括第二检测单元,所述控制单元用于:
在所述驾驶员状态指示所述驾驶员不在环,且所述第二检测单元检测到紧急事件发生时,控制所述提示装置提示所述驾驶员接管所述移动载体。
12.根据权利要求7至11任一项所述的装置,其特征在于,所述确定单元还用于:
在所述控制单元控制所述提示装置提示所述驾驶员接管所述移动载体之前,确定所述移动载体的行驶速度大于或等于速度阈值。
13.一种驾驶员提醒装置,其特征在于,所述驾驶员提醒装置包括至少一个处理器和接口电路,所述处理器通过所述接口电路与提示装置通信;
所述至少一个处理器用于执行如权利要求1至6中任一项所述的方法,控制所述提示装置。
14.一种驾驶员提醒***,其特征在于,所述驾驶员提醒***包括计算平台和提示装置,其中所述计算平台包括如权利要求7至13中任一项所述的驾驶员提醒装置。
15.一种移动载体,其特征在于,包括如权利要求7至13中任一项所述的驾驶员提醒装置,或者包括如权利要求14所述的驾驶员提醒***。
16.根据权利要求15所述的移动载体,其特征在于,所述移动载体为车辆。
17.一种计算机可读存储介质,其特征在于,其上存储有计算机程序,所述计算机程序被计算机执行时,以使得实现如权利要求1至6所述的方法。
18.一种芯片,其特征在于,所述芯片包括处理器和数据接口,所述处理器通过所述数据接口读取存储器上存储的指令,以执行如权利要求1至6中任一项所述的方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211069559.0A CN115782914A (zh) | 2022-09-01 | 2022-09-01 | 一种驾驶员提醒方法、装置、***和移动载体 |
PCT/CN2023/112557 WO2024046091A1 (zh) | 2022-09-01 | 2023-08-11 | 一种驾驶员提醒方法、装置、***和移动载体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211069559.0A CN115782914A (zh) | 2022-09-01 | 2022-09-01 | 一种驾驶员提醒方法、装置、***和移动载体 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115782914A true CN115782914A (zh) | 2023-03-14 |
Family
ID=85431684
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211069559.0A Pending CN115782914A (zh) | 2022-09-01 | 2022-09-01 | 一种驾驶员提醒方法、装置、***和移动载体 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN115782914A (zh) |
WO (1) | WO2024046091A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024046091A1 (zh) * | 2022-09-01 | 2024-03-07 | 华为技术有限公司 | 一种驾驶员提醒方法、装置、***和移动载体 |
CN117799839A (zh) * | 2023-11-23 | 2024-04-02 | 中国民用航空上海航空器适航审定中心 | 一种飞机侧杆脱手监测和提醒的方法及*** |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102014225680A1 (de) * | 2014-12-12 | 2016-06-16 | Volkswagen Aktiengesellschaft | Verfahren und Vorrichtung zur Übernahmeaufforderung einer Fahraufgabe an den Fahrzeugführer eines Fahrzeugs im Rahmen des automatischen Fahrens des Fahrzeugs |
CN111619479B (zh) * | 2020-05-20 | 2022-03-01 | 重庆金康赛力斯新能源汽车设计院有限公司 | 驾驶接管提示方法、装置、***、车载控制器和存储介质 |
KR20220069177A (ko) * | 2020-11-19 | 2022-05-27 | 전남대학교산학협력단 | 자율 주행 차량의 스마트 제어 시스템 및 방법 |
CN113183968A (zh) * | 2021-04-25 | 2021-07-30 | 前海七剑科技(深圳)有限公司 | 抗疲劳驾驶方法、装置、设备及存储介质 |
CN115027488A (zh) * | 2022-07-08 | 2022-09-09 | 质子汽车科技有限公司 | 一种车辆控制方法、装置及智能车辆 |
CN115782914A (zh) * | 2022-09-01 | 2023-03-14 | 华为技术有限公司 | 一种驾驶员提醒方法、装置、***和移动载体 |
-
2022
- 2022-09-01 CN CN202211069559.0A patent/CN115782914A/zh active Pending
-
2023
- 2023-08-11 WO PCT/CN2023/112557 patent/WO2024046091A1/zh unknown
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024046091A1 (zh) * | 2022-09-01 | 2024-03-07 | 华为技术有限公司 | 一种驾驶员提醒方法、装置、***和移动载体 |
CN117799839A (zh) * | 2023-11-23 | 2024-04-02 | 中国民用航空上海航空器适航审定中心 | 一种飞机侧杆脱手监测和提醒的方法及*** |
Also Published As
Publication number | Publication date |
---|---|
WO2024046091A1 (zh) | 2024-03-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11659038B2 (en) | Smart vehicle | |
US11242064B1 (en) | Vehicle to vehicle telematics | |
US9718468B2 (en) | Collision prediction system | |
US10956983B1 (en) | Insurance system for analysis of autonomous driving | |
US10414407B1 (en) | Driving analysis using vehicle-to-vehicle communication | |
US11814054B2 (en) | Exhaustive driving analytical systems and modelers | |
US20210089048A1 (en) | Smart vehicle | |
US11526166B2 (en) | Smart vehicle | |
US10803525B1 (en) | Determining a property of an insurance policy based on the autonomous features of a vehicle | |
US10783587B1 (en) | Determining a driver score based on the driver's response to autonomous features of a vehicle | |
CN115782914A (zh) | 一种驾驶员提醒方法、装置、***和移动载体 | |
US10796369B1 (en) | Determining a property of an insurance policy based on the level of autonomy of a vehicle | |
US10424203B2 (en) | System and method for driving hazard estimation using vehicle-to-vehicle communication | |
US10783586B1 (en) | Determining a property of an insurance policy based on the density of vehicles | |
US20230182759A1 (en) | Methods and systems for imporiving user alertness in an autonomous vehicle | |
US11285966B2 (en) | Method and system for controlling an autonomous vehicle response to a fault condition | |
US20220383421A1 (en) | Electronic System for Forward-looking Measurements of Frequencies and/or Probabilities of Accident Occurrences Based on Localized Automotive Device Measurements, And Corresponding Method Thereof | |
EP4279350A1 (en) | Lane keeping based on lane position unawareness | |
CN117651669A (zh) | 辅助驾驶的方法、装置和车辆 | |
US20200218263A1 (en) | System and method for explaining actions of autonomous and semi-autonomous vehicles | |
US11926259B1 (en) | Alert modality selection for alerting a driver | |
WO2023189578A1 (ja) | 移動体制御装置、移動体制御方法、及び、移動体 | |
US11912313B2 (en) | Human machine interaction monitor | |
CN115635973A (zh) | 一种车辆驾驶方法及装置 | |
CN117715809A (zh) | 一种车辆驾驶方法、装置及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |