CN117944705A - 一种车辆行驶信息提示方法及***、一种车辆 - Google Patents
一种车辆行驶信息提示方法及***、一种车辆 Download PDFInfo
- Publication number
- CN117944705A CN117944705A CN202311699139.5A CN202311699139A CN117944705A CN 117944705 A CN117944705 A CN 117944705A CN 202311699139 A CN202311699139 A CN 202311699139A CN 117944705 A CN117944705 A CN 117944705A
- Authority
- CN
- China
- Prior art keywords
- driver
- target vehicle
- vehicle
- visual angle
- dangerous object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 82
- 230000000007 visual effect Effects 0.000 claims abstract description 162
- 230000008447 perception Effects 0.000 claims abstract description 59
- 238000006243 chemical reaction Methods 0.000 claims abstract description 57
- 230000008569 process Effects 0.000 claims abstract description 50
- 238000005286 illumination Methods 0.000 claims description 17
- 241001465754 Metazoa Species 0.000 claims description 8
- 230000003190 augmentative effect Effects 0.000 claims description 8
- 238000005259 measurement Methods 0.000 claims description 8
- 238000005516 engineering process Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 13
- 210000003128 head Anatomy 0.000 description 11
- 238000001514 detection method Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 7
- 230000009471 action Effects 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 6
- 230000002159 abnormal effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000008034 disappearance Effects 0.000 description 4
- 231100001261 hazardous Toxicity 0.000 description 4
- 239000000383 hazardous chemical Substances 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 239000007787 solid Substances 0.000 description 4
- 230000008719 thickening Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 239000000295 fuel oil Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/0097—Predicting future conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/0098—Details of control systems ensuring comfort, safety or stability not otherwise provided for
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0062—Adapting control system settings
- B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/146—Display means
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Human Computer Interaction (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明提供一种车辆行驶信息提示方法及***、一种车辆,包括:利用传感器对目标车辆的行驶环境进行感知;将感知结果按照驾驶员视角进行视角转换,并以驾驶员视角将视角转换结果中驾驶员视角被遮挡的物体或驾驶员视角不可见的物体记为危险物体;以及,通过感知结果获取危险物体的属性信息,并在目标车辆的行驶过程中基于危险物体的属性信息,向目标车辆的驾驶员输出提示信息。本发明在汽车行驶过程中,通过传感器感知获取车辆周围环境信息,然后根据感知结果判断在当前行驶场景下车辆外的物体是否存在需要驾驶员注意的物体,并通过车辆预先配置的设备显示、播报此类危险物信息,以提示驾驶员车辆周围情况,从而提高驾驶员驾驶汽车的安全性。
Description
技术领域
本发明涉及车辆技术领域,特别是涉及一种车辆行驶信息提示方法及***、一种车辆。
背景技术
在汽车行驶过程中,经常会遇到危险物遮挡,或者黑夜中难以识别的行人等驾驶员无法看到的目标物,导致行驶过程中危险的发生。危险物主要包含驾驶员识别不到但会给车辆行驶带来风险或造成事故的目标物,例如被遮挡的红绿灯、被遮挡的行人、光照不好条件下不可见的行人、盲区的目标物等。
由于人类驾驶员难以集中精力随时关注周围环境或受限于各类因素无法看到周围环境,无法时刻注意到此类不可见危险物,而智能车辆上的传感器虽然可随时监控周围环境,并有效判断不可见危险物或遮挡物的位置、状态等。但是,此类传感器信息目前没有单独做出预警或强调动作,导致针对不可见危险物人类驾驶员无法有效识别,在行驶过程中难以做出正确决策,导致危险的发生。此外,在以人为主的驾驶行为中,现有智能车辆可能会在可视化的中控屏上显示出目前识别到的状态信息,但对不可见危险物并无明确或特别提示,导致驾驶员可能无法直观识别到危险信息。
发明内容
鉴于以上所述现有技术的缺点,本发明的目的在于提供一种车辆行驶信息提示方法及***、一种车辆,用于解决现有技术中存在的技术问题。
为实现上述目的及其他相关目的,本发明提供一种车辆行驶信息提示方法,包括以下步骤:
利用目标车辆上预先或实时配置的传感器,对所述目标车辆的行驶环境进行感知,得到对应的感知结果;
将所述感知结果按照所述目标车辆上驾驶员视角进行视角转换,并以驾驶员视角将视角转换结果中驾驶员视角被遮挡的物体或驾驶员视角不可见的物体记为危险物体;以及,
通过所述感知结果获取所述危险物体的属性信息,并在所述目标车辆的行驶过程中基于所述危险物体的属性信息,向所述目标车辆的驾驶员输出提示信息;其中,所述危险物体的属性信息包括:所述危险物体的类别、所述危险物体的体积、所述危险物体的速度、所述危险物体相对于所述目标车辆的位置信息。
于本发明的一实施例中,将所述感知结果按照所述目标车辆上驾驶员视角进行视角转换前,所述方法还包括:
基于所述感知结果对所述目标车辆进行行驶场景匹配,确定在当前行驶场景下所述感知结果是否存在目标物体;其中,所述目标物体包括需要目标车辆上驾驶员注意的物体;
若所述感知结果存在目标物体,则将所述感知结果按照所述目标车辆上驾驶员视角进行视角转换;
若所述感知结果不存在目标物体,则继续利用目标车辆上预先或实时配置的传感器,对所述目标车辆的行驶环境进行感知。
于本发明的一实施例中,将所述感知结果按照所述目标车辆上驾驶员视角进行视角转换的过程包括:
获取所述目标车辆上传感器的位置视角,并将传感器的位置视角与驾驶员视角进行比对,确定传感器的位置视角是否与驾驶员视角一致;
若传感器的位置视角与驾驶员视角一致,则直接将所述感知结果作为视角转换结果;
若传感器的位置视角与驾驶员视角不一致,则基于传感器的位置视角和驾驶员视角,将所述感知结果按照所述目标车辆上驾驶员视角进行视角转换,得到对应的视角转换结果。
于本发明的一实施例中,以驾驶员视角将视角转换结果中驾驶员视角被遮挡的物体或驾驶员视角不可见的物体记为危险物体后,所述方法还包括:
利用目标车辆上预先或实时配置的传感器持续感知所述危险物体相对于所述目标车辆的位置信息,并基于所述位置信息确定所述危险物体是否超出所述目标车辆的预设提示范围;
若所述危险物体超出所述目标车辆的预设提示范围,则停止对所述危险物体进行感知,并将所述危险物体从对应的感知结果中进行移除;
若所述危险物体未超出所述目标车辆的预设提示范围,则继续利用目标车辆上预先或实时配置的传感器感知所述危险物体,直至将所述危险物体从对应的感知结果中进行移除。
于本发明的一实施例中,若所述危险物体未超出所述目标车辆的预设提示范围,则继续利用目标车辆上预先或实时配置的传感器感知所述危险物体的过程包括:
检测所述传感器在当前时刻是否感知到所述危险物体;
若所述传感器在当前时刻感知到所述危险物体,则基于所述危险物体相对于所述目标车辆的位置信息,确定所述危险物体是否超出所述目标车辆的预设提示范围;
若所述传感器在当前时刻未感知到所述危险物体,则基于前一时刻所述危险物体相对于所述目标车辆的位置信息、所述危险物体的速度以及所述目标车辆的行驶速度,确定所述危险物体是否超出所述目标车辆的预设提示范围。
于本发明的一实施例中,若当前行驶场景包括光照条件小于预设光照阈值,则确定在当前行驶场景下所述感知结果是否存在目标物体的过程包括:
将所述感知结果中与所述目标车辆的相对位置小于或等于预设距离的移动物体作为所述目标物体;其中,所述移动物体包括:行人、车辆和/或动物;
和/或,将所述感知结果中与所述目标车辆的相对位置小于或等于预设距离的静止物体作为所述目标物体;其中,所述静止物体包括:交通标志、植物和/或建筑物。
于本发明的一实施例中,在所述目标车辆的行驶过程中基于所述危险物体的属性信息,向所述目标车辆的驾驶员输出提示信息的过程包括:
在所述目标车辆的行驶过程中基于所述危险物体的属性信息,向所述目标车辆的驾驶员输出声音提示信息;和/或,在所述目标车辆的行驶过程中基于所述危险物体的属性信息,向所述目标车辆的驾驶员输出显示提示信息;
其中,所述显示提示信息包括:基于平视显示器生成的提示信息、基于增强现实头部显示器生成的提示信息、基于车载显示屏生成的提示信息。
于本发明的一实施例中,所述目标车辆上预先或实时配置的传感器包括以下至少之一:激光雷达、摄像头、毫米波雷达、超声波雷达、惯性测量单元、全球导航卫星***、红外传感器。
本发明还提供一种车辆行驶信息提示***,所述***包括有:
感知模块,用于利用目标车辆上预先或实时配置的传感器,对所述目标车辆的行驶环境进行感知,得到对应的感知结果;
视角转换模块,用于将所述感知结果按照所述目标车辆上驾驶员视角进行视角转换,并以驾驶员视角将视角转换结果中驾驶员视角被遮挡的物体或驾驶员视角不可见的物体记为危险物体;
信息提示模块,用于通过所述感知结果获取所述危险物体的属性信息,并在所述目标车辆的行驶过程中基于所述危险物体的属性信息,向所述目标车辆的驾驶员输出提示信息;其中,所述危险物体的属性信息包括:所述危险物体的类别、所述危险物体的体积、所述危险物体的速度、所述危险物体相对于所述目标车辆的位置信息。
本发明还提供一种车辆,所述车辆包括有传感器和处理器;其中,
所述传感器用于对所述车辆的行驶环境进行感知,得到对应的感知结果;
所述处理器用于将所述感知结果按照所述车辆上驾驶员视角进行视角转换,并以驾驶员视角将视角转换结果中驾驶员视角被遮挡的物体或驾驶员视角不可见的物体记为危险物体;以及,通过所述感知结果获取所述危险物体的属性信息,并在所述车辆的行驶过程中基于所述危险物体的属性信息,向所述车辆的驾驶员输出提示信息;其中,所述危险物体的属性信息包括:所述危险物体的类别、所述危险物体的体积、所述危险物体的速度、所述危险物体相对于所述车辆的位置信息。
如上所述,本发明提供一种车辆行驶信息提示方法及***、一种车辆,具有以下有益效果:本发明通过利用目标车辆上预先或实时配置的传感器,对目标车辆的行驶环境进行感知,得到对应的感知结果;然后将感知结果按照目标车辆上驾驶员视角进行视角转换,并以驾驶员视角将视角转换结果中驾驶员视角被遮挡的物体或驾驶员视角不可见的物体记为危险物体;以及,通过感知结果获取危险物体的属性信息,并在目标车辆的行驶过程中基于危险物体的属性信息,向目标车辆的驾驶员输出提示信息。由此可知,本发明在汽车行驶过程中,通过传感器感知获取一段时间内的车辆周围环境信息,然后根据感知结果判断在当前行驶场景下车辆外的物体是否存在需要驾驶员注意的物体,并以驾驶员视角判断这些物体是否为被遮挡或人眼不可见等不可见危险物,同时将不可见危险物对应的属性与标签发送至车辆显示***,通过车辆预先配置的设备进行强化显示、播报此类危险物信息,以提示驾驶员车辆周围情况,从而提高驾驶员驾驶汽车的安全性。所以,本发明可以根据车辆上的传感器的感知结果,来针对不可见危险物对驾驶员进行预警或强调动作,降低驾驶员在车辆行驶过程中由于行驶环境或精力不集中等原因所存在的风险,减少车辆与外部物体直接接触或碰撞的概率。
附图说明
图1为本发明中一实施例提供的车辆行驶信息提示方法的流程示意图;
图2为本发明中另一实施例提供的车辆行驶信息提示方法的流程示意图;
图3为本发明中一实施例提供的车辆行驶信息提示***的硬件结构示意图;
图4为本发明中另一实施例提供的车辆行驶信息提示***的硬件结构示意图;
图5为适用于实现本发明中一个或多个实施例的车辆的硬件结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。
需要说明的是,本实施例中所提供的图示仅以示意方式说明本发明的基本构想,遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也可能更为复杂。
图1示出了本发明一实施例提供的车辆行驶信息提示方法流程示意图。具体地,在一示例性实施例中,如图1所示,本实施例提供一种车辆行驶信息提示方法,该方法包括以下步骤:
S110,利用目标车辆上预先或实时配置的传感器,对目标车辆的行驶环境进行感知,得到对应的感知结果。在本实施例中,目标车辆上预先或实时配置的传感器可以根据实际情况进行设定,本实施例不对传感器的类型和数量进行限定。作为一示例,目标车辆上预先或实时配置的传感器包括但不限于激光雷达、摄像头、毫米波雷达、超声波雷达、惯性测量单元、全球导航卫星***、红外传感器。在本实施例中,目标车辆包括但不限于L0级人工驾驶车辆、L1级辅助驾驶车辆、L2级部分自动驾驶车辆、L3级条件自动驾驶车辆、L4级高度自动驾驶车辆、L5级完全自动驾驶车辆等。其中,L0级人工驾驶车辆、L1级辅助驾驶车辆、L2级部分自动驾驶车辆、L3级条件自动驾驶车辆、L4级高度自动驾驶车辆、L5级完全自动驾驶车辆等车辆可以是新能源车辆,也可以是燃油车辆。
S120,将感知结果按照目标车辆上驾驶员视角进行视角转换,并以驾驶员视角将视角转换结果中驾驶员视角被遮挡的物体或驾驶员视角不可见的物体记为危险物体;
S130,通过感知结果获取危险物体的属性信息,并在目标车辆的行驶过程中基于危险物体的属性信息,向目标车辆的驾驶员输出提示信息;其中,危险物体的属性信息包括但不限于:危险物体的类别、危险物体的体积、危险物体的速度、危险物体相对于目标车辆的位置信息。在本实施例中,危险物体可以根据实际情况进行设定,本实施例不对传感器的类型和数量进行限定。作为示例,在本实施例中的危险物体包括但不限于:被遮挡的红绿灯、被遮挡的正在朝向本车行驶地车辆、黑夜中的行人、车辆前方或车辆侧方被其他物体遮挡的,正在朝向本车辆行进的行人、车辆前方或车辆侧方被其他物体遮挡的正在朝向本车辆行进的动物、车辆后方或车辆侧方被其他物体遮挡的,正在朝向本车辆行进的行人、车辆后方或车辆侧方被其他物体遮挡的正在朝向本车辆行进的动物、被遮挡的交通标志、被遮挡的路面坑洼等。
由此可知,本实施例在汽车行驶过程中,通过传感器感知获取一段时间内的车辆周围环境信息,然后根据感知结果判断在当前行驶场景下车辆外的物体是否存在需要驾驶员注意的物体,并以驾驶员视角判断这些物体是否为被遮挡或人眼不可见等不可见危险物,同时将不可见危险物对应的属性与标签发送至车辆显示***,通过车辆预先配置的设备进行强化显示、播报此类危险物信息,以提示驾驶员车辆周围情况,从而提高驾驶员驾驶汽车的安全性。所以,本实施例可以根据车辆上的传感器的感知结果,来针对不可见危险物对驾驶员进行预警或强调动作,降低驾驶员在车辆行驶过程中由于行驶环境或精力不集中等原因所存在的风险,减少车辆与外部物体直接接触或碰撞的概率。
在本发明一示例性实施例中,将感知结果按照目标车辆上驾驶员视角进行视角转换前,本实施例还可以包括:基于感知结果对目标车辆进行行驶场景匹配,确定在当前行驶场景下感知结果是否存在目标物体;若感知结果存在目标物体,则将感知结果按照目标车辆上驾驶员视角进行视角转换;若感知结果不存在目标物体,则继续利用目标车辆上预先或实时配置的传感器,对目标车辆的行驶环境进行感知。其中,目标物体包括需要目标车辆上驾驶员注意的物体。作为一示例,在本实施例中,若当前行驶场景包括光照条件小于预设光照阈值,则确定在当前行驶场景下感知结果是否存在目标物体的过程包括:将感知结果中与目标车辆的相对位置小于或等于预设距离的移动物体作为目标物体;其中,移动物体包括:行人、车辆和/或动物;和/或,将感知结果中与目标车辆的相对位置小于或等于预设距离的静止物体作为目标物体;其中,静止物体包括:交通标志、植物和/或建筑物。作为示例,本实施例可以根据感知结果的时间序列信息或者V2X(Vehicle to everything,车用无线通信,简称V2X)等互联车辆、道路传过来的信息,来与数据库进行场景预先匹配,然后根据匹配结果判别在当前行驶场景下是否有需要驾驶员可能需要注意的物体,以便发出提醒。若有物体被匹配为驾驶员需要注意的物体,且当前被遮挡或不可见,则将感知结果按照目标车辆上驾驶员视角进行视角转换。在本实施例中,需要驾驶员注意的物体以配置文件的方式存放于控制器的存储单元EMMC(Embedded Multi Media Card,嵌入式多媒体卡,简称EMMC)或Flash中,并且可以进行升级与更新,以便筛选出需要持续跟踪并且需要驾驶员注意的物体。
在本发明一示例性实施例中,将感知结果按照目标车辆上驾驶员视角进行视角转换的过程包括:获取目标车辆上传感器的位置视角,并将传感器的位置视角与驾驶员视角进行比对,确定传感器的位置视角是否与驾驶员视角一致;若传感器的位置视角与驾驶员视角一致,则直接将感知结果作为视角转换结果;若传感器的位置视角与驾驶员视角不一致,则基于传感器的位置视角和驾驶员视角,将感知结果按照目标车辆上驾驶员视角进行视角转换,得到对应的视角转换结果。作为示例,在本实施例中,如果传感器在目标车辆上的布置位置与驾驶员位置不在同一位置,则需要将感知结果根据转换矩阵以及立体几何计算,将感知结果中的所有物体转换到驾驶员视角,以判别感知结果是否为以驾驶员视角被遮挡或为驾驶员不可见的危险物,并给出判别的危险物体或不可见危险物的位置、大小、速度等信息。
在本发明一示例性实施例中,以驾驶员视角将视角转换结果中驾驶员视角被遮挡的物体或驾驶员视角不可见的物体记为危险物体后,本实施例还可以包括:利用目标车辆上预先或实时配置的传感器持续感知危险物体相对于目标车辆的位置信息,并基于位置信息确定危险物体是否超出目标车辆的预设提示范围;若危险物体超出目标车辆的预设提示范围,则停止对危险物体进行感知,并将危险物体从对应的感知结果中进行移除;若危险物体未超出目标车辆的预设提示范围,则继续利用目标车辆上预先或实时配置的传感器感知危险物体,直至将危险物体从对应的感知结果中进行移除。其中,目标车辆的预设提示范围可提前或实时进行标定与设置,本实施例在此不再进行赘述。此外,在本实施例中,若危险物体未超出目标车辆的预设提示范围,则继续利用目标车辆上预先或实时配置的传感器感知危险物体的过程包括:检测传感器在当前时刻是否感知到危险物体;若传感器在当前时刻感知到危险物体,则基于危险物体相对于目标车辆的位置信息,确定危险物体是否超出目标车辆的预设提示范围;若传感器在当前时刻未感知到危险物体,则基于前一时刻危险物体相对于目标车辆的位置信息、危险物体的速度以及目标车辆的行驶速度,确定危险物体是否超出目标车辆的预设提示范围。在本实施例或其他一些实施例中,危险物体也可以被称为不可见危险物。
具体地,在本实施例中,当识别到危险物体后,还需要持续跟踪感知识别目标物体的状态,例如是否丢失、是否到达检测边缘等。具体地,首先判断目标不可见危险物是否已经到达目标车辆需要检测的范围边缘,即是否已经到达目标车辆的预设提示范围;若临近需要检测范围的边缘,则在后续处理中不再进行该目标物的判别与提示。若目标物体仍在需要检测的范围内,则需要持续跟踪,持续跟踪方式如上。将目标转换到驾驶员视角后,若出现被其他目标物遮挡的情况则判别为不可见危险物;驾驶员与车辆传感器当前时刻均无法感知到的,但是前序时刻有相关信息的,同样判别为不可见危险物。典型场景为被前方大型车辆遮挡的红绿灯。此类不可见危险物一是通过当前时刻前后一段时间的信息来进行判别,当某一时刻,某一处的感知(可以是自车感知,也可以是V2X获取的信息)判别出的目标物非正常性消失时,可判别为当前时刻被遮挡为不可见危险物。另一种判别方式为通过深度学习等算法,例如Transformer等进行直接判别,给出识别出的目标是否为遮挡或人眼不可见这一特征。在本实施例中,不可见危险物包括但不限于:被遮挡的红绿灯、被遮挡的正在朝向本车行驶地车辆、黑夜中的行人、车辆前方或车辆侧方被其他物体遮挡的,正在朝向本车辆行进的行人、车辆前方或车辆侧方被其他物体遮挡的正在朝向本车辆行进的动物、车辆后方或车辆侧方被其他物体遮挡的,正在朝向本车辆行进的行人、车辆后方或车辆侧方被其他物体遮挡的正在朝向本车辆行进的动物、被遮挡的交通标志、被遮挡的路面坑洼等。
根据上述记载,在本发明一示例性实施例中,在目标车辆的行驶过程中基于危险物体的属性信息,向目标车辆的驾驶员输出提示信息的过程包括:在目标车辆的行驶过程中基于危险物体的属性信息,向目标车辆的驾驶员输出声音提示信息;和/或,在目标车辆的行驶过程中基于危险物体的属性信息,向目标车辆的驾驶员输出显示提示信息;其中,显示提示信息包括:基于平视显示器生成的提示信息、基于增强现实头部显示器生成的提示信息、基于车载显示屏生成的提示信息。具体地,本实施例可以通过各类方式提示驾驶员危险物体的信息。例如,驾驶员可以通过车载中控显示屏等交互方式选择是否开启不可见物提示功能,车载中控***判断提示功能是否开启;如果开启,则打开提示模块;如果关闭,则只进行判别,不进行提示。其中,本实施例提示方式可以分为显示提示与声音提示。显示提示主要包括通过车载中控显示屏的虚构空间、HUD(Head Up Display,平视显示器,简称HUD)等生成并输出提示;也可以通过将被不可见物在对应的位置通过差异化显示进行提示。此外,由于汽车座舱技术也在快速发展,其中HUD、AR-HUD(Augmented Reality Head UpDisplay,增强现实头部显示器,简称AR-HUD)等技术也可以应用在本实施例的显示提示中。例如,在显示界面,通过车载中控显示屏、HUD等渲染被遮挡的红绿灯时,使用加粗、加红、闪烁等方式的红绿灯来着重显示以提示驾驶员。声音提示则是根据遮挡物判别结果,提示驾驶员被遮挡物的类别、方位,例如“右前方有红绿灯被遮挡”,进而辅助驾驶员判别周围环境,并结合显示获取更全面信息。
在本发明另一示例性实施例中,如图2所示,该实施例还提供一种车辆行驶信息提示方法,包括以下步骤:
通过感知模块对目标车辆的行驶环境进行感知,提供出感知目标的类别、位置、大小、速度等信息。其中,本实施例中的感知模块主要包含激光雷达、摄像头、毫米波雷达、超声波雷达、GNSS(Global Navigation Satellite System,全球导航卫星***,简称GNSS)/IMU(Inertial Measurement Unit,惯性测量单元,简称IMU)等***器件的单车智能感知技术,使用深度学习或者Transformer算法等来进行周围环境的感知与识别,也包含V2X等互联通信的技术。随着感知算法和V2X等技术的发展,目前不可见危险物的识别越来越准确,由此也衍生出了更多的场景,本实施例主要是利用遮挡、人眼不可见衍生出来的场景。例如BEV(Bird's Eye View,鸟瞰/俯视,简称BEV)算法可以更加精确地识别到遮挡物,激光雷达不受黑夜限制等等,可以看到更多人眼不可见或者没有留意到的危险场景,因此可以提供更好的性能,为下游算法提供更优输入。
根据感知结果的时间序列信息或者V2X等互联车辆、道路传过来的信息,来判别在当前行驶场景下是否有需要驾驶员注意的不可见危险物。如果有需要驾驶员注意的不可见危险物,且在传感器布置位置与驾驶员位置不一致时,将感知结果根据转换矩阵以及立体几何计算,将感知结果中需要驾驶员注意的不可见危险物转换到驾驶员视角,以判别感知结果是否为以驾驶员视角被遮挡或为驾驶员不可见的危险物。如果没有需要驾驶员注意的不可见危险物,则重新通过感知模块对目标车辆的行驶环境进行感知。如果传感器布置位置与驾驶员位置一致,则不进行驾驶员视角转换,并直接以感知结果判别是否有以驾驶员视角被遮挡或为驾驶员不可见的危险物。
持续跟踪感知识别到的不可见危险物的状态,例如是否丢失、是否到达检测边缘等。具体地,首先判断目标不可见危险物是否已经到达需要检测的范围边缘,若临近需要检测范围的边缘,则在后续处理中不再进行该目标物的判别与提示。若目标不可见危险物仍在需要检测的范围内,则需要持续跟踪。具体地,将目标不可见危险物转换到驾驶员视角后,若出现被其他目标物遮挡的情况则判别为不可见危险物;驾驶员与车辆传感器当前时刻均无法感知到的,但是前序时刻有相关信息的,同样判别为不可见危险物。典型场景为被前方大型车辆遮挡的红绿灯。此类不可见危险物一是通过当前时刻前后一段时间的信息来进行判别,当某一时刻,某一处的感知(可以是自车感知,也可以是V2X获取的信息)判别出的目标物非正常性消失时,可判别为当前时刻被遮挡为不可见危险物。另一种判别方式为通过深度学习等算法,例如Transformer等进行直接判别,给出识别出的目标是否为遮挡或人眼不可见这一特征。此外,还可以判别当前光照条件是否低于预设光照阈值,如果低于预设光照阈值时,则同样将靠近车辆的行人、车辆等判别为不可见危险物。
作为示例,本实施例中的不可见危险物主要如下表1所示,但可以应用在本实施例中的不可见危险物不限于下表1。车辆可通过OTA(Over-the-Air Technology,空中下载技术,简称OTA)持续更新此类不可见危险物的信息。
表1不可见危险物
通过各类方式提示驾驶员不可见危险物的信息。例如,驾驶员可以通过车载中控显示屏等交互方式选择是否开启不可见物提示功能,车载中控***判断提示功能是否开启;如果开启,则打开提示模块;如果关闭,则只进行判别,不进行提示。其中,本实施例提示方式可以分为显示提示与声音提示。显示提示主要包括通过车载中控显示屏的虚构空间、HUD(Head Up Display,平视显示器,简称HUD)等生成并输出提示;也可以通过将被不可见物在对应的位置通过差异化显示进行提示。此外,由于汽车座舱技术也在快速发展,其中HUD、AR-HUD(Augmented Reality Head Up Display,增强现实头部显示器,简称AR-HUD)等技术也可以应用在本实施例的显示提示中。例如,在显示界面,通过车载中控显示屏、HUD等渲染被遮挡的红绿灯时,使用加粗、加红、闪烁等方式的红绿灯来着重显示以提示驾驶员。声音提示则是根据遮挡物判别结果,提示驾驶员被遮挡物的类别、方位,例如“右前方有红绿灯被遮挡”,进而辅助驾驶员判别周围环境,并结合显示获取更全面信息。
由此可知,本实施例可以考虑不可见危险物的差异化提示,差异化主要是指可以通过座舱中的智能显示方式,将不可见危险物体突出显示、提示。所以,本实施例可以提供更加精准、种类更加丰富的被不可见危险物信息,将视角转换至驾驶员视角后,此类不可见危险物提示对驾驶员更加准确、实用。且不可见危险物类别仓库可通过后期进行升级更新;同时结合现在快速发展的座舱技术,使用显示、声音提示等方式来着重显示被不可见危险物,以更有效地提示驾驶员,提高行车安全。
综上所述,本发明提供一种车辆行驶信息提示方法,通过利用目标车辆上预先或实时配置的传感器,对目标车辆的行驶环境进行感知,得到对应的感知结果;然后将感知结果按照目标车辆上驾驶员视角进行视角转换,并以驾驶员视角将视角转换结果中驾驶员视角被遮挡的物体或驾驶员视角不可见的物体记为危险物体;以及,通过感知结果获取危险物体的属性信息,并在目标车辆的行驶过程中基于危险物体的属性信息,向目标车辆的驾驶员输出提示信息。由此可知,本方法在汽车行驶过程中,通过传感器感知获取一段时间内的车辆周围环境信息,然后根据感知结果判断在当前行驶场景下车辆外的物体是否存在需要驾驶员注意的物体,并以驾驶员视角判断这些物体是否为被遮挡或人眼不可见等不可见危险物,同时将不可见危险物对应的属性与标签发送至车辆显示***,通过车辆预先配置的设备进行强化显示、播报此类危险物信息,以提示驾驶员车辆周围情况,从而提高驾驶员驾驶汽车的安全性。所以,本方法可以根据车辆上的传感器的感知结果,来针对不可见危险物对驾驶员进行预警或强调动作,降低驾驶员在车辆行驶过程中由于行驶环境或精力不集中等原因所存在的风险,减少车辆与外部物体直接接触或碰撞的概率。
在本发明一示例性实施中,如图3所示,该实施例还提供一种车辆行驶信息提示***,包括有:
感知模块310,用于利用目标车辆上预先或实时配置的传感器,对目标车辆的行驶环境进行感知,得到对应的感知结果。在本实施例中,目标车辆上预先或实时配置的传感器可以根据实际情况进行设定,本实施例不对传感器的类型和数量进行限定。作为一示例,目标车辆上预先或实时配置的传感器包括但不限于激光雷达、摄像头、毫米波雷达、超声波雷达、惯性测量单元、全球导航卫星***、红外传感器。在本实施例中,目标车辆包括但不限于L0级人工驾驶车辆、L1级辅助驾驶车辆、L2级部分自动驾驶车辆、L3级条件自动驾驶车辆、L4级高度自动驾驶车辆、L5级完全自动驾驶车辆等。其中,L0级人工驾驶车辆、L1级辅助驾驶车辆、L2级部分自动驾驶车辆、L3级条件自动驾驶车辆、L4级高度自动驾驶车辆、L5级完全自动驾驶车辆等车辆可以是新能源车辆,也可以是燃油车辆。
视角转换模块320,用于将感知结果按照目标车辆上驾驶员视角进行视角转换,并以驾驶员视角将视角转换结果中驾驶员视角被遮挡的物体或驾驶员视角不可见的物体记为危险物体;
信息提示模块330,用于通过感知结果获取危险物体的属性信息,并在目标车辆的行驶过程中基于危险物体的属性信息,向目标车辆的驾驶员输出提示信息;其中,危险物体的属性信息包括:危险物体的类别、危险物体的体积、危险物体的速度、危险物体相对于目标车辆的位置信息。在本实施例中,危险物体可以根据实际情况进行设定,本实施例不对传感器的类型和数量进行限定。作为示例,在本实施例中的危险物体包括但不限于:被遮挡的红绿灯、被遮挡的正在朝向本车行驶地车辆、黑夜中的行人、车辆前方或车辆侧方被其他物体遮挡的,正在朝向本车辆行进的行人、车辆前方或车辆侧方被其他物体遮挡的正在朝向本车辆行进的动物、车辆后方或车辆侧方被其他物体遮挡的,正在朝向本车辆行进的行人、车辆后方或车辆侧方被其他物体遮挡的正在朝向本车辆行进的动物、被遮挡的交通标志、被遮挡的路面坑洼等。
由此可知,本实施例在汽车行驶过程中,通过传感器感知获取一段时间内的车辆周围环境信息,然后根据感知结果判断在当前行驶场景下车辆外的物体是否存在需要驾驶员注意的物体,并以驾驶员视角判断这些物体是否为被遮挡或人眼不可见等不可见危险物,同时将不可见危险物对应的属性与标签发送至车辆显示***,通过车辆预先配置的设备进行强化显示、播报此类危险物信息,以提示驾驶员车辆周围情况,从而提高驾驶员驾驶汽车的安全性。所以,本实施例可以根据车辆上的传感器的感知结果,来针对不可见危险物对驾驶员进行预警或强调动作,降低驾驶员在车辆行驶过程中由于行驶环境或精力不集中等原因所存在的风险,减少车辆与外部物体直接接触或碰撞的概率。
在本发明一示例性实施例中,将感知结果按照目标车辆上驾驶员视角进行视角转换前,本实施例还可以包括:基于感知结果对目标车辆进行行驶场景匹配,确定在当前行驶场景下感知结果是否存在目标物体;若感知结果存在目标物体,则将感知结果按照目标车辆上驾驶员视角进行视角转换;若感知结果不存在目标物体,则继续利用目标车辆上预先或实时配置的传感器,对目标车辆的行驶环境进行感知。其中,目标物体包括需要目标车辆上驾驶员注意的物体。作为一示例,在本实施例中,若当前行驶场景包括光照条件小于预设光照阈值,则确定在当前行驶场景下感知结果是否存在目标物体的过程包括:将感知结果中与目标车辆的相对位置小于或等于预设距离的移动物体作为目标物体;其中,移动物体包括:行人、车辆和/或动物;和/或,将感知结果中与目标车辆的相对位置小于或等于预设距离的静止物体作为目标物体;其中,静止物体包括:交通标志、植物和/或建筑物。作为示例,本实施例可以根据感知结果的时间序列信息或者V2X(Vehicle to everything,车用无线通信,简称V2X)等互联车辆、道路传过来的信息,来与数据库进行场景预先匹配,然后根据匹配结果判别在当前行驶场景下是否有需要驾驶员可能需要注意的物体,以便发出提醒。若有物体被匹配为驾驶员需要注意的物体,且当前被遮挡或不可见,则将感知结果按照目标车辆上驾驶员视角进行视角转换。在本实施例中,需要驾驶员注意的物体以配置文件的方式存放于控制器的存储单元EMMC(Embedded Multi Media Card,嵌入式多媒体卡,简称EMMC)或Flash中,并且可以进行升级与更新,以便筛选出需要持续跟踪并且需要驾驶员注意的物体。
在本发明一示例性实施例中,将感知结果按照目标车辆上驾驶员视角进行视角转换的过程包括:获取目标车辆上传感器的位置视角,并将传感器的位置视角与驾驶员视角进行比对,确定传感器的位置视角是否与驾驶员视角一致;若传感器的位置视角与驾驶员视角一致,则直接将感知结果作为视角转换结果;若传感器的位置视角与驾驶员视角不一致,则基于传感器的位置视角和驾驶员视角,将感知结果按照目标车辆上驾驶员视角进行视角转换,得到对应的视角转换结果。作为示例,在本实施例中,如果传感器在目标车辆上的布置位置与驾驶员位置不在同一位置,则需要将感知结果根据转换矩阵以及立体几何计算,将感知结果中的所有物体转换到驾驶员视角,以判别感知结果是否为以驾驶员视角被遮挡或为驾驶员不可见的危险物,并给出判别的危险物体或不可见危险物的位置、大小、速度等信息。
在本发明一示例性实施例中,以驾驶员视角将视角转换结果中驾驶员视角被遮挡的物体或驾驶员视角不可见的物体记为危险物体后,本实施例还可以包括:利用目标车辆上预先或实时配置的传感器持续感知危险物体相对于目标车辆的位置信息,并基于位置信息确定危险物体是否超出目标车辆的预设提示范围;若危险物体超出目标车辆的预设提示范围,则停止对危险物体进行感知,并将危险物体从对应的感知结果中进行移除;若危险物体未超出目标车辆的预设提示范围,则继续利用目标车辆上预先或实时配置的传感器感知危险物体,直至将危险物体从对应的感知结果中进行移除。其中,目标车辆的预设提示范围可提前或实时进行标定与设置,本实施例在此不再进行赘述。此外,在本实施例中,若危险物体未超出目标车辆的预设提示范围,则继续利用目标车辆上预先或实时配置的传感器感知危险物体的过程包括:检测传感器在当前时刻是否感知到危险物体;若传感器在当前时刻感知到危险物体,则基于危险物体相对于目标车辆的位置信息,确定危险物体是否超出目标车辆的预设提示范围;若传感器在当前时刻未感知到危险物体,则基于前一时刻危险物体相对于目标车辆的位置信息、危险物体的速度以及目标车辆的行驶速度,确定危险物体是否超出目标车辆的预设提示范围。在本实施例或其他一些实施例中,危险物体也可以被称为不可见危险物。
具体地,在本实施例中,当识别到危险物体后,还需要持续跟踪感知识别目标物体的状态,例如是否丢失、是否到达检测边缘等。具体地,首先判断目标不可见危险物是否已经到达目标车辆需要检测的范围边缘,即是否已经到达目标车辆的预设提示范围;若临近需要检测范围的边缘,则在后续处理中不再进行该目标物的判别与提示。若目标物体仍在需要检测的范围内,则需要持续跟踪,持续跟踪方式如上。将目标转换到驾驶员视角后,若出现被其他目标物遮挡的情况则判别为不可见危险物;驾驶员与车辆传感器当前时刻均无法感知到的,但是前序时刻有相关信息的,同样判别为不可见危险物。典型场景为被前方大型车辆遮挡的红绿灯。此类不可见危险物一是通过当前时刻前后一段时间的信息来进行判别,当某一时刻,某一处的感知(可以是自车感知,也可以是V2X获取的信息)判别出的目标物非正常性消失时,可判别为当前时刻被遮挡为不可见危险物。另一种判别方式为通过深度学习等算法,例如Transformer等进行直接判别,给出识别出的目标是否为遮挡或人眼不可见这一特征。在本实施例中,不可见危险物包括但不限于:被遮挡的红绿灯、被遮挡的正在朝向本车行驶地车辆、黑夜中的行人、车辆前方或车辆侧方被其他物体遮挡的,正在朝向本车辆行进的行人、车辆前方或车辆侧方被其他物体遮挡的正在朝向本车辆行进的动物、车辆后方或车辆侧方被其他物体遮挡的,正在朝向本车辆行进的行人、车辆后方或车辆侧方被其他物体遮挡的正在朝向本车辆行进的动物、被遮挡的交通标志、被遮挡的路面坑洼等。
根据上述记载,在本发明一示例性实施例中,在目标车辆的行驶过程中基于危险物体的属性信息,向目标车辆的驾驶员输出提示信息的过程包括:在目标车辆的行驶过程中基于危险物体的属性信息,向目标车辆的驾驶员输出声音提示信息;和/或,在目标车辆的行驶过程中基于危险物体的属性信息,向目标车辆的驾驶员输出显示提示信息;其中,显示提示信息包括:基于平视显示器生成的提示信息、基于增强现实头部显示器生成的提示信息、基于车载显示屏生成的提示信息。具体地,本实施例可以通过各类方式提示驾驶员危险物体的信息。例如,驾驶员可以通过车载中控显示屏等交互方式选择是否开启不可见物提示功能,车载中控***判断提示功能是否开启;如果开启,则打开提示模块;如果关闭,则只进行判别,不进行提示。其中,本实施例提示方式可以分为显示提示与声音提示。显示提示主要包括通过车载中控显示屏的虚构空间、HUD(Head Up Display,平视显示器,简称HUD)等生成并输出提示;也可以通过将被不可见物在对应的位置通过差异化显示进行提示。此外,由于汽车座舱技术也在快速发展,其中HUD、AR-HUD(Augmented Reality Head UpDisplay,增强现实头部显示器,简称AR-HUD)等技术也可以应用在本实施例的显示提示中。例如,在显示界面,通过车载中控显示屏、HUD等渲染被遮挡的红绿灯时,使用加粗、加红、闪烁等方式的红绿灯来着重显示以提示驾驶员。声音提示则是根据遮挡物判别结果,提示驾驶员被遮挡物的类别、方位,例如“右前方有红绿灯被遮挡”,进而辅助驾驶员判别周围环境,并结合显示获取更全面信息。
需要说明的是,本实施例所提供车辆行驶信息提示***与上述实施例所提供的车辆行驶信息提示方法属于同一构思,其中车辆行驶信息提示***中各个模块执行操作的具体方式已经在图1所示的方法实施例中进行了详细描述,此处不再赘述。本实施例所提供的车辆行驶信息提示***在实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将***的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。例如,本实施例中的感知模块310可以用于执行上述实施例中描述的步骤S110,本实施例中的视角转换模块320可以用于执行上述实施例中描述的步骤S120,本实施例中的信息提示模块330可以用于执行上述实施例中描述的步骤S130。
在本发明另一示例性实施例中,如图4所示,该实施例还提供一种车辆行驶信息提示***,包括有:感知模块、不可见危险物判别模块和不可见危险物提示模块。其中,
感知模块用于对目标车辆的行驶环境进行感知,提供出感知目标的类别、位置、大小、速度等信息。其中,本实施例中的感知模块主要包含激光雷达、摄像头、毫米波雷达、超声波雷达、GNSS/IMU等***器件的单车智能感知技术,使用深度学习或者Transformer算法等来进行周围环境的感知与识别,也包含V2X等互联通信的技术。随着感知算法和V2X等技术的发展,目前不可见危险物的识别越来越准确,由此也衍生出了更多的场景,本实施例主要是利用遮挡、人眼不可见衍生出来的场景。例如BEV算法可以更加精确地识别到遮挡物,激光雷达不受黑夜限制等等,可以看到更多人眼不可见或者没有留意到的危险场景,因此可以提供更好的性能,为下游算法提供更优输入。
不可见危险物判别模块用于对感知结果进行不可见危险物预处理、视角转化和不可见危险物判别。具体地,
不可见危险物判别模块主要包含如下部分:
a.第一部分为不可见危险物匹配单元,根据感知结果的时间序列信息或者V2X等互联车辆、道路传过来的信息,来判别是否有需要驾驶员可能需要注意的不可见危险物,以便发出提醒。若判别为是被遮挡或不可见物,则对本地存放的需要驾驶员注意的物体进行检索。若该目标不可见危险物被匹配为驾驶员需要注意的物体,且当前被遮挡或不可见,则将该目标不可见危险物的属性信息发送至不可见危险物提示模块。需要驾驶员注意的物体以配置文件的方式存放于控制器的存储单元EMMC或Flash中,并且可以进行升级与更新。此模块可筛选出需要持续跟踪并且需要***注意的目标不可见危险物。
b.第二部分为视角转换单元,传感器布置位置与驾驶员位置并不在同一位置,需要将感知结果根据转换矩阵以及立体几何计算,将感知目标转换到驾驶员视角,以判别感知结果是否为以驾驶员视角被遮挡或为驾驶员不可见的危险物。并给出预先判别的不可见危险物的位置、大小、速度等信息。
c.第三部分为不可见危险物判别单元。不可见危险物的判别需要持续跟踪感知识别到的不可见危险物的状态,例如是否丢失、是否到达检测边缘等。该模块需要从此类信息中挑选出需要提示给驾驶员的信息以展示、播报给驾驶员,主要包含如下步骤c11-c12。
c11)首先判断目标不可见危险物是否已经到达需要检测的范围边缘,若临近需要检测范围的边缘,则在后续处理中不再进行该目标物的判别与提示;需要检测的范围边缘可以预先或实时进行标定与设置。
c12)若目标不可见危险物仍在需要检测的范围内,则需要持续跟踪。具体地,将目标不可见危险物转换到驾驶员视角后,若出现被其他目标物遮挡的情况则判别为不可见危险物;驾驶员与车辆传感器当前时刻均无法感知到的,但是前序时刻有相关信息的,同样判别为不可见危险物。典型场景为被前方大型车辆遮挡的红绿灯。此类不可见危险物一是通过当前时刻前后一段时间的信息来进行判别,当某一时刻,某一处的感知(可以是自车感知,也可以是V2X获取的信息)判别出的目标物非正常性消失时,可判别为当前时刻被遮挡为不可见危险物。另一种判别方式为通过深度学习等算法,例如Transformer等进行直接判别,给出识别出的目标是否为遮挡或人眼不可见这一特征。此外,判别当前光照条件是否低于预设光照阈值,如果低于预设光照阈值时,则同样将靠近车辆的行人、车辆等判别为不可见危险物。
本实施例中的不可见危险物主要如下表2所示,但可以应用在本实施例中的不可见危险物不限于下表2。车辆可通过OTA持续更新此类不可见危险物的信息。
表2不可见危险物
不可见危险物提示模块用于接收不可见危险物判别模块的信息,并结合提示模式,通过各类方式提示驾驶员不可见危险物的信息。例如,驾驶员可以通过车载中控显示屏等交互方式选择是否开启不可见物提示功能,车载中控***判断提示功能是否开启;如果开启,则打开提示模块;如果关闭,则只进行判别,不进行提示。其中,本实施例提示方式可以分为显示提示与声音提示。显示提示主要包括通过车载中控显示屏的虚构空间、HUD(Head Up Display,平视显示器,简称HUD)等生成并输出提示;也可以通过将被不可见物在对应的位置通过差异化显示进行提示。此外,由于汽车座舱技术也在快速发展,其中HUD、AR-HUD(Augmented Reality Head Up Display,增强现实头部显示器,简称AR-HUD)等技术也可以应用在本实施例的显示提示中。例如,在显示界面,通过车载中控显示屏、HUD等渲染被遮挡的红绿灯时,使用加粗、加红、闪烁等方式的红绿灯来着重显示以提示驾驶员。声音提示则是根据遮挡物判别结果,提示驾驶员被遮挡物的类别、方位,例如“右前方有红绿灯被遮挡”,进而辅助驾驶员判别周围环境,并结合显示获取更全面信息。
由此可知,本实施例可以考虑不可见危险物的差异化提示,差异化主要是指可以通过座舱中的智能显示方式,将不可见危险物体突出显示、提示。所以,本实施例可以提供更加精准、种类更加丰富的被不可见危险物信息,将视角转换至驾驶员视角后,此类不可见危险物提示对驾驶员更加准确、实用。且不可见危险物类别仓库可通过后期进行升级更新;同时结合现在快速发展的座舱技术,使用显示、声音提示等方式来着重显示被不可见危险物,以更有效地提示驾驶员,提高行车安全。
综上所述,本发明提供一种车辆行驶信息提示***,通过利用目标车辆上预先或实时配置的传感器,对目标车辆的行驶环境进行感知,得到对应的感知结果;然后将感知结果按照目标车辆上驾驶员视角进行视角转换,并以驾驶员视角将视角转换结果中驾驶员视角被遮挡的物体或驾驶员视角不可见的物体记为危险物体;以及,通过感知结果获取危险物体的属性信息,并在目标车辆的行驶过程中基于危险物体的属性信息,向目标车辆的驾驶员输出提示信息。由此可知,本***在汽车行驶过程中,通过传感器感知获取一段时间内的车辆周围环境信息,然后根据感知结果判断在当前行驶场景下车辆外的物体是否存在需要驾驶员注意的物体,并以驾驶员视角判断这些物体是否为被遮挡或人眼不可见等不可见危险物,同时将不可见危险物对应的属性与标签发送至车辆显示***,通过车辆预先配置的设备进行强化显示、播报此类危险物信息,以提示驾驶员车辆周围情况,从而提高驾驶员驾驶汽车的安全性。所以,本***可以根据车辆上的传感器的感知结果,来针对不可见危险物对驾驶员进行预警或强调动作,降低驾驶员在车辆行驶过程中由于行驶环境或精力不集中等原因所存在的风险,减少车辆与外部物体直接接触或碰撞的概率。
在本发明另一示例性实施例中,如图5所示,该实施例还提供一种车辆,该车辆包括有传感器和处理器;其中,传感器用于对车辆的行驶环境进行感知,得到对应的感知结果;处理器用于将感知结果按照车辆上驾驶员视角进行视角转换,并以驾驶员视角将视角转换结果中驾驶员视角被遮挡的物体或驾驶员视角不可见的物体记为危险物体;以及,通过感知结果获取危险物体的属性信息,并在车辆的行驶过程中基于危险物体的属性信息,向车辆的驾驶员输出提示信息;其中,危险物体的属性信息包括:危险物体的类别、危险物体的体积、危险物体的速度、危险物体相对于车辆的位置信息。
需要说明的是,本实施例所提供的车辆与上述实施例所提供的车辆行驶信息提示方法、车辆行驶信息提示***均属于同一构思,其中车辆行驶信息提示方法、车辆行驶信息提示***执行操作的具体方式已经在上述实施例中进行了详细描述,此处不再赘述。本实施例所提供的车辆在实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将车辆的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。作为一示例,例如,本实施例中的传感器可以用于执行上述实施例中描述的步骤S110以及与步骤S110前后关联的步骤;处理器可以用于执行上述实施例中描述的步骤S120以及与步骤S120前后关联的步骤、以及处理器可以用于执行上述实施例中描述的步骤S130以及与步骤S130前后关联的步骤。作为另一示例,例如,本实施例中的传感器可以用于执行上述实施例中描述的感知模块310以及与感知模块310前后关联的执行动作;处理器可以用于执行上述实施例中描述的视角转换模块320以及与视角转换模块320前后关联的执行动作、以及处理器可以用于执行上述实施例中描述的信息提示模块330以及与信息提示模块330前后关联的执行动作。
需要说明的是,上述实施例在对相关数据(例如激光雷达、摄像头、毫米波雷达、超声波雷达、惯性测量单元、全球导航卫星***、红外传感器等传感器得到的感知数据)进行处理时,例如进行收集、存储、使用、加工、传输、提供、公开、删除等处理时,是经过或征得用户同意的情况下完成的。例如激光雷达、摄像头、毫米波雷达、超声波雷达、惯性测量单元、全球导航卫星***、红外传感器等得到传感器的感知数据是在用户知晓并同意的情况下授权得到的;或者是用户在阅读相关说明后主动提供的,或者是用户在使用上述实施例描述的部分或全部功能时,主动授权/提供/上传的,或者其他经过或征得用户同意的方式/途径得到的。
上述实施例仅例示性说明本发明的原理及其功效,而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下,对上述实施例进行修饰或改变。因此,举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本发明的权利要求所涵盖。
Claims (10)
1.一种车辆行驶信息提示方法,其特征在于,所述方法包括以下步骤:
利用目标车辆上预先或实时配置的传感器,对所述目标车辆的行驶环境进行感知,得到对应的感知结果;
将所述感知结果按照所述目标车辆上驾驶员视角进行视角转换,并以驾驶员视角将视角转换结果中驾驶员视角被遮挡的物体或驾驶员视角不可见的物体记为危险物体;以及,
通过所述感知结果获取所述危险物体的属性信息,并在所述目标车辆的行驶过程中基于所述危险物体的属性信息,向所述目标车辆的驾驶员输出提示信息;其中,所述危险物体的属性信息包括:所述危险物体的类别、所述危险物体的体积、所述危险物体的速度、所述危险物体相对于所述目标车辆的位置信息。
2.根据权利要求1所述的车辆行驶信息提示方法,其特征在于,将所述感知结果按照所述目标车辆上驾驶员视角进行视角转换前,所述方法还包括:
基于所述感知结果对所述目标车辆进行行驶场景匹配,确定在当前行驶场景下所述感知结果是否存在目标物体;其中,所述目标物体包括需要目标车辆上驾驶员注意的物体;
若所述感知结果存在目标物体,则将所述感知结果按照所述目标车辆上驾驶员视角进行视角转换;
若所述感知结果不存在目标物体,则继续利用目标车辆上预先或实时配置的传感器,对所述目标车辆的行驶环境进行感知。
3.根据权利要求1或2所述的车辆行驶信息提示方法,其特征在于,将所述感知结果按照所述目标车辆上驾驶员视角进行视角转换的过程包括:
获取所述目标车辆上传感器的位置视角,并将传感器的位置视角与驾驶员视角进行比对,确定传感器的位置视角是否与驾驶员视角一致;
若传感器的位置视角与驾驶员视角一致,则直接将所述感知结果作为视角转换结果;
若传感器的位置视角与驾驶员视角不一致,则基于传感器的位置视角和驾驶员视角,将所述感知结果按照所述目标车辆上驾驶员视角进行视角转换,得到对应的视角转换结果。
4.根据权利要求3所述的车辆行驶信息提示方法,其特征在于,以驾驶员视角将视角转换结果中驾驶员视角被遮挡的物体或驾驶员视角不可见的物体记为危险物体后,所述方法还包括:
利用目标车辆上预先或实时配置的传感器持续感知所述危险物体相对于所述目标车辆的位置信息,并基于所述位置信息确定所述危险物体是否超出所述目标车辆的预设提示范围;
若所述危险物体超出所述目标车辆的预设提示范围,则停止对所述危险物体进行感知,并将所述危险物体从对应的感知结果中进行移除;
若所述危险物体未超出所述目标车辆的预设提示范围,则继续利用目标车辆上预先或实时配置的传感器感知所述危险物体,直至将所述危险物体从对应的感知结果中进行移除。
5.根据权利要求4所述的车辆行驶信息提示方法,其特征在于,若所述危险物体未超出所述目标车辆的预设提示范围,则继续利用目标车辆上预先或实时配置的传感器感知所述危险物体的过程包括:
检测所述传感器在当前时刻是否感知到所述危险物体;
若所述传感器在当前时刻感知到所述危险物体,则基于所述危险物体相对于所述目标车辆的位置信息,确定所述危险物体是否超出所述目标车辆的预设提示范围;
若所述传感器在当前时刻未感知到所述危险物体,则基于前一时刻所述危险物体相对于所述目标车辆的位置信息、所述危险物体的速度以及所述目标车辆的行驶速度,确定所述危险物体是否超出所述目标车辆的预设提示范围。
6.根据权利要求2所述的车辆行驶信息提示方法,其特征在于,若当前行驶场景包括光照条件小于预设光照阈值,则确定在当前行驶场景下所述感知结果是否存在目标物体的过程包括:
将所述感知结果中与所述目标车辆的相对位置小于或等于预设距离的移动物体作为所述目标物体;其中,所述移动物体包括:行人、车辆和/或动物;
和/或,将所述感知结果中与所述目标车辆的相对位置小于或等于预设距离的静止物体作为所述目标物体;其中,所述静止物体包括:交通标志、植物和/或建筑物。
7.根据权利要求1所述的车辆行驶信息提示方法,其特征在于,在所述目标车辆的行驶过程中基于所述危险物体的属性信息,向所述目标车辆的驾驶员输出提示信息的过程包括:
在所述目标车辆的行驶过程中基于所述危险物体的属性信息,向所述目标车辆的驾驶员输出声音提示信息;和/或,在所述目标车辆的行驶过程中基于所述危险物体的属性信息,向所述目标车辆的驾驶员输出显示提示信息;
其中,所述显示提示信息包括:基于平视显示器生成的提示信息、基于增强现实头部显示器生成的提示信息、基于车载显示屏生成的提示信息。
8.根据权利要求1所述的车辆行驶信息提示方法,其特征在于,所述目标车辆上预先或实时配置的传感器包括以下至少之一:激光雷达、摄像头、毫米波雷达、超声波雷达、惯性测量单元、全球导航卫星***、红外传感器。
9.一种车辆行驶信息提示***,其特征在于,所述***包括有:
感知模块,用于利用目标车辆上预先或实时配置的传感器,对所述目标车辆的行驶环境进行感知,得到对应的感知结果;
视角转换模块,用于将所述感知结果按照所述目标车辆上驾驶员视角进行视角转换,并以驾驶员视角将视角转换结果中驾驶员视角被遮挡的物体或驾驶员视角不可见的物体记为危险物体;
信息提示模块,用于通过所述感知结果获取所述危险物体的属性信息,并在所述目标车辆的行驶过程中基于所述危险物体的属性信息,向所述目标车辆的驾驶员输出提示信息;其中,所述危险物体的属性信息包括:所述危险物体的类别、所述危险物体的体积、所述危险物体的速度、所述危险物体相对于所述目标车辆的位置信息。
10.一种车辆,其特征在于,所述车辆包括有传感器和处理器;其中,
所述传感器用于对所述车辆的行驶环境进行感知,得到对应的感知结果;
所述处理器用于将所述感知结果按照所述车辆上驾驶员视角进行视角转换,并以驾驶员视角将视角转换结果中驾驶员视角被遮挡的物体或驾驶员视角不可见的物体记为危险物体;以及,通过所述感知结果获取所述危险物体的属性信息,并在所述车辆的行驶过程中基于所述危险物体的属性信息,向所述车辆的驾驶员输出提示信息;其中,所述危险物体的属性信息包括:所述危险物体的类别、所述危险物体的体积、所述危险物体的速度、所述危险物体相对于所述车辆的位置信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311699139.5A CN117944705A (zh) | 2023-12-11 | 2023-12-11 | 一种车辆行驶信息提示方法及***、一种车辆 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311699139.5A CN117944705A (zh) | 2023-12-11 | 2023-12-11 | 一种车辆行驶信息提示方法及***、一种车辆 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117944705A true CN117944705A (zh) | 2024-04-30 |
Family
ID=90793440
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311699139.5A Pending CN117944705A (zh) | 2023-12-11 | 2023-12-11 | 一种车辆行驶信息提示方法及***、一种车辆 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117944705A (zh) |
-
2023
- 2023-12-11 CN CN202311699139.5A patent/CN117944705A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10286905B2 (en) | Driver assistance apparatus and control method for the same | |
US10924679B2 (en) | Display device for vehicle and control method thereof | |
CN105989749B (zh) | 用于优先化驾驶员警报的***和方法 | |
CN107176165B (zh) | 车辆的控制装置 | |
US10336252B2 (en) | Long term driving danger prediction system | |
US20180033306A1 (en) | Warning method outside vehicle, driver assistance apparatus for executing method thereof and vehicle having the same | |
US20170174129A1 (en) | Vehicular visual information system and method | |
US20140354684A1 (en) | Symbology system and augmented reality heads up display (hud) for communicating safety information | |
US20200380257A1 (en) | Autonomous vehicle object content presentation systems and methods | |
US11485380B2 (en) | Method and control device for warning a driver of a motor vehicle and motor vehicle with such a control device | |
US20190244515A1 (en) | Augmented reality dsrc data visualization | |
KR20190122606A (ko) | 차량 내 객체 모니터링 장치 및 방법 | |
CN108482367B (zh) | 一种基于智能后视镜辅助驾驶的方法、装置及*** | |
KR20180090610A (ko) | 차선 정보를 출력하는 방법 및 장치. | |
US10996469B2 (en) | Method and apparatus for providing driving information of vehicle, and recording medium | |
CN113808418A (zh) | 路况信息显示***、方法、车辆、计算机设备和存储介质 | |
JPWO2020105685A1 (ja) | 表示制御装置、方法、及びコンピュータ・プログラム | |
JP2024086761A (ja) | システム、プログラム、機械学習方法、及び機械学習モデル等 | |
US10864856B2 (en) | Mobile body surroundings display method and mobile body surroundings display apparatus | |
CN117944705A (zh) | 一种车辆行驶信息提示方法及***、一种车辆 | |
US20230141584A1 (en) | Apparatus for displaying at least one virtual lane line based on environmental condition and method of controlling same | |
WO2022201892A1 (en) | Information processing apparatus, information processing method, and program | |
CN109145692B (zh) | 车辆驾驶辅助***和方法 | |
US10268907B2 (en) | Methods and systems for providing notifications on camera displays for vehicles | |
WO2021076734A1 (en) | Method for aligning camera and sensor data for augmented reality data visualization |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |