CN112249007A - 一种车辆危险报警方法及相关设备 - Google Patents
一种车辆危险报警方法及相关设备 Download PDFInfo
- Publication number
- CN112249007A CN112249007A CN201910601096.XA CN201910601096A CN112249007A CN 112249007 A CN112249007 A CN 112249007A CN 201910601096 A CN201910601096 A CN 201910601096A CN 112249007 A CN112249007 A CN 112249007A
- Authority
- CN
- China
- Prior art keywords
- target object
- vehicle
- alarm
- state
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000003384 imaging method Methods 0.000 claims abstract description 116
- 230000000007 visual effect Effects 0.000 claims abstract description 19
- 230000001629 suppression Effects 0.000 claims description 35
- 230000003068 static effect Effects 0.000 claims description 17
- 238000001514 detection method Methods 0.000 claims description 15
- 238000004891 communication Methods 0.000 claims description 11
- 238000010586 diagram Methods 0.000 description 11
- 230000002457 bidirectional effect Effects 0.000 description 4
- 238000011410 subtraction method Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/143—Alarm means
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请公开了一种车辆危险报警方法及相关设备,包括:首先获取车辆的电子外后视镜采集到的成像图像;接着根据成像图像,确定电子外后视镜的视野范围内的目标物体、以及目标物体的位置信息;然后根据位置信息,确定目标物体与车辆之间的相对行驶状态;最后当相对行驶状态为危险状态时,按照预设的报警方式进行报警。采用本申请,可以有效防止车辆发生碰撞、摩擦等安全事故、提高车辆行驶的安全性。
Description
技术领域
本申请涉及汽车电子技术领域,尤其涉及一种车辆危险报警方法及相关设备。
背景技术
随着经济的发展,汽车已经成为人们出行的必备工具,给人们带来了极大便利。然而,在汽车数量不断增加的同时,碰撞、摩擦等交通事故的发生率也越来越高,不仅对车主造成经济损失,而且还可能对乘车人员和驾驶员的生命安全造成威胁。目前,驾驶员主要依靠后视镜(如平面镜、球面镜和双曲率镜面)自行观察本车与周围车辆的距离,以便及时采取措施、避免与周围车辆产生碰撞和摩擦。但是这种依靠驾驶员进行人工判别的方式的准确性不高、而且容易受到驾驶员的驾驶状态和情绪的影响,从而无法有效防止碰撞和摩擦等危险事故的发生。
发明内容
本申请提供了一种车辆危险报警方法及相关设备。可以有效防止车辆发生碰撞、摩擦等安全事故、提高车辆行驶的安全性。
本申请实施例第一方面提供了一种车辆危险报警方法,包括:获取车辆的电子外后视镜采集到的第一成像图像;根据所述第一成像图像,确定所述电子外后视镜的视角范围内的目标物体、以及所述目标物体的位置信息;根据所述目标物体的位置信息,确定所述目标物体与所述车辆之间的第一相对行驶状态;当所述第一相对行驶状态为危险状态时,按照预设的报警方式进行报警。可以在本车辆与其他车辆或物体处于危险的相对行驶状态时,通过报警及时提醒驾驶员采取相应措施,以便防止车辆发生碰撞、摩擦等安全事故、提高车辆行驶的安全性。并且通过将电子外后视镜采集的成像图像作为报警判定信息的来源,可以在不额外配置雷达、红外/激光探测器等障碍物探测设备的情况下实现危险报警。
其中,所述车辆对应一个预设的报警区域;
所述根据所述位置信息,确定所述目标物体与所述车辆之间的第一相对行驶状态包括:根据所述位置信息,确定所述目标物体是否位于所述报警区域;当所述目标物***于所述报警区域时,确定所述第一相对行驶状态为所述危险状态。报警区域是碰撞和摩擦的高发区域,因此一旦目标物体进入报警区域,就将相对行驶状态确定为危险状态以便触发报警,可以及时提示驾驶员进行避让和减速以避免碰撞和摩擦事故的发生。
其中,所述方法还包括:获取所述电子外后视镜在所述第一成像图像对应的图像采集时间之前采集的M帧第二成像图像,所述M为不小于1的整数;根据所述M帧第二成像图像,确定所述目标物体的运动轨迹;根据所述运动轨迹,确定所述目标物体的行驶信息,所述行驶信息包括第一行驶速度和第一行驶方向中的至少一项。因此,当所述第一相对行驶状态为所述危险状态时,根据所述行驶信息和所述报警方式进行报警,从而可以提高报警的可靠性,避免发生无效报警和错误报警的情况。
其中,所述根据所述M帧第二成像图像,确定所述目标物体的运动轨迹包括:根据所述M帧第二成像图像,确定至少一个物体对应的至少一条运动轨迹;对所述至少一条运动轨迹中每条运动轨迹对应的物体在所述第一成像图像对应的图像采集时间上的位置进行预测,得到位置预测信息;将所述位置信息与所述位置预测信息进行匹配;将与所述位置信息相匹配的位置预测信息所属的运动轨迹确定为所述目标物体的运动轨迹。通过电子外后视镜采集的多帧或全部的成像图像联合分析目标物体的运动轨迹,可以达到追踪目标物体的目的,从而提高所确定的运动轨迹的准确性。
其中,所述当所述第一相对行驶状态为所述危险状态时,根据所述行驶信息和所述报警方式进行报警包括:根据所述第一行驶速度,确定所述目标物体是否处于静止状态;当所述第一相对行驶状态为所述危险状态、且所述目标物体不处于所述静止状态时,按照所述报警方式进行报警。通过对目标物体的运动状态的判定,可以将停靠在道路两侧的车辆和站立的道路两旁的行人以及其他处于静止状态的进入报警区域但并不会发生碰撞和摩擦的情况排除,提高危险报警的准确性和可靠性。
其中,所述当所述第一相对行驶状态为所述危险状态时,根据所述行驶信息和所述报警方式进行报警包括:当所述第一相对行驶状态为所述危险状态时,根据所述行驶信息进行报警抑制;当报警抑制的累积时长超过第一阈值时,确定所述目标物体与所述车辆之间的第二相对行驶状态;当所述第二相对行驶状态为所述危险状态时,按照所述报警方式进行报警。通过报警抑制机制,可以提高危险报警的准确性和可靠性。
其中,所述当所述第一相对行驶状态为所述危险状态时,根据所述行驶信息进行报警抑制包括:确定所述车辆的第二行驶方向、以及所述目标物体是否是从所述车辆的前方进入所述报警区域;当所述第一相对行驶状态为所述危险状态、且所述第一行驶方向和所述第二行驶方向相同、且所述目标物体是从所述车辆的前方进入所述报警区域时,进行报警抑制。可以排除因车辆正在超越目标物体导致目标物体被动进入该车辆报警区域的情况,提高危险报警的可靠性。
其中,所述当所述第一相对行驶状态为所述危险状态时,根据所述行驶信息进行报警抑制包括:获取所述车辆的第二行驶速度;当所述第一相对行驶状态为所述危险状态、且所述第一行驶速度和所述第二行驶速度之差大于第二阈值时,进行报警抑制。可以排除目标物体在报警区域中短暂停留的情况,提高危险报警的可靠性。
其中,所述按照预设的报警方式进行报警包括:根据所述第一成像图像,确定所述目标物体所属的物体类别;按照所述报警方式呈现报警信息,所述报警信息包括所述物体类别,所述报警方式包括语音播报和图像显示中的至少一种。通过将目标物体的物体类别告知驾驶员,可以帮助驾驶员采取更有效地措施来避免本车辆与目标物体发生摩擦和碰撞,进一步提高车辆的行驶安全。
其中,所述位置信息为所述目标物体所在区域中的预设位置的图像像素的第一像素坐标;
所述方法还包括:对所述第一成像图像进行距离标定得到距离查询表,所述距离查询表包括所述第一成像图像中的多个第二图像像素的第二像素坐标与实际距离的对应关系,所述实际距离为现实世界中所述车辆与所述第二图像像素对应的位置之间的距离;
所述根据所述位置信息,确定所述目标物体是否位于所述报警区域包括:将所述第一像素坐标与所述多个第二图像像素中的每个第二图像像素的第二像素坐标进行匹配;从所述距离查询表中查找与所述第一像素坐标相匹配的第二像素坐标所对应的实际距离;根据查找到的实际距离,确定所述目标物体是否位于所述报警区域。通过建立距离查询表可以提高确定目标物体与车辆之间的实际距离的效率、从而提高报警的及时性。
相应地,本申请实施例第二方面提供了一种车辆危险报警装置,包括:
获取模块,用于获取车辆的电子外后视镜采集到的第一成像图像;
检测模块,用于根据所述第一成像图像,确定所述电子外后视镜的视角范围内的目标物体、以及所述目标物体的位置信息;
所述检测模块,用于根据所述目标物体的位置信息,确定所述目标物体与所述车辆之间的第一相对行驶状态;
报警模块,用于当所述第一相对行驶状态为危险状态时,按照预设的报警方式进行报警。
其中,所述车辆对应一个预设的报警区域;
所述检测模块还用于:
根据所述位置信息,确定所述目标物体是否位于所述报警区域;
当所述目标物***于所述报警区域时,确定所述第一相对行驶状态为所述危险状态。
其中,所述获取模块还用于:
获取所述电子外后视镜在所述第一成像图像对应的图像采集时间之前采集的M帧第二成像图像,所述M为不小于1的整数;
所述检测模块还用于:
根据所述M帧第二成像图像,确定所述目标物体的运动轨迹;
根据所述运动轨迹,确定所述目标物体的行驶信息,所述行驶信息包括第一行驶速度和第一行驶方向中的至少一项;
所述报警模块还用于:
当所述第一相对行驶状态为所述危险状态时,根据所述行驶信息和所述报警方式进行报警。
其中,所述检测模块还用于:
根据所述M帧第二成像图像,确定至少一个物体对应的至少一条运动轨迹;
对所述至少一条运动轨迹中每条运动轨迹对应的物体在所述第一成像图像对应的图像采集时间上的位置进行预测,得到位置预测信息;
将所述位置信息与所述位置预测信息进行匹配;
将与所述位置信息相匹配的位置预测信息所属的运动轨迹确定为所述目标物体的运动轨迹。
其中,所述报警模块还用于:
根据所述第一行驶速度,确定所述目标物体是否处于静止状态;
当所述第一相对行驶状态为所述危险状态、且所述目标物体不处于所述静止状态时,按照所述报警方式进行报警。
其中,所述报警模块还用于:
当所述第一相对行驶状态为所述危险状态时,根据所述行驶信息进行报警抑制;
当报警抑制的累积时长超过第一阈值时,确定所述目标物体与所述车辆之间的第二相对行驶状态;
当所述第二相对行驶状态为所述危险状态时,按照所述报警方式进行报警。
其中,所述报警模块还用于:
确定所述车辆的第二行驶方向、以及所述目标物体是否是从所述车辆的前方进入所述报警区域;
当所述第一相对行驶状态为所述危险状态、且所述第一行驶方向和所述第二行驶方向相同、且所述目标物体是从所述车辆的前方进入所述报警区域时,进行报警抑制。
其中,所述报警模块还用于:
获取所述车辆的第二行驶速度;
当所述第一相对行驶状态为所述危险状态、且所述第一行驶速度和所述第二行驶速度之差大于第二阈值时,进行报警抑制。
其中,所述报警模块还用于:
根据所述第一成像图像,确定所述目标物体所属的物体类别;
按照所述报警方式呈现报警信息,所述报警信息包括所述物体类别,所述报警方式包括语音播报和图像显示中的至少一种。
其中,所述位置信息为所述目标物体所在区域中的预设位置的图像像素的第一像素坐标;
所述检测模块还用于:
对所述第一成像图像进行距离标定得到距离查询表,所述距离查询表包括所述第一成像图像中的多个第二图像像素的第二像素坐标与实际距离的对应关系,所述实际距离为现实世界中所述车辆与所述第二图像像素对应的位置之间的距离;
将所述第一像素坐标与所述多个第二图像像素中的每个第二图像像素的第二像素坐标进行匹配;
从所述距离查询表中查找与所述第一像素坐标相匹配的第二像素坐标所对应的实际距离;
根据查找到的实际距离,确定所述目标物体是否位于所述报警区域。
相应地,本申请实施例提供了一种电子设备,包括:处理器、存储器、通信接口和总线;
所述处理器、所述存储器和所述通信接口通过所述总线连接并完成相互间的通信;
所述存储器存储可执行程序代码;
所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序,以用于执行本申请实施例第一方面公开的车辆危险报警方法。
相应地,本申请实施例提供了一种存储介质,其中,所述存储介质用于存储应用程序,所述应用程序用于在运行时执行本申请实施例第一方面公开的车辆危险报警方法。
相应地,本申请实施例提供了一种车辆,其中,所述车辆包括车辆危险报警设备,所述车辆危险报警设备用于执行本申请实施例第一方面公开的车辆危险报警方法。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种车辆危险报警方法的流程示意图;
图2是本申请实施例提供的一种电子外后视镜的结构示意图;
图3是本申请实施例提供的一种目标检测结果的示意图;
图4是本申请实施例提供的一种图像像素的示意图;
图5是本申请实施例提供的一种报警区域的示意图;
图6是本申请实施例提供的一种横/纵向距离的示意图;
图7是本申请实施例提供的一种成像图像的距离标定的示意图;
图8是本申请实施例提供的一种电子外后视镜的视野范围的示意图;
图9是本申请实施例提供的另一种成像图像的距离标定的示意图;
图10是本申请实施例提供的另一种车辆危险报警方法的流程示意图;
图11是本申请实施例提供的一种运动轨迹的确定方法的流程示意图;
图12是本申请实施例提供的一种物体运动轨迹的示意图;
图13是本申请实施例提供的一种车辆危险报警装置的结构示意图;
图14是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
请参考图1,图1是本申请实施例提供的一种车辆危险报警方法的流程示意图。如图所示,本申请实施例中的方法包括:
S101,获取车辆的电子外后视镜采集到的第一成像图像。
具体实现中,如图2所示,电子外后视镜为安装在车辆左右两侧外的电子化的后视镜。与普通的平面镜、球面镜和双曲率镜面等材质的后视镜不同,电子外后视镜可以为车载规格的摄像头,可以采集对应视野范围内的现实世界的成像图像。在车辆内部可以设置显示设备用以显示电子外后视镜采集到的成像图像以方便驾驶员查看。其中,一旦车辆启动,电子外后视镜就开始工作,即开始采集成像图像,从而得到连续的视频图像。视频图像中包括N帧成像图像,N通常为数值较大的整数,其中,第一成像图像可以是指电子外后视镜当前采集到的一帧成像图像。
需要说明的是,由于车辆的左右两侧的电子外后视镜的造型相同、且安装位置完全对称,因此本申请实施例所提供的方法同时适用于左右两侧的电子外后视镜。
S102,根据所述第一成图像,确定所述电子外后视镜的视野范围内的目标物体、以及所述目标物体的位置信息。
具体实现中,首先,可以但不限于采用帧间作差法、背景消除法、光流法和深度学习算法(如YOLOv2算法)对第一成像图像进行检测,确定第一成像图向中是否包含目标物体,其中,目标物体可以是指其他车辆,也可以是指道路上的路障和其他障碍物,还可以是指行人。如图3所示,若包含目标物体,则确定每个目标物体所在的区域,并将该区域中的预设位置(如左下顶点)的第一图像像素的像素坐标确定为目标物体的位置信息,其中,为了便于确定位置信息,可以将目标物体所在的区域用2维矩形框或3维立体框框出,从而可以将2维矩形框或3维立体框的一个顶点(如左下顶点)的像素坐标、或其中一条边(如下底边)的中心点的像素坐标、或3维立体框的下底面的中心点的像素坐标作为目标物体的位置信息。其中,如图4所示,成像图像可以看作是由许多具有明确的位置和色彩值的小方块组成的,而这些小方块的颜色和位置就决定该图像所呈现出来的样子,其中,每个小方块就是一个图像像素,图像像素的像素坐标可以为该像素所在的行数和列数,如(m,n)表示第m行和第n列的图像像素。
S103,根据所述位置信息,确定所述目标物体与所述车辆之间的相对行驶状态。
具体实现中,可以根据目标物体的位置信息,确定目标物体是否位于车辆对应的报警区域,并当目标物***于车辆对应的报警区域时,确定相对行驶状态为危险状态,即车辆和目标物体之间容易发生碰撞和摩擦。当目标物体不位于车辆对应的报警区域时,确定相对行驶状态为安全状态。其中,报警区域可以为预先设定的电子外后视镜视角范围内的一块区域,当目标物体进入该区域时本车辆与目标物体发生碰撞和摩擦的概率较大。例如,图5提供了一种可能的报警区域的示意图,如图所示,分布于车辆左右两侧的阴影区域为车辆的报警区域。其中,A线平行于车辆后缘,并位于车辆后缘后部30.0米(m)处、线B平行于车辆后缘,并未与位于车辆后缘后部3.0m处、线C平行于车辆前缘,并位于第九十五百分位眼椭圆的中心、线D为车辆前缘的双向延长线、线E平行于车辆的中心线,并位于车辆车身左侧的最外缘、线F平行于车辆的中心线,并与车辆左侧最外缘相距0.5m、线G平行于车辆的中心线,并与车辆左侧最外缘相距3.0m、线H平行于车辆的中心线,并与车辆车身左侧最外缘相距6.0m、线J平行于试验车辆的中心线,并位于车辆车身右侧的最外缘、线K平行于车辆的中心线,并与车辆车身右侧最外缘相距0.5m、线L平行于车辆的中心线,并与车辆车身右侧最外缘相距3.0m、线M平行于车辆的中心线,并与车辆车身右侧最外缘相距6.0m、线N为车辆后缘的双向延长线以及线O平行于车辆后缘,并位于车辆后缘后部10.0m处。其中,上述车身均不包含后视镜。
需要说明的是,除了矩形区域,报警区域还可以是电子外后视镜视角范围内的其他形状、其他位置的区域。
其中,根据目标物体的位置信息确定目标物体是否位于车辆对应的报警区域具体包括以下几个步骤:
首先,对第一成像图像作现实世界的距离标定,其中,包括横向距离的标定和纵向距离的标定,如图6所示,横向距离是指车辆1的车身最外缘(不包括后视镜)与车辆2的车身最外缘(不包括后视镜)之间的距离,纵向距离是指车辆1前部位于第九十五百分位眼椭圆的中心与车辆2最前端之间的距离。因此,可以按照如图5所示的现实世界中车辆周围区域的划分方式对第一成像图像进行距离标定。第一成像图像距离标定结果如图7所示,l0、l1、l2、l3、h0、h1、h2和h3为标定线。其中,l0、l1、l2和l3可以看作平行的车道线,也可以看作平行于自身车辆的中心线,并分别距离车身左侧最外缘0米(m)、0.5m、3m和6m,即l0、l1、l2和l3分别对应图4中的线E、F、G和H。h1、h2、h3可看作平行于车辆后缘,并分别距离车辆后缘3.0m、10.0m和30.0m处,即分别对应图5中的线B、O和A。左下角的灰色区域为车身所在区域,O点为现实世界中平行的车道线在图像中相交的点,P点为电子外后视镜的安装点。此外,h0为电子外后视镜视野区域距离后视镜最近处,如图8所示,H1为电子外后视镜的安装高度,θ为电子外后视镜的视角,则电子外后视镜视野区域与后视镜之间的最小距离H2为
其中,tan为正切函数。此外,由(1)式可知电子外后视镜的视野范围越大H2越小。
需要说明的是,除了l0、l1、l2、l3、h0、h1、h2和h3之外,还可以标定更多的li(i=0,1,2,...,n)和hi(i=0,1,2,...,n)。例如,可以每间隔1m标定一条li和hi。
接着,可以但不限于将li和hi的交点处的图像像素作为第二图像像素,并根据第二图像像素的像素坐标以及l0、l1、…和li、以及h0、h1、…和hi在现实世界中的实际距离,建立距离查询表,该距离查询表中包括像素坐标与实际距离之间的关系,其中,像素坐标对应的实际距离为现实世界中该像素坐标对应的图像像素对应的位置与车辆之间的距离,包括横向距离和纵向距离。例如,如图9所示,图像像素1、2和3的像素坐标分别为(m1,n1)、(m2,n2)和(m3,n3),其中,l0、l1、l2、l3和l4分别距离车身左侧最外缘0m、0.5m、3m、6m和1.5m以及h1、h2、h3和h4分别距离车辆后缘3.0m、10.0m、30.0m和1.5m。因此,可以得到如表1所示的距离查询表,其中,像素坐标(m1,n1)对应的实际距离为(0,30),其中,0为横向距离,30为纵向距离。像素坐标(m2,n2)和(m3,n3)对应的实际距离分别为(0.5,10)和(1.5,1.5)。
表1.距离查询表
像素坐标 | 实际距离 |
(m1,n1) | (0,30) |
(m2,n2) | (0.5,10) |
(m3,n3) | (1.5,1.5) |
然后,先将目标物体的位置信息,也就是目标物体所在区域中预设位置的第一图像像素的第一像素坐标与距离查询表中的每个第二像素坐标进行匹配,其中,可以但不限于计算两个像素坐标之间的距离,将距离最小的第二像素坐标确定为与第一像素坐标相匹配的第二像素坐标。
最后,从所述距离查询表中查找与第一像素坐标相匹配的第二像素坐标对应的实际距离,并根据查找到的实际距离,确定目标物体是否位于报警区域。
例如:确定与第一像素坐标相匹配的第二像素坐标为(m3,n3),则可以从表1中查找到(m3,n3)对应的实际距离为(1.5,1.5),即目标物体与车辆的横/纵向距离均为1.5m,假设第一成像图像来自车辆的左侧电子外后视镜,则如图5所示,因为车辆的左侧报警区域的边界线G线与车辆的横向距离以及B线与车辆的中线距离均为3m,所以可以确定目标物体已进入左侧报警区域。
S104,当所述相对行驶状态为危险状态时,按照预设的报警方式进行报警。
具体实现中,可以从第一成像图像中检测出目标物体的物体类别,其中,物体类别可以但不限于包括行人、障碍物(有危害的例如石块,无危害的例如塑料袋等)、电瓶车、自行车、小汽车(car)、卡车(truck)。然后按照预设的报警方式呈现报警信息,其中,报警信息中包括物体类别,预设的报警方式可以包括语义播报和图像显示中的至少一种。例如,当卡车进入右侧的报警区域时,可以语音播报“请注意,右侧有一辆卡车已进入碰撞敏感区域!”,还可以在车载显示设备上显示报警信息“Warming,Right:truck”。
在本申请实施例中,首先获取车辆的电子外后视镜采集到的成像图像;接着根据成像图像,确定电子外后视镜的视野范围内的目标物体、以及目标物体的位置信息;然后根据位置信息,确定目标物体与车辆之间的相对行驶状态;最后当相对行驶状态为危险状态时,按照预设的报警方式进行报警。可以有效防止车辆发生碰撞、摩擦等安全事故、提高车辆行驶的安全性。
请参考图10,图10是本申请实施例提供的另一种车辆危险报警的方法的流程示意图。如图所示,本申请实施例中的方法包括:
S1001,获取车辆的电子外后视镜采集到的第一成像图像。本步骤与上一实施例中的S101相同,本步骤不再赘述。
S1002,根据第一成像图像,确定电子外后视镜的视野范围内的目标物体、以及目标物体的位置信息。本步骤与上一实施例中的S102相同,本步骤不再赘述。
S1003,根据位置信息,确定目标物体与车辆之间的第一相对行驶状态。本步骤与上一实施例中的S103相同,本步骤不再赘述。
S1004,确定第一相对行驶状态是否为危险状态。若是,则执行S1005,若否,则结束于本步骤,并不再执行下述操作步骤。
S1005,确定目标物体的运动轨迹。
具体实现中,可以首先获取电子外后视镜在第一成像图像对应的图像采集时间之前采集的M帧第二成像图像,M为大于1的整数,其中,电子外后视镜在车辆启动时立即开始采集成像图像,得到连续的视频图像,该视频图像中包括当前采集到的一帧成像图像(第一成像图像)以及当前时间之前采集的多帧成像图像。
然后,根据M帧第二成像图像确定目标物体的运动轨迹,如图11所示,主要包括以下几个步骤:
(1)根据M帧第二成像图像,确定至少一个物体对应的至少一条运行轨迹,其中,如图12所示,可以根据M帧第二成像图像,将前后不同帧的同一物体的位置信息进行数据关联,相当于对M帧第二成像图像中的每个物体进行追踪,得到至少一条运动轨迹。
(2)对目标物体与至少一条运动轨迹中的每条运动轨迹进行关联。其中,可以但不限于根据卡尔曼算法对每条运动轨迹对应的物体在图像采集时间上的位置进行预测,得到位置预测信息;然后构建损失矩阵,并利用匈牙利算法将目标物体的位置信息与每条运动轨迹的位置预测信息进行匹配。
(3)一方面,当目标物体的位置信息与位置预测信息相匹配,即目标物体与该位置预测信息所属的运动轨迹关联成功时,说明目标物体与该运动轨迹对应的物体为同一物体,因此可以将与位置信息相匹配的位置预测信息所属的运动轨迹确定为目标物体的运动轨迹。在目标物体与该运动轨迹关联成功后,可以根据目标物体的位置信息对与之关联的运动轨迹进行更新。另一方面,在第一成像图像中可以检测到多个目标物体,因此可能存在某一个或几个目标物体的位置信息与所述至少一条运动轨迹中任意一条对应的位置预测信息均不匹配,即目标物体无法与任意一条运动轨迹关联成功的情况,则此时可以为所述某一个或几个目标物体中的每个目标物体建立一条新的运动轨迹,并将某一个或几个目标物体的所在的位置作为对应的新的运动轨迹的起点,比如:某辆卡车是在第一成像图像对应的图像采集时间上进入电子外后视镜的视野范围的,即该卡车相对于所述的至少一个物体来说是一个新的物体,则可以针对该卡车建立新的运动轨迹,并将该卡车当前所在的位置作为新的运动轨迹的起点。第三方面,还可能存在所述的至少一条运动轨迹中的一条或几条运动轨迹无法与从第一成像图像中检测出来的任意一个目标物体关联成功的情况,此时,也需要对这一条或几条运动轨迹进行更新,其中,若某条运动轨迹已经连续N次未关联到目标物体,即在连续采集的N帧成像图像中均未关联到目标物体,则将该条运动轨迹删除,其中,N可以1、2、3、4等任意整数。例如:在电子外后视镜采集到的第1-100帧成像图像,持续跟踪到了某辆卡车,并得到该卡车的运动轨迹,但在随后采集的第100-105帧图像中,均未检测到与该运动轨迹相关联匹配的目标物体,即未跟踪到该卡车,则可以确定该卡车已经不在电子外后视镜的视野范围,比如该卡车在上一个路口进行了左拐弯,已经不与本车辆行驶在同一条道路了。因此,可以将该卡车的运动轨迹清空。
S1006,根据运动轨迹,确定目标物体的行驶信息。
具体实现中,行驶信息可以包括目标物体的行驶方向和行驶速度。其中,可以先根据电子外后视镜的图像采集频率、以及根据运动轨迹来确定从第m帧图像到第n帧图像目标物体的行驶距离,m和n为大于1的整数;然后根据图像采集频率和行驶距离确定行驶速度。
S1007,根据行驶信息和预设的报警方式进行报警。
具体实现中,可以首先根据目标物体的行驶速度,确定目标物体是否处于静止状态,并当目标物体不处于静止状态时,按照预设的报警方式进行报警。通过对静止状态的判别,可以将停靠在道路两侧的车辆或站立的道路两旁的行人进入报警区域但并不会发生碰撞和摩擦的情况排除,提高危险报警的准确性和可靠性。
可选的,可以根据行驶信息,进行报警抑制,报警抑制是指控制报警程序或设备暂时不进行报警;接着当报警抑制的累积时长超过第一阈值时,确定车辆与目标物体的第二相对行驶状态,其中,第一阈值可以为但不限于为2秒,第二相对行驶状态为车辆与目标物体当前的相对行驶状态,若第二相对行驶状态为危险状态,则再按照预设的报警方式进行报警,若第二相对行驶状态为安全状态,则无需报警。例如,若行驶速度较快的其他车辆进入本车辆的报警区域,则因为该车辆的行驶速度较快,在2秒后就已经离开报警区域,则不必进行报警,所以通过报警抑制,也可以提高危险报警的准确性和可靠性。其中,报警抑制包括但不限于以下两种情况:
第一种情况:行驶信息包括目标物体的行驶方向,因此,可以先确定车辆的行驶方向、以及目标物体是否是从车辆的前方进入车辆的报警区域。然后,当目标物体的行驶方向和车辆的行驶方向相同、且目标物体是从车辆的前方进入报警区域时,进行报警抑制,否则立即进行报警。其中,当目标物体的行驶方向和车辆的行驶方向相同、且目标物体是从车辆的前方进入报警区域时,说明车辆正在超越目标物体(如其他车辆),此时目标物体进入该车辆报警区域为正常现象,无需立即报警。但若目标物体长时间位于报警区域,则为了保障安全,仍应对驾驶员进行提醒。
第二种情况:行驶信息包括目标物体的行驶速度。于是,可以通过CAN总线获取车辆的行驶速度,当目标物体的行驶速度与车辆的行驶速度之差大于第二阈值,即目标物体和车辆的相对行驶速度较快时,进行报警抑制。其中,当目标物体和车辆的相对行驶速度较快,目标物体停留在车辆报警区域的时间通常较短,因此可以在一定时间(如2秒)之后,再次确认目标物体当前是否仍处在辆的报警区域,若是,则再进行报警,从而提高危险报警的可靠性。
在本申请实施例中,首先获取车辆的电子外后视镜采集到的成像图像;接着根据成像图像,确定电子外后视镜的视野范围内的目标物体、以及目标物体的位置信息;然后根据位置信息,确定目标物体与车辆之间的相对行驶状态;最后当相对行驶状态为危险状态时,进一步确定以目标物体的行驶速度和行驶方向的行驶信息,并根据确定是否需要报警以及是否需要进行报警抑制,当确定需要报警或报警抑制时长达到阈值时,按照预设的报警方式进行报警。不仅可以有效防止车辆发生碰撞、摩擦等安全事故、提高车辆行驶的安全性,而且通过行驶信息可以将物体进入报警区域但无需报警的情况排除,从而提高危险报警的准确性和可靠性。
请参考图13,图13是本申请实施例提供的一种车辆危险报警装置的结构示意图。如图所示,本申请实施例中的装置包括:
获取模块1301,用于获取车辆的电子外后视镜采集到的第一成像图像。
具体实现中,如图2所示,电子外后视镜为安装在车辆左右两侧外的电子化的后视镜。与普通的平面镜、球面镜和双曲率镜面等材质的后视镜不同,电子外后视镜可以为车载规格的摄像头,可以采集对应视野范围内的现实世界的成像图像。在车辆内部可以设置显示设备用以显示电子外后视镜采集到的成像图像以方便驾驶员查看。其中,一旦车辆启动,电子外后视镜就开始工作,即开始采集成像图像,从而得到连续的视频图像。视频图像中包括N帧成像图像,N通常为数值较大的整数,其中,第一成像图像可以是指电子外后视镜当前采集到的一帧成像图像。
检测模块1302,用于根据所述第一成像图像,确定所述电子外后视镜的视角范围内的目标物体、以及所述目标物体的位置信息。
具体实现中,首先,可以但不限于采用帧间作差法、背景消除法、光流法和深度学习算法(如YOLOv2算法)对第一成像图像进行检测,确定第一成像图向中是否包含目标物体,其中,目标物体可以是指其他车辆,也可以是指道路上的路障和其他障碍物,还可以是指行人。如图3所示,若包含目标物体,则确定每个目标物体所占据的像素区域,并将该区域用2维矩形框或3维立体框框出,从而可以将2维矩形框或3维立体框的顶点坐标作为目标物体的位置信息。例如,顶点为坐标为(m,n),即顶点为第一成像图像中的第n行的第m个像素点。
检测模块1303,用于根据所述目标物体的位置信息,确定所述目标物体与所述车辆之间的第一相对行驶状态。
具体实现中,可以根据目标物体的位置信息,确定目标物体是否位于车辆对应的报警区域,并当目标物***于车辆对应的报警区域时,确定相对行驶状态为危险状态,即车辆和目标物体之间容易发生碰撞和摩擦。当目标物体不位于车辆对应的报警区域时,确定相对行驶状态为安全状态。其中,报警区域可以为预先设定的电子外后视镜视角范围内的一块区域,当目标物体进入该区域时本车辆与目标物体发生碰撞和摩擦的概率较大。例如,图5提供了一种可能的报警区域的示意图,如图所示,分布于车辆左右两侧的阴影区域为车辆的报警区域。其中,A线平行于车辆后缘,并位于车辆后缘后部30.0米(m)处、线B平行于车辆后缘,并未与位于车辆后缘后部3.0m处、线C平行于车辆前缘,并位于第九十五百分位眼椭圆的中心、线D为车辆前缘的双向延长线、线E平行于车辆的中心线,并位于车辆车身左侧的最外缘、线F平行于车辆的中心线,并与车辆左侧最外缘相距0.5m、线G平行于车辆的中心线,并与车辆左侧最外缘相距3.0m、线H平行于车辆的中心线,并与车辆车身左侧最外缘相距6.0m、线J平行于试验车辆的中心线,并位于车辆车身右侧的最外缘、线K平行于车辆的中心线,并与车辆车身右侧最外缘相距0.5m、线L平行于车辆的中心线,并与车辆车身右侧最外缘相距3.0m、线M平行于车辆的中心线,并与车辆车身右侧最外缘相距6.0m、线N为车辆后缘的双向延长线以及线O平行于车辆后缘,并位于车辆后缘后部10.0m处。其中,上述车身均不包含后视镜。
需要说明的是,除了矩形区域,报警区域还可以是电子外后视镜视角范围内的其他形状、其他位置的区域。
其中,根据目标物体的位置信息确定目标物体是否位于车辆对应的报警区域具体包括以下几个步骤:
首先,按照车辆的报警区域对第一成像图像作现实世界的距离标定,其中,包括横向距离的标定和纵向距离的标定。因此,可以按照如图6所示的现实世界中车辆周围区域的划分方式对第一成像图像进行距离标定。第一成像图像距离标定结果如图7所示,l0、l1、l2、l3、h0、h1、h2和h3为标定线。其中,l0、l1、l2和l3可以看作平行的车道线,也可以看作平行于自身车辆的中心线,并分别距离车身左侧最外缘0米(m)、0.5m、3m和6m,即l0、l1、l2和l3分别对应图5中的线E、F、G和H。h1、h2、h3可看作平行于车辆后缘,并分别距离车辆后缘3.0m、10.0m和30.0m处,即分别对应图5中的线B、O和A。左下角的灰色区域为车身所在区域,O点为现实世界中平行的车道线在图像中相交的点,P点为电子外后视镜的安装点。此外,h0为电子外后视镜视野区域距离后视镜最近处。其中,电子外后视镜的视野范围越大H2越小。
需要说明的是,除了l0、l1、l2、l3、h0、h1、h2和h3之外,还可以按照图5标定更多的li(i=0,1,2,...,n)和hi(i=0,1,2,...,n)。
接着,可以但不限于将li和hi的交点的图像像素作为第二图像像素,并根据第二图像像素的像素坐标以及l0、l1、…和li、以及h0、h1、…和hi在现实世界中的实际距离,建立距离查询表,该距离查询表中包括像素坐标与实际距离之间的关系。例如,如图9所示,图像像素1、2和3的像素坐标分别为(m1,n1)、(m2,n2)和(m3,n3),其中,l1、l2、l3和l4分别距离车身左侧最外缘0.5m、6m、3m和1.5m以及h1、h2、h3和h4分别距离车辆后缘3.0m、10.0m、30.0m和1.5m。因此,可以得到如表1所示的距离查询表,其中,像素坐标(m1,n1)对应的实际距离为(0,30),其中,0为横向距离,30为纵向距离。像素坐标(m2,n2)和(m3,n3)对应的实际距离分别为(0.5,10)和(1.5,1.5)。
然后,先将目标物体的位置信息,也就是目标物体所在区域中预设位置的第一图像像素的第一像素坐标与距离查询表中的每个第二像素坐标进行匹配,其中,可以但不限于计算两个像素坐标之间的距离,将距离最小的确定为与第一像素坐标相匹配的第二像素坐标。
最后,从所述距离查询表中查找与第一像素坐标相匹配的第二像素坐标对应的实际距离,并根据查找到的实际距离,确定目标物体是否位于车辆的报警区域。
报警模块1304,用于当所述第一相对行驶状态为危险状态时,按照预设的报警方式进行报警。
具体实现中,可以从第一成像图像中检测出目标物体的物体类别,其中,物体类别可以但不限于包括行人、障碍物(有危害的例如石块,无危害的例如塑料袋等)、电瓶车、自行车、小汽车(car)、卡车(truck)。然后按照预设的报警方式呈现报警信息,其中,报警信息中包括物体类别,预设的报警方式可以包括语义播报和图像显示中的至少一种。
可选的,检测模块1302还用于确定目标物体的运动轨迹。
具体实现中,可以首先获取电子外后视镜在第一成像图像对应的图像采集时间之前采集的M帧第二成像图像,M为大于1的整数,其中,电子外后视镜在车辆启动时立即开始采集成像图像,得到连续的视频图像,该视频图像中包括当前采集到的一帧成像图像(第一成像图像)以及当前时间之前采集的多帧成像图像。
然后,根据M帧第二成像图像确定目标物体的运动轨迹,如图11所示,主要包括以下几个步骤:
(1)根据M帧第二成像图像,确定至少一个物体对应的至少一条运行轨迹,其中,如图12所示,可以根据M帧第二成像图像,将前后不同帧的同一物体的位置信息进行数据关联,相当于对M帧第二成像图像中的每个物体进行追踪,得到至少一条运动轨迹。
(2)对目标物体与至少一条运动轨迹中的每条运动轨迹进行关联。其中,可以但不限于根据卡尔曼算法对每条运动轨迹对应的物体在图像采集时间上的位置进行预测,得到位置预测信息;然后构建损失矩阵,并利用匈牙利算法将目标物体的位置信息与每条运动轨迹的位置预测信息进行匹配。
(3)一方面,当目标物体的位置信息与位置预测信息相匹配,即目标物体与该位置预测信息所属的运动轨迹关联成功时,说明目标物体与该运动轨迹对应的物体为同一物体,因此可以将与位置信息相匹配的位置预测信息所属的运动轨迹确定为目标物体的运动轨迹。在目标物体与该运动轨迹关联成功后,可以根据目标物体的位置信息对与之关联的运动轨迹进行更新。另一方面,在第一成像图像中可以检测到多个目标物体,因此可能存在某一个或几个目标物体的位置信息与所述至少一条运动轨迹中任意一条对应的位置预测信息均不匹配,即目标物体无法与任意一条运动轨迹关联成功的情况,则此时可以为所述某一个或几个目标物体中的每个目标物体建立一条新的运动轨迹,并将某一个或几个目标物体的所在的位置作为对应的新的运动轨迹的起点,比如:某辆卡车是在第一成像图像对应的图像采集时间上进入电子外后视镜的视野范围的,即该卡车相对于所述的至少一个物体来说是一个新的物体,则可以针对该卡车建立新的运动轨迹,并将该卡车当前所在的位置作为新的运动轨迹的起点。第三方面,还可能存在所述的至少一条运动轨迹中的一条或几条运动轨迹无法与从第一成像图像中检测出来的任意一个目标物体关联成功的情况,此时,也需要对这一条或几条运动轨迹进行更新,其中,若某条运动轨迹已经连续N次未关联到目标物体,即在连续采集的N帧成像图像中均未关联到目标物体,则将该条运动轨迹删除,其中,N可以1、2、3、4等任意整数。
报警模块1303,还用于根据行驶信息和预设的报警方式进行报警。
具体实现中,可以首先根据目标物体的行驶速度,确定目标物体是否处于静止状态,并当目标物体不处于静止状态时,按照预设的报警方式进行报警。通过对静止状态的判别,可以将停靠在道路两侧的车辆或站立的道路两旁的行人进入报警区域但并不会发生碰撞和摩擦的情况排除,提高危险报警的准确性和可靠性。
可选的,可以根据行驶信息,进行报警抑制,报警抑制是指控制报警程序或设备暂时不进行报警;接着当报警抑制的累积时长超过第一阈值时,确定车辆与目标物体的第二相对行驶状态,其中,第一阈值可以为但不限于为2秒,第二相对行驶状态为车辆与目标物体当前的相对行驶状态,若第二相对行驶状态为危险状态,则再按照预设的报警方式进行报警,若第二相对行驶状态为安全状态,则无需报警。其中,报警抑制包括但不限于以下两种情况:
第一种情况:行驶信息包括目标物体的行驶方向,因此,可以先确定车辆的行驶方向、以及目标物体是否是从车辆的前方进入车辆的报警区域。然后,当目标物体的行驶方向和车辆的行驶方向相同、且目标物体是从车辆的前方进入报警区域时,进行报警抑制,否则立即进行报警。其中,当目标物体的行驶方向和车辆的行驶方向相同、且目标物体是从车辆的前方进入报警区域时,标说明车辆正在超越目标物体(如其他车辆),此时目标物体进入该车辆报警区域为正常现象,无需立即报警。但若目标物体长时间位于报警区域,则为了保障安全,仍应对驾驶员进行提醒。
第二种情况:行驶信息包括目标物体的行驶速度。于是,可以通过CAN总线获取车辆的行驶速度,当目标物体的行驶速度与车辆的行驶速度之差大于第二阈值,即目标物体和车辆的相对行驶速度较快时,进行报警抑制。其中,当目标物体和车辆的相对行驶速度较快,目标物体停留在车辆报警区域的时间通常较短,因此可以在一定时间(如2秒)之后,再次确认目标物体当前是否仍处在辆的报警区域,若是,则再进行报警,从而提高危险报警的可靠性。
在本申请实施例中,首先车辆的电子外后视镜采集到的成像图像;接着根据成像图像,确定电子外后视镜的视野范围内的目标物体、以及目标物体的位置信息;然后根据位置信息,确定目标物体与车辆之间的相对行驶状态;最后当相对行驶状态为危险状态时,进一步确定以目标物体的行驶速度和行驶方向的行驶信息,并根据确定是否需要报警以及是否需要进行报警抑制,当确定需要报警或报警抑制时长达到阈值时,按照预设的报警方式进行报警。不仅可以有效防止车辆发生碰撞、摩擦等安全事故、提高车辆行驶的安全性,而且通过行驶信息可以将物体进入报警区域但无需报警的情况排除,从而提高危险报警的准确性和可靠性。
请参考图14,图14是本申请实施例提供的一种电子设备的结构示意图。如图所示,该电子设备可以包括:至少一个处理器1401,例如CPU,至少一个通信接口1402,至少一个存储器1403,至少一个总线1404。其中,总线1404用于实现这些组件之间的连接通信。其中,本申请实施例中电子设备的通信接口1402是有线发送端口,也可以为无线设备,例如包括天线装置,用于与其他节点设备进行信令或数据的通信。存储器1403可以是高速RAM存储器,也可以是非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。存储器1403可选的还可以是至少一个位于远离前述处理器1401的存储装置。存储器1403中存储一组程序代码,且处理器1401用于调用存储器中存储的程序代码,用于执行以下操作:
获取车辆的电子外后视镜采集到的第一成像图像;
根据所述第一成像图像,确定所述电子外后视镜的视角范围内的目标物体、以及所述目标物体的位置信息;
根据所述目标物体的位置信息,确定所述目标物体与所述车辆之间的第一相对行驶状态;
当所述第一相对行驶状态为危险状态时,按照预设的报警方式进行报警。
其中,所述车辆对应一个预设的报警区域;
处理器1401还用于执行如下操作步骤:
根据所述位置信息,确定所述目标物体是否位于所述报警区域;
当所述目标物***于所述报警区域时,确定所述第一相对行驶状态为所述危险状态。
其中,处理器1401还用于执行如下操作步骤:
获取所述电子外后视镜在所述第一成像图像对应的图像采集时间之前采集的M帧第二成像图像,所述M为不小于1的整数;
根据所述M帧第二成像图像,确定所述目标物体的运动轨迹;
根据所述运动轨迹,确定所述目标物体的行驶信息,所述行驶信息包括第一行驶速度和第一行驶方向中的至少一项。
其中,处理器1401还用于执行如下操作步骤:
当所述第一相对行驶状态为所述危险状态时,根据所述行驶信息和所述报警方式进行报警。
其中,处理器1401还用于执行如下操作步骤:
根据所述M帧第二成像图像,确定至少一个物体对应的至少一条运动轨迹;
对所述至少一条运动轨迹中每条运动轨迹对应的物体在所述第一成像图像对应的图像采集时间上的位置进行预测,得到位置预测信息;
将所述位置信息与所述位置预测信息进行匹配;
将与所述位置信息相匹配的位置预测信息所属的运动轨迹确定为所述目标物体的运动轨迹。
其中,处理器1401还用于执行如下操作步骤:
根据所述第一行驶速度,确定所述目标物体是否处于静止状态;
当所述第一相对行驶状态为所述危险状态、且所述目标物体不处于所述静止状态时,按照所述报警方式进行报警。
其中,处理器1401还用于执行如下操作步骤:
当所述第一相对行驶状态为所述危险状态时,根据所述行驶信息进行报警抑制;
当报警抑制的累积时长超过第一阈值时,确定所述目标物体与所述车辆之间的第二相对行驶状态;
当所述第二相对行驶状态为所述危险状态时,按照所述报警方式进行报警。
其中,处理器1401还用于执行如下操作步骤:
确定所述车辆的第二行驶方向、以及所述目标物体是否是从所述车辆的前方进入所述报警区域;
当所述第一相对行驶状态为所述危险状态、且所述第一行驶方向和所述第二行驶方向相同、且所述目标物体是从所述车辆的前方进入所述报警区域时,进行报警抑制。
其中,处理器1401还用于执行如下操作步骤:
获取所述车辆的第二行驶速度;
当所述第一相对行驶状态为所述危险状态、且所述第一行驶速度和所述第二行驶速度之差大于第二阈值时,进行报警抑制。
其中,处理器1401还用于执行如下操作步骤:
根据所述第一成像图像,确定所述目标物体所属的物体类别;
按照所述报警方式呈现报警信息,所述报警信息包括所述物体类别,所述报警方式包括语音播报和图像显示中的至少一种。
其中,处理器1401还用于执行如下操作步骤:
对所述第一成像图像进行距离标定得到距离查询表,所述距离查询表包括所述第一成像图像中的多个第二图像像素的第二像素坐标与实际距离的对应关系,所述实际距离为现实世界中所述车辆与所述第二图像像素对应的位置之间的距离。
其中,处理器1401还用于执行如下操作步骤:
将所述第一像素坐标与所述多个第二图像像素中的每个第二图像像素的第二像素坐标进行匹配;
从所述距离查询表中查找与所述第一像素坐标相匹配的第二像素坐标所对应的实际距离;
根据查找到的实际距离,确定所述目标物体是否位于所述报警区域。
进一步的,处理器还可以与存储器和通信接口相配合,执行上述申请实施例中上述车辆危险报警装置所执行的操作。
需要说明的是,本申请实施例同时也提供了一种存储介质,该存储介质用于存储应用程序,该应用程序用于在运行时执行图1和图10所示的一种车辆危险报警方法中的操作。
需要说明的是,本申请实施例同时也提供了一种应用程序,该应用程序用于在运行时执行图1和图10所示的一种车辆危险报警方法中的操作。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。以上所述的具体实施方式,对本申请的目的、技术方案和有益效果进行了进一步详细说明。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (23)
1.一种车辆危险报警方法,其特征在于,所述方法包括:
获取车辆的电子外后视镜采集到的第一成像图像;
根据所述第一成像图像,确定所述电子外后视镜的视角范围内的目标物体、以及所述目标物体的位置信息;
根据所述目标物体的位置信息,确定所述目标物体与所述车辆之间的第一相对行驶状态;
当所述第一相对行驶状态为危险状态时,按照预设的报警方式进行报警。
2.如权利要求1所述的方法,其特征在于,所述车辆对应一个预设的报警区域;
所述根据所述位置信息,确定所述目标物体与所述车辆之间的第一相对行驶状态包括:
根据所述位置信息,确定所述目标物体是否位于所述报警区域;
当所述目标物***于所述报警区域时,确定所述第一相对行驶状态为所述危险状态。
3.如权利要求2所述的方法,其特征在于,所述方法还包括:
获取所述电子外后视镜在所述第一成像图像对应的图像采集时间之前采集的M帧第二成像图像,所述M为不小于1的整数;
根据所述M帧第二成像图像,确定所述目标物体的运动轨迹;
根据所述运动轨迹,确定所述目标物体的行驶信息,所述行驶信息包括第一行驶速度和第一行驶方向中的至少一项;
所述当所述第一相对行驶状态为危险状态时,按照预设的报警方式进行报警包括:
当所述第一相对行驶状态为所述危险状态时,根据所述行驶信息和所述报警方式进行报警。
4.如权利要求3所述的方法,其特征在于,所述根据所述M帧第二成像图像,确定所述目标物体的运动轨迹包括:
根据所述M帧第二成像图像,确定至少一个物体对应的至少一条运动轨迹;
对所述至少一条运动轨迹中每条运动轨迹对应的物体在所述第一成像图像对应的图像采集时间上的位置进行预测,得到位置预测信息;
将所述位置信息与所述位置预测信息进行匹配;
将与所述位置信息相匹配的位置预测信息所属的运动轨迹确定为所述目标物体的运动轨迹。
5.如权利要求3所述的方法,其特征在于,所述当所述第一相对行驶状态为所述危险状态时,根据所述行驶信息和所述报警方式进行报警包括:
根据所述第一行驶速度,确定所述目标物体是否处于静止状态;
当所述第一相对行驶状态为所述危险状态、且所述目标物体不处于所述静止状态时,按照所述报警方式进行报警。
6.如权利要求3所述的方法,其特征在于,所述当所述第一相对行驶状态为所述危险状态时,根据所述行驶信息和所述报警方式进行报警包括:
当所述第一相对行驶状态为所述危险状态时,根据所述行驶信息进行报警抑制;
当报警抑制的累积时长超过第一阈值时,确定所述目标物体与所述车辆之间的第二相对行驶状态;
当所述第二相对行驶状态为所述危险状态时,按照所述报警方式进行报警。
7.如权利要求6所述的方法,其特征在于,所述当所述第一相对行驶状态为所述危险状态时,根据所述行驶信息进行报警抑制包括:
确定所述车辆的第二行驶方向、以及所述目标物体是否是从所述车辆的前方进入所述报警区域;
当所述第一相对行驶状态为所述危险状态、且所述第一行驶方向和所述第二行驶方向相同、且所述目标物体是从所述车辆的前方进入所述报警区域时,进行报警抑制。
8.如权利要求6所述的方法,其特征在于,所述当所述第一相对行驶状态为所述危险状态时,根据所述行驶信息进行报警抑制包括:
获取所述车辆的第二行驶速度;
当所述第一相对行驶状态为所述危险状态、且所述第一行驶速度和所述第二行驶速度之差大于第二阈值时,进行报警抑制。
9.如权利要求1所述的方法,其特征在于,所述按照预设的报警方式进行报警包括:
根据所述第一成像图像,确定所述目标物体所属的物体类别;
按照所述报警方式呈现报警信息,所述报警信息包括所述物体类别,所述报警方式包括语音播报和图像显示中的至少一种。
10.如权利要求1-9任一项所述的方法,其特征在于,所述位置信息为所述目标物体所在区域中的预设位置的图像像素的第一像素坐标;
所述方法还包括:
对所述第一成像图像进行距离标定得到距离查询表,所述距离查询表包括所述第一成像图像中的多个第二图像像素的第二像素坐标与实际距离的对应关系,所述实际距离为现实世界中所述车辆与所述第二图像像素对应的位置之间的距离;
所述根据所述位置信息,确定所述目标物体是否位于所述报警区域包括:
将所述第一像素坐标与所述多个第二图像像素中的每个第二图像像素的第二像素坐标进行匹配;
从所述距离查询表中查找与所述第一像素坐标相匹配的第二像素坐标所对应的实际距离;
根据查找到的实际距离,确定所述目标物体是否位于所述报警区域。
11.一种车辆危险报警装置,其特征在于,所述装置包括:
获取模块,用于获取车辆的电子外后视镜采集到的第一成像图像;
检测模块,用于根据所述第一成像图像,确定所述电子外后视镜的视角范围内的目标物体、以及所述目标物体的位置信息;
所述检测模块,还用于根据所述目标物体的位置信息,确定所述目标物体与所述车辆之间的第一相对行驶状态;
报警模块,用于当所述第一相对行驶状态为危险状态时,按照预设的报警方式进行报警。
12.如权利要求11所述的装置,其特征在于,所述车辆对应一个预设的报警区域;
所述检测模块还用于:
根据所述位置信息,确定所述目标物体是否位于所述报警区域;
当所述目标物***于所述报警区域时,确定所述第一相对行驶状态为所述危险状态。
13.如权利要求12所述的装置,其特征在于,所述获取模块还用于:
获取所述电子外后视镜在所述第一成像图像对应的图像采集时间之前采集的M帧第二成像图像,所述M为不小于1的整数;
所述检测模块还用于:
根据所述M帧第二成像图像,确定所述目标物体的运动轨迹;
根据所述运动轨迹,确定所述目标物体的行驶信息,所述行驶信息包括第一行驶速度和第一行驶方向中的至少一项;
所述报警模块还用于:
当所述第一相对行驶状态为所述危险状态时,根据所述行驶信息和所述报警方式进行报警。
14.如权利要求13所述的装置,其特征在于,所述检测模块还用于:
根据所述M帧第二成像图像,确定至少一个物体对应的至少一条运动轨迹;
对所述至少一条运动轨迹中每条运动轨迹对应的物体在所述第一成像图像对应的图像采集时间上的位置进行预测,得到位置预测信息;
将所述位置信息与所述位置预测信息进行匹配;
将与所述位置信息相匹配的位置预测信息所属的运动轨迹确定为所述目标物体的运动轨迹。
15.如权利要求13所述的装置,其特征在于,所述报警模块还用于:
根据所述第一行驶速度,确定所述目标物体是否处于静止状态;
当所述第一相对行驶状态为所述危险状态、且所述目标物体不处于所述静止状态时,按照所述报警方式进行报警。
16.如权利要求15所述的装置,其特征在于,所述报警模块还用于:
当所述第一相对行驶状态为所述危险状态时,根据所述行驶信息进行报警抑制;
当报警抑制的累积时长超过第一阈值时,确定所述目标物体与所述车辆之间的第二相对行驶状态;
当所述第二相对行驶状态为所述危险状态时,按照所述报警方式进行报警。
17.如权利要求16所述的装置,其特征在于,所述报警模块还用于:
确定所述车辆的第二行驶方向、以及所述目标物体是否是从所述车辆的前方进入所述报警区域;
当所述第一相对行驶状态为所述危险状态、且所述第一行驶方向和所述第二行驶方向相同、且所述目标物体是从所述车辆的前方进入所述报警区域时,进行报警抑制。
18.如权利要求16所述的装置,其特征在于,所述报警模块还用于:
获取所述车辆的第二行驶速度;
当所述第一相对行驶状态为所述危险状态、且所述第一行驶速度和所述第二行驶速度之差大于第二阈值时,进行报警抑制。
19.如权利要求11所述的装置,其特征在于,所述报警模块还用于:
根据所述第一成像图像,确定所述目标物体所属的物体类别;
按照所述报警方式呈现报警信息,所述报警信息包括所述物体类别,所述报警方式包括语音播报和图像显示中的至少一种。
20.如权利要求11-19任一项所述的装置,其特征在于,所述位置信息为所述目标物体所在区域中的预设位置的图像像素的第一像素坐标;
所述检测模块还用于:
对所述第一成像图像进行距离标定得到距离查询表,所述距离查询表包括所述第一成像图像中的多个第二图像像素的第二像素坐标与实际距离的对应关系,所述实际距离为现实世界中所述车辆与所述第二图像像素对应的位置之间的距离;
将所述第一像素坐标与所述多个第二图像像素中的每个第二图像像素的第二像素坐标进行匹配;
从所述距离查询表中查找与所述第一像素坐标相匹配的第二像素坐标所对应的实际距离;
根据查找到的实际距离,确定所述目标物体是否位于所述报警区域。
21.一种电子设备,其特征在于,包括:处理器、存储器、通信接口和总线;
所述处理器、所述存储器和所述通信接口通过所述总线连接并完成相互间的通信;
所述存储器存储可执行程序代码;
所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序,以用于执行如权利要求1-10任一项所述的方法。
22.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有多条指令,所述指令适于由处理器加载并执行如权利要求1-10任一项所述的方法。
23.一种车辆,其特征在于,所述车辆包括车辆危险报警设备,所述车辆危险报警设备用于执行如权利要求1-10任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910601096.XA CN112249007A (zh) | 2019-07-04 | 2019-07-04 | 一种车辆危险报警方法及相关设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910601096.XA CN112249007A (zh) | 2019-07-04 | 2019-07-04 | 一种车辆危险报警方法及相关设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112249007A true CN112249007A (zh) | 2021-01-22 |
Family
ID=74224337
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910601096.XA Pending CN112249007A (zh) | 2019-07-04 | 2019-07-04 | 一种车辆危险报警方法及相关设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112249007A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113436464A (zh) * | 2021-06-29 | 2021-09-24 | 东风汽车集团股份有限公司 | 车辆危险预警方法、装置、设备及存储介质 |
CN114013434A (zh) * | 2021-10-29 | 2022-02-08 | 上汽通用五菱汽车股份有限公司 | 用于控制车辆避让掉落物的方法、车载电子设备和介质 |
CN115691221A (zh) * | 2022-12-16 | 2023-02-03 | 山东矩阵软件工程股份有限公司 | 一种车辆预警方法、车辆预警***及相关装置 |
WO2024113912A1 (zh) * | 2022-12-02 | 2024-06-06 | 浙江极氪智能科技有限公司 | 控制方法、控制装置、车辆和存储介质 |
-
2019
- 2019-07-04 CN CN201910601096.XA patent/CN112249007A/zh active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113436464A (zh) * | 2021-06-29 | 2021-09-24 | 东风汽车集团股份有限公司 | 车辆危险预警方法、装置、设备及存储介质 |
CN113436464B (zh) * | 2021-06-29 | 2022-09-16 | 东风汽车集团股份有限公司 | 车辆危险预警方法、装置、设备及存储介质 |
CN114013434A (zh) * | 2021-10-29 | 2022-02-08 | 上汽通用五菱汽车股份有限公司 | 用于控制车辆避让掉落物的方法、车载电子设备和介质 |
CN114013434B (zh) * | 2021-10-29 | 2024-06-11 | 上汽通用五菱汽车股份有限公司 | 用于控制车辆避让掉落物的方法、车载电子设备和介质 |
WO2024113912A1 (zh) * | 2022-12-02 | 2024-06-06 | 浙江极氪智能科技有限公司 | 控制方法、控制装置、车辆和存储介质 |
CN115691221A (zh) * | 2022-12-16 | 2023-02-03 | 山东矩阵软件工程股份有限公司 | 一种车辆预警方法、车辆预警***及相关装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112172663A (zh) | 一种基于开车门的危险报警方法及相关设备 | |
US9983306B2 (en) | System and method for providing target threat assessment in a collision avoidance system on a vehicle | |
CN112249007A (zh) | 一种车辆危险报警方法及相关设备 | |
CN107487258B (zh) | 盲区检测***和方法 | |
JP5371273B2 (ja) | 物体検知装置、周辺監視装置、運転支援システムおよび物体検知方法 | |
JP5712119B2 (ja) | 車両用歩行者報知装置 | |
JP5907700B2 (ja) | 画像処理装置、車両システム、及び、画像処理方法 | |
CN113593301B (zh) | 车辆加塞的预判断方法、车辆及计算机可读存储介质 | |
CN110341621B (zh) | 一种障碍物检测方法及装置 | |
US20210142075A1 (en) | Information processing device, information processing system, and recording medium recording information processing program | |
CN109887321B (zh) | 无人车变道安全判别方法、装置及存储介质 | |
CN115402322A (zh) | 一种路口驾驶辅助方法、***、电子设备及存储介质 | |
CN114368394A (zh) | 攻击基于车联网的v2x设备的方法、装置及存储介质 | |
CN115713745A (zh) | 障碍物检测方法、电子设备及存储介质 | |
KR102084946B1 (ko) | 차량의 이동 경로에 위치한 객체의 통과 높이에 따른 경보 알림 생성 장치 및 방법 | |
CN116442900A (zh) | 一种大货车视角盲区检测报警方法及*** | |
CN112419783A (zh) | 一种车辆辅助驾驶***、方法和装置 | |
US20220036099A1 (en) | Moving body obstruction detection device, moving body obstruction detection system, moving body obstruction detection method, and storage medium | |
CN112349142B (zh) | 一种车辆追尾预警方法及其相关设备 | |
US20210142079A1 (en) | Information processing device, information processing system, and recording medium storing information processing program | |
CN111886167A (zh) | 通过碰撞风险图执行自动驾驶车辆控制 | |
CN110889409B (zh) | 汽车雷达监测优化方法、装置、设备及存储介质 | |
CN113408320A (zh) | 用于车辆避撞的方法、电子设备和计算机存储介质 | |
CN112026700A (zh) | 汽车防撞预警方法、***及存储介质 | |
CN111746534A (zh) | 车辆驾驶辅助***、包括其的车辆及相应的方法和介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20210122 |
|
WD01 | Invention patent application deemed withdrawn after publication |