CN117523914A - 碰撞预警方法、装置、设备、可读存储介质及程序产品 - Google Patents

碰撞预警方法、装置、设备、可读存储介质及程序产品 Download PDF

Info

Publication number
CN117523914A
CN117523914A CN202210910848.2A CN202210910848A CN117523914A CN 117523914 A CN117523914 A CN 117523914A CN 202210910848 A CN202210910848 A CN 202210910848A CN 117523914 A CN117523914 A CN 117523914A
Authority
CN
China
Prior art keywords
target
target obstacle
image acquisition
obstacle
foot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210910848.2A
Other languages
English (en)
Inventor
胡荣东
黄倩倩
彭美华
杨凯斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changsha Intelligent Driving Research Institute Co Ltd
Original Assignee
Changsha Intelligent Driving Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changsha Intelligent Driving Research Institute Co Ltd filed Critical Changsha Intelligent Driving Research Institute Co Ltd
Priority to CN202210910848.2A priority Critical patent/CN117523914A/zh
Publication of CN117523914A publication Critical patent/CN117523914A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B31/00—Predictive alarm systems characterised by extrapolation or other computation using updated historic data

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Emergency Management (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种碰撞预警方法、装置、设备、可读存储介质及程序产品，该方法包括获取目标障碍物在N个时刻下的N个脚点以及车辆的M个图像采集装置的标定参数，N个脚点基于M个图像采集装置中的至少一个图像采集装置采集的图像得到；根据标定参数将N个脚点投影至鸟瞰图，得到目标障碍物的目标轨迹；根据目标轨迹确定目标障碍物与车辆是否存在碰撞风险；若存在碰撞风险则发出预警提示信息。这样，针对目标障碍物在同一个图像采集装置的采集区域内运动，或跨越不同图像采集装置的采集区域运动的情况，利用N个脚点投影至鸟瞰图得到的目标轨迹来预测碰撞风险，提高了碰撞风险分析的效率及准确性，从而能够同时满足碰撞预警的及时性和准确性需求。

Description

碰撞预警方法、装置、设备、可读存储介质及程序产品
技术领域
本申请属于车辆预警技术领域，尤其涉及一种碰撞预警方法、装置、设备、可读存储介质及程序产品。
背景技术
车辆行驶过程中的安全问题一直广受关注，目前通常可以基于车辆的检测装置检测车辆周围的障碍物，以及障碍物的运动状态，从而可以分析出车辆与障碍物是否会发生碰撞，及时进行预警提示。然而，现有的碰撞预警方法，在分析车辆与障碍物的碰撞风险时，往往难以同时保证障碍物检测的便捷性和准确性，导致难以同时满足碰撞预警的及时性和准确性需求。
发明内容
本申请实施例提供一种碰撞预警方法、装置、设备、可读存储介质及程序产品，以解决难以同时满足碰撞预警的及时性和准确性需求的技术问题。
第一方面，本申请实施例提供一种碰撞预警方法，方法包括：
获取目标障碍物在N个时刻下的N个脚点，以及车辆的M个图像采集装置的标定参数，其中，所述N个脚点基于目标图像采集装置采集的图像得到，所述目标图像采集装置为所述M个图像采集装置中的至少一个图像采集装置，M、N为大于1的整数；
根据所述标定参数，将所述N个脚点投影至鸟瞰图，得到所述目标障碍物的目标轨迹；
根据所述目标轨迹，预测所述目标障碍物与所述车辆是否存在碰撞风险；
在存在碰撞风险的情况下，发出预警提示信息。
第二方面，本申请实施例提供了一种碰撞预警装置，装置包括：
获取模块，用于获取目标障碍物在N个时刻下的N个脚点，以及车辆的M个图像采集装置的标定参数，其中，所述N个脚点基于目标图像采集装置采集的图像得到，所述目标图像采集装置为所述M个图像采集装置中的至少一个图像采集装置，M、N为大于1的整数；
投影模块，用于根据所述标定参数，将所述N个脚点投影至鸟瞰图，得到所述目标障碍物的目标轨迹；
预测模块，用于根据所述目标轨迹，预测所述目标障碍物与所述车辆是否存在碰撞风险；
预警模块，用于在存在碰撞风险的情况下，发出预警提示信息。
第三方面，本申请实施例提供了一种电子设备，设备包括：
处理器以及存储有程序或指令的存储器；
所述处理器执行所述程序或指令时实现上述的方法。
第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储有程序或指令，所述程序或指令被处理器执行时实现上述的方法。
第五方面，本申请实施例提供了一种计算机程序产品，所述计算机程序产品中的指令由电子设备的处理器执行时，使得所述电子设备执行上述方法。
在本申请实施例中，碰撞预警方法能够获取目标障碍物在N个时刻下的N个脚点，以及车辆的M个图像采集装置的标定参数，其中，N个脚点基于目标图像采集装置采集的图像得到，目标图像采集装置为M个图像采集装置中的至少一个图像采集装置；根据标定参数，将N个脚点投影至鸟瞰图，得到目标障碍物的目标轨迹；根据目标障碍物的目标轨迹，反映目标障碍物的运动状态，预测目标障碍物相对于车辆的距离与速度，进而可以判断目标障碍物与车辆是否存在碰撞风险；在存在碰撞风险的情况下，发出预警提示信息。
这样，针对目标障碍物在同一个图像采集装置的采集区域内运动，或者跨越不同图像采集装置的采集区域运动的情况，可以从M个图像采集装置采集的图像中获取目标障碍物在N个时刻下的N个脚点，并将N个脚点投影至鸟瞰图，得到鸟瞰图坐标系下的N个鸟瞰点，可以基于同一坐标系下的N个鸟瞰点，精准且快速地得到目标障碍物的目标轨迹，进而可以准确反映目标障碍物的运动状态以及当前位置，简化了目标障碍物的跟踪过程，能够提高碰撞风险分析的整体速率且保证碰撞风险分析的精度，从而能够满足碰撞预警的及时性和准确性需求。另外，利用N个脚点投影至鸟瞰图得到的目标轨迹来进行目标障碍物与车辆的相对距离、速度的度量，能有效减少目标障碍物在检测过程中因检测框遮挡、缺失等情况带来的定位漂移现象，提高了目标障碍物的定位准确度，从而进一步提高了后续碰撞风险分析的准确性。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单的介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一个实施例提供的碰撞预警方法的流程示意图；
图2是本申请实施例提供的碰撞预警方法中的目标障碍物跨相机运动示意图；
图3是本申请实施例提供的碰撞预警方法的一个场景实施例的示意图；
图4是本申请另一个实施例提供的碰撞预警装置的结构示意图；
图5是本申请又一个实施例提供的电子设备的结构示意图。
具体实施方式
下面将详细描述本申请的各个方面的特征和示例性实施例，为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本申请进行进一步详细描述。应理解，此处所描述的具体实施例仅意在解释本申请，而不是限定本申请。对于本领域技术人员来说，本申请可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本申请的示例来提供对本申请更好的理解。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
为了解决现有技术问题，本申请实施例提供了一种碰撞预警方法、装置、设备、可读存储介质及程序产品。下面首先对本申请实施例所提供的碰撞预警方法进行介绍。
图1示出了本申请一个实施例提供的碰撞预警方法的流程示意图。如图1所示，碰撞预警方法可以包括如下步骤：
步骤101，获取目标障碍物在N个时刻下的N个脚点，以及车辆的M个图像采集装置的标定参数，其中，N个脚点基于目标图像采集装置采集的图像得到，目标图像采集装置为M个图像采集装置中的至少一个图像采集装置，M、N为大于1的整数；
步骤102，根据标定参数，将N个脚点投影至鸟瞰图，得到目标障碍物的目标轨迹；
步骤103，根据目标轨迹，预测目标障碍物与车辆是否存在碰撞风险；
步骤104，在存在碰撞风险的情况下，发出预警提示信息。
上述各个步骤的具体实现方式将在下文中进行详细描述。
在本申请实施例中，碰撞预警方法能够获取目标障碍物在N个时刻下的N个脚点，以及车辆的M个图像采集装置的标定参数，其中，N个脚点基于目标图像采集装置采集的图像得到，目标图像采集装置为M个图像采集装置中的至少一个图像采集装置；根据标定参数，将N个脚点投影至鸟瞰图，得到目标障碍物的目标轨迹；根据目标障碍物的目标轨迹，反映目标障碍物的运动状态，预测目标障碍物相对于车辆的距离与速度，进而可以判断目标障碍物与车辆是否存在碰撞风险；在存在碰撞风险的情况下，发出预警提示信息。
这样，针对目标障碍物在同一个图像采集装置的采集区域内运动，或者跨越不同图像采集装置的采集区域运动的情况，可以从M个图像采集装置采集的图像中获取目标障碍物在N个时刻下的N个脚点，并将N个脚点投影至鸟瞰图，得到鸟瞰图坐标系下的N个鸟瞰点，可以基于同一坐标系下的N个鸟瞰点，精准且快速地得到目标障碍物的目标轨迹，进而可以准确反映目标障碍物的运动状态以及当前位置，简化了目标障碍物的跟踪过程，能够提高碰撞风险分析的整体速率且保证碰撞风险分析的精度，从而能够满足碰撞预警的及时性和准确性需求。另外，利用N个脚点投影至鸟瞰图得到的目标轨迹来进行目标障碍物与车辆的相对距离、速度的度量，能有效减少目标障碍物在检测过程中因检测框遮挡、缺失等情况带来的定位漂移现象，提高了目标障碍物的定位准确度，从而进一步提高了后续碰撞风险分析的准确性。
下面介绍上述各个步骤的具体实现方式。
在步骤101中，可以获取目标障碍物在N个时刻下的N个脚点。可以理解的是，车辆沿其周身可以安装多个图像采集装置(例如相机)，保证多个相机能覆盖需要监测的环境。图像采集装置可以按照预设频率采集图像。可以基于图像采集装置采集到的图像进行目标检测，识别出图像中的目标障碍物。示例地，对图像进行目标检测后可以输出目标障碍物的检测框，可以将检测框底部线段的中间点作为目标障碍物的脚点，即该脚点为目标障碍物与地面交汇处的中心点。
例如，可以获取每个相机采集到的任一时刻下的图像Ii(i＝1,2,..,M)，并对图像Ii进行目标检测，输出目标障碍物的检测框，其中，目标障碍物的检测框可以用其四个顶点的集合来表示，即目标障碍物的检测框可以表示为P＝{p0(x,y),p1(x,y),p2(x,y),p3(x,y)}。可以理解的是，可以将检测框贴近地面的中心点作为目标障碍物的脚点，因此可以基于检测框的位置计算出目标障碍物的脚点位置。其中，目标障碍物的脚点pf(x,y)的计算公式可以如公式(1)所示：
计算出每一时刻下图像中目标障碍物的脚点，可以得到目标障碍物的与N个时刻一一对应的N个脚点。
可以理解的是，若目标障碍物在N个时刻下的运动轨迹均处于同一相机的采集范围内，如目标障碍物在N个时刻下均相对于车辆的右侧运动，则目标障碍物的N个脚点可以均由车辆右侧的相机所采集的N张图像检测得到。若目标障碍物在N个时刻下跨相机运动，如目标障碍物在N个时刻下相对于车辆的右侧(前j个时刻)运动至车辆的前方(后N-j个时刻)，则目标障碍物的N个脚点可以由车辆右侧的相机和前方的相机所采集的图像检测得到。示例地，目标障碍物的第1至第j个脚点可以由车辆右侧的相机采集的第1个时刻至第j时刻的图像检测得到，目标障碍物的第j+1至第N个脚点可以由车辆前方的相机采集的第j+1个时刻至第N时刻的图像检测得到。
还可以理解的是，每个相机在每一时刻采集的图像中可以检测出多个障碍物，其中目标障碍物可以为多个障碍物中的任一障碍物。示例地，对每个相机采集的N个时刻的图像进行目标检测后，可以利用多目标跟踪技术建立跟踪序列，并获得每个障碍物的标识(Identity，ID)，目标障碍物可以是指N个时刻的图像中的任意同一障碍物。
例如，若目标障碍物的运动轨迹处于同一相机的N个时刻的图像中，则目标障碍物的N个脚点所对应的ID相同。若目标障碍物的运动轨迹处于不同相机的N个时刻的图像中，即目标障碍物跨相机运动的情况下，则目标障碍物的N个脚点所对应的ID可能不相同。例如目标障碍物在相机1采集到的图像中，其对应ID8，而在相机2采集到的图像中，其对应ID5，基于此情况，目标障碍物的N个脚点可以包括相机1采集到的图像中ID8对应的障碍物的脚点，以及相机2采集到的图像中ID5对应的障碍物的脚点。
在步骤101中，还可以获取车辆的M个图像采集装置的标定参数。示例地，可以对M个图像采集装置进行标定，并获取其标定后的内参数和外参数(即标定参数)。其中，内参数是指与图像采集装置自身特性相关的参数，可以包括图像采集装置的焦距、像素大小、分辨率等，外参数是指在世界坐标系中的参数，可以包括图像采集装置的位置、旋转方向等。
在步骤102中，可以根据标定参数，将N个脚点投影至鸟瞰图，得到目标障碍物的目标轨迹。示例地，可以利用M个图像采集装置的标定参数分别将各图像采集装置采集到的图像上的脚点pf(x,y)投影到鸟瞰图上，得到鸟瞰坐标系下的鸟瞰点p’f(x,y)，基于N个脚点投影得到的N个鸟瞰点，可以得到目标障碍物在鸟瞰图中的目标轨迹。
可以理解的是，投影过程中标定参数的选择与待投影的脚点对应的图像采集装置相关。例如，若脚点1是基于相机1采集到的图像得到的，则根据相机1的标定参数将脚点1投影至鸟瞰图；若脚点2是基于相机2采集到的图像得到的，则根据相机2的标定参数将脚点2投影至鸟瞰图。
在步骤103中，可以根据目标障碍物的在当前时刻下的1个脚点，以及在历史时刻下的N-1个脚点，投影至鸟瞰图得到目标障碍物的目标轨迹，以确定目标障碍物的运动状态，进而可以预测目标障碍物在当前时刻下相对于车辆的距离、速度等运动信息，可以基于预测到的运动信息判断目标障碍物与车辆是否存在碰撞风险。例如，若目标障碍物相对于车辆的距离过近，小于预设的安全距离，则可以认为目标障碍物与车辆存在碰撞风险。又例如，还可以考虑目标障碍物相对于车辆的速度，并可以根据距离和速度，计算碰撞时间，若碰撞时间小于预设的安全时间，则可以认为目标障碍物与车辆存在碰撞风险等。
可以理解的是，目标障碍物与车辆之间的碰撞风险的判断标准可以基于实际情况进行设定，此处不作具体限定。
在步骤104中，若目标障碍物与车辆存在碰撞风险，则可以发出预警提示信息，示例地，可以通过声音、灯光等方式进行碰撞预警提示，例如可以进行目标障碍物的脚点的闪烁报警，同时发出声音报警，以此来提醒驾驶员谨慎驾驶。
可选地，在一些实施例中，根据目标轨迹，预测目标障碍物与车辆是否存在碰撞风险，可以包括如下步骤：
根据目标轨迹，预测目标障碍物与车辆之间的碰撞时间；
在碰撞时间小于或等于预设第一阈值的情况下，确定存在碰撞风险。
在本实施例中，目标轨迹可以包括与N个脚点一一对应的N个鸟瞰点，鸟瞰点携带有鸟瞰坐标系下的坐标p’f(x,y)，其中鸟瞰坐标系可以是以鸟瞰图中的任意一点作为坐标原点构建的坐标系，例如坐标原点可以为鸟瞰图的左上角点，此处不作具体限定。
可以根据当前帧对应的鸟瞰点的坐标p’f(x,y)计算出目标障碍物与车辆之间的像素距离dpixel，还可以基于目标轨迹中N个鸟瞰点的坐标变化趋势，利用卡尔曼滤波预测目标障碍物相对于车辆的运动速度vpixel，可以根据像素距离dpixel和运动速度vpixel计算出碰撞时间t。
在碰撞时间t小于或等于预设第一阈值的情况下，可以认为目标障碍物与车辆存在碰撞风险，此时可以发出预警提示，以提醒驾驶员谨慎驾驶。其中，预设第一阈值可以根据实际情况进行设定，此处不作具体限定。
可选地，在一些实施例中，目标轨迹包括与N个脚点一一对应的N个鸟瞰点，根据目标轨迹，预测目标障碍物与车辆是否存在碰撞风险，可以包括如下步骤：
根据第i个鸟瞰点的坐标和标定参数，确定目标障碍物与车辆之间的实际距离，i为正整数；
在实际距离小于或等于预设第二阈值的情况下，确定实际距离小于或等于预设第二阈值的持续时长；
在持续时长大于或等于预设第三阈值的情况下，确定存在碰撞风险。
在本实施例中，可以根据鸟瞰点的坐标，计算出目标障碍物与车辆之间的像素距离dpixel，该可以利用图像采集装置的标定参数将像素距离dpixel转换成实际距离dreal。可以根据目标障碍物与车辆之间的实际距离dreal判断目标障碍物是否处于车辆的危险范围内。示例地，在实际距离dreal小于或等于预设第二阈值的情况下，可以认为此时目标障碍物处于车辆的危险范围内。其中，预设第二阈值可以根据实际情况进行设定，例如，预设第二阈值可以为1～3m，此处不作具体限定。
可以统计目标障碍物处于车辆的危险范围内的持续时长，在持续时长大于或等于预设第三阈值的情况下，可以确定目标障碍物与车辆存在碰撞风险。其中，预设第三阈值可以根据实际情况进行设定，此处不作具体限定。
例如，可以依次计算每个鸟瞰点所对应的实际距离，可以理解的是，每个鸟瞰点可以对应1个时刻。若根据第1个鸟瞰点的坐标确定的实际距离小于或等于预设第二阈值，则可以开始统计时长，此时实际距离小于或等于预设第二阈值的持续时长可以为1个时刻，若1个时刻小于预设第三阈值，可以认为目标障碍物与车辆不存在碰撞风险，则可以继续对下一个鸟瞰点进行相同的处理…若根据第i个鸟瞰点的坐标确定的实际距离仍小于或等于预设第二阈值，则此时实际距离小于或等于预设第二阈值的持续时长可以为i个时刻，若i个时刻大于或等于预设第三阈值，可以认为目标障碍物与车辆存在碰撞风险，可以发出预警提示，以提醒驾驶员谨慎驾驶。
可选地，在一些实施例中，第一图像采集装置和第二图像采集装置为M个图像采集装置中任意两个图像采集装置；
在第一图像采集装置采集的第k时刻的图像和第二图像采集装置采集的第k时刻的图像中均包括目标障碍物，且1≤k≤N的情况下，根据标定参数，将N个脚点投影至鸟瞰图，得到目标障碍物的目标轨迹，可以包括如下步骤：
根据第一图像采集装置的标定参数，将第一脚点投影至鸟瞰图，得到第一鸟瞰点，第一脚点为第一图像采集装置采集的第k时刻的图像中目标障碍物的脚点；
根据第二图像采集装置的标定参数，将第二脚点投影至鸟瞰图，得到第二鸟瞰点，第二脚点为第二图像采集装置采集的第k时刻的图像中目标障碍物的脚点；
通过二分图匹配算法对第一鸟瞰点和第二鸟瞰点进行融合处理，得到目标鸟瞰点，其中，目标障碍物的目标轨迹包括目标鸟瞰点。
在本实施例中，车辆可以包括多个图像采集装置，图像采集装置可以为相机。第一图像采集装置(相机1)和第二图像采集装置(相机2)为任意两个图像采集装置，在第一图像采集装置(相机1)采集的第k时刻的图像和第二图像采集装置(相机2)采集的第k时刻的图像中均包括目标障碍物的情况下，则可以认为此时目标障碍物在跨相机运动，且此时目标障碍物处于相机1和相机2的重叠区内。
可以根据相机1的标定参数，将相机1采集的第k时刻的图像中目标障碍物的脚点投影至鸟瞰图，得到第一鸟瞰点；可以根据相机2的标定参数，将相机2采集的第k时刻的图像中目标障碍物的脚点投影至鸟瞰图，得到第二鸟瞰点。则目标障碍物在第k帧图像对应的脚点投影至鸟瞰图中，可以得到两个鸟瞰点(第一鸟瞰点和第二鸟瞰点)。
如图2所示，目标障碍物在相机1中的跟踪ID为8，当目标障碍物运动到相机1和相机2的重叠区时，该目标障碍物在相机2中的跟踪ID为5。即目标障碍物进入重叠区时会拥有两个ID，此时可以用二分图匹配算法对重叠区的不同相机下的ID进行匹配，并对于匹配上的ID对的鸟瞰点进行融合处理，消除重复的鸟瞰点，得到目标鸟瞰点。可以理解的是，目标障碍物的目标轨迹可以包括该目标鸟瞰点。
这样，可以对于跨相机运动的目标障碍物利用二分图匹配算法进行匹配，以解决跨相机运动的目标跟踪的问题。
可选地，在一些实施例中，根据标定参数，将N个脚点投影至鸟瞰图，得到目标障碍物的目标轨迹，包括：
根据标定参数，将N个脚点投影至鸟瞰图，得到目标障碍物的初始轨迹；
对目标障碍物的初始轨迹进行平滑处理，得到目标障碍物的目标轨迹。
在本实施例中，根据M个图像采集装置的标定参数将各图像采集装置采集的图像中目标障碍物的脚点投影至鸟瞰图，得到与N个脚点一一对应的N个鸟瞰点，并根据N个鸟瞰点得到目标障碍物的初始轨迹。可以在鸟瞰图上利用卡尔曼滤波对目标障碍物的初始轨迹进行平滑处理，得到平滑处理后的目标轨迹。平滑处理可以对鸟瞰点进行滤波，以消除图像采集装置采集到的图像转换到鸟瞰图的抖动，进一步提高了目标障碍物的定位精度，从而可以进一步提高碰撞预警的准确性。
可选地，在一些实施例中，获取目标障碍物在N个时刻下的N个脚点，可以包括如下步骤：
获取M个图像采集装置采集的N个时刻的图像；
分别将每一图像输入至预设的目标检测模型中进行目标检测，确定目标障碍物的脚点，得到目标障碍物的与N个时刻一一对应的N个脚点。
在本实施例中，可以获取车辆的M个图像采集装置采集的N个时刻的图像。示例地，可以获取车辆的每个图像采集装置采集的N个时刻的图像，例如，车辆的图像采集装置可以包括相机1、相机2…和相机M，相机1、相机2…和相机M均可以采集第1时刻、第2时刻…第N时刻的图像，其中，可以将第N时刻作为当前时刻，第1时刻、第2时刻…第N-1时刻作为历史时刻。可以获取相机1采集到的N个时刻的图像，相机2采集到的N个时刻的图像……以及相机M采集到的N个时刻的图像。
可以将每一图像输入至预设的目标检测模型中进行目标检测。其中，预设的目标检测模型可以为Faster R-CNN网络、SSD网络、YOLO网络和旋转检测网络等。可以检测每个时刻下采集到的图像，进而确定该时刻下目标障碍物对应的脚点，重复上述操作，可以得到目标障碍物确定目标障碍物的脚点，得到目标障碍物的与N个时刻一一对应的N个脚点。
可选地，为了提高目标障碍物的脚点的准确度，在一些实施例中，预设的目标检测模型可以为旋转检测网络。即可以基于旋转检测网络进行目标检测。这样，可以无需利用关键点检测或语义分割等复杂算法即可得到目标障碍物的准确脚点，在保证目标障碍物检测的准确度的同时，有效节约了算力资源。
可选地，在一些实施例中，分别将每一图像输入至预设的目标检测模型中进行目标检测，确定目标障碍物的脚点，得到目标障碍物的与N个时刻一一对应的N个脚点，包括：
对每一图像进行预处理，得到目标图像；
分别将每一目标图像输入至预设的目标检测模型中进行目标检测，确定目标障碍物的脚点，得到目标障碍物的与N个时刻一一对应的N个脚点。
在本实施例中，获取图像采集装置采集到的图像后，可以先对图像进行预处理，可以包括通道转换、裁剪、尺度变化等预处理，得到格式以及尺寸能够满足预设的目标检测模型需求的目标图像。然后可以将预处理后的目标图像输入至预设的目标检测模型中进行目标检测，输出检测框，并可以根据检测框的位置计算出目标障碍物的脚点位置。
例如，若目标检测模型为旋转检测网络，则需要将图像进行通道转换、裁剪、尺度变化等预处理，以便得到格式、尺寸均能够满足旋转检测网络需求的目标图像，进而保证将目标图像输入至旋转检测网络后可以顺利得到目标障碍物的旋转检测框。
为了便于理解上述实施例提供的碰撞预警方法，以下以一个具体的场景实施例对上述碰撞预警方法进行说明。图3示出了上述碰撞预警方法的场景实施例流程图。
如图3所示，本场景实施例可以为目标障碍物跨相机运动的场景下，可以包括如下步骤：
步骤301，获取多个相机的图像。
步骤302，将图像输入至旋转检测网络，输出旋转检测框，并基于旋转检测框计算目标障碍物的脚点。
步骤303，目标跟踪获取目标障碍物的ID。
步骤304，基于相机标定参数将脚点投影至鸟瞰图，得到鸟瞰点。
步骤305，基于不同相机下目标障碍物的ID，通过二分图匹配算法匹配跨相机运动的目标障碍物的鸟瞰点，并对于匹配上的ID对的鸟瞰点进行融合处理，消除重复的鸟瞰点。
步骤306，对目标障碍物的多个鸟瞰点生成的目标轨迹进行卡尔曼滤波，并预测目标障碍物相对于车辆的运动速度。
步骤307，判断目标障碍物与车辆是否存在碰撞风险，若是，则执行步骤308，若否，则执行步骤301。
步骤308，发出预警提示信息。
可以理解的是，判断目标障碍物与车辆是否存在碰撞风险，一方面可以是根据目标障碍物与车辆之间的像素距离，以及预测到的目标障碍物相对于车辆的运动速度，计算目标障碍物与车辆的碰撞时间，在碰撞时间小于或等于预设第一阈值的情况下，确定存在碰撞风险。另一方面，可以计算目标障碍物与车辆之间的实际距离，根据实际距离判断目标障碍物是否处于车辆的危险范围内，并记录目标障碍物处于车辆的危险范围内的持续时长，在持续时长大于或等于预设第三阈值的情况下，确定存在碰撞风险。
基于上述实施例提供的碰撞预警方法，本申请还提供了一种碰撞预警装置的实施例。
图4示出了本申请另一个实施例提供的碰撞预警装置的结构示意图，为了便于说明，仅示出了与本申请实施例相关的部分。
参照图4，碰撞预警装置400可以包括：
获取模块401，用于获取目标障碍物在N个时刻下的N个脚点，以及车辆的M个图像采集装置的标定参数，其中，N个脚点基于目标图像采集装置采集的图像得到，目标图像采集装置为M个图像采集装置中的至少一个图像采集装置，M、N为大于1的整数；
投影模块，用于根据标定参数，将N个脚点投影至鸟瞰图，得到目标障碍物的目标轨迹；
预测模块403，用于根据目标轨迹，预测目标障碍物与车辆是否存在碰撞风险；
预警模块404，用于在存在碰撞风险的情况下，发出预警提示信息。
可选地，在一些实施例中，预测模块403还可以用于：
根据目标轨迹，预测目标障碍物与车辆之间的碰撞时间；
在碰撞时间小于或等于预设第一阈值的情况下，确定存在碰撞风险。
可选地，在一些实施例中，目标轨迹可以包括与N个脚点一一对应的N个鸟瞰点，预测模块403还可以用于：
根据第i个鸟瞰点的坐标和标定参数，确定目标障碍物与车辆之间的实际距离，i为正整数；
在实际距离小于或等于预设第二阈值的情况下，确定实际距离小于或等于预设第二阈值的持续时长；
在持续时长大于或等于预设第三阈值的情况下，确定存在碰撞风险。
可选地，在一些实施例中，第一图像采集装置和第二图像采集装置为M个图像采集装置中任意两个图像采集装置；
在第一图像采集装置采集的第k时刻的图像和第二图像采集装置采集的第k时刻的图像中均包括目标障碍物，且1≤k≤N的情况下，投影模块402还可以用于：
根据第一图像采集装置的标定参数，将第一脚点投影至鸟瞰图，得到第一鸟瞰点，第一脚点为第一图像采集装置采集的第k时刻的图像中目标障碍物的脚点；
根据第二图像采集装置的标定参数，将第二脚点投影至鸟瞰图，得到第二鸟瞰点，第二脚点为第二图像采集装置采集的第k时刻的图像中目标障碍物的脚点；
通过二分图匹配算法对第一鸟瞰点和第二鸟瞰点进行融合处理，得到目标鸟瞰点，其中，目标障碍物的目标轨迹包括目标鸟瞰点。
可选地，在一些实施例中，投影模块402还可以用于：
根据标定参数，将N个脚点投影至鸟瞰图，得到目标障碍物的初始轨迹；
对目标障碍物的初始轨迹进行平滑处理，得到目标障碍物的目标轨迹。
可选地，在一些实施例中，获取模块401还可以包括：
获取单元，用于获取M个图像采集装置采集的N个时刻的图像；
检测单元，用于分别将每一所述目标图像输入至预设的目标检测模型中进行目标检测，确定目标障碍物的脚点，得到目标障碍物的与N个时刻一一对应的N个脚点。
可选地，在一些实施例中，检测单元可以用于：
对每一图像进行预处理，得到目标图像；
分别将每一目标图像输入至预设的目标检测模型中进行目标检测，确定目标障碍物的脚点，得到目标障碍物的与N个时刻一一对应的N个脚点。
可选地，在一些实施例中，目标检测模型为旋转检测网络。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，与本申请方法实施例基于同一构思，是与上述碰撞预警方法对应的装置，上述方法实施例中所有实现方式均适用于该装置的实施例中，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述***中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
图5示出了本申请又一个实施例提供的电子设备的硬件结构示意图。
设备可以包括处理器501以及存储有程序或指令的存储器502。
处理器501执行程序时实现上述任意各个方法实施例中的步骤。
示例性的，程序可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器502中，并由处理器501执行，以完成本申请。一个或多个模块/单元可以是能够完成特定功能的一系列程序指令段，该指令段用于描述程序在设备中的执行过程。
具体地，上述处理器501可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。
存储器502可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器502可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器502可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器502可在综合网关容灾设备的内部或外部。在特定实施例中，存储器502是非易失性固态存储器。
存储器可包括只读存储器(ROM)，随机存取存储器(RAM)，磁盘存储介质设备，光存储介质设备，闪存设备，电气、光学或其他物理/有形的存储器存储设备。因此，通常，存储器包括一个或多个编码有包括计算机可执行指令的软件的有形(非暂态)可读存储介质(例如，存储器设备)，并且当该软件被执行(例如，由一个或多个处理器)时，其可操作来执行参考根据本公开的一方面的方法所描述的操作。
处理器501通过读取并执行存储器502中存储的程序或指令，以实现上述实施例中的任意一种方法。
在一个示例中，电子设备还可包括通信接口503和总线504。其中，处理器501、存储器502、通信接口503通过总线504连接并完成相互间的通信。
通信接口503，主要用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。
总线504包括硬件、软件或两者，将在线数据流量计费设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、***组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线504可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。
另外，结合上述实施例中的方法，本申请实施例可提供一种可读存储介质来实现。该可读存储介质上存储有程序或指令；该程序或指令被处理器执行时实现上述实施例中的任意一种方法。该可读存储介质可以被如计算机等机器读取。
本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
应理解，本申请实施例提到的芯片还可以称为***级芯片、***芯片、芯片***或片上***芯片等。
本申请实施例提供一种计算机程序产品，该程序产品被存储在可读存储介质中，该程序产品被至少一个处理器执行以实现如上述方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要明确的是，本申请并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本申请的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本申请的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
以上所述的结构框图中所示的功能模块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本申请的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网格被下载。
还需要说明的是，本申请中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或***。但是，本申请不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
上面参考根据本公开的实施例的方法、装置(***)和程序产品的流程图和/或框图描述了本公开的各方面。应当理解，流程图和/或框图中的每个方框以及流程图和/或框图中各方框的组合可以由计算机程序或指令实现。这些程序或指令可被提供给通用计算机、专用计算机、或其它可编程数据处理装置的处理器，以产生一种机器，使得经由计算机或其它可编程数据处理装置的处理器执行的这些指令使能对流程图和/或框图的一个或多个方框中指定的功能/动作的实现。这种处理器可以是但不限于是通用处理器、专用处理器、特殊应用处理器或者现场可编程逻辑电路。还可理解，框图和/或流程图中的每个方框以及框图和/或流程图中的方框的组合，也可以由执行指定的功能或动作的专用硬件来实现，或可由专用硬件和计算机指令的组合来实现。
以上所述，仅为本申请的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的***、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。

Claims (12)

1.一种碰撞预警方法，其特征在于，包括：
获取目标障碍物在N个时刻下的N个脚点，以及车辆的M个图像采集装置的标定参数，其中，所述N个脚点基于目标图像采集装置采集的图像得到，所述目标图像采集装置为所述M个图像采集装置中的至少一个图像采集装置，M、N为大于1的整数；
根据所述标定参数，将所述N个脚点投影至鸟瞰图，得到所述目标障碍物的目标轨迹；
根据所述目标轨迹，预测所述目标障碍物与所述车辆是否存在碰撞风险；
在存在碰撞风险的情况下，发出预警提示信息。
2.根据权利要求1所述的方法，其特征在于，所述根据所述目标轨迹，预测所述目标障碍物与所述车辆是否存在碰撞风险，包括：
根据所述目标轨迹，预测所述目标障碍物与所述车辆之间的碰撞时间；
在所述碰撞时间小于或等于预设第一阈值的情况下，确定存在碰撞风险。
3.根据权利要求1所述的方法，其特征在于，所述目标轨迹包括与所述N个脚点一一对应的N个鸟瞰点，所述根据所述目标轨迹，预测所述目标障碍物与所述车辆是否存在碰撞风险，包括：
根据第i个所述鸟瞰点的坐标和所述标定参数，确定所述目标障碍物与所述车辆之间的实际距离，i为正整数；
在所述实际距离小于或等于预设第二阈值的情况下，确定所述实际距离小于或等于所述预设第二阈值的持续时长；
在所述持续时长大于或等于预设第三阈值的情况下，确定存在碰撞风险。
4.根据权利要求1所述的方法，其特征在于，第一图像采集装置和第二图像采集装置为所述M个图像采集装置中任意两个图像采集装置；
在所述第一图像采集装置采集的第k时刻的图像和所述第二图像采集装置采集的第k时刻的图像中均包括所述目标障碍物，且1≤k≤N的情况下，所述根据所述标定参数，将所述N个脚点投影至鸟瞰图，得到所述目标障碍物的目标轨迹，包括：
根据所述第一图像采集装置的标定参数，将第一脚点投影至鸟瞰图，得到第一鸟瞰点，所述第一脚点为所述第一图像采集装置采集的第k时刻的图像中所述目标障碍物的脚点；
根据所述第二图像采集装置的标定参数，将第二脚点投影至鸟瞰图，得到第二鸟瞰点，所述第二脚点为所述第二图像采集装置采集的第k时刻的图像中所述目标障碍物的脚点；
通过二分图匹配算法对所述第一鸟瞰点和所述第二鸟瞰点进行融合处理，得到目标鸟瞰点，其中，所述目标障碍物的目标轨迹包括所述目标鸟瞰点。
5.根据权利要求1所述的方法，其特征在于，所述根据所述标定参数，将所述N个脚点投影至鸟瞰图，得到所述目标障碍物的目标轨迹，包括：
根据所述标定参数，将所述N个脚点投影至鸟瞰图，得到所述目标障碍物的初始轨迹；
对所述目标障碍物的初始轨迹进行平滑处理，得到所述目标障碍物的目标轨迹。
6.根据权利要求1所述的方法，其特征在于，所述获取目标障碍物在N个时刻下的N个脚点，包括：
获取所述M个图像采集装置采集的N个时刻的图像；
分别将每一所述图像输入至预设的目标检测模型中进行目标检测，确定目标障碍物的脚点，得到所述目标障碍物的与所述N个时刻一一对应的N个脚点。
7.根据权利要求6所述的方法，其特征在于，所述分别将每一所述图像输入至预设的目标检测模型中进行目标检测，确定目标障碍物的脚点，得到所述目标障碍物的与所述N个时刻一一对应的N个脚点，包括：
对每一所述图像进行预处理，得到目标图像；
分别将每一所述目标图像输入至预设的目标检测模型中进行目标检测，确定目标障碍物的脚点，得到所述目标障碍物的与所述N个时刻一一对应的N个脚点。
8.根据权利要求6或7所述的方法，其特征在于，所述目标检测模型为旋转检测网络。
9.一种碰撞预警装置，其特征在于，所述装置包括：
获取模块，用于获取目标障碍物在N个时刻下的N个脚点，以及车辆的M个图像采集装置的标定参数，其中，所述N个脚点基于目标图像采集装置采集的图像得到，所述目标图像采集装置为所述M个图像采集装置中的至少一个图像采集装置，M、N为大于1的整数；
投影模块，用于根据所述标定参数，将所述N个脚点投影至鸟瞰图，得到所述目标障碍物的目标轨迹；
预测模块，用于根据所述目标轨迹，预测所述目标障碍物与所述车辆是否存在碰撞风险；
预警模块，用于在存在碰撞风险的情况下，发出预警提示信息。
10.一种电子设备，其特征在于，所述设备包括：处理器以及存储有程序或指令的存储器；
所述处理器执行所述程序或指令时实现如权利要求1-8任意一项所述的方法。
11.一种可读存储介质，其特征在于，所述可读存储介质上存储有程序或指令，所述程序或指令被处理器执行时实现如权利要求1-8任意一项所述的方法。
12.一种计算机程序产品，其特征在于，所述计算机程序产品中的指令由电子设备的处理器执行时，使得所述电子设备执行如权利要求1-8任意一项所述的方法。
CN202210910848.2A 2022-07-29 2022-07-29 碰撞预警方法、装置、设备、可读存储介质及程序产品 Pending CN117523914A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210910848.2A CN117523914A (zh) 2022-07-29 2022-07-29 碰撞预警方法、装置、设备、可读存储介质及程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210910848.2A CN117523914A (zh) 2022-07-29 2022-07-29 碰撞预警方法、装置、设备、可读存储介质及程序产品

Publications (1)

Publication Number Publication Date
CN117523914A true CN117523914A (zh) 2024-02-06

Family

ID=89757214

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210910848.2A Pending CN117523914A (zh) 2022-07-29 2022-07-29 碰撞预警方法、装置、设备、可读存储介质及程序产品

Country Status (1)

Country Link
CN (1) CN117523914A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117742351A (zh) * 2024-02-19 2024-03-22 深圳竹芒科技有限公司 自移动设备的控制方法、自移动设备和可读存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117742351A (zh) * 2024-02-19 2024-03-22 深圳竹芒科技有限公司 自移动设备的控制方法、自移动设备和可读存储介质
CN117742351B (zh) * 2024-02-19 2024-06-11 深圳竹芒科技有限公司 自移动设备的控制方法、自移动设备和可读存储介质

Similar Documents

Publication Publication Date Title
CN112417967B (zh) 障碍物检测方法、装置、计算机设备和存储介质
CN110264495B (zh) 一种目标跟踪方法及装置
CN110751040B (zh) 一种三维物体的检测方法和装置、电子设备、存储介质
US20140072168A1 (en) Video-tracking for video-based speed enforcement
CN114495064A (zh) 一种基于单目深度估计的车辆周围障碍物预警方法
CN112580460A (zh) 一种交通信号灯的识别方法、装置、设备及存储介质
CN113469115B (zh) 用于输出信息的方法和装置
CN116310679A (zh) 多传感器融合目标检测方法、***、介质、设备及终端
Zhang et al. A novel vehicle reversing speed control based on obstacle detection and sparse representation
CN112597807A (zh) 一种违章检测***、方法、装置、图像采集设备及介质
CN114119955A (zh) 一种潜在危险目标检测方法及装置
CN117523914A (zh) 碰撞预警方法、装置、设备、可读存储介质及程序产品
Javadzadeh et al. Fast vehicle detection and counting using background subtraction technique and prewitt edge detection
CN113569812A (zh) 未知障碍物的识别方法、装置和电子设备
EP4009228A1 (en) Method for determining a semantic free space
CN116654022B (zh) 基于多重交互的行人轨迹预测方法、***、设备和介质
Subedi et al. Development of a multiple‐camera 3D vehicle tracking system for traffic data collection at intersections
Dinh et al. Development of a tracking-based system for automated traffic data collection for roundabouts
Liu et al. Research on security of key algorithms in intelligent driving system
CN114537474A (zh) 一种列车行驶安全的防护方法及装置
Kim et al. Traffic Accident Detection Based on Ego Motion and Object Tracking
CN116434156A (zh) 目标检测方法、存储介质、路侧设备及自动驾驶***
Royani et al. A simple method for calculating vehicle density in traffic images
CN114353818B (zh) 目标对象跟随方法、装置、设备、介质和计算机程序产品
CN115817466A (zh) 一种碰撞风险评估方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination