CN117765724A - 车辆事故预警方法、设备及*** - Google Patents

Abstract

本发明提供了一种车辆事故预警方法、设备及***，涉及车辆事故预警技术领域，该方法通过设置在道路上方的无人机并结合相机和毫米波雷达对道路中的目标车辆进行数据采集，利用目标车辆的特征融合数据进行事故预警，提升了预警精度；同时可降低复杂环境对事故预警的影响，减少人工巡查的依赖程度，节约了运营成本。

Description

车辆事故预警方法、设备及***

技术领域

本发明涉及车辆事故预警技术领域，尤其是涉及一种车辆事故预警方法、设备及***。

背景技术

车辆交通事故是交通堵塞的原因之一，对车辆事故进行有效预警能够尽早引导后续车主提前规划路线，降低交通拥堵的概率。现有技术在对车辆事故进行预警时主要采取人工巡查以及固定点位摄像机进行监控的方式来实现，但传统方式不仅效率低下，且容易受到复杂环境的影响，难以即时有效的对车辆事故进行预警。例如，对于固定点位的摄像机来说，其对光线条件要求较高，在低照度或强光条件下图像质量会出现下降的情况，影响事故检测的准确性。尤其在高速场景下，目标车辆的移动速度较快，难以对车辆状态进行准确判断。

发明内容

有鉴于此，本发明的目的在于提供一种车辆事故预警方法、设备及***，该方案通过设置在道路上方的无人机并结合相机和毫米波雷达对道路中的目标车辆进行数据采集，利用目标车辆的特征融合数据进行事故预警，提升了预警精度；同时可降低复杂环境对事故预警的影响，减少人工巡查的依赖程度，节约了运营成本。

第一方面，本发明实施方式提供了一种车辆事故预警方法，该方法包括：

控制预设的无人机实时监控道路中的目标车辆，并利用无人机内置的相机和毫米波雷达分别获取目标车辆的视频数据和点云数据；

利用视频数据计算目标车辆的中心点数据，并利用点云数据与中心点数据计算目标车辆的特征融合数据；

基于特征融合数据计算目标车辆在未来时间段内的预测轨迹数据；

当获取到目标车辆在未来时间段内的实际轨迹数据后，根据预测轨迹数据与实际轨迹数据之间的距离关系确定目标车辆的事故预警信息。

在一种实施方式中，控制预设的无人机实时监控道路中的目标车辆，并利用无人机内置的相机和毫米波雷达分别获取目标车辆的视频数据和点云数据的步骤，包括：

控制无人机运行至道路的预设位置中，并对道路中的目标车辆进行实时监控；

当检测到目标车辆时，控制相机获取包含目标车辆的视频数据，并计算得到目标车辆的位置信息；

基于位置信息，控制毫米波雷达获取目标车辆的点云数据。

在一种实施方式中，基于位置信息，控制毫米波雷达获取目标车辆的点云数据的步骤之后，车辆事故预警方法还包括：

基于点云数据，确定目标车辆在地平面方向的距离数据、速度数据和方向数据；

根据距离数据、速度数据和方向数据，确定目标车辆在垂直地平面方向的扩展点云数据。

在一种实施方式中，利用视频数据计算目标车辆的中心点数据，并利用点云数据与中心点数据计算目标车辆的特征融合数据的步骤，包括：

确定目标车辆的坐标系，基于坐标系确定视频数据中目标车辆的坐标数据、深度数据、热力图数据、偏移数据和维度数据，并基于坐标数据、深度数据、热力图数据、偏移数据和维度数据确定目标车辆的中心点数据；

将点云数据与中心点数据进行视锥投影计算，得到目标车辆的特征融合数据。

在一种实施方式中，将点云数据与中心点数据进行视锥投影计算，得到目标车辆的特征融合数据的步骤，包括：

基于中心点数据确定目标车辆对应的ROI区域；

获取点云数据落入ROI区域内的雷达监测点，并根据雷达监测点确定点云数据与中心点数据的关联结果；

将关联结果保存至视频数据后，基于雷达监测点对应的张量数据计算并更新目标车辆对应的深度数据、姿态数据、速度数据和属性数据；

根据深度数据、姿态数据、速度数据和属性数据确定目标车辆的特征融合数据。

在一种实施方式中，基于特征融合数据计算目标车辆在未来时间段内的预测轨迹数据的步骤，包括：

获取视频数据的当前帧对应的特征融合数据，并根据特征融合数据确定目标车辆的边界框数据；

基于边界框数据计算目标车辆在视频数据的下一帧对应的位置数据以及方向数据；

根据位置数据以及方向数据确定目标车辆在未来时间段内的预测轨迹数据。

在一种实施方式中，基于边界框数据计算目标车辆在视频数据的下一帧对应的位置数据以及方向数据的步骤，包括：

获取边界框数据对应的目标车辆的检测框宽高值、中心点坐标值、深度值，目标航向值、类别数据、速度值和状态参数；

基于检测框宽高值、中心点坐标值、深度值，目标航向值、类别数据、速度值和状态参数计算目标车辆的重叠度结果，并利用匈牙利算法对重叠度结果进行匹配计算，得到匹配结果；

利用卡尔曼滤波器对匹配结果进行预测，得到视频数据的下一帧对应的位置数据以及方向数据。

在一种实施方式中，当获取到目标车辆在未来时间段内的实际轨迹数据后，根据预测轨迹数据与实际轨迹数据之间的距离关系确定目标车辆的事故预警信息的步骤，包括：

获取未来时间段内目标车辆的实际轨迹数据；

基于目标车辆的检测框，计算预测轨迹数据与实际轨迹数据之间的折合距离；

根据折合距离确定目标车辆的事故预警信息。

第二方面，本发明实施方式提供一种车辆事故预警装置，该装置包括：

数据获取单元，用于控制预设的无人机实时监控道路中的目标车辆，并利用无人机内置的相机和毫米波雷达分别获取目标车辆的视频数据和点云数据；

数据融合单元，用于利用视频数据计算目标车辆的中心点数据，并利用点云数据与中心点数据计算目标车辆的特征融合数据；

跟踪预测单元，用于基于特征融合数据计算目标车辆在未来时间段内的预测轨迹数据；

事故预警单元，用于当获取到目标车辆在未来时间段内的实际轨迹数据后，根据预测轨迹数据与实际轨迹数据之间的距离关系确定目标车辆的事故预警信息。

第三方面，本发明实施方式还提供一种车辆事故预警***，该车辆事故预警***包括：无人机、路侧设备、车侧设备、传输设备以及服务器：

其中，无人机通过传输设备，分别与路侧设备、车侧设备和服务器相连接；服务器在控制无人机进行车辆事故预警的过程中执行上述第一方面提供的车辆事故预警方法；

车辆事故预警方法得到的事故预警信息通过传输设备展示在路侧设备和车侧设备中。

第四方面，本发明实施方式还提供一种电子设备，包括处理器和存储器，存储器存储有能够被处理器执行的计算机可执行指令，处理器执行计算机可执行指令以实现第一方面提供的车辆事故预警方法的步骤。

第五方面，本发明实施方式还提供一种存储介质，该存储介质存储有计算机可执行指令，计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现第一方面提供的车辆事故预警方法的步骤。

本发明实施方式提供的一种车辆事故预警方法、设备及***，在进行车辆事故预警的过程中，首先控制预设的无人机实时监控道路中的目标车辆，并利用无人机内置的相机和毫米波雷达分别获取目标车辆的视频数据和点云数据；然后利用视频数据计算目标车辆的中心点数据，并利用点云数据与中心点数据计算目标车辆的特征融合数据；再基于特征融合数据计算目标车辆在未来时间段内的预测轨迹数据；当获取到目标车辆在未来时间段内的实际轨迹数据后，根据预测轨迹数据与实际轨迹数据之间的距离关系确定目标车辆的事故预警信息。该方案通过设置在道路上方的无人机并结合相机和毫米波雷达对道路中的目标车辆进行数据采集，利用目标车辆的特征融合数据进行事故预警，提升了预警精度；同时可降低复杂环境对事故预警的影响，减少人工巡查的依赖程度，节约了运营成本。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种车辆事故预警方法的流程图；

图2为本发明实施例提供的一种车辆事故预警方法中步骤S101的流程图；

图3为本发明实施例提供的一种车辆事故预警方法中步骤S203之后的流程图；

图4为本发明实施例提供的一种车辆事故预警方法中步骤S102的流程图；

图5为本发明实施例提供的一种车辆事故预警方法中步骤S402的流程图；

图6为本发明实施例提供的一种车辆事故预警方法中步骤S103的流程图；

图7为本发明实施例提供的一种车辆事故预警方法中步骤S602的流程图；

图8为本发明实施例提供的一种车辆事故预警方法中步骤S104的流程图；

图9为本发明实施例提供的另一种车辆事故预警方法的流程图；

图10为本发明实施例提供的一种车辆事故预警方法中边界框获取过程的流程图；

图11为本发明实施例提供的一种车辆事故预警装置的结构示意图；

图12为本发明实施例提供的另一种车辆事故预警装置的结构示意图；

图13为本发明实施例提供的一种车辆事故预警***的结构示意图；

图14为本发明实施例提供的一种电子设备的结构示意图。

图标：

1110-数据获取单元；1120-数据融合单元；1130-跟踪预测单元；1140-事故预警单元；

101-处理器；102-存储器；103-总线；104-通信接口。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

车辆交通事故是交通堵塞的原因之一，对车辆事故进行有效预警能够尽早引导后续车主提前规划路线，降低交通拥堵的概率。现有技术在对车辆事故进行预警时主要采取人工巡查以及固定点位摄像机进行监控的方式来实现，但传统方式不仅效率低下，且容易受到复杂环境的影响，难以即时有效的对车辆事故进行预警。例如，对于固定点位的摄像机来说，其对光线条件要求较高，在低照度或强光条件下图像质量会出现下降的情况，影响事故检测的准确性。尤其在高速场景下，目标车辆的移动速度较快，难以对车辆状态进行准确判断。基于此，本发明实施提供了一种车辆事故预警方法、设备及***，通过设置在道路上方的无人机并结合相机和毫米波雷达对道路中的目标车辆进行数据采集，利用目标车辆的特征融合数据进行事故预警，提升了预警精度；同时可降低复杂环境对事故预警的影响，减少人工巡查的依赖程度，节约了运营成本。

为便于对本实施例进行理解，首先对本发明实施例所公开的一种车辆事故预警方法进行详细介绍，该方法如图1所示，包括：

步骤S101，控制预设的无人机实时监控道路中的目标车辆，并利用无人机内置的相机和毫米波雷达分别获取目标车辆的视频数据和点云数据。

步骤S102，利用视频数据计算目标车辆的中心点数据，并利用点云数据与中心点数据计算目标车辆的特征融合数据；

步骤S103，基于特征融合数据计算目标车辆在未来时间段内的预测轨迹数据；

步骤S104，当获取到目标车辆在未来时间段内的实际轨迹数据后，根据预测轨迹数据与实际轨迹数据之间的距离关系确定目标车辆的事故预警信息。

无人机监控在车辆事故预警中具有许多优势，无人机可以飞行在地面监控设备无法覆盖的高空，实时巡查各类道路，因此可以及时和有效检测到发生在高速公路上的事故。此外，无人机还可以通过高清相机和热成像技术，在各种天气和光照条件下对道路进行实时监测，进一步提高交通事故的发现速度，提高事故处理的效率，并为交通事故的调查提供重要证据。

毫米波雷达可以提供精确的目标位置、速度和加速度信息，而且具有全天候、全天时的特点，可以在恶劣天气和夜间仍保持较高的检测性能。同时，视觉传感器可以提供丰富的视觉信息，识别和判断交通事故的类型和严重程度。将毫米波雷达和无人机结合，可以互相补充和校验，提高检测的准确性。具体来说，毫米波雷达可以提供远距离和高精度的测距测速信息，对于远距离的事故现场进行快速、准确的检测；而无人机中的相机可以对近距离的目标进行识别、跟踪和分类，区分行人和车辆等不同类型的目标，并对事故现场进行细节分析。除此之外，这种结合还可以提供更丰富的数据信息，包括目标的位置、速度、加速度、尺寸、运动方向等，为后续的事故分析、道路交通流量控制以及救援工作提供更加详尽的数据支持。

在获取目标车辆的视频数据和点云数据后，利用视频数据计算目标车辆的中心点数据，并利用点云数据与中心点数据计算目标车辆的特征融合数据；然后对目标车辆的轨迹进行预测，并将将预测结果与真实结果所差距的距离关系最终确定事故预警信息。

具体的，在一种实施方式中，控制预设的无人机实时监控道路中的目标车辆，并利用无人机内置的相机和毫米波雷达分别获取目标车辆的视频数据和点云数据的步骤S101，如图2所示，包括：

步骤S201，控制无人机运行至道路的预设位置中，并对道路中的目标车辆进行实时监控；

步骤S202，当检测到目标车辆时，控制相机获取包含目标车辆的视频数据，并计算得到目标车辆的位置信息；

步骤S203，基于位置信息，控制毫米波雷达获取目标车辆的点云数据。

通过无人机搭载的相机与毫米波雷达，收集车辆周围的视觉和毫米波雷达数据。相机可以捕捉到车辆和周围环境的图像信息，可通过相关目标检测网络预测目标车辆的中心点，并回归得到目标车辆的坐标、深度、热力图、偏移、维度等特征信息；而毫米波雷达可以检测到目标车辆的距离、速度和方向等信息。在一种实施方式中，基于位置信息，控制毫米波雷达获取目标车辆的点云数据的步骤S203之后，如图3所示，该车辆事故预警方法还包括：

步骤S301，基于点云数据，确定目标车辆在地平面方向的距离数据、速度数据和方向数据；

步骤S302，根据距离数据、速度数据和方向数据，确定目标车辆在垂直地平面方向的扩展点云数据。

由于毫米波雷达的点云本身缺少高度信息，因此需要将点云数据进行垂直方向上的扩充，每个点云目标在垂直地面方向扩充为单独的长柱体，即进行升维操作。

在一种实施方式中，利用视频数据计算目标车辆的中心点数据，并利用点云数据与中心点数据计算目标车辆的特征融合数据的步骤S102，如图4所示，包括：

步骤S401，确定目标车辆的坐标系，基于坐标系确定视频数据中目标车辆的坐标数据、深度数据、热力图数据、偏移数据和维度数据，并基于坐标数据、深度数据、热力图数据、偏移数据和维度数据确定目标车辆的中心点数据；

步骤S402，将点云数据与中心点数据进行视锥投影计算，得到目标车辆的特征融合数据。

要实现雷达数据与相机数据的融合，首先要将雷达的检测点与其对应的物体在图像平面进行匹配。由于雷达检测点和目标不是一一对应的，并且毫米波雷达的检测点的数值信息准确性很差，因此该步骤中引入了视锥关联方法，将点云数据与中心点数据进行视锥投影计算，得到目标车辆的特征融合数据。在一种实施方式中，将点云数据与中心点数据进行视锥投影计算，得到目标车辆的特征融合数据的步骤S402，如图5所示，包括：

步骤S501，基于中心点数据确定目标车辆对应的ROI区域；

步骤S502，获取点云数据落入ROI区域内的雷达监测点，并根据雷达监测点确定点云数据与中心点数据的关联结果；

步骤S503，将关联结果保存至视频数据后，基于雷达监测点对应的张量数据计算并更新目标车辆对应的深度数据、姿态数据、速度数据和属性数据；

步骤S504，根据深度数据、姿态数据、速度数据和属性数据确定目标车辆的特征融合数据。

具体实施过程中，可利用CNN特征提取到的2D检测框、深度估计还有3D边界框，生成物体的3D感兴趣区域ROI。通过控制ROI区域的大小，来控制落入该区域的雷达点的数量。对于落入ROI区域的雷达检测点，可选取深度最小，即最靠前的检测点作为匹配结果。完成雷达检测点和目标的关联之后，对雷达数据的特征进行处理，转换为张量形式，与CNN的输出进行叠加。作为融合的多模态特征输入到二次回归头中计算物体的深度数据、姿态数据、速度数据和属性数据，从而进行3D目标深度、旋转、速度和属性的回归过程。

在一种实施方式中，基于特征融合数据计算目标车辆在未来时间段内的预测轨迹数据的步骤S103，如图6所示，包括：

步骤S601，获取视频数据的当前帧对应的特征融合数据，并根据特征融合数据确定目标车辆的边界框数据；

步骤S602，基于边界框数据计算目标车辆在视频数据的下一帧对应的位置数据以及方向数据；

步骤S603，根据位置数据以及方向数据确定目标车辆在未来时间段内的预测轨迹数据。

通过分析上一步骤得到的特征融合数据得到目标车辆的边界框，然后可利用相关3D目标跟踪算法预测该目标下一帧的位置和方向。最终根据位置数据以及方向数据确定目标车辆在未来时间段内的预测轨迹数据。具体实施过程中，基于边界框数据计算目标车辆在视频数据的下一帧对应的位置数据以及方向数据的步骤S602，如图7所示，包括：

步骤S701，获取边界框数据对应的目标车辆的检测框宽高值、中心点坐标值、深度值，目标航向值、类别数据、速度值和状态参数；

步骤S702，基于检测框宽高值、中心点坐标值、深度值，目标航向值、类别数据、速度值和状态参数计算目标车辆的重叠度结果，并利用匈牙利算法对重叠度结果进行匹配计算，得到匹配结果；

步骤S703，利用卡尔曼滤波器对匹配结果进行预测，得到视频数据的下一帧对应的位置数据以及方向数据。

通过汇总第一次回归与第二次回归输出的预测信息，包括检测框的宽高、中心点的2D坐标、深度，目标航向、类别、速度、状态(静止、行驶)等信息，即利用特征融合过程中得到的多模态特征对一阶段的图像特征提取结果进行修正，并据此进行3D目标框信息的解码。与常见的2D目标跟踪算法类似，以3D形式基于检测框宽高值、中心点坐标值、深度值，目标航向值、类别数据、速度值和状态参数计算目标车辆的IOU重叠度结果，然后利用匈牙利算法对重叠度结果进行匹配计算，关联最高匹配并设置id号得到匹配结果，最后使用3D卡尔曼滤波器来预测目标车辆的下一个位置。

在一种实施方式中，当获取到目标车辆在未来时间段内的实际轨迹数据后，根据预测轨迹数据与实际轨迹数据之间的距离关系确定目标车辆的事故预警信息的步骤S104，如图8所示，包括：

步骤S801，获取未来时间段内目标车辆的实际轨迹数据；

步骤S802，基于目标车辆的检测框，计算预测轨迹数据与实际轨迹数据之间的折合距离；

步骤S803，根据折合距离确定目标车辆的事故预警信息。

通过比对目标车辆的预测轨迹位置与当前实际轨迹位置，计算当前行驶轨迹位置和预测行驶轨迹位置的折合距离。具体的，折合距离可通过以下算式计算得到：

其中，表示了3D边界框的位置和大小，/>表示了3D边界框的方向。与传统平面欧氏距离相比，该实施例中的折合距离的度量过程考虑到了方向相似性，考虑到了预测和观察的不确定性。

当折合距离超过设定阈值时，确定所述车辆的状态出现异常并产生相应的事故告警信息，最后将事故告警信息分发给路侧设备与周围车辆的车机侧设备进行提示，从而减少事故的发生概率。

如图9所示的另一种车辆事故预警方法流程图，具体包括以下流程：

数据筛选与特征提取：通过无人机搭载的摄像头与毫米波雷达传感器，收集车辆周围的视觉和毫米波雷达数据。视觉传感器可以捕捉到车辆和周围环境的图像信息，通过目标检测网络预测目标的中心点，并回归得到目标的坐标、深度、热力图、偏移、维度等特征信息；而毫米波雷达可以检测到目标的距离、速度和方向等信息，该步骤将雷达点云数据在垂直方向上拉伸扩展。

雷达视觉融合：对预处理后的数据进行融合。在上一步垂直方向上拉伸投影雷达点后，通过使用视锥法将雷达检测到的目标数据和视觉检测到的目标中心点进行关联。雷达信息的特征以像素值的形式存储在增强图像中，将关联后的目标的特征图与雷达数据检测到的深度和速度信息组成的特征图并联，再进行3D目标深度、旋转、速度和属性的回归。

目标跟踪预警：通过分析上一步骤得到的3D车辆目标的边界框，利用3D目标跟踪算法预测该目标下一帧的位置和方向，最终，比对预测结果与真实值的差别来识别潜在的事故风险。

事故告警分发：无人机将事故信息通过5G/4G等通信网络实时上报至路侧和车机侧的接收设备。路侧设备包括交通管控中心、交警等道路管理机构的云平台所在的设备，车机侧设备包括车载终端、手机APP等智能终端。

实际场景中可针对高速公路场景，默认无人机搭载毫米波雷达与摄像头等监控设备，通过毫米波雷达采集点云数据，通过摄像头采集视频数据。雷视融合子网络流程分为两阶段，第一阶段进行视觉检测，第二阶段利用视觉检测结果关联毫米波特征，用于特征融合，并对视觉检测结果进行二次修正，最终得到目标的3D边界框，类别等信息，具体如图10所示的边界框获取过程的流程图，包括以下过程：

在图像特征提取过程中，可采用卷积神经网络(CNN)进行车辆目标检测，预测目标车辆的中心点，并回归得到目标的2D宽高、3D长度、深度、热力图、偏移等特征信息，此处CNN网络可选择CenterNet、YOLOv5等目标检测网络模型；

在点云特征扩展过程中，由于毫米波雷达点云本身缺少高度信息，因此将点云数据进行垂直方向上的扩充，每个点云目标在垂直地面方向扩充为单独的长柱体，即进行升维操作；

特征融合时利用图像特征提取到的特征图与雷达特征图，采用视锥法完成特征融合，通过第一次视觉预测的目标框排除背景雷达点；进行第二次高精度回归，使融合后的特征图携带目标的速度方向及其他属性信息。

其中，要实现雷达数据与相机数据的融合，首先要将雷达的检测点与其对应的物体在图像平面进行匹配。由于雷达检测点和目标不是一一对应的，并且毫米波雷达的检测点的z轴信息准确性很差或者根本没有，因此引入视锥关联方法。利用CNN特征提取到的2D检测框、深度估计还有3D边界框，生成物体的3D感兴趣区域。通过控制感兴趣区域的大小，来控制落入该区域的雷达点的数量。对于落入感兴趣区域的雷达检测点，选取深度最小，即最靠前的检测点作为匹配结果。

完成雷达检测点和目标的关联之后，对雷达数据的特征进行处理，转换为张量形式，与CNN的输出进行叠加。作为融合的多模态特征输入到二次回归头中计算物体的深度、姿态、速度还有属性。

通过汇总第一次回归与第二次回归输出的预测信息，包括检测框的宽高、中心点的2D坐标、深度，目标航向、类别、速度、状态(静止、行驶)等信息，即利用特征融合单元得到的多模态特征对一阶段的图像特征提取结果进行修正，并据此进行3D目标框信息的解码。首先以3D形式计算IOU，然后利用匹配算法关联最高IOU并设置id号，最后使用3D卡尔曼滤波器来预测下一个位置。

通过比对目标车辆的预测轨迹位置与当前实际轨迹位置，计算当前行驶轨迹位置和预测行驶轨迹位置的折合距离；当折合距离超过设定阈值时，确定目标车辆的状态出现异常，产生相应的事故告警信息，并通过4G/5G等方式分发给路侧设备与周围车辆的车机侧设备，减少事故的发生。

由此可见，本发明实施例中的车辆事故预警方法，通过视觉目标检测得到目标车辆的类别，位置，大小等信息，利用毫米波雷达精准检测目标车辆数据以及每辆目标车辆的速度，方向等信息，然后利用视锥法融合点云特征与视觉特征信息，并对视觉检测结果进行二次修正，最终得到更加精准的目标车辆的3D边界框，类别等信息，为后续的3D目标跟踪与交通事故状态判断做准备。

通过比对目标车辆的预测轨迹位置与当前实际轨迹位置，进一步计算预测轨迹与实际轨迹的折合距离，从而确定车辆状态是否出现异常，产生事故告警信息。这种技术不仅考虑到了平面欧氏距离的度量方法，而且还考虑到了方向相似性和预测与观察的不确定性。通过这种技术，该方法能够更加准确地检测和跟踪交通目标，并实时发出预警信息，有效降低交通事故的发生率，改善交通运行效率。同时，通过将无人机视觉以及毫米波雷达结合，可排除天气等外界条件的干扰，得到更加精确的车辆交通数据，满足了检测精度以及事故预警的需求，同时减少了人工参与，节约了人工巡检成本。

对于前述实施例提供的车辆事故预警方法，本发明实施例提供了一种车辆事故预警装置，该***如图11所示，包括：

数据获取单元1110，用于控制预设的无人机实时监控道路中的目标车辆，并利用无人机内置的相机和毫米波雷达分别获取目标车辆的视频数据和点云数据；

数据融合单元1120，用于利用视频数据计算目标车辆的中心点数据，并利用点云数据与中心点数据计算目标车辆的特征融合数据；

跟踪预测单元1130，用于基于特征融合数据计算目标车辆在未来时间段内的预测轨迹数据；

事故预警单元1140，用于当获取到目标车辆在未来时间段内的实际轨迹数据后，根据预测轨迹数据与实际轨迹数据之间的距离关系确定目标车辆的事故预警信息。

从上述实施例中提到的车辆事故预警装置可知，该装置通过设置在道路上方的无人机并结合相机和毫米波雷达对道路中的目标车辆进行数据采集，利用目标车辆的特征融合数据进行事故预警，提升了预警精度；同时可降低复杂环境对事故预警的影响，减少人工巡查的依赖程度，节约了运营成本。

如图12所示的另一种车辆事故预警装置的结构示意图，包含的单元和模块与上述方法实施例相对应，在此不再赘述。

本发明实施例所提供的车辆事故预警装置，其实现原理及产生的技术效果和前述车辆事故预警方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述车辆事故预警方法实施例中相应内容。

本实施例还提供一种车辆事故预警***，如图13所示，该车辆事故预警***包括：无人机、路侧设备、车侧设备、传输设备以及服务器：

其中，无人机通过传输设备，分别与路侧设备、车侧设备和服务器相连接；服务器在控制无人机进行车辆事故预警的过程中执行上述第一方面提供的车辆事故预警方法；

车辆事故预警方法得到的事故预警信息通过传输设备展示在路侧设备和车侧设备中。

本实施例还提供一种电子设备，该电子设备的结构示意图如图14所示，该设备包括处理器101和存储器102；其中，存储器102用于存储一条或多条计算机指令，一条或多条计算机指令被处理器执行，以实现上述车辆事故预警方法的步骤。

图14所示的电子设备还包括总线103和通信接口104，处理器101、通信接口104和存储器102通过总线103连接。

其中，存储器102可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。总线103可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图14中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

通信接口104用于通过网络接口与至少一个用户终端及其它网络单元连接，将封装好的IPv4报文或IPv4报文通过网络接口发送至用户终端。

处理器101可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器101中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器101可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DigitalSignal Processor，简称DSP)、专用集成电路(Application Specific IntegratedCircuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本公开实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本公开实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器102，处理器101读取存储器102中的信息，结合其硬件完成前述实施例的方法的步骤。

本发明实施例还提供了一种存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行前述实施例中车辆事故预警方法的步骤。

在本申请所提供的几个实施例中，应该理解到，所揭露的***、设备和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，设备或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以用软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种车辆事故预警方法，其特征在于，所述方法包括：

控制预设的无人机实时监控道路中的目标车辆，并利用所述无人机内置的相机和毫米波雷达分别获取所述目标车辆的视频数据和点云数据；

利用所述视频数据计算所述目标车辆的中心点数据，并利用所述点云数据与所述中心点数据计算所述目标车辆的特征融合数据；

基于所述特征融合数据计算所述目标车辆在未来时间段内的预测轨迹数据；

当获取到所述目标车辆在所述未来时间段内的实际轨迹数据后，根据所述预测轨迹数据与所述实际轨迹数据之间的距离关系确定所述目标车辆的事故预警信息。

2.根据权利要求1所述的车辆事故预警方法，其特征在于，所述控制预设的无人机实时监控道路中的目标车辆，并利用所述无人机内置的相机和毫米波雷达分别获取所述目标车辆的视频数据和点云数据的步骤，包括：

控制所述无人机运行至所述道路的预设位置中，并对所述道路中的目标车辆进行实时监控；

当检测到所述目标车辆时，控制所述相机获取包含所述目标车辆的所述视频数据，并计算得到所述目标车辆的位置信息；

基于所述位置信息，控制所述毫米波雷达获取所述目标车辆的点云数据。

3.根据权利要求2所述的车辆事故预警方法，其特征在于，所述基于所述位置信息，控制所述毫米波雷达获取所述目标车辆的点云数据的步骤之后，所述车辆事故预警方法还包括：

基于所述点云数据，确定所述目标车辆在地平面方向的距离数据、速度数据和方向数据；

根据所述距离数据、所述速度数据和所述方向数据，确定所述目标车辆在垂直所述地平面方向的扩展点云数据。

4.根据权利要求1所述的车辆事故预警方法，其特征在于，所述利用所述视频数据计算所述目标车辆的中心点数据，并利用所述点云数据与所述中心点数据计算所述目标车辆的特征融合数据的步骤，包括：

确定所述目标车辆的坐标系，基于所述坐标系确定所述视频数据中所述目标车辆的坐标数据、深度数据、热力图数据、偏移数据和维度数据，并基于所述坐标数据、所述深度数据、所述热力图数据、所述偏移数据和所述维度数据确定所述目标车辆的所述中心点数据；

将所述点云数据与所述中心点数据进行视锥投影计算，得到所述目标车辆的特征融合数据。

5.根据权利要求4所述的车辆事故预警方法，其特征在于，所述将所述点云数据与所述中心点数据进行视锥投影计算，得到所述目标车辆的特征融合数据的步骤，包括：

基于所述中心点数据确定所述目标车辆对应的ROI区域；

获取所述点云数据落入所述ROI区域内的雷达监测点，并根据所述雷达监测点确定所述点云数据与所述中心点数据的关联结果；

将所述关联结果保存至所述视频数据后，基于所述雷达监测点对应的张量数据计算并更新所述目标车辆对应的所述深度数据、姿态数据、速度数据和属性数据；

根据所述深度数据、所述姿态数据、所述速度数据和所述属性数据确定所述目标车辆的特征融合数据。

6.根据权利要求1所述的车辆事故预警方法，其特征在于，所述基于所述特征融合数据计算所述目标车辆在未来时间段内的预测轨迹数据的步骤，包括：

获取所述视频数据的当前帧对应的所述特征融合数据，并根据所述特征融合数据确定所述目标车辆的边界框数据；

基于所述边界框数据计算所述目标车辆在所述视频数据的下一帧对应的位置数据以及方向数据；

根据所述位置数据以及所述方向数据确定所述目标车辆在未来时间段内的所述预测轨迹数据。

7.根据权利要求6所述的车辆事故预警方法，其特征在于，所述基于所述边界框数据计算所述目标车辆在所述视频数据的下一帧对应的位置数据以及方向数据的步骤，包括：

获取所述边界框数据对应的所述目标车辆的检测框宽高值、中心点坐标值、深度值，目标航向值、类别数据、速度值和状态参数；

基于所述检测框宽高值、所述中心点坐标值、所述深度值，所述目标航向值、所述类别数据、所述速度值和所述状态参数计算所述目标车辆的重叠度结果，并利用匈牙利算法对所述重叠度结果进行匹配计算，得到匹配结果；

利用卡尔曼滤波器对所述匹配结果进行预测，得到所述视频数据的下一帧对应的所述位置数据以及所述方向数据。

8.根据权利要求7所述的车辆事故预警方法，其特征在于，所述当获取到所述目标车辆在所述未来时间段内的实际轨迹数据后，根据所述预测轨迹数据与所述实际轨迹数据之间的距离关系确定所述目标车辆的事故预警信息的步骤，包括：

获取所述未来时间段内所述目标车辆的实际轨迹数据；

基于所述目标车辆的检测框，计算所述预测轨迹数据与所述实际轨迹数据之间的折合距离；

根据所述折合距离确定所述目标车辆的事故预警信息。

9.一种车辆事故预警装置，其特征在于，所述装置包括：

数据获取单元，用于控制预设的无人机实时监控道路中的目标车辆，并利用所述无人机内置的相机和毫米波雷达分别获取所述目标车辆的视频数据和点云数据；

数据融合单元，用于利用所述视频数据计算所述目标车辆的中心点数据，并利用所述点云数据与所述中心点数据计算所述目标车辆的特征融合数据；

跟踪预测单元，用于基于所述特征融合数据计算所述目标车辆在未来时间段内的预测轨迹数据；

事故预警单元，用于当获取到所述目标车辆在所述未来时间段内的实际轨迹数据后，根据所述预测轨迹数据与所述实际轨迹数据之间的距离关系确定所述目标车辆的事故预警信息。

10.一种车辆事故预警***，其特征在于，所述车辆事故预警***包括：无人机、路侧设备、车侧设备、传输设备以及服务器：

其中，所述无人机通过所述传输设备，分别与所述路侧设备、所述车侧设备和所述服务器相连接；所述服务器在控制所述无人机进行车辆事故预警的过程中执行上述权利要求1至8任一项所述的车辆事故预警方法；

所述车辆事故预警方法得到的事故预警信息通过所述传输设备展示在所述路侧设备和所述车侧设备中。