CN111932901B - 道路车辆跟踪检测设备、方法及存储介质 - Google Patents

Abstract

本公开提出了一种道路车辆跟踪检测设备、方法及存储介质。多个采集设备被设置为能够采集预定范围内的道路的图像；图像处理模块用于对多个采集设备在对应时刻或对应时间段内所采集的图像进行处理，以确定采集设备所采集的图像中的车辆的车辆检测结果；车辆跟踪管理模块用于对检测到的预定范围内的道路中的车辆进行跟踪管理；关联程度计算模块用于计算不同采集设备的车辆检测结果与车辆跟踪管理模块当前跟踪的车辆之间的关联程度，车辆跟踪管理模块还根据关联程度，确定与当前跟踪的车辆相匹配的车辆检测结果，并基于与当前跟踪的车辆相匹配的车辆检测结果，对该车辆的状态进行更新。由此，可以实现对道路中车辆的实时连续跟踪检测。

Description

道路车辆跟踪检测设备、方法及存储介质

技术领域

本公开涉及物联网技术领域，特别是涉及一种道路车辆跟踪检测设备、方法及存储介质。

背景技术

智能高速，是通过对道路、环境、车辆进行全面实时的感知、研判和控制，驱动高速公路的数字化和智能化，保障高速公路的安全畅通，降低高速公路的交通事故，提升高速车主的体验，支撑汽车的智能化演进。

传统的道路监控***，由于摄像头之间存在盲区，很难对车辆进行全程完整跟踪。如果想要跟踪车辆，通常需要人工识别出这辆车的特征（车牌、颜色、品牌等），然后根据车辆的运动轨迹在下游的摄像头中搜索同一辆车。如果车辆在盲区里发生长时间停留、突然变向等行为，会加大在下游再次识别出该车的难度。

因此，需要一种能够对道路中的车辆进行实时连续跟踪的方案。

发明内容

本公开的一个目的在于提供一种能够为对道路中的车辆进行实时连续跟踪提供技术支持的方案。

根据本公开的第一个方面，提出了一种道路车辆跟踪检测设备，包括：多个采集设备，被设置为能够采集预定范围内的道路的图像，其中，一个采集设备用于采集预定范围内的道路中的一段道路的图像，并且相邻的两段道路之间具有至少部分重叠区域；图像处理模块，用于对多个采集设备在对应时刻或对应时间段内所采集的图像进行处理，以确定采集设备所采集的图像中的车辆的车辆检测结果；车辆跟踪管理模块，用于对检测到的预定范围内的道路中的车辆进行跟踪管理；关联程度计算模块，用于计算不同采集设备的车辆检测结果与车辆跟踪管理模块当前跟踪的车辆之间的关联程度，车辆跟踪管理模块还根据关联程度，确定与当前跟踪的车辆相匹配的车辆检测结果，并基于与当前跟踪的车辆相匹配的车辆检测结果，对该车辆的状态进行更新。

可选地，关联程度计算模块通过计算车辆检测结果与车辆跟踪管理模块当前跟踪的车辆的状态信息之间的相似度，来表征关联程度。

可选地，车辆检测结果和状态信息分别包括多个维度的信息，相似度为车辆检测结果与状态信息在多个维度的信息之间的相似度与相应权重的乘积之和。

可选地，多个维度的信息包括以下至少一种：位置；速度；方向；车辆检测框；车辆颜色；车辆品牌；车牌；车辆姿态；车辆所处车道信息。

可选地，对于不存在与其相匹配的车辆检测结果的车辆，车辆跟踪管理模块基于该车辆的运动轨迹和/或状态信息，对其继续进行跟踪管理，并在超过预定时间阈值后仍不存在与其相匹配的车辆检测结果的情况下，结束对该车辆的跟踪管理。

可选地，对于不存在与其相匹配的车辆的车辆检测结果，车辆跟踪管理模块还判断该车辆检测结果是否合理，在判定该车辆检测结果合理的情况下，车辆跟踪管理模块还新建与该车辆检测结果对应的车辆，并对新建的车辆进行跟踪管理。

可选地，在与车辆相匹配的车辆检测结果包括多个对应于不同采集设备的车辆检测结果的情况下，车辆跟踪管理模块根据多个车辆检测结果对该车辆的状态进行更新。

可选地，多个采集设备设置在道路上方，多个采集设备包括第一采集设备、第二采集设备和第三采集设备，第一采集设备用于采集正下方预定范围内的道路的图像，第二采集设备用于采集第一方向上的第一预定距离范围内的道路的图像，第三采集设备用于采集第一方向上的第二预定范围内的道路的图像，其中，第一预定距离范围与正下方预定范围具有至少部分重叠区域，第二预定距离范围与第一预定距离范围具有至少部分重叠区域。

可选地，多个采集设备还包括：第四采集设备和第五采集设备，第四采集设备用于采集与第一方向相反的第二方向上的第三预定距离范围内的道路的图像，第五采集设备用于采集第二方向上的第四预定距离范围内的道路的图像，其中，第三预定距离范围与正下方预定范围具有至少部分重叠区域，第四预定距离范围与第三预定距离范围具有至少部分重叠区域。

可选地，该道路车辆跟踪检测设备还包括：第一发送模块，用于将检测到的车辆的状态信息发送给车辆，并且/或者，将检测到的位于车辆周围的其他车辆的状态信息发送给车辆；和/或第二发送模块，用于将检测到的车辆的状态信息发送给服务器。

可选地，该道路车辆跟踪检测设备还包括：第一预警模块，用于对检测到的预定范围内的道路中的车辆的状态信息进行分析，并在存在交通事故风险的情况下，将风险信息通知给相应的车辆。

可选地，该道路车辆跟踪检测设备还包括：第二预警模块，用于对检测到的预定范围内的道路中的车辆的状态信息进行分析，并在存在交通异常的情况下，将异常信息通知给后方车辆。

根据本公开的第二个方面，还提出了一种道路车辆跟踪检测设备，包括：多个采集设备，被设置为能够采集预定范围内的续道路的图像，其中，一个采集设备用于采集预定范围内的道路中的一段道路的图像，并且相邻的两段道路之间具有至少部分重叠区域；图像处理模块，用于对多个采集设备在对应时刻或对应时间段内所采集的图像进行处理，以确定采集设备所采集的图像中的车辆的车辆检测结果；关联程度计算模块，用于计算不同采集设备的车辆检测结果之间的关联程度；车辆跟踪管理模块，用于根据关联程度，确定不同采集设备的对应同一车辆的车辆检测结果，并对检测到的车辆进行跟踪管理。

可选地，图像处理模块还用于对多个采集设备在下一时刻或下一时间段内所成的图像进行处理，以确定每个采集设备所成的图像中的车辆的车辆检测结果，关联程度计算模块还计算不同采集设备的车辆检测结果与车辆跟踪管理模块当前跟踪的车辆之间的关联程度，车辆跟踪管理模块还根据关联程度，确定与当前跟踪的车辆相匹配的车辆检测结果，并基于与当前跟踪的车辆相匹配的车辆检测结果，对该车辆的状态进行更新。

根据本公开的第三个方面，还提出了一种道路车辆跟踪检测方法，包括：对当前检测到的预定范围内的道路中的车辆进行跟踪管理；利用多个采集设备采集预定范围内的道路的图像，其中，一个采集设备用于对预定范围内的道路中的一段道路成像，并且相邻的两段道路之间具有至少部分重叠区域；对多个采集设备在对应时刻或对应时间段内所采集的图像进行处理，以确定采集设备所采集的图像中的车辆的车辆检测结果；计算不同采集设备的车辆检测结果当前跟踪的车辆之间的关联程度；根据关联程度，确定与当前跟踪的车辆相匹配的车辆检测结果，并基于与当前跟踪的车辆相匹配的车辆检测结果，对该车辆的状态进行更新。

可选地，计算不同采集设备的车辆检测结果当前跟踪的预定范围内的道路中的车辆之间的关联程度的步骤包括：计算车辆检测结果与当前跟踪的车辆的状态信息之间的相似度，来表征关联程度。

可选地，车辆检测结果和状态信息分别包括多个维度的信息，相似度为车辆检测结果与状态信息在多个维度的信息之间的相似度与相应权重的乘积之和。

可选地，多个维度的信息包括以下至少一种：位置；速度；方向；车辆检测框；车辆颜色；车辆品牌；车牌；车辆姿态；车辆所处车道信息。

可选地，该方法还包括：对于不存在与其相匹配的车辆检测结果的车辆，基于该车辆的运动轨迹和/或状态信息，对其继续进行跟踪管理，并在超过预定时间阈值后仍不存在与其相匹配的车辆检测结果的情况下，结束对该车辆的跟踪管理。

可选地，该方法还包括：对于不存在与其相匹配的车辆的车辆检测结果，判断该车辆检测结果是否合理，在判定该车辆检测结果合理的情况下，新建与该车辆检测结果对应的车辆，并对新建的车辆进行跟踪管理。

可选地，该方法还包括：将检测到的车辆的状态信息发送给车辆；并且/或者将检测到的位于车辆周围的其他车辆的状态信息发送给车辆；并且/或者将检测到的车辆的状态信息发送给服务器。

可选地，该方法还包括：对检测到的预定范围内的道路中的车辆的状态信息进行分析，并在存在交通事故风险的情况下，将风险信息通知给相应的车辆。

可选地，该方法还包括：对检测到的预定范围内的道路中的车辆的状态信息进行分析，并在存在交通异常的情况下，将异常信息通知给后方车辆。

根据本公开的第四个方面，还提出了一种道路车辆跟踪检测方法，包括：利用多个采集设备对预定范围内的预定范围内的道路成像，其中，每个采集设备用于对预定范围内的道路中的部分道路成像，并且相邻的部分道路之间具有至少部分重叠区域；对多个采集设备在同一时刻或同一时间段内所成的图像进行处理，以确定每个采集设备所成的图像中的车辆的车辆检测结果；计算不同采集设备的车辆检测结果之间的关联程度；根据关联程度，确定不同采集设备的对应同一车辆的车辆检测结果，并对检测到的车辆进行跟踪管理。

可选地，该方法还包括：对多个采集设备在下一时刻或下一时间段内所采集的图像进行处理，以确定每个采集设备所采集的图像中的车辆的车辆检测结果；计算不同采集设备的车辆检测结果与当前跟踪的车辆之间的关联程度；根据关联程度，确定与当前跟踪的车辆相匹配的车辆检测结果，并基于与当前跟踪的车辆相匹配的车辆检测结果，对该车辆的状态进行更新。

根据本公开的第五个方面，还提出了一种计算设备，包括：处理器；以及存储器，其上存储有可执行代码，当可执行代码被处理器执行时，使处理器执行如本公开的第三个方面或第四个方面述及的方法。

根据本公开的第六个方面，还提出了一种非暂时性机器可读存储介质，其上存储有可执行代码，当可执行代码被电子设备的处理器执行时，使处理器执行如本公开的第三个方面或第四个方面述及的方法。

本公开可以利用多个采集设备来实现道路状况的实时全面感知，通过将多个采集设备采集的图像数据融合，可以实现道路车辆的实时连续跟踪检测。

附图说明

通过结合附图对本公开示例性实施方式进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施方式中，相同的参考标号通常代表相同部件。

图1示出了三个摄像头的覆盖范围的俯视图。

图2示出了道路车辆跟踪检测方法的整体流程图。

图3示出了根据本公开一实施例的道路车辆跟踪检测设备的结构的示意性方框图。

图4示出了根据本公开一实施例的计算设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

对道路中的车辆进行实时连续跟踪的前提是对道路状况实时全面的感知。针对于此，本公开提出，可以将多个采集设备设置在道路上方，如可以架设在道路上方的挑杆上。本公开述及的采集设备是指用于采集图像的装置，如可以是但不限于图像传感器（例如可以是摄像头）。多个采集设备可以被设置为能够采集预定范围内的道路的图像，其中，每个采集设备用于采集预定范围内的道路中的一段道路的图像，并且相邻的两段道路之间具有至少部分重叠区域。由此，这多个采集设备可以负责从不同角度和/或方位采集当前的路况信息，通过将多个采集设备采集的图像数据融合，可以实现预定范围内的道路的全覆盖，也即对道路状况的实时全面感知。

以用于对单向道路进行感知为例，多个采集设备可以包括第一采集设备、第二采集设备和第三采集设备。第一采集设备用于采集正下方预定范围内的道路的图像，第二采集设备用于采集第一方向上的第一预定距离范围内的道路的图像，第三采集设备用于采集第一方向上的第二预定范围内的道路的图像，其中，第一预定距离范围与正下方预定范围具有至少部分重叠区域，第二预定距离范围与第一预定距离范围具有至少部分重叠区域。

作为示例，第一采集设备可以是鱼眼摄像头，第二采集设备可以是近端摄像头，第三采集设备可以是远端摄像头。图1示出了这三个摄像头的覆盖范围的俯视图。如图1所示，正下方路段可以通过鱼眼摄像头覆盖，从近端开始到近端结束之间的区域为近端摄像头的覆盖区域，从远端开始到远端结束之间的区域为远端摄像头的覆盖区域，鱼眼摄像头和近端摄像头有一定重合区域，近端摄像头和远端摄像头有一定重合区域。所以对于路上不同区域，由不同的摄像头覆盖，少部分区域可能存在两个摄像头重合。

在用于对双向道路进行感知的情况下，多个采集设备除了包括上文述及的三个采集设备外，还可以包括与第二采集设备和第三采集设备分别对称设置的第四采集设备和第五采集设备。第四采集设备用于采集与第一方向相反的第二方向上的第三预定距离范围内的道路的图像，第五采集设备用于采集第二方向上的第四预定距离范围内的道路的图像，其中，第三预定距离范围与正下方预定范围具有至少部分重叠区域，第四预定距离范围与第三预定距离范围具有至少部分重叠区域。其中，第四采集设备可以是一个近端摄像头，第五采集设备可以是一个远端摄像头。关于近端摄像头和远端摄像头的覆盖范围可以参见上文图1所示，此处不再赘述。

基于上述多采集设备的设计，本公开提出了一种跨采集设备的道路车辆跟踪检测方案。

在初始情况下，也即在首次对道路中的车辆进行检测时，可以对多个采集设备在对应时刻或对应时间段内所采集的图像进行处理，以确定每个采集设备所成的图像中的车辆的车辆检测结果。例如，在这多个采集设备同步工作且采集频率相同的情况下，可以对多个采集设备在同一时刻或同一时间段内采集的图像进行处理，以确定每个采集设备所成的图像中的车辆的车辆检测结果。

然后计算不同采集设备的车辆检测结果之间的关联程度，根据关联程度，可以确定不同采集设备的对应同一车辆的车辆检测结果，由此可以得到道路中每个车辆的车辆检测结果，这里一个车辆可以对应一个车辆检测结果，也可能对应多个不同采集设备的车辆检测结果。对于检测到的车辆可以进行跟踪管理。

在后续对道路中的车辆进行跟踪检测的过程中，可以对多个采集设备在下一时刻（如下一对应时刻）或下一对应时间段（如下一对应时间段）内所成的图像进行处理，以确定每个采集设备所采集的图像中的车辆的车辆检测结果，然后可以计算不同采集设备的车辆检测结果与当前跟踪的车辆之间的关联程度。根据关联程度，可以确定与当前跟踪的车辆相匹配的车辆检测结果，并基于与当前跟踪的车辆相匹配的车辆检测结果，对该车辆的状态进行更新。由此，可以实现对道路中的车辆的实时连续跟踪。

图2示出了道路车辆跟踪检测方法的整体流程图。图3示出了能够 执行图2所示方法的道路车辆跟踪检测设备的结构的示意性方框图。

下面结合图2、图3就本公开的实现流程进行示例性说明。

如图3所示，道路车辆跟踪检测设备包括多个采集设备（图中示出的10-1、10-2…10-N，其中，N为大于1的整数）、图像处理模块20、关联程度计算模块30以及车辆跟踪管理模块40。多个采集设备可以同步工作，也可以异步工作。关于多个采集设备可以参见上文相关描述，此处不再赘述。

如图2所示，对于多个采集设备所成的图像，可以经过车辆识别、计算关联程度、匹配检测结果、更新状态、生命周期管理等流程，以得到最终的车辆跟踪检测结果。

下面分别就初始情况下的车辆检测和道路车辆持续跟踪这两种情况下的方案实现过程进行示例性说明。

初始情况下的车辆检测

1、车辆识别

可以由图像处理模块20对多个采集设备在对应时刻或对应时间段内所成的图像进行处理，以确定每个采集设备所成的图像中的车辆的车辆检测结果。在这多个采集设备同步工作且采集频率一致的情况下，这里述及的对应时刻或对应时间段可以是指同一时刻或同一时间段，例如可以是指刚开始对道路中的车辆进行检测时的初始时刻或初始时间段。

车辆检测结果是指能够表征图像中的车辆的车辆识别信息，可以包括多个维度的信息。例如，车辆检测结果可以包括但不限于位置、速度、方向、检测框、车牌、车辆颜色、车辆品牌、车辆姿态、车辆所处车道信息等多个维度的信息。

对于检测框、车牌、车辆颜色、车辆品牌、车辆姿态、车辆所处车道信息等维度的信息，可以直接通过图像识别技术对采集设备所采集的图像进行处理得到。对于位置、速度、方向等维度的信息，则可以根据间接计算得到。

举例来说，对于位置：可以通过提前标定采集设备，获取采集设备坐标系和路面坐标系之间的映射关系。由此，可以通过采集设备所成的图像中的车辆框，获取车辆所在图像位置，基于采集设备坐标系和路面坐标系的映射关系，可以得到车辆在路面坐标系中的位置。对于速度：可以根据前后两帧的位置信息算出瞬时速度v′，但是由于瞬时速度抖动剧烈，不适合用作关联匹配，所以优选地可以采用滤波算法，获取一定时间间隔内的平均速度v，平均速度相较于瞬时速度比较稳定，在车辆高速运动过程中更加可靠。对于方向：同理，瞬时方向d′抖动较大，可以优选地采用一定时间间隔内的平均方向d来作关联。

2、计算关联程度

可以由关联程度计算模块30计算不同采集设备的车辆检测结果之间的关联程度。这里的关联程度可以用不同采集设备的车辆检测结果之间的相似程度来表征。因此，关联程度计算模块30可以计算不同采集设备的车辆检测结果之间的相似程度，来表征关联程度。其中，不同采集设备的车辆检测结果之间的相似程度越大，关联程度也就越高。

如上文所述，车辆检测结果包括多个维度的信息，因此关联程度计算模块30可以计算不同采集设备的车辆检测结果在多个维度的信息之间的相似度与相应权重的乘积之和，来表征关联程度。

例如，不同采集设备的车辆检测结果之间的相似度可以表示为D=a*d(p)+b*d(v)+c*d(d)+d*d(bbox)+e*d(plateID)+f*d(color)+g*d(brand)。其中，D表示总的相似程度，也即关联程度，a-g是每个维度的系数（也即权重），d（）是相似度计算方法（具体采用的相似度算法，此处不再赘述），p表示位置，v表示速度，d表示方向，bbox表示检测框plateID表示车牌，color表示车辆颜色，brand表示车辆品牌。

不同维度的系数的具体取值可以根据实际情况设定。作为示例，上文述及的位置、速度、方向可以视为局特征，车辆在跨采集设备运动的过程中，这些特征可以保持全局一致。而检测框、车牌、颜色、品牌等是和采集设备相关的特征，在同一个视角的采集设备内变化较小，在跨采集设备后变化较大，因此在计算跨采集设备的车辆检测结果之间的相似度时，可以将上述不可靠的特征的系数调小。

3、匹配检测结果

可以由车辆跟踪管理模块40根据关联程度，确定不同采集设备的对应同一车辆的车辆检测结果。例如，车辆跟踪管理模块40可以将关联程度（例如相似度）大于预定阈值的车辆检测结果，判定为对应同一车辆，由此可以将同时（或同一时间段）出现在不同采集设备所成的图像中的同一车辆识别出来。

对于检测出的车辆，车辆跟踪管理模块40可以根据其对应的车辆检测结果（可以是一个，也可以是多个），确定该车辆的状态信息。这里的状态信息与上文述及的车辆检测结果相当，也可以包括多个维度的信息，如可以包括但不限于位置、速度、方向、检测框、车牌、车辆颜色、车辆品牌、车辆姿态、车辆所处车道信息等多个维度的信息。

车辆跟踪管理模块40可以对检测到的车辆进行跟踪管理。这里的跟踪管理是指对检测到的车辆的生命周期进行管理。作为示例，车辆跟踪管理模块40可以为检测到的车辆创建一个车辆***（tracker），并对车辆***的生命周期进行管理，还可以对其状态进行更新，以实现对车辆的持续跟踪。

车辆持续跟踪检测

对于检测到的道路中的车辆，可以根据多个采集设备后续采集的图像数据，对车辆进行持续跟踪检测，也即持续更新车辆的状态信息。

1、车辆识别

可以由图像处理模块20对多个采集设备在对应时刻或对应时间段内所采集的图像进行处理，以确定每个采集设备所采集的图像中的车辆的车辆检测结果。这里的对应时刻或对应时间段，可以是指当前时刻或最近一个时间段，与初始情况下的车辆检测过程中的时刻或时间段相比，可以称为下一时刻或下一时间段。关于车辆识别过程可以参见上文相关描述，此处不再赘述。

2、计算关联程度

可以由关联程度计算模块30计算不同采集设备的车辆检测结果与车辆跟踪管理模块当前跟踪的车辆之间的关联程度。作为示例，关联程度计算模块30可以通过计算车辆检测结果与车辆跟踪管理模块40当前跟踪的车辆的状态信息之间的相似度，来表征关联程度。

车辆检测结果和状态信息可以分别包括多个维度的信息，这多个维度的信息可以包括但不限于位置、速度、方向、检测框、车牌、车辆颜色、车辆品牌、车辆姿态、车辆所处车道信息等。

关联程度计算模块30可以计算不同采集设备的车辆检测结果与状态信息在多个维度的信息之间的相似度与相应权重的乘积之和，来表征关联程度。

例如，车辆检测结果与状态信息之间的相似程度可以表示为D=a*d(p)+b*d(v)+c*d(d)+d*d(bbox)+e*d(plateID)+f*d(color)+g*d(brand)。其中，D表示总的相似程度，也即关联程度，a-g是每个维度的系数，d（）是相似度计算方法（具体采用的相似度算法，此处不再赘述），p表示位置，v表示速度，d表示方向，bbox表示检测框plateID表示车牌，color表示车辆颜色，brand表示车辆品牌。

3、匹配检测结果

可以由车辆跟踪管理模块40根据关联程度，确定与当前跟踪的车辆相匹配的车辆检测结果。具体可以有多种匹配方法。例如，可以将关联程度大于预定阈值的车辆检测结果和车辆作为一个匹配对，再例如，也可以利用匈牙利算法得到车辆检测结果和车辆之间的匹配关系。匈牙利算法为现有成熟算法，关于利用匈牙利算法进行匹配的具体过程，本公开不再赘述。

在得到车辆检测结果和车辆的匹配关系后，还可以过滤掉不合理的匹配结果。例如，可以根据采集设备前后两帧车辆可能的位移上限作为阈值，滤除不合理的匹配结果，由此可以得到最终的车辆检测结果和车辆之间的对应关系。其中，车辆跟踪管理模块40当前跟踪的每个车辆所匹配的车辆检测结果可以是一个，也可以是多个，还可以是零个。

4、更新状态

对于具有与其相匹配的车辆检测结果的车辆，可以由车辆跟踪管理模块40基于与该车辆相匹配的车辆检测结果，对该车辆的状态进行更新。由此可以实现对道路中的车辆进行持续跟踪检测。

在与车辆相匹配的车辆检测结果包括多个对应于不同采集设备的车辆检测结果的情况下，车辆跟踪管理模块40可以根据多个车辆检测结果对该车辆的状态进行更新。

例如，对于车辆的运动状态，可以采用卡尔曼（Kalman）滤波，利用匀速运动模型来更新当前车辆的位置、速度、方向等运行属性。在不同采集设备的覆盖范围下，测量误差是不同的，可以根据在之前的标定环节获得的测量误差，来更新车辆的kalman测量噪声系数。这里的目的主要是在世界坐标系下，更新物体运动速度和位置，来得到一个平滑的运动轨迹，稳定的运动速度和朝向。

对于车辆的车牌、颜色、品牌等属性，则可以采用一定时间窗内，投票决定的方式进行更新，如此可以有效滤除个别不准确的检测结果。

5、生命周期管理

由于误检、漏检、误匹配，以及车辆驶入、驶出，车辆检测结果和车辆并不能完美对应。对于没有匹配到的车辆可以按照原有运动轨迹继续预测一段时间，超出这段时间还是没有匹配成功，就终结对该车辆的跟踪检测。对于没有匹配到的车辆检测结果，可以首先利用NMS（非极大值抑制）来判断车距是否满足实际情况、是否是误检，如果不是误检就新建车辆（也即车辆***），当作新的车辆进行跟踪。

也就是说，对于不存在与其相匹配的车辆检测结果的车辆，可以由车辆跟踪管理模块40基于该车辆的运动轨迹和/或状态信息，对其继续进行跟踪管理，并在超过预定时间阈值后仍不存在与其相匹配的车辆检测结果的情况下，结束对该车辆的跟踪管理。由此，可以及时滤除驶出道路车辆跟踪检测设备的监控范围的车辆。

对于不存在与其相匹配的车辆的车辆检测结果，可以车辆跟踪管理模块40判断该车辆检测结果是否合理，在判定该车辆检测结果合理的情况下，新建与该车辆检测结果对应的车辆，并对新建的车辆进行跟踪管理。由此，可以及时对驶入道路车辆跟踪检测设备的监控范围的车辆进行跟踪检测。

在对车辆持续跟踪检测的过程中，可以迭代执行上述流程，以实时更新车辆的状态信息。

应用场景

本公开的道路车辆跟踪检测设备可以作为路侧感知单元（RSU）设置在道路上的预定位置，如可以安装在道路上方的挑杆上，路侧感知单元（RSU）可以利用三个摄像头完成单侧路段的覆盖，RSU前后两个方向对称，可以利用五个摄像头完成全程路段覆盖。摄像头的具体安装方式可以参见上文相关描述。上文述及的道路车辆跟踪检测设备中的各个功能模块，均可以由路侧感知单元（RSU）中的计算平台（如边缘计算平台）实现。并且，路侧感知单元（RSU）还可以包括网络通信模块、V2X模块、雷达传感器模块等等。

本公开可以视为是在RSU上实现的车辆连续跟踪方案，可以对道路上所有车辆进行实时、准确、连续跟踪，输出车辆的位置、速度、朝向、车辆属性等可靠信息。本公开可以适用于多种上层应用场景。根据数据去向分为两类。

（1）与车通信

可以通过V2X与车辆通信，通知车辆自身位置、与周围车辆的关系。

度环视

一辆车的视野范围有限，而RSU可以得到路段上所有车辆的轨迹，精确感知周围环境。通过RSU与车辆通信，可以拓宽车辆的视野。在车上安装V2X，获取RSU对于本车、周围其他车辆的精确感知信息，可以在车机上绘制出周围场景的“复原图”，即使在司机视野受限的情况下，也可以“透过”周围车辆看到盲区的路况，帮助司机做出预判。

因此，道路车辆跟踪检测设备还可以可选地包括第一发送模块，用于将检测到的车辆的状态信息发送给车辆，并且/或者，将检测到的位于车辆周围的其他车辆的状态信息发送给车辆。

碰撞预警

碰撞预警可以通过车辆装载雷达预警的方式实现，但是雷达只能覆盖固定的方向，例如前向雷达并不能预警侧向来车的碰撞。而RSU可以做到对每一辆车的360环视，所以可以预警各个角度可能发生的碰撞场景。例如，在路口左转的车辆和对面直线行驶的来车，容易发生侧向碰撞，我们可以通过车速、位置、朝向等信息对两车之间的碰撞作出提前预警。

因此，道路车辆跟踪检测设备还可以可选地包括第一预警模块。第一预警模块用于对检测到的连续道路中的车辆的状态信息进行分析，并在存在交通事故风险的情况下，将风险信息通知给相应的车辆。

异常路况预警

由于修路、事故、车辆抛锚等原因造成异常路况，车辆通常只有开到附近才能察觉异常。本公开的RSU通过与车辆通信，提前告知前方道路的异常，可以帮助司机避开异常路段。例如，道路上车辆突然抛锚造成的连续碰撞事故，就是因为司机对前方异常状况没有很好预判，来不及做出反应造成的。本公开的RSU可以掌握每一辆车的运动状况，可以对异常运动的车辆作出分析，提前预警后方来车。

因此，道路车辆跟踪检测设备还可以可选地包括第二预警模块。第二预警模块用于对检测到的连续道路中的车辆的状态信息进行分析，并在存在交通异常的情况下，将异常信息通知给后方车辆。

（2）与服务器通信

道路车辆跟踪检测设备还可以可选地包括第二发送模块，用于将检测到的车辆的状态信息发送给服务器。这里的服务器可以是指云端服务器，如可以是云控平台。

云控平台可以将道路车辆跟踪检测设备发送的数据作为监控道路状况、进行道路拥堵预测等应用的可靠输入源。采用普通路侧摄像头的方案，通常只能获取这个路段平均车流、速度和估计车辆数量等信息。利用本公开的道路车辆跟踪检测设备则可以获取每辆车精确的位置速度朝向等信息，对于云上的道路拥堵预测、路况判断等应用提供更准确的输入。

本公开通过多采集设备采集的多路数据的同步和融合，可以提供不同角度和方位的道路感知能力，把局部信息拼接成整体，实现真正意义的道路全覆盖。与现有技术相比，本公开提出的多维度相似度计算方法，能够有效区分不同车辆，保证车辆跨摄像头跟踪的一致性。并且可以获取车辆精确的路径、速度、朝向等属性，达到对每一辆车的持续精确跟踪。全程无盲区，能够有效改善由于盲区造成的车辆跟踪中断、误匹配等错误。

图4示出了根据本公开一实施例可用于实现上述道路车辆跟踪检测方法的计算设备的结构示意图。

参见图4，计算设备400包括存储器410和处理器420。

处理器420可以是一个多核的处理器，也可以包含多个处理器。在一些实施例中，处理器420可以包含一个通用的主处理器以及一个或多个特殊的协处理器，例如图形处理器（GPU）、数字信号处理器（DSP）等等。在一些实施例中，处理器420可以使用定制的电路实现，例如特定用途集成电路（ASIC，Application Specific Integrated Circuit）或者现场可编程逻辑门阵列（FPGA，Field Programmable Gate Arrays）。

存储器410可以包括各种类型的存储单元，例如***内存、只读存储器（ROM），和永久存储装置。其中，ROM可以存储处理器420或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中，永久性存储装置采用大容量存储装置（例如磁或光盘、闪存）作为永久存储装置。另外一些实施方式中，永久性存储装置可以是可移除的存储设备（例如软盘、光驱）。***内存可以是可读写存储设备或者易失性可读写存储设备，例如动态随机访问内存。***内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外，存储器410可以包括任意计算机可读存储媒介的组合，包括各种类型的半导体存储芯片（DRAM，SRAM，SDRAM，闪存，可编程只读存储器），磁盘和/或光盘也可以采用。在一些实施方式中，存储器410可以包括可读和/或写的可移除的存储设备，例如激光唱片（CD）、只读数字多功能光盘（例如DVD-ROM，双层DVD-ROM）、只读蓝光光盘、超密度光盘、闪存卡（例如SD卡、min SD卡、Micro-SD卡等等）、磁性软盘等等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。

存储器410上存储有可执行代码，当可执行代码被处理器420处理时，可以使处理器420执行上文述及的道路车辆跟踪检测方法。

上文中已经参考附图详细描述了根据本公开的道路车辆跟踪检测方法。

此外，根据本公开的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本公开的上述方法中限定的上述各步骤的计算机程序代码指令。

或者，本公开还可以实施为一种非暂时性机器可读存储介质（或计算机可读存储介质、或机器可读存储介质），其上存储有可执行代码（或计算机程序、或计算机指令代码），当所述可执行代码（或计算机程序、或计算机指令代码）被电子设备（或计算设备、服务器等）的处理器执行时，使所述处理器执行根据本公开的上述方法的各个步骤。

本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。

附图中的流程图和框图显示了根据本公开的多个实施例的***和方法的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标记的功能也可以以不同于附图中所标记的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (24)

1.一种道路车辆跟踪检测设备，其特征在于，包括：

多个采集设备，被设置为能够采集预定范围内的道路的图像，其中，所述多个采集设备设置在道路上方，所述多个采集设备包括第一采集设备、第二采集设备和第三采集设备，所述第一采集设备用于采集正下方预定范围内的道路的图像，所述第二采集设备用于采集第一方向上的第一预定距离范围内的道路的图像，所述第三采集设备用于采集第一方向上的第二预定范围内的道路的图像，其中，所述第一预定距离范围与所述正下方预定范围具有至少部分重叠区域，所述第二预定距离范围与所述第一预定距离范围具有至少部分重叠区域；

图像处理模块，用于对所述多个采集设备在对应时刻或对应时间段内所采集的图像进行处理，以确定所述采集设备所采集的图像中的车辆的车辆检测结果；

车辆跟踪管理模块，用于对检测到的所述预定范围内的道路中的车辆进行跟踪管理；

关联程度计算模块，用于计算不同采集设备的车辆检测结果与所述车辆跟踪管理模块当前跟踪的车辆之间的关联程度，所述关联程度通过计算所述车辆检测结果与所述车辆跟踪管理模块当前跟踪的车辆的状态信息之间的相似度来表征；

所述车辆跟踪管理模块还根据所述关联程度，确定与当前跟踪的车辆相匹配的车辆检测结果，并基于与当前跟踪的车辆相匹配的车辆检测结果，对该车辆的状态进行更新。

2.根据权利要求1所述的道路车辆跟踪检测设备，其特征在于，所述车辆检测结果和所述状态信息分别包括多个维度的信息，

所述相似度为所述车辆检测结果与所述状态信息在所述多个维度的信息之间的相似度与相应权重的乘积之和。

3.根据权利要求2所述的道路车辆跟踪检测设备，其特征在于，所述多个维度的信息包括以下至少一种：

位置；

速度；

方向；

车辆检测框；

车辆颜色；

车辆品牌；

车牌；

车辆姿态；

车辆所处车道信息。

4.根据权利要求1所述的道路车辆跟踪检测设备，其特征在于，

对于不存在与其相匹配的车辆检测结果的车辆，所述车辆跟踪管理模块基于该车辆的运动轨迹和/或状态信息，对其继续进行跟踪管理，并在超过预定时间阈值后仍不存在与其相匹配的车辆检测结果的情况下，结束对该车辆的跟踪管理。

5.根据权利要求1所述的道路车辆跟踪检测设备，其特征在于，

对于不存在与其相匹配的车辆的车辆检测结果，所述车辆跟踪管理模块还判断该车辆检测结果是否合理，在判定该车辆检测结果合理的情况下，所述车辆跟踪管理模块还新建与该车辆检测结果对应的车辆，并对新建的车辆进行跟踪管理。

6.根据权利要求1所述的道路车辆跟踪检测设备，其特征在于，

在与车辆相匹配的车辆检测结果包括多个对应于不同采集设备的车辆检测结果的情况下，所述车辆跟踪管理模块根据多个车辆检测结果对该车辆的状态进行更新。

7.根据权利要求1所述的道路车辆跟踪检测设备，其特征在于，所述多个采集设备还包括：

第四采集设备和第五采集设备，所述第四采集设备用于采集与所述第一方向相反的第二方向上的第三预定距离范围内的道路的图像，所述第五采集设备用于采集所述第二方向上的第四预定距离范围内的道路的图像，其中，所述第三预定距离范围与所述正下方预定范围具有至少部分重叠区域，所述第四预定距离范围与所述第三预定距离范围具有至少部分重叠区域。

8.根据权利要求1所述的道路车辆跟踪检测设备，其特征在于，还包括：

第一发送模块，用于将检测到的车辆的状态信息发送给所述车辆，并且/或者，将检测到的位于车辆周围的其他车辆的状态信息发送给所述车辆；和/或

第二发送模块，用于将检测到的车辆的状态信息发送给服务器。

9.根据权利要求1所述的道路车辆跟踪检测设备，其特征在于，还包括：

第一预警模块，用于对检测到的所述预定范围内的道路中的车辆的状态信息进行分析，并在存在交通事故风险的情况下，将风险信息通知给相应的车辆。

10.根据权利要求1所述的道路车辆跟踪检测设备，其特征在于，还包括：

第二预警模块，用于对检测到的所述预定范围内的道路中的车辆的状态信息进行分析，并在存在交通异常的情况下，将异常信息通知给后方车辆。

11.一种道路车辆跟踪检测设备，其特征在于，包括：

多个采集设备，被设置为能够采集预定范围内的续道路的图像，其中，所述多个采集设备设置在道路上方，所述多个采集设备包括第一采集设备、第二采集设备和第三采集设备，所述第一采集设备用于采集正下方预定范围内的道路的图像，所述第二采集设备用于采集第一方向上的第一预定距离范围内的道路的图像，所述第三采集设备用于采集第一方向上的第二预定范围内的道路的图像，其中，所述第一预定距离范围与所述正下方预定范围具有至少部分重叠区域，所述第二预定距离范围与所述第一预定距离范围具有至少部分重叠区域；

图像处理模块，用于对所述多个采集设备在对应时刻或对应时间段内所采集的图像进行处理，以确定所述采集设备所采集的图像中的车辆的车辆检测结果；

关联程度计算模块，用于计算不同采集设备的车辆检测结果之间的关联程度，所述关联程度通过计算不同采集设备的车辆检测结果之间的相似程度来表征；

车辆跟踪管理模块，用于根据所述关联程度，确定不同采集设备的对应同一车辆的车辆检测结果，并对检测到的车辆进行跟踪管理。

12.根据权利要求11所述的道路车辆跟踪检测设备，其特征在于，

所述图像处理模块还用于对所述多个采集设备在下一时刻或下一时间段内所成的图像进行处理，以确定每个所述采集设备所成的图像中的车辆的车辆检测结果，

所述关联程度计算模块还计算不同采集设备的车辆检测结果与所述车辆跟踪管理模块当前跟踪的车辆之间的关联程度，

所述车辆跟踪管理模块还根据所述关联程度，确定与当前跟踪的车辆相匹配的车辆检测结果，并基于与当前跟踪的车辆相匹配的车辆检测结果，对该车辆的状态进行更新。

13.一种道路车辆跟踪检测方法，其特征在于，包括：

对当前检测到的预定范围内的道路中的车辆进行跟踪管理；

利用多个采集设备采集所述预定范围内的道路的图像，其中，所述多个采集设备设置在道路上方，所述多个采集设备包括第一采集设备、第二采集设备和第三采集设备，所述第一采集设备用于采集正下方预定范围内的道路的图像，所述第二采集设备用于采集第一方向上的第一预定距离范围内的道路的图像，所述第三采集设备用于采集第一方向上的第二预定范围内的道路的图像，其中，所述第一预定距离范围与所述正下方预定范围具有至少部分重叠区域，所述第二预定距离范围与所述第一预定距离范围具有至少部分重叠区域；

对所述多个采集设备在对应时刻或对应时间段内所采集的图像进行处理，以确定所述采集设备所采集的图像中的车辆的车辆检测结果；

计算不同采集设备的车辆检测结果与当前跟踪的车辆之间的关联程度，所述关联程度通过计算所述车辆检测结果与当前跟踪的车辆的状态信息之间的相似度来表征；

根据所述关联程度，确定与当前跟踪的车辆相匹配的车辆检测结果，并基于与当前跟踪的车辆相匹配的车辆检测结果，对该车辆的状态进行更新。

14.根据权利要求13所述的道路车辆跟踪检测方法，其特征在于，所述车辆检测结果和所述状态信息分别包括多个维度的信息，

所述相似度为所述车辆检测结果与所述状态信息在多个维度的信息之间的相似度与相应权重的乘积之和。

15.根据权利要求14所述的道路车辆跟踪检测方法，其特征在于，所述多个维度的信息包括以下至少一种：

位置；

速度；

方向；

车辆检测框；

车辆颜色；

车辆品牌；

车牌；

车辆姿态；

车辆所处车道信息。

16.根据权利要求13所述的道路车辆跟踪检测方法，其特征在于，还包括：

对于不存在与其相匹配的车辆检测结果的车辆，基于该车辆的运动轨迹和/或状态信息，对其继续进行跟踪管理，并在超过预定时间阈值后仍不存在与其相匹配的车辆检测结果的情况下，结束对该车辆的跟踪管理。

17.根据权利要求13所述的道路车辆跟踪检测方法，其特征在于，还包括：

对于不存在与其相匹配的车辆的车辆检测结果，判断该车辆检测结果是否合理，在判定该车辆检测结果合理的情况下，新建与该车辆检测结果对应的车辆，并对新建的车辆进行跟踪管理。

18.根据权利要求13所述的道路车辆跟踪检测方法，其特征在于，还包括：

将检测到的车辆的状态信息发送给所述车辆；并且/或者

将检测到的位于车辆周围的其他车辆的状态信息发送给所述车辆；并且/或者

将检测到的车辆的状态信息发送给服务器。

19.根据权利要求13所述的道路车辆跟踪检测方法，其特征在于，还包括：

对检测到的所述预定范围内的道路中的车辆的状态信息进行分析，并在存在交通事故风险的情况下，将风险信息通知给相应的车辆。

20.根据权利要求13所述的道路车辆跟踪检测方法，其特征在于，还包括：

对检测到的所述预定范围内的道路中的车辆的状态信息进行分析，并在存在交通异常的情况下，将异常信息通知给后方车辆。

21.一种道路车辆跟踪检测方法，其特征在于，包括：

利用多个采集设备对预定范围内的预定范围内的道路成像，其中，所述多个采集设备设置在道路上方，所述多个采集设备包括第一采集设备、第二采集设备和第三采集设备，所述第一采集设备用于采集正下方预定范围内的道路的图像，所述第二采集设备用于采集第一方向上的第一预定距离范围内的道路的图像，所述第三采集设备用于采集第一方向上的第二预定范围内的道路的图像，其中，所述第一预定距离范围与所述正下方预定范围具有至少部分重叠区域，所述第二预定距离范围与所述第一预定距离范围具有至少部分重叠区域；

对所述多个采集设备在同一时刻或同一时间段内所成的图像进行处理，以确定每个所述采集设备所成的图像中的车辆的车辆检测结果；

计算不同采集设备的车辆检测结果之间的关联程度，所述关联程度通过计算不同采集设备的车辆检测结果之间的相似程度来表征；

根据所述关联程度，确定不同采集设备的对应同一车辆的车辆检测结果，并对检测到的车辆进行跟踪管理。

22.根据权利要求21所述的道路车辆跟踪检测方法，其特征在于，还包括：

对所述多个采集设备在下一时刻或下一时间段内所采集的图像进行处理，以确定每个所述采集设备所采集的图像中的车辆的车辆检测结果；

计算不同采集设备的车辆检测结果与当前跟踪的车辆之间的关联程度；

根据所述关联程度，确定与当前跟踪的车辆相匹配的车辆检测结果，并基于与当前跟踪的车辆相匹配的车辆检测结果，对该车辆的状态进行更新。

23.一种计算设备，包括：

处理器；以及

存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求13至22中任何一项所述的方法。

24.一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求13至22中任一项所述的方法。

Images