CN112541416B - 跨雷达障碍物跟踪方法、装置、电子设备和存储介质 - Google Patents
跨雷达障碍物跟踪方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN112541416B CN112541416B CN202011402327.3A CN202011402327A CN112541416B CN 112541416 B CN112541416 B CN 112541416B CN 202011402327 A CN202011402327 A CN 202011402327A CN 112541416 B CN112541416 B CN 112541416B
- Authority
- CN
- China
- Prior art keywords
- radar
- obstacle
- detection frame
- tracking
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 91
- 238000001514 detection method Methods 0.000 claims abstract description 324
- 238000013507 mapping Methods 0.000 claims abstract description 101
- 238000012800 visualization Methods 0.000 claims abstract description 16
- 238000006243 chemical reaction Methods 0.000 claims description 17
- 239000011159 matrix material Substances 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 14
- 238000001914 filtration Methods 0.000 claims description 8
- 238000013135 deep learning Methods 0.000 claims description 5
- 239000000203 mixture Substances 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 description 34
- 238000010586 diagram Methods 0.000 description 14
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 4
- 238000009434 installation Methods 0.000 description 3
- 230000004888 barrier function Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10044—Radar image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Radar Systems Or Details Thereof (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及自动驾驶技术领域，提供了一种跨雷达障碍物跟踪方法、装置、电子设备和存储介质，方法包括：基于第一雷达采集的第一点云数据进行障碍物检测和雷达跟踪，得到障碍物的雷达跟踪标识和第一雷达检测框；基于第一雷达检测框，在摄像头采集的图像中定位障碍物，并对障碍物进行图像目标跟踪，得到障碍物的图像检测框；将基于第二雷达采集的第二点云数据进行障碍物检测和雷达跟踪后得到的障碍物的第二雷达检测框映射到摄像头的二维图像坐标系下后，与图像检测框进行匹配；若匹配成功，则将障碍物的雷达跟踪标识赋予第二雷达检测框对应的障碍物。本申请能保证障碍物跨越多个可视化区域不重叠的雷达可视化区域时，实现跨雷达的障碍物稳定跟踪。
Description
技术领域
本申请涉及自动驾驶技术领域，尤其涉及一种跨雷达障碍物跟踪方法、装置、电子设备和存储介质。
背景技术
在车辆自动驾驶领域，自动驾驶的安全性主要依靠传感器采集数据的准确性来保障。通常，在车辆上会安装多个传感器以进行障碍物联合检测和跟踪，因此，需要对各个传感器检测跟踪得到的障碍物信息进行融合，以获取准确的障碍物信息。
目前，针对多个雷达对障碍物进行联合检测和跟踪的方法都建立在多个雷达的有效区域存在重叠的条件下。在这种情况下，可以将全部的雷达点云数据映射到同一个车体坐标系下，将不同雷达检测得到的同一障碍物的信息进行融合，实现跨雷达的目标跟踪，保证障碍物的连续稳定跟踪。
然而，当雷达的安装方式受限于实际情况的需求，导致多个雷达的有效区域没有重叠时，当一个障碍物目标从一个雷达的可视化区域跨越到另一个雷达的可视化区域时，由于两个雷达的可视化区域之间存在空白区域，因此该障碍物到达另一个雷达的可视化区域后，会被另一个雷达视为新的障碍物，并赋予一个新的跟踪ID，而无法将该障碍物与第一个雷达跟踪检测到的同一障碍物建立联系，导致该障碍物的跟踪ID发生变化，而无法保持稳定的跟踪。
发明内容
本申请提供一种跨雷达障碍物跟踪方法、装置、电子设备和存储介质，以实现可视化区域不重叠的多个雷达间的跨雷达障碍物稳定跟踪。
本申请提供一种跨雷达障碍物跟踪方法，包括：
基于第一雷达采集的第一点云数据进行障碍物检测和雷达跟踪，得到障碍物的雷达跟踪标识和第一雷达检测框；
基于所述第一雷达检测框，在摄像头采集的图像中定位所述障碍物，并对所述障碍物进行图像目标跟踪，得到所述障碍物的图像检测框；
将基于第二雷达采集的第二点云数据进行障碍物检测和雷达跟踪后得到的障碍物的第二雷达检测框映射到所述摄像头的二维图像坐标系下后，与所述图像检测框进行匹配；
若匹配成功，则将所述障碍物的雷达跟踪标识赋予所述第二雷达检测框对应的障碍物；
其中，所述摄像头的可视化区域包含第一雷达的部分可视化区域和第二雷达的部分可视化区域。
根据本申请提供一种的跨雷达障碍物跟踪方法，所述基于所述第一雷达检测框，在摄像头采集的图像中定位所述障碍物，并对所述障碍物进行图像目标跟踪，得到所述障碍物的图像检测框，具体包括：
根据坐标系转换矩阵，将所述第一雷达检测框映射到所述摄像头对应的二维图像坐标系中，得到所述第一雷达检测框在所述二维图像坐标系中的第一映射检测框；
基于所述第一映射检测框，在摄像头采集的图像中定位所述障碍物，并对所述障碍物进行图像目标跟踪，得到所述障碍物的图像检测框；
其中，所述坐标系转换矩阵是基于所述第一雷达以及所述摄像头之间的相对位置关系确定的。
根据本申请提供的一种跨雷达障碍物跟踪方法，所述基于所述第一映射检测框，在摄像头采集的图像中定位所述障碍物，并对所述障碍物进行图像目标跟踪，得到所述障碍物的图像检测框，具体包括：
基于所述第一映射检测框在所述二维图像坐标系中的坐标，确定所述障碍物在所述摄像头采集的图像中的感兴趣区域；
基于所述感兴趣区域，对所述障碍物进行图像目标跟踪，得到所述障碍物的图像检测框。
根据本申请提供的一种跨雷达障碍物跟踪方法，所述将基于第二雷达采集的第二点云数据进行障碍物检测和雷达跟踪后得到的障碍物的第二雷达检测框映射到所述摄像头的二维图像坐标系下后，与所述图像检测框进行匹配，具体包括：
将所述第二雷达检测框映射到所述摄像头的二维图像坐标系下，得到所述第二雷达检测框对应的第二映射检测框；
计算所述第二映射检测框与所述图像检测框之间的重叠率；
若所述重叠率大于预设重叠阈值，则确定所述第二雷达检测框与所述图像检测框匹配成功。
根据本申请提供的一种跨雷达障碍物跟踪方法，所述计算所述第二映射检测框与所述图像检测框之间的重叠率，具体包括：
基于所述第二映射检测框在所述二维图像坐标系中的坐标，确定所述第二映射检测框与所述图像检测框的重叠部分的面积，以及所述第二映射检测框与所述图像检测框并集的总面积；
基于所述重叠部分的面积以及所述并集的总面积，确定所述重叠率。
根据本申请提供的一种跨雷达障碍物跟踪方法，所述对所述障碍物进行图像目标跟踪，具体包括：
采用基于核相关滤波的跟踪方法、基于混合高斯模型的跟踪方法、基于卡尔曼滤波的跟踪方法，或基于深度学习的跟踪方法对所述障碍物进行图像目标跟踪。
本申请还提供一种跨雷达障碍物跟踪装置，包括：
第一雷达跟踪单元，用于基于第一雷达采集的第一点云数据进行障碍物检测和雷达跟踪，得到障碍物的雷达跟踪标识和第一雷达检测框；
图像跟踪单元，用于基于所述第一雷达检测框，在摄像头采集的图像中定位所述障碍物，并对所述障碍物进行图像目标跟踪，得到所述障碍物的图像检测框；
跨雷达跟踪匹配单元，用于将基于第二雷达采集的第二点云数据进行障碍物检测和雷达跟踪后得到的障碍物的第二雷达检测框映射到所述摄像头的二维图像坐标系下后，与所述图像检测框进行匹配；
跟踪标识绑定单元，用于若匹配成功，则将所述障碍物的雷达跟踪标识赋予所述第二雷达检测框对应的障碍物；
其中，所述摄像头的可视化区域包含第一雷达的部分可视化区域和第二雷达的部分可视化区域。
根据本申请提供的一种跨雷达障碍物跟踪装置，所述图像跟踪单元具体包括：
第一坐标映射单元，用于根据坐标系转换矩阵，将所述第一雷达检测框映射到所述摄像头对应的二维图像坐标系中，得到所述第一雷达检测框在所述二维图像坐标系中的第一映射检测框；
图像目标跟踪单元，用于基于所述第一映射检测框，在摄像头采集的图像中定位所述障碍物，并对所述障碍物进行图像目标跟踪，得到所述障碍物的图像检测框；
其中，所述坐标系转换矩阵是基于所述第一雷达以及所述摄像头之间的相对位置关系确定的。
根据本申请提供的一种跨雷达障碍物跟踪装置，所述图像目标跟踪单元，具体包括：
初始定位单元，用于基于所述第一映射检测框在所述二维图像坐标系中的坐标，确定所述障碍物在所述摄像头采集的图像中的感兴趣区域；
图像检测框获取单元，用于基于所述感兴趣区域，对所述障碍物进行图像目标跟踪，得到所述障碍物的图像检测框。
根据本申请提供的一种跨雷达障碍物跟踪装置，所述跨雷达跟踪匹配单元，具体包括：
第二坐标映射单元，用于将所述第二雷达检测框映射到所述摄像头的二维图像坐标系下，得到所述第二雷达检测框对应的第二映射检测框；
重叠率计算单元，用于计算所述第二映射检测框与所述图像检测框之间的重叠率；
匹配结果判定单元，用于若所述重叠率大于预设重叠阈值，则确定所述第二雷达检测框与所述图像检测框匹配成功。
本申请还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述跨雷达障碍物跟踪方法的步骤。
本申请还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述跨雷达障碍物跟踪方法的步骤。
本申请提供的跨雷达障碍物跟踪方法、装置、电子设备和存储介质，基于第一雷达采集的第一点云数据进行障碍物检测和雷达跟踪，得到障碍物的雷达跟踪标识和第一雷达检测框，再基于第一雷达检测框，在摄像头采集的图像中定位障碍物，并对障碍物进行图像目标跟踪，得到障碍物的图像检测框，再将基于第二雷达采集的第二点云数据进行障碍物检测和雷达跟踪后得到的障碍物的第二雷达检测框映射到摄像头的二维图像坐标系下后，与图像检测框进行匹配，在匹配成功时，将障碍物的雷达跟踪标识赋予第二雷达检测框对应的障碍物，能够保证障碍物跨越多个可视化区域不重叠的雷达的可视化区域时，跟踪标识不发生改变，从而实现了跨雷达的障碍物稳定跟踪。
附图说明
为了更清楚地说明本申请或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请提供的跨雷达障碍物跟踪方法的流程示意图之一；
图2为本申请提供的摄像头可视化区域的示意图；
图3为本申请提供的图像目标跟踪方法的流程示意图之一；
图4为本申请提供的图像目标跟踪方法的流程示意图之二；
图5为本申请提供的跨雷达跟踪匹配方法的流程示意图；
图6为本申请提供的重叠率计算方法的流程示意图；
图7为本申请提供的跨雷达障碍物跟踪方法的流程示意图之二；
图8为本申请提供的跨雷达障碍物跟踪装置的结构示意图；
图9为本申请提供的图像跟踪单元的结构示意图；
图10为本申请提供的图像目标跟踪单元的结构示意图；
图11为本申请提供的跨雷达跟踪匹配单元的结构示意图；
图12为本申请提供的电子设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请中的附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
图1为本申请实施例提供的跨雷达障碍物跟踪方法的流程示意图之一，如图1所示，该方法包括：
步骤110，基于第一雷达采集的第一点云数据进行障碍物检测和雷达跟踪，得到障碍物的雷达跟踪标识和第一雷达检测框；
步骤120，基于第一雷达检测框，在摄像头采集的图像中定位障碍物，并对障碍物进行图像目标跟踪，得到障碍物的图像检测框；
步骤130，将基于第二雷达采集的第二点云数据进行障碍物检测和雷达跟踪后得到的障碍物的第二雷达检测框映射到摄像头的二维图像坐标系下后，与图像检测框进行匹配；
步骤140，若匹配成功，则将障碍物的雷达跟踪标识赋予第二雷达检测框对应的障碍物；
其中，摄像头的可视化区域包含第一雷达的部分可视化区域和第二雷达的部分可视化区域。
具体地，第一雷达和第二雷达可以为激光雷达，且第一雷达的可视化区域和第二雷达的可视化区域之间不存在重叠。需要说明的是，此处“第一”和“第二”仅用于对两个雷达及其对应的点云数据和雷达检测框进行区分。两个雷达中的任一雷达为第一雷达，另一雷达为第二雷达。为了在障碍物从第一雷达的可视化区域移动到第二雷达的可视化区域时，将第一雷达跟踪得到的该障碍物的跟踪标识与第二雷达跟踪得到的该障碍物的跟踪标识统一，从而实现稳定跟踪，本申请实施例增加摄像头对第一雷达和第二雷达的可视化区域之间的盲区进行补盲。其中，摄像头可以为单目摄像头。图2为本申请实施例提供的摄像头可视化区域的示意图，如图2所示，摄像头的可视化区域既包含第一雷达的部分可视化区域，又包含第二雷达的可视化区域，还包含两个雷达之间的盲区的部分区域。
首先，利用第一雷达采集的第一点云数据进行障碍物检测和雷达跟踪，得到障碍物的雷达跟踪标识和第一雷达检测框。其中，障碍物的雷达跟踪标识可以用于唯一标识该障碍物，第一雷达检测框为包围该障碍物的三维目标检测框。随着车辆的移动，障碍物在第一雷达的可视化区域内的位置会实时发生变化，利用障碍物检测和雷达跟踪方法，可以实时跟踪到该障碍物的雷达检测框。当该障碍物进入到第一雷达的可视化区域和摄像头的可视化区域的重叠区域内时，摄像头也可以采集到该障碍物的图像信息，即摄像头采集的图像中会包含该障碍物。此时，可以基于第一雷达检测框，在摄像头采集的图像中定位该障碍物，并据此对该障碍物进行图像目标跟踪，得到该障碍物在摄像头采集的图像中的图像检测框。其中，图像检测框为图像中包围该障碍物的目标检测框。另外，在进行图像目标跟踪时，可以为跟踪到的每个图像检测框赋予图像跟踪标识，并将同一障碍物的图像跟踪标识与雷达跟踪标识绑定。
随着车辆的继续移动，障碍物会在摄像头的可视化区域内继续移动，直至移动到摄像头的可视化区域和第二雷达的可视化区域的重叠区域内。此时，第二雷达也可以跟踪和检测到该障碍物。为了将第二雷达跟踪到的该障碍物与第一雷达跟踪到的该障碍物建立联系，可以将基于第二雷达采集的第二点云数据进行障碍物检测和雷达跟踪后得到的障碍物的第二雷达检测框映射到摄像头的二维图像坐标系下，然后与图像目标跟踪得到的图像检测框进行匹配。
若匹配成功，则表明图像检测框对应的障碍物与第二雷达检测框对应的障碍物为同一个障碍物，且该障碍物是从第一雷达的可视化区域经过摄像头的可视化区域，最终移动到第二雷达的可视化区域内的。此时，可以将第一雷达目标跟踪赋予该障碍物的雷达跟踪标识赋予给匹配成功的第二雷达检测框对应的障碍物。此处，可以将与图像检测框的图像跟踪标识绑定的雷达跟踪标识赋予给匹配成功的第二雷达检测框对应的障碍物，保证同一障碍物在不同雷达的跟踪过程中的跟踪标识一致，实现跨雷达的障碍物稳定跟踪。
本申请实施例提供的方法，基于第一雷达采集的第一点云数据进行障碍物检测和雷达跟踪，得到障碍物的雷达跟踪标识和第一雷达检测框，再基于第一雷达检测框，在摄像头采集的图像中定位障碍物，并对障碍物进行图像目标跟踪，得到障碍物的图像检测框，再将基于第二雷达采集的第二点云数据进行障碍物检测和雷达跟踪后得到的障碍物的第二雷达检测框映射到摄像头的二维图像坐标系下后，与图像检测框进行匹配，在匹配成功时，将障碍物的雷达跟踪标识赋予第二雷达检测框对应的障碍物，能够保证障碍物跨越多个可视化区域不重叠的雷达的可视化区域时，跟踪标识不发生改变，从而实现了跨雷达的障碍物稳定跟踪。
基于上述实施例，对障碍物进行图像目标跟踪，具体包括：
采用基于核相关滤波的跟踪方法、基于混合高斯模型的跟踪方法、基于卡尔曼滤波的跟踪方法，或基于深度学习的跟踪方法对障碍物进行图像目标跟踪。
具体地，基于摄像头采集的图像对障碍物进行图像目标跟踪时，可以采用多种图像目标跟踪方法。例如，可以采用基于核相关滤波(Kernel Correlation Filter，KCF)的跟踪方法、基于混合高斯模型(Gaussian mixture model，GMM))的跟踪方法、基于卡尔曼滤波的跟踪方法，或基于深度学习的跟踪方法等对障碍物进行图像目标跟踪。
基于上述任一实施例，图3为本申请实施例提供的图像目标跟踪方法的流程示意图之一，如图3所示，步骤120具体包括：
步骤121，根据坐标系转换矩阵，将第一雷达检测框映射到摄像头对应的二维图像坐标系中，得到第一雷达检测框在二维图像坐标系中的第一映射检测框；
步骤122，基于第一映射检测框，在摄像头采集的图像中定位障碍物，并对障碍物进行图像目标跟踪，得到障碍物的图像检测框；
其中，坐标系转换矩阵是基于第一雷达以及摄像头之间的相对位置关系确定的。
具体地，可以将三维的第一雷达检测框映射到摄像头对应的二维图像坐标系中，得到第一映射检测框，以便于与摄像头采集的图像信息进行障碍物的匹配。其中，为了将三维的第一雷达检测框投影到二维图像坐标系中，需要建立第一雷达检测框所在的坐标系与二维图像坐标系之间的转换关系，即坐标系转换矩阵。
第一雷达检测框所在的坐标系可以以采集三维点云数据的第一雷达的安装位置为原点建立，二维图像坐标系可以以摄像头的安装位置为原点建立。由于第一雷达以及摄像头安装在车辆上的位置一般是固定不变的，因此可以通过标定和解算的方式，事先获取第一雷达和摄像头的相对位置关系，确定第一雷达检测框所在的坐标系与二维图像坐标系之间的函数映射关系，该函数映射关系即可表示为坐标系转换矩阵。根据坐标系转换矩阵，对第一雷达检测框进行坐标转换，投影到二维图像坐标系中，从而得到第一映射检测框。基于二维图像坐标系下的第一映射检测框，可以在摄像头采集的图像中定位障碍物，并对障碍物进行图像目标跟踪，得到障碍物的图像检测框。
基于上述任一实施例，图4为本申请实施例提供的图像目标跟踪方法的流程示意图之二，如图4所示，步骤122具体包括：
步骤1221，基于第一映射检测框在二维图像坐标系中的坐标，确定障碍物在摄像头采集的图像中的感兴趣区域；
步骤1222，基于感兴趣区域，对障碍物进行图像目标跟踪，得到障碍物的图像检测框。
具体地，根据第一映射检测框在二维图像坐标系中的坐标，可以从摄像头采集的图像中确定该障碍物对应的感兴趣区域。然后，将该感兴趣区域作为初始目标跟踪框，对该障碍物进行图像目标跟踪，得到该障碍物在摄像头采集的图像中的图像跟踪框。
基于上述任一实施例，图5为本申请实施例提供的跨雷达跟踪匹配方法的流程示意图，如图5所示，步骤130具体包括：
步骤131，将第二雷达检测框映射到摄像头的二维图像坐标系下，得到第二雷达检测框对应的第二映射检测框；
步骤132，计算第二映射检测框与图像检测框之间的重叠率；
步骤133，若重叠率大于预设重叠阈值，则确定第二雷达检测框与图像检测框匹配成功。
具体地，第二映射检测框是基于第二坐标系转换矩阵，将基于第二点云数据进行障碍物检测和雷达跟踪后得到的障碍物的第二雷达检测框，映射到摄像头对应的二维图像坐标系后得到的。其中，第二映射检测框具体可以采用如上述任一实施例提供的第一映射检测框的获取方法获取得到，在此不再赘述。因此，第二映射检测框与图像检测框处于同一坐标系平面内，故可以通过计算第二映射检测框与图像检测框之间的重叠率，实现两者的匹配。其中，第二映射检测框与图像检测框之间的重叠率越高，两者的匹配程度越高。若第二映射检测框与图像检测框之间的重叠率大于预设重叠阈值，则表明第二映射检测框与图像检测框匹配成功。其中，预设重叠阈值为同一障碍物对应的第二映射检测框与图像检测框之间应当满足的最低重叠率。
本申请实施例提供的方法，通过计算第二映射检测框与图像检测框之间的重叠率，实现第二映射检测框与图像检测框的匹配，提高了障碍物匹配的效率。
基于上述任一实施例，图6为本申请实施例提供的重叠率计算方法的流程示意图，如图6所示，计算第二映射检测框与图像检测框之间的重叠率，具体包括：
步骤1321，基于第二映射检测框在二维图像坐标系中的坐标，确定第二映射检测框与图像检测框的重叠部分的面积，以及第二映射检测框与图像检测框并集的总面积；
步骤1322，基于重叠部分的面积以及并集的总面积，确定重叠率。
具体地，由于第二映射检测框与图像检测框均处于同一二维图像坐标系中，因此可以基于第二映射检测框在二维图像坐标系中的坐标，以及图像检测框在该二维图像坐标系中的坐标，计算两个检测框之间的重叠部分的面积。其中，重叠部分的面积越大，表明第二映射检测框与图像检测框之间的重合越多，二者对应的障碍物更有可能为同一个障碍物。此外，还可以计算第二映射检测框与图像检测框并集的总面积，并基于重叠部分的面积以及并集的总面积，将重叠面积的值进行归一化处理，得到第二映射检测框与图像检测框的重叠率。其中，可以将重叠部分的面积与并集的总面积之间的比值，作为两个检测框的重叠率。
基于上述任一实施例，图7为本申请实施例提供的跨雷达障碍物跟踪方法的流程示意图之二，如图7所示，该方法包括：
分别获取第一激光雷达、单目摄像头和第二激光雷达各自独立采集的数据。
当障碍物进入到第一激光雷达的可视化区域后，可以通过激光雷达的目标检测算法获取障碍物的第一雷达检测框。另外，通过激光雷达的雷达跟踪算法，给各个障碍物分配雷达跟踪ID，命名为ID_A。随着障碍物慢慢移动到第一激光雷达与摄像头的可视化区域的重叠区域内，此时，可以将障碍物的第一雷达检测框映射到摄像头的二维图像坐标系，得到障碍物在二维图像坐标系下的第一映射检测框。
基于障碍物的第一映射检测框，从摄像头采集的图像中获取该障碍物在图像中的感兴趣区域。然后，采用KCF跟踪算法对该障碍物进行图像目标跟踪，并赋予障碍物视觉跟踪ID，命名为ID_AB，并将同一障碍物的ID_A和ID_AB进行绑定。随后，获取KCF算法得到的障碍物的图像检测框。
当障碍物移动到摄像头与第二激光雷达的可视化区域的重叠区域内时，第二激光雷达通过激光雷达目标检测算法也可以获取到该障碍物的第二雷达检测框。然后，将获取的障碍物的第二雷达检测框映射到摄像头的二维图像坐标系内，即可获取该障碍物在二维图像坐标系下的第二映射检测框。
计算KCF算法得到的障碍物的图像检测框与第二映射检测框的重叠率。若重叠率大于预设重叠阈值，则将图像检测框的ID_AB对应的雷达跟踪标识ID_A赋予给第二映射检测框对应的障碍物，作为该障碍物在第二激光雷达的雷达跟踪过程中的初始雷达跟踪ID，完成跨雷达的障碍物稳定跟踪。
下面对本申请提供的跨雷达障碍物跟踪装置进行描述，下文描述的跨雷达障碍物跟踪装置与上文描述的跨雷达障碍物跟踪方法可相互对应参照。
基于上述任一实施例，图8为本申请实施例提供的跨雷达障碍物跟踪装置的结构示意图，如图8所示，该装置包括：第一雷达跟踪单元810、图像跟踪单元820、跨雷达跟踪匹配单元830和跟踪标识绑定单元840。
其中，第一雷达跟踪单元810用于基于第一雷达采集的第一点云数据进行障碍物检测和雷达跟踪，得到障碍物的雷达跟踪标识和第一雷达检测框；
图像跟踪单元820用于基于第一雷达检测框，在摄像头采集的图像中定位障碍物，并对障碍物进行图像目标跟踪，得到障碍物的图像检测框；
跨雷达跟踪匹配单元830用于将基于第二雷达采集的第二点云数据进行障碍物检测和雷达跟踪后得到的障碍物的第二雷达检测框映射到摄像头的二维图像坐标系下后，与图像检测框进行匹配；
跟踪标识绑定单元840用于若匹配成功，则将障碍物的雷达跟踪标识赋予第二雷达检测框对应的障碍物；
其中，摄像头的可视化区域包含第一雷达的部分可视化区域和第二雷达的部分可视化区域。
本申请实施例提供的装置，基于第一雷达采集的第一点云数据进行障碍物检测和雷达跟踪，得到障碍物的雷达跟踪标识和第一雷达检测框，再基于第一雷达检测框，在摄像头采集的图像中定位障碍物，并对障碍物进行图像目标跟踪，得到障碍物的图像检测框，再将基于第二雷达采集的第二点云数据进行障碍物检测和雷达跟踪后得到的障碍物的第二雷达检测框映射到摄像头的二维图像坐标系下后，与图像检测框进行匹配，在匹配成功时，将障碍物的雷达跟踪标识赋予第二雷达检测框对应的障碍物，能够保证障碍物跨越多个可视化区域不重叠的雷达的可视化区域时，跟踪标识不发生改变，从而实现了跨雷达的障碍物稳定跟踪。
基于上述任一实施例，图9为本申请实施例提供的图像跟踪单元的结构示意图，如图9所示，图像跟踪单元820具体包括：
第一坐标映射单元821，用于根据坐标系转换矩阵，将第一雷达检测框映射到摄像头对应的二维图像坐标系中，得到第一雷达检测框在二维图像坐标系中的第一映射检测框；
图像目标跟踪单元822，用于基于第一映射检测框，在摄像头采集的图像中定位障碍物，并对障碍物进行图像目标跟踪，得到障碍物的图像检测框；
其中，坐标系转换矩阵是基于第一雷达以及摄像头之间的相对位置关系确定的。
基于上述任一实施例，图10为本申请实施例提供的图像目标跟踪单元的结构示意图，如图10所示，图像目标跟踪单元822具体包括：
初始定位单元8221，用于基于第一映射检测框在二维图像坐标系中的坐标，确定障碍物在摄像头采集的图像中的感兴趣区域；
图像检测框获取单元8222，用于基于感兴趣区域，对障碍物进行图像目标跟踪，得到障碍物的图像检测框。
基于上述任一实施例，图11为本申请实施例提供的跨雷达跟踪匹配单元的结构示意图，如图11所示，跨雷达跟踪匹配单元830具体包括：
第二坐标映射单元831，用于将所述第二雷达检测框映射到所述摄像头的二维图像坐标系下，得到所述第二雷达检测框对应的第二映射检测框；
重叠率计算单元832，用于计算所述第二映射检测框与所述图像检测框之间的重叠率；
匹配结果判定单元833，用于若所述重叠率大于预设重叠阈值，则确定所述第二雷达检测框与所述图像检测框匹配成功。
本申请实施例提供的装置，通过计算第二映射检测框与图像检测框之间的重叠率，实现第二映射检测框与图像检测框的匹配，提高了障碍物匹配的效率。
基于上述任一实施例，重叠率计算单元832具体用于：
基于第二映射检测框在二维图像坐标系中的坐标，确定第二映射检测框与图像检测框的重叠部分的面积，以及第二映射检测框与图像检测框并集的总面积；
基于重叠部分的面积以及并集的总面积，确定重叠率。
基于上述任一实施例，对障碍物进行图像目标跟踪，具体包括：
采用基于核相关滤波的跟踪方法、基于混合高斯模型的跟踪方法、基于卡尔曼滤波的跟踪方法，或基于深度学习的跟踪方法对障碍物进行图像目标跟踪。
本申请实施例提供的跨雷达障碍物跟踪装置用于执行上述跨雷达障碍物跟踪方法，其具体的实施方式与本发明涉及的跨雷达障碍物跟踪方法实施方式一致，且可以达到相同的有益效果，此处不再赘述。
图12示例了一种电子设备的实体结构示意图，如图12所示，该电子设备可以包括：处理器(processor)1210、通信接口(Communications Interface)1220、存储器(memory)1230和通信总线1240，其中，处理器1210，通信接口1220，存储器1230通过通信总线1240完成相互间的通信。处理器1210可以调用存储器1230中的逻辑指令，以执行跨雷达障碍物跟踪方法，该方法包括：基于第一雷达采集的第一点云数据进行障碍物检测和雷达跟踪，得到障碍物的雷达跟踪标识和第一雷达检测框；基于所述第一雷达检测框，在摄像头采集的图像中定位所述障碍物，并对所述障碍物进行图像目标跟踪，得到所述障碍物的图像检测框；将基于第二雷达采集的第二点云数据进行障碍物检测和雷达跟踪后得到的障碍物的第二雷达检测框映射到所述摄像头的二维图像坐标系下后，与所述图像检测框进行匹配；若匹配成功，则将所述障碍物的雷达跟踪标识赋予所述第二雷达检测框对应的障碍物；其中，所述摄像头的可视化区域包含第一雷达的部分可视化区域和第二雷达的部分可视化区域。
此外，上述的存储器1230中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请实施例提供的电子设备中的处理器810可以调用存储器830中的逻辑指令，实现上述跨雷达障碍物跟踪方法，其具体的实施方式与本发明涉及的跨雷达障碍物跟踪方法实施方式一致，且可以达到相同的有益效果，此处不再赘述。
另一方面，本申请还提供一种计算机程序产品，下面对本申请提供的计算机程序产品进行描述，下文描述的计算机程序产品与上文描述的跨雷达障碍物跟踪方法可相互对应参照。
所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的跨雷达障碍物跟踪方法，该方法包括：基于第一雷达采集的第一点云数据进行障碍物检测和雷达跟踪，得到障碍物的雷达跟踪标识和第一雷达检测框；基于所述第一雷达检测框，在摄像头采集的图像中定位所述障碍物，并对所述障碍物进行图像目标跟踪，得到所述障碍物的图像检测框；将基于第二雷达采集的第二点云数据进行障碍物检测和雷达跟踪后得到的障碍物的第二雷达检测框映射到所述摄像头的二维图像坐标系下后，与所述图像检测框进行匹配；若匹配成功，则将所述障碍物的雷达跟踪标识赋予所述第二雷达检测框对应的障碍物；其中，所述摄像头的可视化区域包含第一雷达的部分可视化区域和第二雷达的部分可视化区域。
本申请实施例提供的计算机程序产品被执行时，实现上述跨雷达障碍物跟踪方法，其具体的实施方式与方法实施方式一致，且可以达到相同的有益效果，此处不再赘述。
又一方面，本申请还提供一种非暂态计算机可读存储介质，下面对本申请提供的非暂态计算机可读存储介质进行描述，下文描述的非暂态计算机可读存储介质与上文描述的跨雷达障碍物跟踪方法可相互对应参照。
本申请还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的跨雷达障碍物跟踪方法，该方法包括：基于第一雷达采集的第一点云数据进行障碍物检测和雷达跟踪，得到障碍物的雷达跟踪标识和第一雷达检测框；基于所述第一雷达检测框，在摄像头采集的图像中定位所述障碍物，并对所述障碍物进行图像目标跟踪，得到所述障碍物的图像检测框；将基于第二雷达采集的第二点云数据进行障碍物检测和雷达跟踪后得到的障碍物的第二雷达检测框映射到所述摄像头的二维图像坐标系下后，与所述图像检测框进行匹配；若匹配成功，则将所述障碍物的雷达跟踪标识赋予所述第二雷达检测框对应的障碍物；其中，所述摄像头的可视化区域包含第一雷达的部分可视化区域和第二雷达的部分可视化区域。
本申请实施例提供的非暂态计算机可读存储介质上存储的计算机程序被执行时，实现上述跨雷达障碍物跟踪方法，其具体的实施方式与本发明涉及的跨雷达障碍物跟踪方法实施方式一致，且可以达到相同的有益效果，此处不再赘述。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (12)
1.一种跨雷达障碍物跟踪方法，其特征在于，包括：
基于第一雷达采集的第一点云数据进行障碍物检测和雷达跟踪，得到障碍物的雷达跟踪标识和第一雷达检测框；
基于所述第一雷达检测框，在摄像头采集的图像中定位所述障碍物，并对所述障碍物进行图像目标跟踪，得到所述障碍物的图像检测框；
将基于第二雷达采集的第二点云数据进行障碍物检测和雷达跟踪后得到的障碍物的第二雷达检测框映射到所述摄像头的二维图像坐标系下后，与所述图像检测框进行匹配；
若匹配成功，则将所述障碍物的雷达跟踪标识赋予所述第二雷达检测框对应的障碍物；
其中，所述摄像头的可视化区域包含第一雷达的部分可视化区域、第二雷达的部分可视化区域，以及所述第一雷达和所述第二雷达之间的盲区的部分区域。
2.根据权利要求1所述的跨雷达障碍物跟踪方法，其特征在于，所述基于所述第一雷达检测框，在摄像头采集的图像中定位所述障碍物，并对所述障碍物进行图像目标跟踪，得到所述障碍物的图像检测框，具体包括：
根据坐标系转换矩阵，将所述第一雷达检测框映射到所述摄像头对应的二维图像坐标系中，得到所述第一雷达检测框在所述二维图像坐标系中的第一映射检测框；
基于所述第一映射检测框，在摄像头采集的图像中定位所述障碍物，并对所述障碍物进行图像目标跟踪，得到所述障碍物的图像检测框；
其中，所述坐标系转换矩阵是基于所述第一雷达以及所述摄像头之间的相对位置关系确定的。
3.根据权利要求2所述的跨雷达障碍物跟踪方法，其特征在于，所述基于所述第一映射检测框，在摄像头采集的图像中定位所述障碍物，并对所述障碍物进行图像目标跟踪，得到所述障碍物的图像检测框，具体包括：
基于所述第一映射检测框在所述二维图像坐标系中的坐标，确定所述障碍物在所述摄像头采集的图像中的感兴趣区域；
基于所述感兴趣区域，对所述障碍物进行图像目标跟踪，得到所述障碍物的图像检测框。
4.根据权利要求1所述的跨雷达障碍物跟踪方法，其特征在于，所述将基于第二雷达采集的第二点云数据进行障碍物检测和雷达跟踪后得到的障碍物的第二雷达检测框映射到所述摄像头的二维图像坐标系下后，与所述图像检测框进行匹配，具体包括：
将所述第二雷达检测框映射到所述摄像头的二维图像坐标系下，得到所述第二雷达检测框对应的第二映射检测框；
计算所述第二映射检测框与所述图像检测框之间的重叠率；
若所述重叠率大于预设重叠阈值，则确定所述第二雷达检测框与所述图像检测框匹配成功。
5.根据权利要求4所述的跨雷达障碍物跟踪方法，其特征在于，所述计算所述第二映射检测框与所述图像检测框之间的重叠率，具体包括：
基于所述第二映射检测框在所述二维图像坐标系中的坐标，确定所述第二映射检测框与所述图像检测框的重叠部分的面积，以及所述第二映射检测框与所述图像检测框并集的总面积；
基于所述重叠部分的面积以及所述并集的总面积，确定所述重叠率。
6.根据权利要求1至5任一项所述的跨雷达障碍物跟踪方法，其特征在于，所述对所述障碍物进行图像目标跟踪，具体包括：
采用基于核相关滤波的跟踪方法、基于混合高斯模型的跟踪方法、基于卡尔曼滤波的跟踪方法，或基于深度学习的跟踪方法对所述障碍物进行图像目标跟踪。
7.一种跨雷达障碍物跟踪装置，其特征在于，包括：
第一雷达跟踪单元，用于基于第一雷达采集的第一点云数据进行障碍物检测和雷达跟踪，得到障碍物的雷达跟踪标识和第一雷达检测框；
图像跟踪单元，用于基于所述第一雷达检测框，在摄像头采集的图像中定位所述障碍物，并对所述障碍物进行图像目标跟踪，得到所述障碍物的图像检测框；
跨雷达跟踪匹配单元，用于将基于第二雷达采集的第二点云数据进行障碍物检测和雷达跟踪后得到的障碍物的第二雷达检测框映射到所述摄像头的二维图像坐标系下后，与所述图像检测框进行匹配；
跟踪标识绑定单元，用于若匹配成功，则将所述障碍物的雷达跟踪标识赋予所述第二雷达检测框对应的障碍物；
其中，所述摄像头的可视化区域包含第一雷达的部分可视化区域、第二雷达的部分可视化区域，以及所述第一雷达和所述第二雷达之间的盲区的部分区域。
8.根据权利要求7所述的跨雷达障碍物跟踪装置，其特征在于，所述图像跟踪单元具体包括：
第一坐标映射单元，用于根据坐标系转换矩阵，将所述第一雷达检测框映射到所述摄像头对应的二维图像坐标系中，得到所述第一雷达检测框在所述二维图像坐标系中的第一映射检测框；
图像目标跟踪单元，用于基于所述第一映射检测框，在摄像头采集的图像中定位所述障碍物，并对所述障碍物进行图像目标跟踪，得到所述障碍物的图像检测框；
其中，所述坐标系转换矩阵是基于所述第一雷达以及所述摄像头之间的相对位置关系确定的。
9.根据权利要求8所述的跨雷达障碍物跟踪装置，其特征在于，所述图像目标跟踪单元，具体包括：
初始定位单元，用于基于所述第一映射检测框在所述二维图像坐标系中的坐标，确定所述障碍物在所述摄像头采集的图像中的感兴趣区域；
图像检测框获取单元，用于基于所述感兴趣区域，对所述障碍物进行图像目标跟踪，得到所述障碍物的图像检测框。
10.根据权利要求7所述的跨雷达障碍物跟踪装置，其特征在于，所述跨雷达跟踪匹配单元，具体包括：
第二坐标映射单元，用于将所述第二雷达检测框映射到所述摄像头的二维图像坐标系下，得到所述第二雷达检测框对应的第二映射检测框；
重叠率计算单元，用于计算所述第二映射检测框与所述图像检测框之间的重叠率；
匹配结果判定单元，用于若所述重叠率大于预设重叠阈值，则确定所述第二雷达检测框与所述图像检测框匹配成功。
11.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述跨雷达障碍物跟踪方法的步骤。
12.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述跨雷达障碍物跟踪方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011402327.3A CN112541416B (zh) | 2020-12-02 | 2020-12-02 | 跨雷达障碍物跟踪方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011402327.3A CN112541416B (zh) | 2020-12-02 | 2020-12-02 | 跨雷达障碍物跟踪方法、装置、电子设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112541416A CN112541416A (zh) | 2021-03-23 |
| CN112541416B true CN112541416B (zh) | 2023-07-14 |
Family
ID=75015962
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011402327.3A Active CN112541416B (zh) | 2020-12-02 | 2020-12-02 | 跨雷达障碍物跟踪方法、装置、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112541416B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113687357B (zh) * | 2021-09-27 | 2023-09-01 | 浙江海康智联科技有限公司 | 一种多雷达跨区域组网多目标跟踪方法 |
| CN114118253B (zh) * | 2021-11-23 | 2024-02-20 | 合肥工业大学 | 一种基于多源数据融合的车辆检测方法及检测装置 |
| CN115171378B (zh) * | 2022-06-28 | 2023-10-27 | 武汉理工大学 | 一种基于路侧雷达长距离多车辆高精度检测追踪方法 |
| CN116189116B (zh) * | 2023-04-24 | 2024-02-23 | 江西方兴科技股份有限公司 | 一种交通状态感知方法及*** |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103895588A (zh) * | 2014-03-31 | 2014-07-02 | 长城汽车股份有限公司 | 盲区检测反馈方法及*** |
| WO2018035711A1 (zh) * | 2016-08-23 | 2018-03-01 | 深圳市速腾聚创科技有限公司 | 目标检测方法及*** |
| KR101899549B1 (ko) * | 2017-12-27 | 2018-09-17 | 재단법인 경북아이티융합 산업기술원 | 카메라 및 라이다 센서를 이용한 장애물 인식 장치 및 그 방법 |
| CN110096059A (zh) * | 2019-04-25 | 2019-08-06 | 杭州飞步科技有限公司 | 自动驾驶方法、装置、设备及存储介质 |
| EP3618029A1 (en) * | 2018-08-31 | 2020-03-04 | Baidu Online Network Technology (Beijing) Co., Ltd. | Intelligent road side unit and control method thereof |
| CN111060904A (zh) * | 2019-12-25 | 2020-04-24 | 中国汽车技术研究中心有限公司 | 一种基于毫米波与视觉融合感知的盲区监测方法 |
| CN210554536U (zh) * | 2019-06-25 | 2020-05-19 | 白犀牛智达(北京)科技有限公司 | 一种自动驾驶汽车 |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102508246B (zh) * | 2011-10-13 | 2013-04-17 | 吉林大学 | 车辆前方障碍物检测跟踪方法 |
| US20180211119A1 (en) * | 2017-01-23 | 2018-07-26 | Ford Global Technologies, Llc | Sign Recognition for Autonomous Vehicles |
| CN106710240B (zh) * | 2017-03-02 | 2019-09-27 | 公安部交通管理科学研究所 | 融合多目标雷达与视频信息的通行车辆跟踪测速方法 |
| CN107817491B (zh) * | 2017-10-20 | 2020-11-06 | 中国人民解放军海军七〇一工厂 | 一种图像的生成方法、装置及图像生成设备 |
| CN108509918B (zh) * | 2018-04-03 | 2021-01-08 | 中国人民解放军国防科技大学 | 融合激光点云与图像的目标检测与跟踪方法 |
| CN110874926A (zh) * | 2018-08-31 | 2020-03-10 | 百度在线网络技术（北京）有限公司 | 智能路侧单元 |
| CN109298415B (zh) * | 2018-11-20 | 2020-09-22 | 中车株洲电力机车有限公司 | 一种轨道和道路障碍物检测方法 |
| CN109784315B (zh) * | 2019-02-20 | 2021-11-09 | 苏州风图智能科技有限公司 | 3d障碍物的跟踪检测方法、装置、***及计算机存储介质 |
| CN111060923B (zh) * | 2019-11-26 | 2022-05-13 | 武汉乐庭软件技术有限公司 | 一种多激光雷达的汽车驾驶障碍物检测方法及*** |
| CN111160302B (zh) * | 2019-12-31 | 2024-02-23 | 深圳一清创新科技有限公司 | 基于自动驾驶环境的障碍物信息识别方法和装置 |
| CN111257864B (zh) * | 2020-01-17 | 2021-12-10 | 河北德冠隆电子科技有限公司 | 一种主动式探测车辆持续跟踪断点补偿装置、***及方法 |
| CN111090087B (zh) * | 2020-01-21 | 2021-10-26 | 广州赛特智能科技有限公司 | 一种智能导航机器、激光雷达盲区补偿方法及存储介质 |
| CN111611853B (zh) * | 2020-04-15 | 2024-05-24 | 宁波吉利汽车研究开发有限公司 | 一种传感信息融合方法、装置及存储介质 |
| CN112016483B (zh) * | 2020-08-31 | 2024-06-04 | 杭州海康威视数字技术股份有限公司 | 目标检测的接力***、方法、装置及设备 |
-
2020
- 2020-12-02 CN CN202011402327.3A patent/CN112541416B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103895588A (zh) * | 2014-03-31 | 2014-07-02 | 长城汽车股份有限公司 | 盲区检测反馈方法及*** |
| WO2018035711A1 (zh) * | 2016-08-23 | 2018-03-01 | 深圳市速腾聚创科技有限公司 | 目标检测方法及*** |
| KR101899549B1 (ko) * | 2017-12-27 | 2018-09-17 | 재단법인 경북아이티융합 산업기술원 | 카메라 및 라이다 센서를 이용한 장애물 인식 장치 및 그 방법 |
| EP3618029A1 (en) * | 2018-08-31 | 2020-03-04 | Baidu Online Network Technology (Beijing) Co., Ltd. | Intelligent road side unit and control method thereof |
| CN110096059A (zh) * | 2019-04-25 | 2019-08-06 | 杭州飞步科技有限公司 | 自动驾驶方法、装置、设备及存储介质 |
| CN210554536U (zh) * | 2019-06-25 | 2020-05-19 | 白犀牛智达(北京)科技有限公司 | 一种自动驾驶汽车 |
| CN111060904A (zh) * | 2019-12-25 | 2020-04-24 | 中国汽车技术研究中心有限公司 | 一种基于毫米波与视觉融合感知的盲区监测方法 |
Non-Patent Citations (2)
| Title |
|---|
| Calibration and multi-sensor fusion for on-road obstacle detection;Luis Alberto Rosero et al;《2017 latin american robotics symposium（LARS） and 2017 brazilian symposium on robotics》;1-6 * |
| Lidar-camera Based 3D Obstacle Detection for UGVs;Chunhui Zhao et al;《2019 IEEE 15th International Conference on Control and Automation (ICCA)》;1500-1505 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112541416A (zh) | 2021-03-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112541416B (zh) | 跨雷达障碍物跟踪方法、装置、电子设备和存储介质 | |
| US10650253B2 (en) | Method for estimating traffic lanes | |
| CN109017570B (zh) | 车辆周围场景呈现方法和装置、车辆 | |
| US11915099B2 (en) | Information processing method, information processing apparatus, and recording medium for selecting sensing data serving as learning data | |
| US20210207977A1 (en) | Vehicle position estimation device, vehicle position estimation method, and computer-readable recording medium for storing computer program programmed to perform said method | |
| CN112132896B (zh) | 一种轨旁设备状态检测方法及*** | |
| US20180137376A1 (en) | State estimating method and apparatus | |
| CN111220993A (zh) | 目标场景定位方法、装置、计算机设备和存储介质 | |
| CN112528773B (zh) | 障碍物信息融合方法、装置、电子设备和存储介质 | |
| CN108896994A (zh) | 一种无人驾驶车辆定位方法及设备 | |
| CN109946703B (zh) | 一种传感器姿态调整方法及装置 | |
| CN109583416B (zh) | 伪车道线识别方法及*** | |
| WO2019061311A1 (zh) | 自动驾驶车辆的控制方法、控制终端及机器可读存储介质 | |
| WO2020029706A1 (zh) | 一种伪车道线剔除方法及装置 | |
| CN111611853A (zh) | 一种传感信息融合方法、装置及存储介质 | |
| CN110341621B (zh) | 一种障碍物检测方法及装置 | |
| Shunsuke et al. | GNSS/INS/on-board camera integration for vehicle self-localization in urban canyon | |
| CN111309032A (zh) | 一种无人驾驶车辆的自主避障方法及控制端 | |
| CN106874887A (zh) | 基于农田环境感知的农机导航控制方法 | |
| CN112651359A (zh) | 障碍物检测方法、装置、电子设备和存储介质 | |
| CN111222441A (zh) | 基于车路协同的点云目标检测和盲区目标检测方法及*** | |
| CN109416885B (zh) | 车辆识别方法和*** | |
| Petrovai et al. | A stereovision based approach for detecting and tracking lane and forward obstacles on mobile devices | |
| CN110515376B (zh) | 一种航迹推演校正的评价方法、终端和存储介质 | |
| CN114084129A (zh) | 一种基于融合的车辆自动驾驶控制方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240516 Address after: Room 6227, No. 999, Changning District, Shanghai 200050 Patentee after: Shenlan robot (Shanghai) Co.,Ltd. Country or region after: China Address before: 200336 unit 1001, 369 Weining Road, Changning District, Shanghai Patentee before: DEEPBLUE TECHNOLOGY (SHANGHAI) Co.,Ltd. Country or region before: China |