CN116052121B - 一种基于距离预估的多传感目标检测融合方法及装置 - Google Patents

一种基于距离预估的多传感目标检测融合方法及装置 Download PDF

Info

Publication number
CN116052121B
CN116052121B CN202310042622.XA CN202310042622A CN116052121B CN 116052121 B CN116052121 B CN 116052121B CN 202310042622 A CN202310042622 A CN 202310042622A CN 116052121 B CN116052121 B CN 116052121B
Authority
CN
China
Prior art keywords
target
sensor
point cloud
cloud data
width
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310042622.XA
Other languages
English (en)
Other versions
CN116052121A (zh
Inventor
孙坚伟
胡力
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Core Computing Technology Co ltd
Original Assignee
Shanghai Core Computing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Core Computing Technology Co ltd filed Critical Shanghai Core Computing Technology Co ltd
Priority to CN202310042622.XA priority Critical patent/CN116052121B/zh
Publication of CN116052121A publication Critical patent/CN116052121A/zh
Application granted granted Critical
Publication of CN116052121B publication Critical patent/CN116052121B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供一种基于距离预估的多传感目标检测融合方法及装置，对第一传感器和第二传感器分别进行标定；预定义目标信息总表，目标信息总表包括视觉检测神经网络检测到的所有目标的通常物理尺寸；对第一传感器获取的视觉图像进行目标检测，获得目标的二维信息，预估目标的第一坐标；根据所述第一传感器的数据采集时间，获取所述第二传感器在目标时间前的连续两次点云数据，预测出所述目标时间的点云数据；将目标时间的点云数据映射到目标的二维空间，筛选出目标点云数据，根据目标点云数据得到目标的真实物理尺寸。本发明提供的基于距离预估的多传感目标检测融合方法及装置，通过融合第一传感器和第二传感器的检测结果，更为准确地检测目标信息。

Description

一种基于距离预估的多传感目标检测融合方法及装置
技术领域
本发明实施例涉及自动驾驶技术领域，特别是涉及一种基于距离预估的多传感目标检测融合方法及装置。
背景技术
在自动驾驶领域，往往需要使用多种传感器进行感知以保证自动驾驶的安全性和可靠性。比如至少使用一个单目摄像头和一个雷达，用神经网络对图像进行目标识别，对雷达点云进行聚类，最终对多种传感器检测目标进行融合和跟踪。
然而由于单目视觉图像没有深度信息，常见的融合处理方法可以是将深度信息加入到神经网络，但这需要对神经网络重新进行训练，耗时巨大。也可以是将雷达点云聚类结果投影到二维图像空间，找到和图像检测目标的重合区域，但是这种方法必须保证图像和雷达点云同时检测到该目标，对于两个目标前后有部分遮挡这一普遍情况也难以处理。
因此，需要提供一种新的多传感目标检测融合方法及装置，以有效解决上述问题。
发明内容
本发明提供一种基于距离预估的多传感目标检测融合方法及装置，通过融合第一传感器和第二传感器的检测结果，从而更为准确地检测目标信息。
本发明实施例提供一种基于距离预估的多传感目标检测融合方法，包括：
对第一传感器和第二传感器分别进行标定，获得所述第一传感器和所述第二传感器之间的变换矩阵，并获得所述第一传感器的内参；
预定义目标信息总表，所述目标信息总表包括视觉检测神经网络检测到的所有目标的通常物理尺寸；
通过所述视觉检测神经网络对所述第一传感器获取的视觉图像进行目标检测，获得所述目标的二维信息，所述目标的二维信息包括目标类型和边界框，根据所述目标类型和所述边界框的大小得到所述目标的预估距离，通过所述目标的预估距离预估所述目标的第一坐标；
根据所述第一传感器的数据采集时间，获取所述第二传感器在目标时间前的连续两次点云数据，预测出所述目标时间的点云数据；
将所述目标时间的点云数据映射到所述目标的二维空间，筛选出目标点云数据，根据所述目标点云数据得到所述目标的真实物理尺寸，所述目标点云数据包括映射到所述边界框内且符合所述第一坐标的所述点云数据。
优选地，所述第一传感器为至少一个单目摄像头，所述第二传感器为至少一个激光雷达。
优选地，所述目标信息总表包括多个目标信息子表，每个目标对应一个目标信息子表，所述根据所述边界框的大小预估所述目标的距离具体通过以下公式进行计算：
Figure SMS_1
其中，
Figure SMS_3
和/>
Figure SMS_5
是所述第一传感器的内参，/>
Figure SMS_10
为所述目标在对应的目标信息子表中的第一宽度，/>
Figure SMS_4
为所述目标在对应的目标信息子表中的第二宽度，/>
Figure SMS_7
为所述目标在对应的目标信息子表中的高度，并将所述第一宽度、第二宽度和高度存储到所述目标信息子表中，/>
Figure SMS_8
和/>
Figure SMS_11
分别是所述目标的像素宽度和高度，根据所述目标的边界框的大小得到所述目标的像素宽度和高度，/>
Figure SMS_2
是根据所述第一宽度得到的所述目标的初步预估距离，/>
Figure SMS_6
是根据所述第二宽度得到的所述目标的初步预估距离，/>
Figure SMS_9
是根据所述高度得到的所述目标的初步预估距离。
优选地，分别将
Figure SMS_13
、/>
Figure SMS_15
的值与1进行比较，如果/>
Figure SMS_18
的值更接近1，则所述目标的最终预估距离为/>
Figure SMS_14
，如果/>
Figure SMS_16
的值更接近1，则所述目标的最终预估距离为/>
Figure SMS_19
，所述第一比值/>
Figure SMS_20
、所述第二比值/>
Figure SMS_12
以及所述第三比值/>
Figure SMS_17
具体通过以下公式进行计算：
Figure SMS_21
其中，
Figure SMS_22
和/>
Figure SMS_23
分别是所述目标的像素宽度和高度。
优选地，所述通过所述目标的预估距离预估所述目标的第一坐标具体通过以下公式进行计算：
Figure SMS_24
Figure SMS_25
Figure SMS_26
其中，
Figure SMS_27
为所述目标相对于所述第一传感器的三维笛卡尔坐标，/>
Figure SMS_28
表示前后方向，/>
Figure SMS_29
表示左右方向，/>
Figure SMS_30
表示上下方向，/>
Figure SMS_31
和/>
Figure SMS_32
为所述目标的中心点坐标。
优选地，将
Figure SMS_33
转化为所述目标相对于所述第二传感器的坐标
Figure SMS_34
，所述第二传感器的坐标/>
Figure SMS_35
具体通过以下公式进行计算：
Figure SMS_36
其中，
Figure SMS_37
为所述第一传感器和所述第二传感器之间的变换矩阵。
优选地，所述预测所述第二传感器获取的点云数据，具体通过以下公式进行计算：
Figure SMS_38
其中，
Figure SMS_40
为所述目标时间的点云数据，/>
Figure SMS_43
和/>
Figure SMS_45
为所述第二传感器在目标时间前的连续两次点云数据，/>
Figure SMS_41
为所述第二传感器上一时刻获取的点云数据，/>
Figure SMS_42
为所述第二传感器再上一时刻获取的点云数据，/>
Figure SMS_44
为当前时刻，/>
Figure SMS_46
为上一时刻，/>
Figure SMS_39
为再上一时刻。
优选地，符合所述第一坐标的所述点云数据包括允许误差，具体通过以下公式进行判断：
Figure SMS_47
其中，
Figure SMS_48
为所述允许误差。
优选地，所述得到所述目标基于所述第二传感器的第二坐标包括计算所述符合第一坐标的所述点云数据的平均值，得到所述目标的三维中心点坐标并计算所述目标的真实物理尺寸；如果所述符合所述第一坐标的所述点云数据的点数少于第一预设值，则使用
Figure SMS_49
计算所述目标的真实物理尺寸。
本发明实施例还提供一种基于距离预估的多传感目标检测融合装置，包括：
传感器标定模块，其用于对第一传感器和第二传感器分别进行标定，获得所述第一传感器和所述第二传感器之间的变换矩阵，并获得所述第一传感器的内参；
目标信息总表预定义模块，其用于预定义目标信息总表，所述目标信息总表包括视觉检测神经网络检测到的所有目标的通常物理尺寸；
第一传感器数据获取模块，其用于通过所述视觉检测神经网络对所述第一传感器获取的视觉图像进行目标检测，获得所述目标的二维信息，所述目标的二维信息包括目标类型和边界框，根据所述目标类型和所述边界框的大小得到所述目标的预估距离，通过所述目标的预估距离预估所述目标的第一坐标；
第二传感器数据获取模块，其用于根据所述第一传感器的数据采集时间，获取所述第二传感器在目标时间前的连续两次点云数据，预测出所述目标时间的点云数据；
融合模块，其用于将所述目标时间的点云数据映射到所述目标的二维空间，筛选出目标点云数据，根据所述目标点云数据得到所述目标的真实物理尺寸，所述目标点云数据包括映射到所述边界框内且符合所述第一坐标的所述点云数据。
与现有技术相比，本发明实施例的技术方案具有以下有益效果：
本发明实施例的基于距离预估的多传感目标检测融合方法及装置，通过预定义目标信息总表，所述目标信息总表包括视觉检测神经网络检测到的所有目标的通常物理尺寸；通过所述视觉检测神经网络对所述第一传感器获取的视觉图像进行目标检测，获得所述目标的二维信息，所述目标的二维信息包括目标类型和边界框，根据所述目标类型和所述边界框的大小得到所述目标的预估距离，通过所述目标的预估距离预估所述目标的第一坐标；根据所述第一传感器的数据采集时间，获取所述第二传感器在目标时间前的连续两次点云数据，预测出所述目标时间的点云数据；将所述目标时间的点云数据映射到所述目标的二维空间，筛选出目标点云数据，根据所述目标点云数据得到所述目标的真实物理尺寸，所述目标点云数据包括映射到所述边界框内且符合所述第一坐标的所述点云数据；通过融合第一传感器和第二传感器获取的数据，从而更为准确地检测目标信息特别是在目标之间有部分遮挡的情况下，能得到准确的检测结果；
进一步地，所述目标信息总表包括多个目标信息子表，每个目标对应一个目标信息子表，获取所述目标在对应的目标信息子表中的第一宽度、第二宽度和高度，并将所述第一宽度、第二宽度和高度存储到所述目标信息子表中，从而实时更新所述目标的尺寸，更为精准地检测目标信息；
进一步地，所述得到所述目标基于所述第二传感器的第二坐标包括计算所述符合第一坐标的所述点云数据的平均值，得到所述目标的三维中心点坐标并计算所述目标的真实物理尺寸；如果所述符合所述第一坐标的所述点云数据的点数少于第一预设值，则使用
Figure SMS_50
计算所述目标的真实物理尺寸，从而减小噪点的影响。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，而不是全部实施例。对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的一个实施例提供的基于距离预估的多传感目标检测融合方法的流程示意图；
图2为本发明的另一个实施例提供的基于距离预估的多传感目标检测融合方法的流程示意图；
图3为本发明的一个实施例提供的基于距离预估的多传感目标检测融合装置的模块示意图；
图4为本发明的另一个实施例提供的基于距离预估的多传感目标检测融合装置的模块示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面以具体的实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
基于现有技术存在的问题，本发明实施例提供一种基于距离预估的多传感目标检测融合方法及装置，通过融合第一传感器和第二传感器的检测结果，从而更为准确地检测目标信息。
图1为本发明的一个实施例提供的基于距离预估的多传感目标检测融合方法的流程示意图。现在参看图1，本发明实施例提供一种基于距离预估的多传感目标检测融合方法，包括：
步骤S101：对第一传感器和第二传感器分别进行标定，获得所述第一传感器和所述第二传感器之间的变换矩阵，并获得所述第一传感器的内参。
在一些实施例中，所述第一传感器为至少一个单目摄像头，所述第二传感器为至少一个激光雷达。
步骤S102：预定义目标信息总表，所述目标信息总表包括视觉检测神经网络检测到的所有目标的通常物理尺寸。
在具体实施中，所有目标根据神经网络模型的不同而有所区别，有些神经网络模型能检测20种物体，有些80种或者更多。这些目标都是根据不同需求训练出来的，在自动驾驶中目标通常包括：人，小汽车，卡车，大巴，自行车，电动车，红绿灯，交通指示牌等等。
所有目标的通常物理尺寸根据目标类型进行不同的预定义，例如目标为人，预定义高度为1.75米、第一宽度为0.6米、第二宽度为0.3米，第一宽度表示人的正面宽度，第二宽度表示人的侧面宽度。
步骤S103：通过所述视觉检测神经网络对所述第一传感器获取的视觉图像进行目标检测，获得所述目标的二维信息，所述目标的二维信息包括目标类型和边界框，根据所述目标类型和所述边界框的大小得到所述目标的预估距离，通过所述目标的预估距离预估所述目标的第一坐标。
在一些实施例中，例如从视觉图像中获得了一个目标，该目标在图像中像素的大小是100*30。如果该目标类型是人，可能距离是3米，如果该目标类型是汽车，距离可能就是9米，所以需要结合目标类型和边界框的大小才能得到所述目标的准确的预估距离。
在一些实施例中，所述目标信息总表包括多个目标信息子表，每个目标对应一个目标信息子表，所述根据所述边界框的大小预估所述目标的距离具体通过以下公式进行计算：
Figure SMS_51
其中，
Figure SMS_54
和/>
Figure SMS_57
是所述第一传感器的内参，/>
Figure SMS_60
为所述目标在对应的目标信息子表中的第一宽度，/>
Figure SMS_53
为所述目标在对应的目标信息总表中的第二宽度，/>
Figure SMS_56
为所述目标在对应的目标信息总表中的高度，并将所述第一宽度、第二宽度和高度存储到所述目标信息子表中，/>
Figure SMS_59
和/>
Figure SMS_61
分别是所述目标的像素宽度和高度，根据所述目标的边界框的大小得到所述目标的像素宽度和高度，/>
Figure SMS_52
是根据所述第一宽度得到的所述目标的初步预估距离，/>
Figure SMS_55
是根据所述第二宽度得到的所述目标的初步预估距离，/>
Figure SMS_58
是根据所述高度得到的所述目标的初步预估距离。
预定义目标信息总表是一个比较粗略的表格，定义了所有的目标的粗略的尺寸。例如目标类型是人，在预定义目标信息总表中的身高定义为1.7米。
预定义目标信息总表包括目标信息子表，目标信息子表是一个更精确的表，每个目标对应一个目标信息子表。目标信息子表的初始信息从预定义目标信息总表中获取。例如目标类型是人，目标信息子表的初始信息从预定义目标信息总表中获取，该目标的身高为1.7米，经过第二传感器数据融合后得到该目标的身高应该是1.9米，则在目标信息子表中将该目标的身高更新为1.9米，从而在后续的检测以及跟踪过程中更为准确。
在经过一段时间的检测之后，例如预定义目标信息总表和目标信息子表可以是包括以下信息：预定义目标信息总表中，目标类型是人，高度定义为1.7米；目标类型是汽车，高度定义为1.6米。第一目标信息子表中，目标类型是人，高度更新为1.9米。第二目标信息子表中，目标类型是人，高度更新为1.75米。第三目标信息子表中，目标类型是汽车，高度更新为1.7米。在一些实施例中，分别将
Figure SMS_62
、/>
Figure SMS_65
的值与1进行比较，如果/>
Figure SMS_68
的值更接近1，则所述目标的最终预估距离为/>
Figure SMS_64
，如果/>
Figure SMS_66
的值更接近1，则所述目标的最终预估距离为/>
Figure SMS_69
，所述第一比值/>
Figure SMS_70
、所述第二比值/>
Figure SMS_63
以及所述第三比值/>
Figure SMS_67
具体通过以下公式进行计算：
Figure SMS_71
其中，
Figure SMS_72
和/>
Figure SMS_73
分别是所述目标的像素宽度和高度。
在一些实施例中，所述通过所述目标的预估距离预估所述目标的第一坐标具体通过以下公式进行计算：
Figure SMS_74
其中，
Figure SMS_75
为所述目标相对于所述第一传感器的三维笛卡尔坐标，/>
Figure SMS_76
表示前后方向，/>
Figure SMS_77
表示左右方向，/>
Figure SMS_78
表示上下方向，/>
Figure SMS_79
和/>
Figure SMS_80
为所述目标的中心点坐标。
在一些实施例中，将
Figure SMS_81
转化为所述目标相对于所述第二传感器的坐标
Figure SMS_82
，所述第二传感器的坐标/>
Figure SMS_83
具体通过以下公式进行计算：
Figure SMS_84
其中，
Figure SMS_85
为所述第一传感器和所述第二传感器之间的变换矩阵。
步骤S104：根据所述第一传感器的数据采集时间，获取所述第二传感器在目标时间前的连续两次点云数据，预测出所述目标时间的点云数据。在一些实施例中，所述预测出所述目标时间的点云数据，具体通过以下公式进行计算：
Figure SMS_86
其中，
Figure SMS_88
为所述目标时间的点云数据，/>
Figure SMS_90
和/>
Figure SMS_92
为所述第二传感器在目标时间前的连续两次点云数据，/>
Figure SMS_89
为所述第二传感器上一时刻获取的点云数据，/>
Figure SMS_91
为所述第二传感器再上一时刻获取的点云数据，/>
Figure SMS_93
为当前时刻，/>
Figure SMS_94
为上一时刻，/>
Figure SMS_87
为再上一时刻。
在具体实施中，第一传感器和第二传感器采集数据不是同步的，例如第一传感器和第二传感器采集图像数据的时刻如下：100毫秒时刻，第一传感器采集图像数据；120毫秒时刻，第二传感器采集图像数据；150毫秒时刻，第一传感器采集图像数据；170毫秒时刻，第二传感器采集图像数据；200毫秒时刻，第一传感器采集图像数据。
在检测得到第一传感器在200毫秒时刻的图像数据结果后，希望能得到第二传感器在200毫秒时刻的点云数据，但是200毫秒时刻没有真实的点云数据，可以根据第二传感器在120毫秒时刻以及在170毫秒时刻的点云数据来预测出第二传感器在200毫秒时刻的点云数据。
在一些实施例中，符合所述第一坐标的所述点云数据包括允许误差，具体通过以下公式进行判断：
Figure SMS_95
其中，
Figure SMS_96
为所述允许误差。
步骤S105：将所述目标时间的点云数据映射到所述目标的二维空间，筛选出目标点云数据，根据所述目标点云数据得到所述目标的真实物理尺寸，所述目标点云数据包括映射到所述边界框内且符合所述第一坐标的所述点云数据。
在一些实施例中，所述得到所述目标基于所述第二传感器的第二坐标包括计算所述符合第一坐标的所述点云数据的平均值，得到所述目标的三维中心点坐标并计算所述目标的真实物理尺寸；如果所述符合所述第一坐标的所述点云数据的点数少于第一预设值，则使用
Figure SMS_97
计算所述目标的真实物理尺寸。
图2为本发明的一个实施例提供的基于距离预估的多传感目标检测融合方法的流程示意图。现在参看图2，本发明实施例提供一种基于距离预估的多传感目标检测融合方法，包括：
步骤S201：对第一传感器和第二传感器分别进行标定，获得所述第一传感器和所述第二传感器之间的变换矩阵，并获得所述第一传感器的内参；
步骤S202：预定义目标信息总表，所述目标信息总表包括视觉检测神经网络检测到的所有目标的通常物理尺寸；
步骤S203：通过所述视觉检测神经网络对所述第一传感器获取的视觉图像进行目标检测，获得所述目标的二维信息，所述目标的二维信息包括目标类型和边界框，根据所述目标类型和所述边界框的大小得到所述目标的预估距离，通过所述目标的预估距离预估所述目标的第一坐标；
步骤S204：所述目标信息总表包括多个目标信息子表，每个目标对应一个目标信息子表，实时获取每个目标的第一宽度、第二宽度和高度并存储到所述目标信息子表中；
步骤S205：根据所述第一传感器的数据采集时间，获取所述第二传感器在目标时间前的连续两次点云数据，预测出所述目标时间的点云数据；
步骤S206：将所述目标时间的点云数据映射到所述目标的二维空间，筛选出目标点云数据，根据所述目标点云数据得到所述目标的真实物理尺寸，所述目标点云数据包括映射到所述边界框内且符合所述第一坐标的所述点云数据。
图3为本发明的一个实施例提供的基于距离预估的多传感目标检测融合装置的模块示意图。现在参看图3，本发明的一个实施例提供一种基于距离预估的多传感目标检测融合装置，包括：
传感器标定模块31，其用于对第一传感器和第二传感器分别进行标定，获得所述第一传感器和所述第二传感器之间的变换矩阵，并获得所述第一传感器的内参；
目标信息总表预定义模块32，其用于预定义目标信息总表，所述目标信息总表包括视觉检测神经网络检测到的所有目标的通常物理尺寸；
第一传感器数据获取模块33，其用于通过所述视觉检测神经网络对所述第一传感器获取的视觉图像进行目标检测，获得所述目标的二维信息，所述目标的二维信息包括目标类型和边界框，根据所述目标类型和所述边界框的大小得到所述目标的预估距离，通过所述目标的预估距离预估所述目标的第一坐标；
第二传感器数据获取模块34，其用于根据所述第一传感器的数据采集时间，获取所述第二传感器在目标时间前的连续两次点云数据，预测出所述目标时间的点云数据；
融合模块35，其用于将所述目标时间的点云数据映射到所述目标的二维空间，筛选出目标点云数据，根据所述目标点云数据得到所述目标的真实物理尺寸，所述目标点云数据包括映射到所述边界框内且符合所述第一坐标的所述点云数据。
图4为本发明的另一个实施例提供的基于距离预估的多传感目标检测融合装置的模块示意图。现在参看图4，本发明的一个实施例提供一种基于距离预估的多传感目标检测融合装置，包括：
传感器标定模块41，其用于对第一传感器和第二传感器分别进行标定，获得所述第一传感器和所述第二传感器之间的变换矩阵，并获得所述第一传感器的内参；
目标信息总表预定义模块42，其用于预定义目标信息总表，所述目标信息总表包括视觉检测神经网络检测到的所有目标的通常物理尺寸；
目标信息子表模块43，其用于实时获取每个目标的第一宽度、第二宽度和高度并存储到所述目标信息子表中，每个目标对应一个目标信息子表；
第一传感器数据获取模块44，其用于通过所述视觉检测神经网络对所述第一传感器获取的视觉图像进行目标检测，获得所述目标的二维信息，所述目标的二维信息包括目标类型和边界框，根据所述目标类型和所述边界框的大小得到所述目标的预估距离，通过所述目标的预估距离预估所述目标的第一坐标；
第二传感器数据获取模块45，其用于根据所述第一传感器的数据采集时间，获取所述第二传感器在目标时间前的连续两次点云数据，预测出所述目标时间的点云数据；
融合模块46，其用于将所述目标时间的点云数据映射到所述目标的二维空间，筛选出目标点云数据，根据所述目标点云数据得到所述目标的真实物理尺寸，所述目标点云数据包括映射到所述边界框内且符合所述第一坐标的所述点云数据。融合模块46在得到目标的真实三维坐标后，可以把坐标信息反馈回目标信息子表模块43，从而使得目标信息子表获取更为准确的目标信息，更为精准地检测目标信息。
综上所述，本发明实施例的基于距离预估的多传感目标检测融合方法及装置，通过预定义目标信息总表，所述目标信息总表包括视觉检测神经网络检测到的所有目标的通常物理尺寸；通过所述视觉检测神经网络对所述第一传感器获取的视觉图像进行目标检测，获得所述目标的二维信息，所述目标的二维信息包括目标类型和边界框，根据所述目标类型和所述边界框的大小得到所述目标的预估距离，通过所述目标的预估距离预估所述目标的第一坐标；根据所述第一传感器的数据采集时间，获取所述第二传感器在目标时间前的连续两次点云数据，预测出所述目标时间的点云数据；将所述目标时间的点云数据映射到所述目标的二维空间，筛选出目标点云数据，根据所述目标点云数据得到所述目标的真实物理尺寸，所述目标点云数据包括映射到所述边界框内且符合所述第一坐标的所述点云数据；通过融合第一传感器和第二传感器获取的数据，从而更为准确地检测目标信息，特别是在目标之间有部分遮挡的情况下，能得到准确的检测结果；
进一步地，所述目标信息总表包括多个目标信息子表，每个目标对应一个目标信息子表，获取所述目标在对应的目标信息子表中的第一宽度、第二宽度和高度，并将所述第一宽度、第二宽度和高度存储到所述目标信息子表中，从而实时更新所述目标的尺寸，更为精准地检测目标信息；
进一步地，所述得到所述目标基于所述第二传感器的第二坐标包括计算所述符合第一坐标的所述点云数据的平均值，得到所述目标的三维中心点坐标并计算所述目标的真实物理尺寸；如果所述符合所述第一坐标的所述点云数据的点数少于第一预设值，则使用
Figure SMS_98
计算所述目标的真实物理尺寸，从而减小噪点的影响。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (7)

1.一种基于距离预估的多传感目标检测融合方法，其特征在于，包括：
对第一传感器和第二传感器分别进行标定，获得所述第一传感器和所述第二传感器之间的变换矩阵，并获得所述第一传感器的内参；
预定义目标信息总表，所述目标信息总表包括视觉检测神经网络检测到的所有目标的高度、第一宽度、第二宽度；
通过所述视觉检测神经网络对所述第一传感器获取的视觉图像进行目标检测，获得所述目标的二维信息，所述目标的二维信息包括目标类型和边界框，根据所述目标类型和所述边界框的大小得到所述目标的预估距离，通过所述目标的预估距离预估所述目标的第一坐标
Figure QLYQS_1
，所述第一坐标为所述目标相对于所述第一传感器的三维笛卡尔坐标，将
Figure QLYQS_2
转化为所述目标相对于所述第二传感器的坐标/>
Figure QLYQS_3
，所述第二传感器的坐标/>
Figure QLYQS_4
具体通过以下公式进行计算：
Figure QLYQS_5
，
其中，
Figure QLYQS_6
为所述第一传感器和所述第二传感器之间的变换矩阵；
所述目标信息总表包括多个目标信息子表，每个目标对应一个目标信息子表，所述根据所述边界框的大小预估所述目标的距离具体通过以下公式进行计算：
Figure QLYQS_7
，
其中，
Figure QLYQS_9
和/>
Figure QLYQS_12
是所述第一传感器的内参，/>
Figure QLYQS_15
为所述目标在对应的目标信息子表中的第一宽度，/>
Figure QLYQS_10
为所述目标在对应的目标信息子表中的第二宽度，/>
Figure QLYQS_13
为所述目标在对应的目标信息子表中的高度，并将所述目标在对应的目标信息子表中的第一宽度、第二宽度和高度反馈回预定义目标信息总表，/>
Figure QLYQS_16
和/>
Figure QLYQS_17
分别是所述目标的像素宽度和高度，根据所述目标的边界框的大小得到所述目标的像素宽度和高度，/>
Figure QLYQS_8
是根据所述第一宽度得到的所述目标的初步预估距离，/>
Figure QLYQS_11
是根据所述第二宽度得到的所述目标的初步预估距离，/>
Figure QLYQS_14
是根据所述高度得到的所述目标的初步预估距离；
根据所述第一传感器的数据采集时间，获取所述第二传感器在目标时间前的连续两次点云数据，预测出所述目标时间的点云数据，具体通过以下公式进行计算：
Figure QLYQS_18
，
其中，
Figure QLYQS_20
为所述目标时间的点云数据，/>
Figure QLYQS_22
和/>
Figure QLYQS_24
为所述第二传感器在目标时间前的连续两次点云数据，/>
Figure QLYQS_21
为所述第二传感器上一时刻获取的点云数据，/>
Figure QLYQS_23
为所述第二传感器再上一时刻获取的点云数据，/>
Figure QLYQS_25
为当前时刻，/>
Figure QLYQS_26
为上一时刻，/>
Figure QLYQS_19
为再上一时刻；
将所述目标时间的点云数据映射到所述目标的二维空间，筛选出目标点云数据，根据所述目标点云数据得到所述目标的真实物理尺寸，所述目标点云数据包括映射到所述边界框内且符合所述第一坐标的所述点云数据。
2.根据权利要求1所述的基于距离预估的多传感目标检测融合方法，其特征在于，所述第一传感器为至少一个单目摄像头，所述第二传感器为至少一个激光雷达。
3.根据权利要求1所述的基于距离预估的多传感目标检测融合方法，其特征在于，分别将
Figure QLYQS_29
、/>
Figure QLYQS_32
的值与1进行比较，如果/>
Figure QLYQS_34
的值更接近1，则所述目标的最终预估距离为
Figure QLYQS_28
，如果/>
Figure QLYQS_31
的值更接近1，则所述目标的最终预估距离为/>
Figure QLYQS_33
，第一比值/>
Figure QLYQS_35
、第二比值/>
Figure QLYQS_27
以及第三比值/>
Figure QLYQS_30
具体通过以下公式进行计算：
Figure QLYQS_36
，
其中，
Figure QLYQS_37
和/>
Figure QLYQS_38
分别是所述目标的像素宽度和高度。
4.根据权利要求3所述的基于距离预估的多传感目标检测融合方法，其特征在于，
所述通过所述目标的预估距离预估所述目标的第一坐标具体通过以下公式进行计算：
Figure QLYQS_39
，
其中，
Figure QLYQS_40
为所述目标相对于所述第一传感器的三维笛卡尔坐标，/>
Figure QLYQS_41
表示前后方向，/>
Figure QLYQS_42
表示左右方向，/>
Figure QLYQS_43
表示上下方向，/>
Figure QLYQS_44
和/>
Figure QLYQS_45
为所述目标的中心点坐标。
5.根据权利要求1所述的基于距离预估的多传感目标检测融合方法，其特征在于，符合所述第一坐标的所述点云数据包括允许误差，具体通过以下公式进行判断：
Figure QLYQS_46
，
其中，
Figure QLYQS_47
为所述允许误差。
6.根据权利要求5所述的基于距离预估的多传感目标检测融合方法，其特征在于，所述得到所述目标基于所述第二传感器的第二坐标包括计算所述符合第一坐标的所述点云数据的平均值，得到所述目标的三维中心点坐标并计算所述目标的真实物理尺寸；如果所述符合所述第一坐标的所述点云数据的点数少于第一预设值，则使用
Figure QLYQS_48
计算所述目标的真实物理尺寸。
7.一种基于距离预估的多传感目标检测融合装置，其特征在于，包括：
传感器标定模块，其用于对第一传感器和第二传感器分别进行标定，获得所述第一传感器和所述第二传感器之间的变换矩阵，并获得所述第一传感器的内参；
目标信息总表预定义模块，其用于预定义目标信息总表，所述目标信息总表包括视觉检测神经网络检测到的所有目标的高度、第一宽度、第二宽度；
第一传感器数据获取模块，其用于通过所述视觉检测神经网络对所述第一传感器获取的视觉图像进行目标检测，获得所述目标的二维信息，所述目标的二维信息包括目标类型和边界框，根据所述目标类型和所述边界框的大小得到所述目标的预估距离，通过所述目标的预估距离预估所述目标的第一坐标
Figure QLYQS_49
，所述第一坐标为所述目标相对于所述第一传感器的三维笛卡尔坐标，将/>
Figure QLYQS_50
转化为所述目标相对于所述第二传感器的坐标/>
Figure QLYQS_51
，所述第二传感器的坐标/>
Figure QLYQS_52
具体通过以下公式进行计算：
Figure QLYQS_53
，
其中，
Figure QLYQS_54
为所述第一传感器和所述第二传感器之间的变换矩阵；
所述目标信息总表包括多个目标信息子表，每个目标对应一个目标信息子表，所述根据所述边界框的大小预估所述目标的距离具体通过以下公式进行计算：
Figure QLYQS_55
，
其中，
Figure QLYQS_57
和/>
Figure QLYQS_61
是所述第一传感器的内参，/>
Figure QLYQS_63
为所述目标在对应的目标信息子表中的第一宽度，/>
Figure QLYQS_58
为所述目标在对应的目标信息子表中的第二宽度，/>
Figure QLYQS_60
为所述目标在对应的目标信息子表中的高度，并将所述目标在对应的目标信息子表中的第一宽度、第二宽度和高度反馈回预定义目标信息总表，/>
Figure QLYQS_64
和/>
Figure QLYQS_65
分别是所述目标的像素宽度和高度，根据所述目标的边界框的大小得到所述目标的像素宽度和高度，/>
Figure QLYQS_56
是根据所述第一宽度得到的所述目标的初步预估距离，/>
Figure QLYQS_59
是根据所述第二宽度得到的所述目标的初步预估距离，/>
Figure QLYQS_62
是根据所述高度得到的所述目标的初步预估距离；
第二传感器数据获取模块，其用于根据所述第一传感器的数据采集时间，获取所述第二传感器在目标时间前的连续两次点云数据，预测出所述目标时间的点云数据，具体通过以下公式进行计算：
Figure QLYQS_66
，
其中，
Figure QLYQS_68
为所述目标时间的点云数据，/>
Figure QLYQS_71
和/>
Figure QLYQS_73
为所述第二传感器在目标时间前的连续两次点云数据，/>
Figure QLYQS_69
为所述第二传感器上一时刻获取的点云数据，/>
Figure QLYQS_70
为所述第二传感器再上一时刻获取的点云数据，/>
Figure QLYQS_72
为当前时刻，/>
Figure QLYQS_74
为上一时刻，/>
Figure QLYQS_67
为再上一时刻；
融合模块，其用于将所述目标时间的点云数据映射到所述目标的二维空间，筛选出目标点云数据，根据所述目标点云数据得到所述目标的真实物理尺寸，所述目标点云数据包括映射到所述边界框内且符合所述第一坐标的所述点云数据。
CN202310042622.XA 2023-01-28 2023-01-28 一种基于距离预估的多传感目标检测融合方法及装置 Active CN116052121B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310042622.XA CN116052121B (zh) 2023-01-28 2023-01-28 一种基于距离预估的多传感目标检测融合方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310042622.XA CN116052121B (zh) 2023-01-28 2023-01-28 一种基于距离预估的多传感目标检测融合方法及装置

Publications (2)

Publication Number Publication Date
CN116052121A CN116052121A (zh) 2023-05-02
CN116052121B true CN116052121B (zh) 2023-06-27

Family

ID=86123678

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310042622.XA Active CN116052121B (zh) 2023-01-28 2023-01-28 一种基于距离预估的多传感目标检测融合方法及装置

Country Status (1)

Country Link
CN (1) CN116052121B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110244322A (zh) * 2019-06-28 2019-09-17 东南大学 基于多源传感器的路面施工机器人环境感知***及方法
CN111464978A (zh) * 2019-01-22 2020-07-28 岳秀兰 主次无线设备通过物联网连接建立的车辆远程驾驶体系
CN112396650A (zh) * 2020-03-30 2021-02-23 青岛慧拓智能机器有限公司 一种基于图像和激光雷达融合的目标测距***及方法
CN112652016A (zh) * 2020-12-30 2021-04-13 北京百度网讯科技有限公司 点云预测模型的生成方法、位姿估计方法及其装置
CN112733678A (zh) * 2020-12-31 2021-04-30 深兰人工智能(深圳)有限公司 测距方法、装置、计算机设备和存储介质
CN113436258A (zh) * 2021-06-17 2021-09-24 中国船舶重工集团公司第七0七研究所九江分部 基于视觉与激光雷达融合的海上浮码头检测方法及***
CN114708585A (zh) * 2022-04-15 2022-07-05 电子科技大学 一种基于注意力机制的毫米波雷达与视觉融合的三维目标检测方法
CN115542312A (zh) * 2022-11-30 2022-12-30 苏州挚途科技有限公司 多传感器关联方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3415943A1 (en) * 2017-06-13 2018-12-19 Veoneer Sweden AB Error estimation for a vehicle environment detection system
CN112417967B (zh) * 2020-10-22 2021-12-14 腾讯科技（深圳）有限公司 障碍物检测方法、装置、计算机设备和存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111464978A (zh) * 2019-01-22 2020-07-28 岳秀兰 主次无线设备通过物联网连接建立的车辆远程驾驶体系
CN110244322A (zh) * 2019-06-28 2019-09-17 东南大学 基于多源传感器的路面施工机器人环境感知***及方法
CN112396650A (zh) * 2020-03-30 2021-02-23 青岛慧拓智能机器有限公司 一种基于图像和激光雷达融合的目标测距***及方法
CN112652016A (zh) * 2020-12-30 2021-04-13 北京百度网讯科技有限公司 点云预测模型的生成方法、位姿估计方法及其装置
CN112733678A (zh) * 2020-12-31 2021-04-30 深兰人工智能(深圳)有限公司 测距方法、装置、计算机设备和存储介质
CN113436258A (zh) * 2021-06-17 2021-09-24 中国船舶重工集团公司第七0七研究所九江分部 基于视觉与激光雷达融合的海上浮码头检测方法及***
CN114708585A (zh) * 2022-04-15 2022-07-05 电子科技大学 一种基于注意力机制的毫米波雷达与视觉融合的三维目标检测方法
CN115542312A (zh) * 2022-11-30 2022-12-30 苏州挚途科技有限公司 多传感器关联方法及装置

Also Published As

Publication number Publication date
CN116052121A (zh) 2023-05-02

Similar Documents

Publication Publication Date Title
CN110942449B (zh) 一种基于激光与视觉融合的车辆检测方法
US10620000B2 (en) Calibration apparatus, calibration method, and calibration program
CN107038723B (zh) 棒状像素估计方法和***
JP4943034B2 (ja) ステレオ画像処理装置
WO2016117200A1 (ja) 車両用外界認識装置およびそれを用いた車両挙動制御装置
JP2016081525A (ja) 車両用画像認識システム、及び対応法
JP2008186246A (ja) 移動物体認識装置
CN114359181B (zh) 一种基于图像和点云的智慧交通目标融合检测方法及***
CN114495064A (zh) 一种基于单目深度估计的车辆周围障碍物预警方法
CN113205604A (zh) 一种基于摄像机和激光雷达的可行区域检测方法
US20190297314A1 (en) Method and Apparatus for the Autocalibration of a Vehicle Camera System
CN112562093A (zh) 目标检测方法、电子介质和计算机存储介质
WO2018222122A1 (en) Methods for perspective correction, computer program products and systems
Petrovai et al. A stereovision based approach for detecting and tracking lane and forward obstacles on mobile devices
CN114463303A (zh) 一种基于双目相机和激光雷达融合的道路目标检测方法
CN112130153A (zh) 基于毫米波雷达和摄像头实现无人驾驶汽车边缘检测方法
CN111723723A (zh) 一种图像检测方法及装置
CN111538008B (zh) 变换矩阵确定方法、***及装置
CN114359865A (zh) 一种障碍物的检测方法及相关装置
CN108460348B (zh) 基于三维模型的道路目标检测方法
CN116052121B (zh) 一种基于距离预估的多传感目标检测融合方法及装置
CN113029185A (zh) 众包式高精度地图更新中道路标线变化检测方法及***
WO2021063756A1 (en) Improved trajectory estimation based on ground truth
CN114152942B (zh) 一种毫米波雷达与视觉二阶融合多分类目标检测方法
CN106874837B (zh) 一种基于视频图像处理的车辆检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant