CN116821854A - 一种目标投影的匹配融合方法及相关装置 - Google Patents

一种目标投影的匹配融合方法及相关装置 Download PDF

Info

Publication number
CN116821854A
CN116821854A CN202311101947.7A CN202311101947A CN116821854A CN 116821854 A CN116821854 A CN 116821854A CN 202311101947 A CN202311101947 A CN 202311101947A CN 116821854 A CN116821854 A CN 116821854A
Authority
CN
China
Prior art keywords
dimensional
region
sensors
sensor
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311101947.7A
Other languages
English (en)
Other versions
CN116821854B (zh
Inventor
傅泽卿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202311101947.7A priority Critical patent/CN116821854B/zh
Publication of CN116821854A publication Critical patent/CN116821854A/zh
Application granted granted Critical
Publication of CN116821854B publication Critical patent/CN116821854B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本申请实施例可应用于自动驾驶领域;本申请提供一种目标投影的匹配融合方法及相关装置,该方法包括:获取待融合的两个传感器各自采集的采集对象的三维数据;当两个传感器为不同类别传感器时,分别将获得的各三维数据投影映射至预设的二维坐标系,获得相应的二维区域;将基于一个传感器获得的至少一个二维区域,按照相应的采集对象与传感器之间的距离进行图层排序,获得排序结果;基于排序结果,分别获得至少一个二维区域的区域完整度;获取与该二维区域的重叠程度大于第一阈值,且区域完整度的匹配度大于第二阈值的匹配二维区域,并将该二维区域和匹配二维区域各自对应的三维数据进行融合。通过该方法,可以提升多传感器融合数据的精确程度。

Description

一种目标投影的匹配融合方法及相关装置
技术领域
本申请涉及自动驾驶技术领域,尤其涉及一种目标投影的匹配融合方法及相关装置。
背景技术
目前,智慧交通通常采用相机传感器和雷达传感器来采集环境中的数据。其中,相机传感器可以获取到环境中目标的颜色、大小等外观属性,但是无法确定目标具体的三维位置;雷达传感器可以感知到目标的三维位置,但是却无法获取到目标的外观属性。因此,在单个传感器采集数据各存在缺点的情况下,将多个传感器进行融合成为大势所趋。
多个传感器的融合分为两类,分别是同类传感器的融合和多类传感器的融合。例如:融合多个相机传感器或融合多个雷达传感器为同类传感器的融合,融合相机传感器与雷达传感器则为多类传感器的融合。在多类传感器融合时,需要设置标定参数使得不同传感器的数据能够相互转换,同时需要进行位置补偿解决不同传感器的运动误差。此外,还需要考虑不同传感器感知的目标之间存在遮挡的情况。
然而,现有的融合方法对传感器的配置(例如,数目、角度等)较为敏感。在传感器的数目偏少,或传感器的角度设置不合适时,有概率将不同类别传感器对不同目标的采集数据错误匹配到同一个目标上,使得被匹配的目标的属性混乱,进而导致后续与该目标(即被匹配的目标)相关的判断出现失误。
例如,相机传感器采集到的数据为白车A和白车B,雷达传感器采集到的数据为白车B,由于相机传感器的角度设置,采集到的白车A较大面积遮挡了白车B,此时雷达传感器有概率将采集到的白车B数据误匹配相机传感器采集的白车A上,这样会导致后续白车A的属性出现问题,例如相机传感器判断白车A变道,而雷达传感器判断白车A(实际为白车B)仍然按照原路行驶,导致装配这两个传感器的车辆难以做出选择。
因此,当前亟需一种多传感器融合方法,降低对传感器配置方式的敏感程度,提升多传感器融合数据的精确程度。
发明内容
本申请实施例提供自动驾驶中目标投影的匹配融合方法及相关装置,用于降低对传感器配置方式的敏感程度,提升多传感器融合数据的精确程度。
本申请实施例提供的具体技术方案如下:
本申请的第一方面,提供了一种目标投影的匹配融合方法,包括:
获取待融合的两个传感器各自采集的至少一个采集对象的三维数据;
当所述两个传感器为不同类别的传感器时,分别将获得的各三维数据投影映射至预设的二维坐标系,获得相应的二维区域;
针对所述两个传感器,分别执行以下操作:将基于一个传感器获得的至少一个二维区域,按照相应的采集对象与所述一个传感器之间的距离进行图层排序,获得相应的排序结果;以及基于所述排序结果,分别获得所述至少一个二维区域各自的区域完整度,所述区域完整度表征:相应二维区域的被遮挡程度;
针对基于所述两个传感器中的一个传感器获得的至少一个二维区域,分别执行以下操作:获取与一个二维区域的重叠程度大于第一阈值,且区域完整度的匹配度大于第二阈值的一个匹配二维区域,并将所述一个二维区域和所述一个匹配二维区域各自对应的三维数据进行融合;其中,所述一个匹配二维区域是基于另一个传感器获得的。
本申请的第二方面,提供了一种目标投影的匹配融合的装置,包括:
收发单元,用于获取待融合的两个传感器各自采集的至少一个采集对象的三维数据;
处理单元,用于当所述两个传感器为不同类别的传感器时,分别将获得的各三维数据投影映射至预设的二维坐标系,获得相应的二维区域;针对所述两个传感器,分别执行以下操作:将基于一个传感器获得的至少一个二维区域,按照相应的采集对象与所述一个传感器之间的距离进行图层排序,获得相应的排序结果;以及基于所述排序结果,分别获得所述至少一个二维区域各自的区域完整度,所述区域完整度表征:相应二维区域的被遮挡程度;针对基于所述两个传感器中的一个传感器获得的至少一个二维区域,分别执行以下操作:获取与一个二维区域的重叠程度大于第一阈值,且区域完整度的匹配度大于第二阈值的一个匹配二维区域,并将所述一个二维区域和所述一个匹配二维区域各自对应的三维数据进行融合;其中,所述一个匹配二维区域是基于另一个传感器获得的。
可选地,所述处理单元,用于在所述获取待融合的两个传感器各自采集的至少一个采集对象的三维数据之前,分别获取所述两个传感器各自的位置信息和角度信息;基于获得的各位置信息和各角度信息,分别确定所述两个传感器各自的采集范围;当获得的各采集范围之间存在重叠部分时,将所述两个传感器作为所述待融合的两个传感器。
可选地,所述处理单元,用于在分别获取所述两个传感器各自的位置信息和角度信息之前,分别获取所述两个传感器各自的属性信息,所述属性信息表征:相应的传感器为路侧传感器或车载传感器;基于获得的各属性信息,确定所述两个传感器中,至少一个传感器为车载传感器。
可选地,所述处理单元,用于在所述获取待融合的两个传感器各自采集的至少一个采集对象的三维数据之前,获取所述两个传感器各自采集的原始数据集;其中,每个所述原始数据集包括:相应传感器在各采集时间点分别采集的数据子集,每个数据子集包括:在一个采集时间点上获得的所述至少一个采集对象各自的原始数据;所述两个传感器使用不同的采集时间点;
针对所述两个传感器中的一个传感器使用的各采集时间点,分别执行以下操作:
针对一个传感器使用的一个采集时间点,获取另一个传感器在所述一个采集时间点之前和之后采集的各数据子集;
针对所述至少一个采集对象,分别执行以下操作:对一个采集对象在所述一个采集时间点之前和之后的原始数据进行插值处理,获得所述一个采集对象在所述一个采集时间点的插值数据;
根据所述两个传感器中的一个传感器在一个采集时间点的原始数据,以及另一个传感器在所述一个采集时间点的插值数据,分别获得所述待融合的两个传感器各自在所述一个采集时间点采集的所述至少一个采集对象的三维数据。
可选地,所述处理单元,用于当所述两个传感器为相同类别的传感器时,分别将获得的各三维数据转换至预设的世界三维坐标系,获得相应的转换后三维数据;
针对所述两个传感器中的一个传感器获得的至少一个转换后的三维数据,分别执行以下操作:根据一个转换后的三维数据中的坐标信息,获取与所述一个转换后的三维数据的坐标信息的距离小于第三阈值的一个匹配三维数据,并将所述一个转换后的三维数据和所述一个匹配三维数据进行融合;其中,所述一个匹配三维数据是另一个传感器获得的转换后的三维数据。
可选地,所述处理单元,用于在所述获取与一个二维区域的重叠程度大于第一阈值,且区域完整度的匹配度大于第二阈值的一个匹配二维区域时,基于所述排序结果,获取一个二维区域与参考二维区域的重叠程度和区域完整度的匹配度;所述参考二维区域为另一个传感器中与所述一个二维区域的图层排序相同的二维区域;
在所述重叠程度大于所述第一阈值,且所述区域完整度的匹配度大于所述第二阈值时,确定所述参考二维区域为所述匹配二维区域;
在所述重叠程度不大于所述第一阈值,或所述区域完整度的匹配度不大于所述第二阈值时,获取所述一个二维区域与其他二维区域的重叠程度和区域完整度的匹配度,所述其他二维区域为所述另一个传感器中除所述参考二维区域之外的二维区域;将与所述一个二维区域的重叠程度大于所述第一阈值,且区域完整度的匹配度大于所述第二阈值的一个其他二维区域作为所述一个匹配二维区域。
可选地,所述重叠程度是根据所述一个二维区域和待匹配的二维区域的交并比获得的;所述待匹配的二维区域包括所述参考二维区域和所述其他二维区域。
可选地,所述处理单元,用于在所述基于所述排序结果,获取一个二维区域与参考二维区域的重叠程度和区域完整度的匹配度时,获取所述一个二维区域的图层排序,在所述一个二维区域位于第一图层时,将所述一个二维区域的区域完整度记为1;在所述一个二维区域未位于第一图层时,根据前一图层的二维区域与所述一个二维区域的交并比确定所述一个二维区域的区域完整度;
获取所述参考二维区域的图层排序,在所述参考二维区域位于第一图层时,将所述参考二维区域的区域完整度记为1;在所述参考二维区域的图层未位于第一图层时,根据前一图层的二维区域与所述参考二维区域的交并比确定所述参考二维区域的区域完整度;
根据所述一个二维区域的区域完整度和所述参考二维区域的区域完整度确定所述区域完整度的匹配度。
第三方面,本申请实施例提供的一种计算机设备,包括处理器和存储器,其中,所述存储器存储有计算机程序,当所述计算机程序被所述处理器执行时,使得所述处理器执行上述第一方面中任意一种目标投影的匹配融合方法。
第四方面,本申请实施例提供的一种计算机可读存储介质,其包括计算机程序,当所述计算机程序在计算机设备上运行时,所述计算机程序用于使所述计算机设备执行上述第一方面中任意一种目标投影的匹配融合方法。
第五方面,本申请实施例提供的一种计算机程序产品,所述计算机程序产品包括计算机程序,所述计算机程序存储在计算机可读存储介质中;当计算机设备的处理器从计算机可读存储介质读取所述计算机程序时,所述处理器执行所述计算机程序,使得所述计算机设备执行上述第一方面中任意一种目标投影的匹配融合方法。
本申请有益效果如下:
本申请中,通过获取两个待融合的传感器的在同一个采集时间点的至少一个采集对象的三维数据后,将这两个传感器获得的三维数据均投影映射到同一个二维坐标系中,获取两个传感器中的每个采集对象对应的二维区域。如此,将三维数据转换为二维区域,便于后续基于二维区域判断所要融合的三维数据,并且在待融合的两个传感器的三维数据中的距离相差较远,难以进行匹配时,相应的三维数据投影至二维坐标中的二维区域有概率可以进行匹配,从而避免出现匹配遗漏的情况。
接着对于每个采集对象对应的二维区域,根据采集对象与相应传感器的距离对每个采集对象的二维区域进行图层排序,得到两个传感器各自的采集对象的图层排序结果;然后基于图层排序的结果,可以确定两个传感器的每个采集对象的二维区域的区域完整度。如此,在多个二维区域彼此遮挡时,可以根据图层排序确定每个二维区域的区域完整度,并且基于每个二维区域的区域完整度可以确定采集对象的区域完整度的匹配度,从而解决存在图层遮挡时采集对象错误匹配的问题,提升后续所要融合的三维数据的准确度。
最后,根据这两个传感器采集对象之间的二维区域的重叠程度以及区域完整度的匹配度来共同确定需要数据融合的两个二维区域。本申请中,同时考虑了采集对象的重叠程度和区域完整度的匹配度,在一个传感器的采集对象与另一个传感器的多个采集对象的重叠程度都较高时,可以结合区域完整度的匹配度来确定所要融合的三维数据;或者在一个传感器的采集对象与另一个传感器的多个采集对象的区域完整度的匹配度都较高时,可以结合重叠程度来确定所要融合的三维数据。因此,即使在采集对象存在遮挡时,也可以准确地确定所要融合的三维数据,提升了多传感器融合数据的精确程度。
本申请的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本申请实施例或相关技术中的技术方案,下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的一种目标投影的匹配融合方法的流程示意图;
图2A为本申请实施例提供的传感器1和传感器2的采集范围存在重叠部分的示意图;
图2B为本申请实施例提供的传感器3和传感器4的采集范围不存在重叠部分的示意图;
图3为本申请实施例提供的根据车辆的位姿信息确定相应的路侧传感器的流程示意图;
图4为本申请实施例提供的车辆上存在6个车载传感器的采集范围的示意图;
图5为本申请实施例提供的传感器1和传感器2统一采集时间点为10ms的示意图;
图6为本申请实施例提供的三维数据投影映射为相应的二维区域的示意图;
图7为本申请实施例提供的4个二维区域的图层排序结果的示意图;
图8为本申请实施例提供的2个二维区域的重叠程度的示意图;
图9为本申请实施例提供的多个二维区域的重叠程度和区域完整度的匹配度的示意图;
图10本申请实施例提供的同类传感器的三维数据融合示意图;
图11为本申请实施例提供的一种目标投影的匹配融合装置1100;
图12为本申请实施例还提供另一种目标投影的匹配融合装置1200。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚明白,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互任意组合。并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
可以理解的是,在本申请的下述具体实施方式中,涉及到目标投影等相关的数据,当本申请的各实施例运用到具体产品或技术中时,需要获得相关许可或者同意,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。例如,在需要获得相关的数据时,可以通过招募相关志愿者并签署志愿者授权数据的相关协议,进而可以使用这些志愿者的数据进行实施;或者,通过在已授权允许的组织内部范围内进行实施,通过采用组织内部成员的数据实施下述的实施方式来向内部成员进行相关推荐;或者,具体实施时所采用的相关数据均为模拟数据,例如可以是虚拟场景中产生的模拟数据。
为便于理解本申请实施例提供的技术方案,这里先对本申请实施例使用的一些关键名词进行解释:
1、目标投影
将目标的三维数据的坐标转换至二维区域的坐标,从而将目标的三维数据投影映射到二维区域中。
2、雷达坐标系
雷达坐标系可以描述为目标相对于雷达传感器的位置,表示为[XL,YL,ZL],其中原点为雷达传感器的几何中心,XL轴水平向前,YL轴水平向左,ZL轴竖直向上。
3、相机坐标系
相机坐标系可以描述为目标相对于相机传感器的位置,表示为[XC,YC,ZC],其中原点为相机光心,XC轴与图像坐标系的X轴平行,YC轴与图像坐标系的Y轴平行,ZC轴与相机光轴平行,即相机镜头的拍摄方向。
4、图像坐标系
图像坐标系是以图像的中心为原点,X轴和Y轴分别平行于图像平面的两条垂直边,其坐标表示为(X,Y)。
5、世界坐标系
一个三维场景中通常都不会只有一个目标,以这个场景中的某个固定点为原点构建的坐标系就是世界坐标系,即整个场景的坐标系为世界坐标系。世界坐标系的X轴指向东方,Y轴指向北方,Z轴指向地心。
6、交并比
交并比(Intersection over Union,IOU)是目标检测、语义分割等任务最常用的评估指标,交并比是两个区域交集与并集的比值。当两个区域完全重叠时交并比为1,当两个区域完全不重叠时交并比为0。
本申请实施例的技术方案涉及自动驾驶和图像处理技术,自动驾驶,又称无人驾驶、电脑驾驶或轮式移动机器人,是依靠计算机与人工智能技术在没有人为操纵的情况下,完成完整、安全、有效的驾驶的一项前沿科技。在21世纪,由于汽车用户的不断增加,公路交通面临的拥堵、安全事故等问题越发严重。自动驾驶技术在车联网技术和人工智能技术的支持下,能够协调出行路线与规划时间,从而大程度提高出行效率,并在一定程度上减少能源消耗。自动驾驶同时还能帮助避免醉驾,疲劳驾驶等安全隐患,减少驾驶员失误,提升安全性。在自动驾驶的应用场景下,需要借助传感器来获得对环境更加完整、准确和稳定的感知,从而涉及到图像处理。
图像处理,又称影像处理,是用计算机对图像进行分析,以达到所需结果的技术。图像处理一般指数字图像处理,数字图像是指用工业相机、摄像机、扫描仪等设备经过拍摄得到的一个大的二维数组,该数组的元素称为像素,其值称为灰度值。图像处理技术一般包括图像压缩,增强和复原,匹配、描述和识别3个部分。
本申请中的传感器至少有一个设置在车辆上,获取目标投影进行匹配融合是为了自动驾驶服务,涉及自动驾驶技术;本申请中确定所要融合的采集对象时,将三维数据映射至相应的二维区域,并进行匹配时,涉及图像处理技术。
下面对本申请实施例的设计思想进行简要介绍:
在自动驾驶的应用场景下,需要传感器来获取对环境的感知。不同类别的传感器具备不同的优势和缺点,例如相机传感器只能在相机所及视野中感知到目标的存在、大致的远近、外观等属性,但不能准确感知到目标具体的三维位置;而雷达传感器能感知到目标具体的三维位置、目标的大致形状,但并不能准确感知其具体的外观属性,如车辆类型、车辆颜色、车牌内容等。因此,将不同类别的传感器感知到的目标进行融合就显得尤为重要。然而,在融合不同类别的传感器的优势时,不同类别的传感器间的匹配问题为融合技术带来了挑战。现有的融合技术对传感器的配置要求较高,对传感器的数目、角度等都比较敏感。例如,相机传感器受到相机成像的局限,获取的目标图像之间有概率存在遮挡,遮挡严重时会存在目标B被目标A完全遮挡住。此时,雷达传感器同时感知到了目标A和目标B,由于相机传感器此时只采集到了目标A的数据,且在雷达传感器采集到的数据中目标A和目标B的三维位置很接近,则有概率将雷达传感器采集到的目标B与相机传感器采集到的目标A错误匹配上,导致融合的数据也是错误的。
有鉴于此,本申请实施例中,提供了以下方案加以改进。
分别获取两个待融合的传感器在同一时间采集的三维数据,这些三维数据分别对应至少一个采集对象。由于两个传感器中的部分三维数据的距离较远,为了避免遗漏部分三维数据相匹配的情况,可以将三维数据均投影映射至同一个二维坐标系中,得到每个采集对象对应的二维区域。
多个对象的二维区域会存在彼此遮挡的情况,为了后续确定彼此之间的遮挡情况,根据每个采集对象分别与相应传感器的距离对每个采集对象的二维区域进行图层排序,从而基于图层排序可以计算得到每个二维区域的被遮挡的程度,即每个二维区域的区域完整度,进而基于此可以确定两个传感器中采集对象之间的二维区域的区域完整度的匹配度。
同时,还可以计算确定两个传感器中采集对象之间的二维区域的重叠程度。通过结合重叠程度和二维区域的区域完整度的匹配度,可以在一个传感器的采集对象与另一个传感器的多个采集对象的重叠程度都较高时,结合区域完整度的匹配度,来准确地确定所要融合的三维数据;或者是在一个传感器的采集对象与另一个传感器的多个采集对象的区域完整度的匹配度都较高时,结合重叠程度来确定所要融合三维数据。因此,即使在两个传感器的配置设置地不完善,导致采集对象存在遮挡时,也可以准确地确定所要融合的三维数据,提升了多传感器融合数据的精确程度,解决了当前对传感器配置较为敏感的问题。
以下结合说明书附图对本申请的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本申请,并不用于限定本申请,并且在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
如图1所示,本申请提供的一种目标投影的匹配融合方法的流程具体如下:
步骤100:获取待融合的两个传感器各自采集的至少一个采集对象的三维数据。
示例性地,在获取待融合的两个传感器各自采集的三维数据之前,需要先确定两个传感器是否是可以融合的传感器。
具体地,通过获取两个传感器各自的位置信息和角度信息,进而基于位置信息和角度信息来确定两个传感器的采集范围,在两个传感器的采集范围存在重叠部分时,则认为这两个传感器是待融合的两个传感器。其中,这两个传感器可以是不同类别的传感器,例如:一个传感器是相机传感器,则另一个传感器是雷达传感器;或者这两个传感器也可以是相同类别的传感器,例如:两个传感器均是相机传感器,或两个传感器均是雷达传感器。其中,雷达传感器可以是激光雷达传感器、毫米波雷达传感器或其他任意类型的雷达传感器,本申请不做限定。
具体地,如图2A所示,图2A中的传感器1和传感器2的采集范围存在重叠部分,则传感器1和传感器2是待融合的两个传感器;如图2B所示,图2B中的传感器3和传感器4的采集范围不存在重叠部分,则传感器3和传感器4不是待融合的两个传感器。
此外,还需要获取两个传感器的属性信息,来确定传感器是路侧传感器或车载传感器,待融合的两个传感器需要至少有一个传感器是车载传感器。具体地,当两个传感器中一个传感器是车载传感器,另一个传感器是路侧传感器时,需要根据车载传感器所在车辆的位姿信息来确定相应的路侧传感器。例如,根据车辆的位姿信息确定某段时间车辆位于A街道时,则该段时间待融合的路侧传感器也需要是A街道的。
具体地,根据车辆的位姿信息确定相应的路侧传感器的流程示意图如图3所示。
步骤301:获取车辆的位姿信息和相应的定位时间点。
具体地,获取车载传感器所在车辆的位姿信息和相应的定位时间点。其中,位姿信息是指车辆所处的具体地理位置,以及车辆的朝向。定位时间点是指车辆所处的具体地理位置是对应的具体时间点。
步骤302:根据车辆的位姿信息和相应的定位时间点确定相应的路侧传感器。
具体地,在步骤301中获取到车辆的位姿信息后,可以根据车辆的位姿信息和相应的定位时间点来确定多个路侧传感器,例如,车辆在某段时间在A街道行驶,此时确定的多个路侧传感器是A街道上的多个路侧传感器,从这多个路侧传感器中选取一个与车辆的车载传感器存在采集范围部分重叠的路侧传感器作为相应的路侧传感器。
示例性地,以在车辆上存在6个车载传感器为例进行具体说明。具体地如图4所示,由图4可以看出,在车辆1上存在6个车载传感器,这6个传感器可以是雷达传感器,也可以是相机传感器。具体地,如图4所示,这6个传感器分别是传感器1、传感器2、传感器3、传感器4、传感器5和传感器6。其中,传感器1和传感器2位于车辆1的车头,传感器3和传感器4位于车辆1的车中,传感器5和传感器6位于车辆1的车尾。
具体地,图中的虚线部分代表每个传感器的采集范围。由图4可以看出,传感器2既与传感器1存在部分采集范围重叠,又与传感器4存在部分采集范围重叠,因此,传感器2与传感器1可以是待融合的两个传感器,传感器2与传感器4也可以是待融合的两个传感器。传感器3是和传感器5存在部分采集范围重叠,则这两个传感器也可以是待融合的两个传感器。对于传感器6,这个传感器均不与其他任何一个传感器存在采集范围的重叠,因此传感器6不是待融合的传感器。
示例性地,由于不同的传感器的采集时间点不同,为了后续两个传感器的三维数据的融合,需要将两个传感器的采集时间点进行统一。因此,在获取待融合的两个传感器各自采集的至少一个采集对象的三维数据之前,先获取这两个传感器各自采集的原始数据集。其中,原始数据集是由这两个传感器在各个采集时间点上分别采集的数据子集构成的,每个数据子集包括了该传感器在一个时间点上采集的至少一个采集对象的原始数据。接着,在获取到原始数据集后,以两个传感器中的一个传感器的全部采集时间点为基准,对于该传感器一个采集时间点,获取另一个传感器在该采集时间点之前和之后的多个数据子集。然后,对于多个数据子集中的每个对象,分别将该对象在采集时间点之前的原始数据和采集时间点之后的原始数据进行插值,得到该对象在采集时间点的插值数据。最后,将一个传感器在一个采集时间点的原始数据,以及另一个传感器在该采集时间点的插值数据作为待融合的两个传感器各自在一个采集时间点采集的至少一个采集对象的三维数据。其中,插值方法为线性插值,插值数据是三维数据。
具体地,设定待融合的两个传感器是传感器1和传感器2,传感器1在10ms、15ms和20ms这三个采集时间点采集数据,传感器2在8ms、12ms、16ms这三个采集时间点采集数据,以传感器1的采集时间点为基准来统一采集时间点。
如图5所示,以传感器1的10ms的采集时间点为例进行具体说明。传感器2在10ms之前的数据子集是8ms对应的数据子集,传感器2在10ms之后的数据子集是12ms对应的数据子集。其中,传感器2在8ms对应的数据子集包括了采集对象A的三维数据、采集对象B的三维数据和采集对象C的三维数据,传感器2在12ms对应的数据子集也包括了采集对象A的三维数据、采集对象B的三维数据和采集对象C的三维数据。对于采集对象A,将其在8ms和12ms的三维数据进行插值,得到采集对象A在10ms的插值数据,同理,得到采集对象B和采集对象C在10ms的插值数据。从而,传感器1在10ms的三维数据,以及传感器2在10ms的插值数据,作为这两个传感器待融合的三维数据。
步骤110:当两个传感器为不同类别的传感器时,分别将获得的各三维数据投影映射至预设的二维坐标系,获得相应的二维区域。
示例性地,步骤100中待融合的两个传感器是不同类别的传感器时,可以将两个传感器各自获得三维数据均投影映射至预设的二维坐标系上,从而获得每个三维数据相应的二维区域。具体地,预设的二维坐标系可以是图片上的图像坐标系,也可以是以图片上任意一个点为原点的坐标系,例如以图片左上角为原点的坐标系,或图片右上角为原点的坐标系等。其中,图片是指一个固定长宽的空白图像。
具体地,传感器获取的每个采集对象的三维数据以长方体的形式呈现,包括了中心点坐标,长方体的长宽高,朝向角度,以及长方体八个顶点的坐标。根据三维数据投影映射获得相应的二维区域是基于三维数据所对应的长方体的八个顶点的坐标投影至预设的二维坐标系上,构成一个不规则图形,然后再将能包裹住该不规则图形的最小矩形作为相应的二维区域。具体地,如图6所示,不规则图形ABCDE为一三维数据所对应的长方体的八个顶点投影映射获得的,包裹该不规则图形ABCDE的最小矩形ABFG为相应的二维区域。
步骤120:针对两个传感器,分别执行以下操作:将基于一个传感器获得的至少一个二维区域,按照相应的采集对象与一个传感器之间的距离进行图层排序,获得相应的排序结果;以及基于排序结果,分别获得至少一个二维区域各自的区域完整度,其中,区域完整度表征:相应二维区域的被遮挡程度。
示例性地,在步骤110中获取到二维区域后,可以根据每个采集对象与相应传感器之间的距离对其对应的二维区域进行图层排序。一般情况下,在多个二维区域所在的图片中,面积越大的二维区域距离越近,面积越小的二维区域距离越远,但是存在多个二维区域面积相似,此时难以判断二维区域的距离远近,以及二维区域彼此之间的遮挡关系,因此需要进行图层排序。
具体地,对于两个传感器中的相机传感器,根据相机传感器获取的每个采集对象的三维数据是位于相机坐标系中的,因此,可以基于每个采集对象的三维数据中的中心点坐标确定该采集对象与相机传感器的距离,从而将相机传感器获得的多个采集对象的二维区域按照距离远近进行图层排序,图层排序是从小到大进行排序,即第一图层至第Q图层,Q为该相机传感器所对应的二维区域的数目。其中,距离越近的图层排序结果越小,距离越远的图层排序结果越大。进而,在获取了排序结果后,可以根据每一个二维区域对应的图层来计算其相应的区域完整度。
同样地,对于两个传感器中的雷达传感器,根据雷达传感器获取的每个采集对象的三维数据是位于雷达坐标系中的,因此,可以基于每个采集对象的三维数据中的中心点坐标确定该采集对象与雷达传感器的距离,从而将雷达传感器获得的多个采集对象的二维区域按照距离远近进行图层排序。具体地,排序方式与相机传感器相同,此处不再赘述。
具体地,当二维区域位于第一图层时,此时没有其他二维区域遮挡该二维区域,因此,该二维区域的区域完整度为1。当二维区域未位于第一图层时,则需要根据该二维区域前一图层的二维区域与该图层的交并比来确定该二维区域的区域完整度。其中,由于交并比代表当两个区域完全重叠时交并比为1,当两个区域完全不重叠时交并比为0,而本申请中二维区域未被遮挡则区域完整度越高,因此本申请在确定出每个二维区域前一图层的二维区域与该图层的交并比后,本申请设定以1-交并比来表征该二维区域的区域完整度。此外,还可以通过基于交并比的其他方式来表征二维区域的区域完整度,本申请不做限定。
具体地,假设相机传感器获取了4个采集对象的三维数据,这4个三维数据映射为4个二维区域后的排序结果如图7所示。其中,二维区域A位于第一图层,二维区域B位于第二图层,二维区域C位于第三图层,二维区域D位于第四图层。因此,二维区域A不存在任何遮挡,区域完整度是1,二维区域B被二维区域A所遮挡,二维区域B的区域完整度是1-(A∩B)/(A∪B),二维区域C被二维区域B所遮挡,二维区域C的区域完整度是1-(B∩C)/(B∪C),二维区域D被二维区域C所遮挡,二维区域D的区域完整度是1-(C∩D)/(C∪D)。
步骤130:针对基于两个传感器中的一个传感器获得的至少一个二维区域,分别执行以下操作:获取与一个二维区域的重叠程度大于第一阈值,且区域完整度的匹配度大于第二阈值的一个匹配二维区域,并将一个二维区域和一个匹配二维区域各自对应的三维数据进行融合,其中,一个匹配二维区域是基于另一个传感器获得的。
示例性地,在步骤120中获取到每个传感器对应的多个二维区域,以及多个二维区域的区域完整度后,可以根据两个传感器的二维区域获取二维区域的重叠程度,以及获取二维区域的区域完整度的匹配度。其中,二维区域的重叠程度是通过交并比确定的。
具体地,如图8所示,设定二维区域M是相机传感器的一个二维区域,二维区域N是雷达传感器的一个二维区域,其中,二维区域M的四个点坐标为(1,1)、(5,1)、(1,3)以及(5,3),二维区域N的四个点坐标为(3,2)、(7,2)、(3,4)以及(7,4),因此,二维区域M和二维区域N的交集为2((5-3)*(3-2)),二维区域M和二维区域N的并集为14((5-1)*(3-1)+(7-3)*(4-2)-2),因此,二者的交并比为2/14,即二维区域的重叠程度为2/14。
具体地,二维区域的区域完整度的匹配度可以通过多种方式确定,只需保证区域完整度越接近的匹配度越高,区域完整度越不接近的匹配度越低即可。示例性地,设定一种二维区域的区域完整度的匹配度的计算方式为:若一个二维区域的区域完整度为1,另一个二维区域的区域完整度也为1,则这两个二维区域的区域完整度的匹配度为100%;若一个二维区域的区域完整度为1,另一个二维区域的区域完整度为3/5,则这两个二维区域的匹配度可以是60%(3/5÷1)。此外,还可以是多种计算方式,本申请不一一举例赘述。
对于两个传感器中的一个传感器的每个二维区域确定相应的另一个传感器中的匹配二维区域包括两种实施方式:
第一种实施方式,对于两个传感器中的一个传感器(以相机传感器为例说明),将相机传感器中的一个二维区域A与雷达传感器中的所有二维区域均计算确定两两之间二维区域的重叠程度以及二维区域的区域完整度的匹配度。在两个二维区域的重叠程度大于第一阈值,且区域完整度的匹配度大于第二阈值时,雷达传感器中的该二维区域即为相机传感器中的二维区域A的匹配二维区域。其中,第一阈值和第二阈值是根据经验值确定的。
具体地,如图9所示,图9中的二维区域A1、二维区域A2以及二维区域A3均是相机传感器的二维区域,二维区域B1、二维区域B2以及二维区域B3均是雷达传感器的二维区域,设定此时需要确定二维区域A1相应的雷达传感器中的二维区域,设定此时第一阈值为1/5,第二阈值为5/6。其中,二维区域A1的四个点坐标为(1,2)、(6,2)、(1,6)以及(6,6),二维区域B1的四个点坐标为(2,1)、(7,1)、(2,5)以及(7,5),二维区域B2的四个点坐标为(3,4)、(8,4)、(3,7)以及(8,7),二维区域B3的四个点坐标为(7,6)、(10,6)、(7,9)以及(10,9)。因此,二维区域A1与二维区域B1的重叠程度为3/7(12/28),二维区域A1与二维区域B2的重叠程度为6/29,二维区域A1与二维区域B3的重叠程度为0。同时,还需计算二维区域的区域完整度的匹配度。其中,二维区域A1位于第一图层,区域完整度是1;二维区域B1位于第一图层,区域完整度是1,二维区域B2位于第二图层,设定其区域完整度是3/4,二维区域B3位于第三图层,设定其区域完整度是7/8。则此时二维区域A1与二维区域B1的区域完整度的匹配度为100%,二维区域A1与二维区域B2的区域完整度的匹配度为75%,二维区域A1与二维区域B3的区域完整度的匹配度为87.5%。
因此,此时二维区域A1与二维区域B2的重叠程度大于第一阈值,但是二维区域A1与二维区域B2的区域完整度的匹配度小于第二阈值;二维区域A1与二维区域B3的区域完整度的匹配度大于第一阈值,但是二维区域A1与二维区域B3的重叠程度小于第一阈值;二维区域A1与二维区域B1的重叠程度大于第一阈值,以及区域完整度的匹配度大于第二阈值,因此,二维区域B1是二维区域A1的匹配二维区域。
第二种实施方式,对于两个传感器中的一个传感器(以相机传感器为例说明),基于图层排序的排序结果,将相机传感器中的一个二维区域A与雷达传感器中的参考二维区域之间计算重叠程度和区域完整度的匹配度。其中,参考二维区域是雷达传感器中与相机传感器中图层排序相同的二维区域。例如,二维区域A在相机传感器中的图层排序为3,则其相应的参考二维区域是在雷达传感器中图层排序同样为3的二维区域。接着,在二者之间的重叠程度大于第一阈值,以及区域完整度大于第二阈值时,该参考二维区域即为二维区域A的匹配二维区域。若二维区域A与参考二维区域的重叠程度不大于第一阈值,或区域完整度的匹配度不大于第二阈值,则代表二者不匹配,进而将二维区域A与雷达传感器中除参考二维区域之外的其他二维区域计算重叠程度和区域完整度的匹配度,将与二维区域A的重叠程度大于第一阈值,且区域完整度的匹配度大于第二阈值的一个其他二维区域作为匹配二维区域。
其中,可以优先将与参考二维区域图层排序接近的二维区域与二维区域A计算重叠程度以及区域完整度的匹配度,即与二维区域A图层排序接近的雷达传感器中的二维区域。相较于其他雷达传感器中的二维区域,与二维区域A图层排序接近的二维区域是二维区域A的匹配二维区域的概率较大。
在通过第一种实施方式或第二种实施方式确定了相机传感器中的二维区域A相应的雷达传感器中的匹配二维区域后,可以确定二维区域A和匹配二维区域是对应于同一个采集对象的二维区域,则将这两个二维区域各自对应的三维数据进行融合,从而得到该采集对象完善的三维数据。
示例性地,例如确定了相机传感器和雷达传感器匹配确定的同一个采集对象(以采集对象A为例),则将这两个传感器对于采集对象A的三维数据进行融合。对于采集对象A,相机传感器获取了采集对象A的中心点坐标、采集对象A所对应的长方体的长宽高,以及采集对象A的朝向角度,同时,雷达传感器也获取了采集对象A的中心点坐标、采集对象A所对应的长方体的长宽高,以及采集对象A所对应的长方体的朝向角度。一般情况下,雷达传感器获取的这些数据精度更高,以雷达传感器的采集对象A的中心点坐标、采集对象A所对应的长方体的长宽高,以及采集对象A所对应的长方体的朝向角度作为更有选择。由于相机传感器在获取采集对象A的三维数据时,同时获取了采集对象A的二维数据,例如采集对象A的颜色、纹理、形状等,从而再将雷达传感器获取的采集对象A的三维数据与相机传感器获取的采集对象A的二维数据进行融合,使得确定采集对象A在三维上的中心点坐标、所对应的长方体的长宽高、朝向角度,以及在二维上的颜色、纹理、形状等信息。
此外,本申请不仅可以进行不同类别传感器之间的融合,还可以进行相同类别传感器之间的融合。
示例性地,在步骤100中确定了两个待融合的传感器,以及将两个待融合的传感器的采集时间点统一之后,当两个传感器为相同类别的传感器时,分别将这两个传感器的三维数据转换至预设的世界三维坐标系中,获得相应的转换后的三维数据。
示例性地,对于两个传感器中的一个传感器获得的至少一个转换后的三维数据,分别执行以下操作:根据一个转换后的三维数据中的坐标信息,获取与该转换后的三维数据的坐标信息的距离小于第三阈值的一个匹配三维数据,并且将转换后的三维数据跟其对应的匹配三维数据进行融合。其中,一个匹配三维数据是另一各传感器获得的转换后的三维数据。具体地,第三阈值是根据经验值确定的,例如在高速、城市快速路等场景下,车辆的行驶速度较快,此时第三阈值相应较大;当在城市普通道路、小区内部道路等场景下,车辆行驶速度较慢,则第三阈值相应较小。
示例性地,当两个传感器均为雷达传感器时,两个传感器的三维数据融合是将三维数据的中心点坐标、三维数据所对应的长方体的长宽高,以及三维数据对应的采集对象的朝向角度进行融合。具体地,可以根据两个传感器获取的三维数据的精度选择融合。例如对于三维数据的中心点坐标,两个传感器中的第一个传感器精度更高,则选择第一个传感器的三维数据的中心点坐标作为融合后的中心点坐标;对于三维数据所对应的长方体的长宽高,两个传感器中的第二个传感器精度更高,则选择第二个传感器所对应的长方体的长宽高作为融合后的所对应的长方体的长宽高。从而得到融合后的三维数据后,更新两个传感器的三维数据,均以融合后的三维数据作为这两个传感器获取的三维数据。
示例性地,当两个传感器均为相机传感器时,两个传感器的三维数据融合是将三维数据的中心点坐标、三维数据所对应的长方体的长宽高,以及三维数据对应的采集对象的朝向角度进行融合,这里与两个雷达传感器的三维数据的融合相同,此处不再赘述。此外,由于相机传感器还能同时获取到二维数据,因此相机传感器在融合时还包括二维数据的融合。具体地,例如两个传感器中的一个传感器获取的二维数据包括颜色、纹路,两个传感器中的另一个传感器获取的二维数据包括车牌号,因此融合后的二维数据为颜色、纹路和车牌号。从而得到融合后的二维数据和三维数据后,更新两个传感器的二维数据和三维数据,均以融合后的二维数据和三维数据作为这两个传感器获取的数据。
具体地,如图10所示,设定第三阈值为3,传感器1获得的一个转换后的三维数据为三维数据A,传感器2获得的一个转换后的三维数据为三维数据B,传感器1和传感2均是相机传感器,或传感器1和传感器2均是雷达传感器。其中三维数据A的中心点坐标为(3,4,4),三维数据B的中心点坐标为(1,4,4)。因此,二者的坐标信息的距离为2,小于第三阈值3,因此此时二者的三维数据可以进行融合。
示例性地,本申请在进行不同类别传感器的数据匹配融合,和/或同类传感器的数据匹配融合后,由于传感器直接获得数据存在一定的偏差,因此,为使得采集对象的运动轨迹更加连贯,可以使用3D目标检测算法对采集对象相应的三维数据进行优化,通过3D目标检测算法的滤波处理,消除部分传感器中的偏差。其中,3D目标检测算法可以是AB3DMOT算法,还可以是其他任意的算法,本申请不做限定。此外,采用3D目标检测算法还可以进一步地获取采集对象的加速度和角速度,使得采集对象的数据更加丰富。
示例性地,在使用3D目标检测算法优化采集对象的数据后,后续可以根据用户需求输出相应的数据,其中,数据可以是采集对象的三维数据,也可以是采集对象的二维数据,或者采集对象所对应的不同传感器的数据等,即在数据融合过程的所有数据均可以根据用户需求输出相应的数据。
本申请实施例中对单元的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,另外,在本申请各个实施例中的各功能单元可以集成在一个处理器中,也可以是单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
本申请实施例还提供一种目标投影的匹配融合装置1100,参见图11所示,一种目标投影的匹配融合装置1100包括:处理模块1110和收发模块1120。
收发模块1120可以包括接收模块和发送模块。处理模块1110用于对目标投影的匹配融合装置1100的动作进行控制管理。收发模块1120用于支持目标投影的匹配融合装置1100与其他装置的通信。可选地,目标投影的匹配融合装置1100还可以包括存储模块,存储模块用于存储目标投影的匹配融合装置1100的程序代码和数据。
可选地,目标投影的匹配融合装置1100中各个模块可以是通过软件来实现。
可选地,处理模块1110可以是处理器或控制器,收发模块1120可以是通信接口、收发器或收发电路等,其中,该通信接口是统称,在具体实现中,该通信接口可以包括多个接口,存储模块可以是存储器。
在一种可能的实现方式中,目标投影的匹配融合装置1100适用于无线接入控制器设备或无线接入点设备;
收发模块1120,用于获取待融合的两个传感器各自采集的至少一个采集对象的三维数据;
处理模块1110,用于当两个传感器为不同类别的传感器时,分别将获得的各三维数据投影映射至预设的二维坐标系,获得相应的二维区域;针对两个传感器,分别执行以下操作:将基于一个传感器获得的至少一个二维区域,按照相应的采集对象与一个传感器之间的距离进行图层排序,获得相应的排序结果;以及基于排序结果,分别获得至少一个二维区域各自的区域完整度,区域完整度表征:相应二维区域的被遮挡程度;针对基于两个传感器中的一个传感器获得的至少一个二维区域,分别执行以下操作:获取与一个二维区域的重叠程度大于第一阈值,且区域完整度的匹配度大于第二阈值的一个匹配二维区域,并将一个二维区域和一个匹配二维区域各自对应的三维数据进行融合;其中,一个匹配二维区域是基于另一个传感器获得的。
本申请实施例还提供另一种目标投影的匹配融合装置1200,该目标投影的匹配融合装置1200可以是终端设备或终端设备内部的芯片***,参见图12所示,包括:
通信接口1201,存储器1202以及处理器1203;
其中,目标投影的匹配融合装置1200通过通信接口1201与其它设备进行通信,比如收发消息;存储器1202,用于存储程序指令;处理器1203,用于调用存储器1202中存储的程序指令,按照获得的程序执行的方法。
处理器1203调用通信接口1201和存储器1202存储的程序指令执行:
获取待融合的两个传感器各自采集的至少一个采集对象的三维数据;
当两个传感器为不同类别的传感器时,分别将获得的各三维数据投影映射至预设的二维坐标系,获得相应的二维区域;
针对两个传感器,分别执行以下操作:将基于一个传感器获得的至少一个二维区域,按照相应的采集对象与一个传感器之间的距离进行图层排序,获得相应的排序结果;以及基于排序结果,分别获得至少一个二维区域各自的区域完整度,区域完整度表征:相应二维区域的被遮挡程度;
针对基于两个传感器中的一个传感器获得的至少一个二维区域,分别执行以下操作:获取与一个二维区域的重叠程度大于第一阈值,且区域完整度的匹配度大于第二阈值的一个匹配二维区域,并将一个二维区域和一个匹配二维区域各自对应的三维数据进行融合;其中,一个匹配二维区域是基于另一个传感器获得的。
本申请实施例中不限定上述通信接口1201、存储器1202以及处理器1203之间的具体连接介质,比如总线,总线可以分为地址总线、数据总线、控制总线等。
在本申请实施例中,处理器可以是通用处理器、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件,可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。
在本申请实施例中,存储器可以是非易失性存储器,比如硬盘(hard disk drive,HDD)或固态硬盘(solid-state drive,SSD)等,还可以是易失性存储器(volatilememory),例如随机存取存储器(random-access memory, RAM)。存储器还可以是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。本申请实施例中的存储器还可以是电路或者其它任意能够实现存储功能的装置,用于存储程序指令和/或数据。
本申请实施例还提供一种计算机可读存储介质,包括程序代码,当程序代码在计算机上运行时,程序代码用于使计算机执行上述本申请实施例上述提供的方法的步骤。
本领域内的技术人员应明白,本申请的实施例可提供为方法、***、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。

Claims (12)

1.一种目标投影的匹配融合方法,其特征在于,所述方法包括:
获取待融合的两个传感器各自采集的至少一个采集对象的三维数据;
当所述两个传感器为不同类别的传感器时,分别将获得的各三维数据投影映射至预设的二维坐标系,获得相应的二维区域;
针对所述两个传感器,分别执行以下操作:将基于一个传感器获得的至少一个二维区域,按照相应的采集对象与所述一个传感器之间的距离进行图层排序,获得相应的排序结果;以及基于所述排序结果,分别获得所述至少一个二维区域各自的区域完整度,所述区域完整度表征:相应二维区域的被遮挡程度;
针对基于所述两个传感器中的一个传感器获得的至少一个二维区域,分别执行以下操作:获取与一个二维区域的重叠程度大于第一阈值,且区域完整度的匹配度大于第二阈值的一个匹配二维区域,并将所述一个二维区域和所述一个匹配二维区域各自对应的三维数据进行融合;其中,所述一个匹配二维区域是基于另一个传感器获得的。
2.如权利要求1所述的方法,其特征在于,在所述获取待融合的两个传感器各自采集的至少一个采集对象的三维数据之前,还包括:
分别获取所述两个传感器各自的位置信息和角度信息;
基于获得的各位置信息和各角度信息,分别确定所述两个传感器各自的采集范围;
当获得的各采集范围之间存在重叠部分时,将所述两个传感器作为所述待融合的两个传感器。
3.如权利要求2所述的方法,其特征在于,在分别获取所述两个传感器各自的位置信息和角度信息之前,还包括:
分别获取所述两个传感器各自的属性信息,所述属性信息表征:相应的传感器为路侧传感器或车载传感器;
基于获得的各属性信息,确定所述两个传感器中,至少一个传感器为车载传感器。
4.如权利要求1所述的方法,其特征在于,所述获取待融合的两个传感器各自采集的至少一个采集对象的三维数据之前,还包括:
获取所述两个传感器各自采集的原始数据集;其中,每个所述原始数据集包括:相应传感器在各采集时间点分别采集的数据子集,每个数据子集包括:在一个采集时间点上获得的所述至少一个采集对象各自的原始数据;所述两个传感器使用不同的采集时间点;
针对所述两个传感器中的一个传感器使用的各采集时间点,分别执行以下操作:
针对一个传感器使用的一个采集时间点,获取另一个传感器在所述一个采集时间点之前和之后采集的各数据子集;
针对所述至少一个采集对象,分别执行以下操作:对一个采集对象在所述一个采集时间点之前和之后的原始数据进行插值处理,获得所述一个采集对象在所述一个采集时间点的插值数据;
根据所述两个传感器中的一个传感器在一个采集时间点的原始数据,以及另一个传感器在所述一个采集时间点的插值数据,分别获得所述待融合的两个传感器各自在所述一个采集时间点采集的所述至少一个采集对象的三维数据。
5.如权利要求4所述的方法,其特征在于,还包括:
当所述两个传感器为相同类别的传感器时,分别将获得的各三维数据转换至预设的世界三维坐标系,获得相应的转换后三维数据;
针对所述两个传感器中的一个传感器获得的至少一个转换后的三维数据,分别执行以下操作:根据一个转换后的三维数据中的坐标信息,获取与所述一个转换后的三维数据的坐标信息的距离小于第三阈值的一个匹配三维数据,并将所述一个转换后的三维数据和所述一个匹配三维数据进行融合;其中,所述一个匹配三维数据是另一个传感器获得的转换后的三维数据。
6.如权利要求1-4任一项所述的方法,其特征在于,所述获取与一个二维区域的重叠程度大于第一阈值,且区域完整度的匹配度大于第二阈值的一个匹配二维区域,具体包括:
基于所述排序结果,获取一个二维区域与参考二维区域的重叠程度和区域完整度的匹配度;所述参考二维区域为另一个传感器中与所述一个二维区域的图层排序相同的二维区域;
在所述重叠程度大于所述第一阈值,且所述区域完整度的匹配度大于所述第二阈值时,确定所述参考二维区域为所述匹配二维区域;
在所述重叠程度不大于所述第一阈值,或所述区域完整度的匹配度不大于所述第二阈值时,获取所述一个二维区域与其他二维区域的重叠程度和区域完整度的匹配度,所述其他二维区域为所述另一个传感器中除所述参考二维区域之外的二维区域;将与所述一个二维区域的重叠程度大于所述第一阈值,且区域完整度的匹配度大于所述第二阈值的一个其他二维区域作为所述一个匹配二维区域。
7.如权利要求6所述的方法,其特征在于,所述重叠程度是根据所述一个二维区域和待匹配的二维区域的交并比获得的;所述待匹配的二维区域包括所述参考二维区域和所述其他二维区域。
8.如权利要求6所述的方法,其特征在于,所述基于所述排序结果,获取一个二维区域与参考二维区域的重叠程度和区域完整度的匹配度,具体包括:
获取所述一个二维区域的图层排序,在所述一个二维区域位于第一图层时,将所述一个二维区域的区域完整度记为1;在所述一个二维区域未位于第一图层时,根据前一图层的二维区域与所述一个二维区域的交并比确定所述一个二维区域的区域完整度;
获取所述参考二维区域的图层排序,在所述参考二维区域位于第一图层时,将所述参考二维区域的区域完整度记为1;在所述参考二维区域的图层未位于第一图层时,根据前一图层的二维区域与所述参考二维区域的交并比确定所述参考二维区域的区域完整度;
根据所述一个二维区域的区域完整度和所述参考二维区域的区域完整度确定所述区域完整度的匹配度。
9.一种目标投影的匹配融合装置,其特征在于,包括:
收发单元,用于获取待融合的两个传感器各自采集的至少一个采集对象的三维数据;
处理单元,用于当所述两个传感器为不同类别的传感器时,分别将获得的各三维数据投影映射至预设的二维坐标系,获得相应的二维区域;针对所述两个传感器,分别执行以下操作:将基于一个传感器获得的至少一个二维区域,按照相应的采集对象与所述一个传感器之间的距离进行图层排序,获得相应的排序结果;以及基于所述排序结果,分别获得所述至少一个二维区域各自的区域完整度,所述区域完整度表征:相应二维区域的被遮挡程度;针对基于所述两个传感器中的一个传感器获得的至少一个二维区域,分别执行以下操作:获取与一个二维区域的重叠程度大于第一阈值,且区域完整度的匹配度大于第二阈值的一个匹配二维区域,并将所述一个二维区域和所述一个匹配二维区域各自对应的三维数据进行融合;其中,所述一个匹配二维区域是基于另一个传感器获得的。
10.一种计算机可读非易失性存储介质,其特征在于,所述计算机可读非易失性存储介质存储有程序,当所述程序在计算机上运行时,使得计算机实现执行权利要求1至8中任一项权利要求所述的方法。
11.一种计算机设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于调用所述存储器中存储的计算机程序,按照获得的程序执行如权利要求1至8任一项权利要求所述的方法。
12.一种计算机程序产品,其特征在于,包括计算机程序,所述计算机程序存储在计算机可读存储介质中;当计算机设备的处理器从所述计算机可读存储介质读取所述计算机程序时,所述处理器执行所述计算机程序,使得所述计算机设备执行如权利要求1至8任一项权利要求所述的方法。
CN202311101947.7A 2023-08-30 2023-08-30 一种目标投影的匹配融合方法及相关装置 Active CN116821854B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311101947.7A CN116821854B (zh) 2023-08-30 2023-08-30 一种目标投影的匹配融合方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311101947.7A CN116821854B (zh) 2023-08-30 2023-08-30 一种目标投影的匹配融合方法及相关装置

Publications (2)

Publication Number Publication Date
CN116821854A true CN116821854A (zh) 2023-09-29
CN116821854B CN116821854B (zh) 2023-12-08

Family

ID=88124322

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311101947.7A Active CN116821854B (zh) 2023-08-30 2023-08-30 一种目标投影的匹配融合方法及相关装置

Country Status (1)

Country Link
CN (1) CN116821854B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110244322A (zh) * 2019-06-28 2019-09-17 东南大学 基于多源传感器的路面施工机器人环境感知***及方法
CN110371108A (zh) * 2019-06-14 2019-10-25 浙江零跑科技有限公司 车载超声波雷达与车载环视***融合方法
CN110415342A (zh) * 2019-08-02 2019-11-05 深圳市唯特视科技有限公司 一种基于多融合传感器的三维点云重建装置与方法
WO2020248614A1 (zh) * 2019-06-10 2020-12-17 商汤集团有限公司 地图生成方法、驾驶控制方法、装置、电子设备及***
US20220124979A1 (en) * 2020-10-22 2022-04-28 Anhui Agricultural University Automated walnut picking and collecting method based on multi-sensor fusion technology
CN116229408A (zh) * 2022-11-22 2023-06-06 重庆邮电大学 一种图像信息与激光雷达点云信息融合的目标识别方法
CN116246142A (zh) * 2023-04-07 2023-06-09 浙江大学 一种面向多传感器数据融合需求的三维场景感知方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020248614A1 (zh) * 2019-06-10 2020-12-17 商汤集团有限公司 地图生成方法、驾驶控制方法、装置、电子设备及***
CN110371108A (zh) * 2019-06-14 2019-10-25 浙江零跑科技有限公司 车载超声波雷达与车载环视***融合方法
CN110244322A (zh) * 2019-06-28 2019-09-17 东南大学 基于多源传感器的路面施工机器人环境感知***及方法
CN110415342A (zh) * 2019-08-02 2019-11-05 深圳市唯特视科技有限公司 一种基于多融合传感器的三维点云重建装置与方法
US20220124979A1 (en) * 2020-10-22 2022-04-28 Anhui Agricultural University Automated walnut picking and collecting method based on multi-sensor fusion technology
CN116229408A (zh) * 2022-11-22 2023-06-06 重庆邮电大学 一种图像信息与激光雷达点云信息融合的目标识别方法
CN116246142A (zh) * 2023-04-07 2023-06-09 浙江大学 一种面向多传感器数据融合需求的三维场景感知方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHENGPU DUAN ET AL: "Improving the Performance of 3D Shape Measurement of Moving Objects by Fringe Projection and Data Fusion", 《 IEEE ACCESS》, vol. 9, pages 34682, XP011840800, DOI: 10.1109/ACCESS.2021.3061415 *
马振强: "基于多传感器融合的无人车建图和定位研究", 《中国优秀硕士学位论文全文数据库》, no. 02, pages 1 - 107 *

Also Published As

Publication number Publication date
CN116821854B (zh) 2023-12-08

Similar Documents

Publication Publication Date Title
EP3770880B1 (en) Traffic signal display estimation system
CN111797734B (zh) 车辆点云数据处理方法、装置、设备和存储介质
CN112180373B (zh) 一种多传感器融合的智能泊车***和方法
US11282164B2 (en) Depth-guided video inpainting for autonomous driving
CN104036279A (zh) 一种智能车行进控制方法及***
CN111595357B (zh) 可视化界面的显示方法、装置、电子设备和存储介质
CN111209956A (zh) 传感器数据融合方法、车辆的环境地图生成方法及***
US20220414917A1 (en) Method and apparatus for obtaining 3d information of vehicle
CN109583312A (zh) 车道线识别方法、装置、设备及存储介质
JP2021197009A (ja) リスク判定システム、リスク判定プログラム
CN116137655A (zh) 用于环绕视图增强的智能车辆***和控制逻辑
CN114141055B (zh) 一种智能泊车***的泊车位检测装置和检测方法
CN113895429A (zh) 一种自动泊车方法、***、终端及存储介质
CN116821854B (zh) 一种目标投影的匹配融合方法及相关装置
CN113420714A (zh) 一种采集图像上报方法、装置及电子设备
CN116682091A (zh) 用于自动驾驶车辆的障碍物感知方法、装置
CN116295490A (zh) 车辆定位方法、装置及电子设备、存储介质
CN115661014A (zh) 一种点云数据处理方法、装置和电子设备、存储介质
CN115359332A (zh) 基于车路协同的数据融合方法、装置、电子设备及***
US20240144491A1 (en) Object tracking device
CN114842458B (zh) 障碍物检测方法、装置、车辆和存储介质
WO2024142607A1 (ja) 車載処理装置及び物体認識方法
JP7425223B2 (ja) 物体追跡装置及び物体追跡方法
Schneider et al. An evaluation framework for stereo-based driver assistance
US20230252638A1 (en) Systems and methods for panoptic segmentation of images for autonomous driving

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant