CN114386481A - 一种车辆感知信息融合方法、装置、设备及存储介质 - Google Patents
一种车辆感知信息融合方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN114386481A CN114386481A CN202111524574.5A CN202111524574A CN114386481A CN 114386481 A CN114386481 A CN 114386481A CN 202111524574 A CN202111524574 A CN 202111524574A CN 114386481 A CN114386481 A CN 114386481A
- Authority
- CN
- China
- Prior art keywords
- information
- obstacle detection
- auxiliary
- main
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008447 perception Effects 0.000 title claims abstract description 171
- 238000007500 overflow downdraw method Methods 0.000 title claims description 21
- 238000001514 detection method Methods 0.000 claims abstract description 473
- 230000004927 fusion Effects 0.000 claims abstract description 80
- 238000000034 method Methods 0.000 claims abstract description 41
- 230000009466 transformation Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 7
- 230000004888 barrier function Effects 0.000 abstract description 6
- 230000000875 corresponding effect Effects 0.000 description 21
- 230000008569 process Effects 0.000 description 15
- 102100025444 Gamma-butyrobetaine dioxygenase Human genes 0.000 description 13
- 101000934612 Homo sapiens Gamma-butyrobetaine dioxygenase Proteins 0.000 description 13
- 101000764644 Homo sapiens Trimethyllysine dioxygenase, mitochondrial Proteins 0.000 description 6
- 102100026223 Trimethyllysine dioxygenase, mitochondrial Human genes 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 230000009191 jumping Effects 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明实施例公开了一种车辆感知信息融合方法、装置、设备和存储介质，方法包括：获取当前车辆的主感知信息和辅助车辆的辅助感知信息，其中，辅助车辆为位置在当前车辆位置关联的感知区域内的车辆；根据主感知信息确定主障碍物检测对象信息和主障碍检测类别信息，根据辅助感知信息确定辅助障碍物检测对象信息和辅助障碍检测类别信息；将主障碍检测对象信息和辅助障碍检测对象信息融合得到目标障碍检测对象信息，将主障碍检测类别信息和辅助障碍检测类别信息融合得到目标障碍检测类别信息，基于目标障碍检测对象信息和目标障碍检测类别信息得到感知信息融合结果。通过考虑障碍物级别的感知信息进行感知信息融合，使得感知信息的融合可靠性更强。
Description
技术领域
本发明实施例涉及计算机技术领域，尤其涉及一种车辆感知信息融合方法、装置、设备及存储介质。
背景技术
随着新一代通信技术的发展，自动驾驶汽车逐渐向网联化的方向发展，协同感知成为了一个新兴的技术领域。在通信技术的支撑下，车辆间可以交互感知信息，多视角感知数据在为车辆带来更多环境信息的同时，也为后续的决策和执行模块提供更多依据。
然而现有技术中至少存在以下技术问题：共享感知数据的协同过程中仍存在着很多挑战。通信上需要考虑车联网的带宽和延迟能否支持这些量级数据的传输，融合时融合端也需要对接收到的数据进行重建工作，数据量越大，重建过程的计算量就越大。因此，如何提供一个合理有效的感知信息融合方法是一个亟待解决的技术问题。
发明内容
本发明实施例提供了一种车辆感知信息融合方法、装置、设备及存储介质，以实现合理有效的进行车辆感知信息的融合。
第一方面，本发明实施例提供了一种车辆感知信息融合方法，包括：
获取当前车辆的主感知信息和辅助车辆的辅助感知信息，其中，辅助车辆为位置在当前车辆位置关联的感知区域内的车辆；
根据主感知信息确定主障碍物检测对象信息和主障碍检测类别信息，根据辅助感知信息确定辅助障碍物检测对象信息和辅助障碍检测类别信息；
将主障碍检测对象信息和辅助障碍检测对象信息融合得到目标障碍检测对象信息，将主障碍检测类别信息和辅助障碍检测类别信息融合得到目标障碍检测类别信息，基于目标障碍检测对象信息和目标障碍检测类别信息得到感知信息融合结果。
第二方面，本发明实施例还提供了一种车辆感知信息融合装置，包括：
感知信息获取模块，用于获取当前车辆的主感知信息和辅助车辆的辅助感知信息，其中，所述辅助车辆为位置在当前车辆位置关联的感知区域内的车辆；
障碍物信息获取模块，用于根据主感知信息确定主障碍物检测对象信息和主障碍检测类别信息，根据辅助感知信息确定辅助障碍物检测对象信息和辅助障碍检测类别信息；
感知信息融合模块，用于将主障碍检测对象信息和辅助障碍检测对象信息融合得到目标障碍检测对象信息，将主障碍检测类别信息和辅助障碍检测类别信息融合得到目标障碍检测类别信息，基于目标障碍检测对象信息和目标障碍检测类别信息得到感知信息融合结果。
第三方面，本发明实施例还提供了一种计算机设备，设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如本发明任意实施例所提供的车辆感知信息融合方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所提供的车辆感知信息融合方法。
本发明实施例提供的车辆感知信息融合方法通过获取当前车辆的主感知信息和辅助车辆的辅助感知信息；根据主感知信息确定主障碍物检测对象信息和主障碍检测类别信息，根据辅助感知信息确定辅助障碍物检测对象信息和辅助障碍检测类别信息；将主障碍检测对象信息和辅助障碍检测对象信息融合得到目标障碍检测对象信息，将主障碍检测类别信息和辅助障碍检测类别信息融合得到目标障碍检测类别信息，基于目标障碍检测对象信息和目标障碍检测类别信息得到感知信息融合结果。通过着重于考虑障碍物级别的感知信息进行感知信息融合，使得感知信息的融合更加全面，可靠性更强。
附图说明
图1是本发明实施例一所提供的一种车辆感知信息融合方法的流程示意图；
图2是本发明实施例二所提供的一种多车协同感知流程示意图；
图3是本发明实施例三所提供的一种车辆感知信息融合装置的结构示意图；
图4是本发明实施例四所提供的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1是本发明实施例一所提供的一种车辆感知信息融合方法的流程示意图。本实施例可适用于多车的感知信息融合时的情形。该方法可以由车辆感知信息融合装置执行，该车辆感知信息融合装置可以采用软件和/或硬件的方式实现，例如，该车辆感知信息融合装置可配置于计算机设备，如车辆中。如图1所示，该方法包括：
S110、获取当前车辆的主感知信息和辅助车辆的辅助感知信息。
在本实施例中，车辆的感知信息可以通过对车辆传感器采集的点云数据进行目标检测获取。为了减少数据处理计算量，车辆在采集点云数据进行目标检测后得到感知数据，再将感知数据通过车联网传输。示例性的，当前车辆采集当前点云数据后，对点云数据进行目标检测，得到当前车辆的主感知信息。辅助车辆采集辅助点云数据后，对辅助点云数据进行目标检测，得到辅助车辆的辅助感知信息。辅助车辆将辅助感知信息通过车联网传输至当前车辆，使得当前车辆获得自身的主感知信息和辅助车辆的辅助感知信息。其中，辅助车辆为位置在当前车辆位置关联的感知区域内的车辆，辅助车辆的数量可以为一个，也可以为多个。
其中，当前车辆位置关联的感知区域可以为以当前车辆位置为中心，设定范围内的区域。设定范围可以预先根据实际需求设置，当前车辆位置关联的感知区域也可以为与当前车辆位置相邻的位置组成的区域。在此不做限定。
可以理解的是，当前车辆为执行车辆感知信息融合方法的车辆。当前车辆获取自身的主感知信息和辅助车辆通过车辆网传输的辅助感知信息，将主感知信息和辅助感知信息进行融合，以实现障碍物的精准识别。
不同车辆进行点云数据采集时采用的坐标系不同，因此，不同车辆的感知信息坐标系不同。也就是说，当前车辆的主感知信息和辅助车辆的辅助感知信息不在同一坐标系下。为保证感知信息融合的准确性，需要将不同坐标系下的感知信息进行坐标变化后辅助至同一坐标系下进行感知信息的融合。可选的，可以设定任一车辆的感知信息的坐标系作为基准坐标系，将其他车辆的感知信息进行坐标辅助，辅助至基准坐标系下进行感知信息的融合。
一个实施例中，获取辅助车辆的辅助感知信息之前，包括：获取辅助车辆的车辆感知信息，将辅助车辆的车辆感知信息进行坐标变换，得到位于当前车辆坐标系下的辅助感知信息。考虑到当前车辆将感知信息融合后用于当前车辆的车辆导航等功能，可以将当前车辆的感知信息的坐标系作为基准坐标系，将辅助车辆的车辆感知信息进行坐标辅助，辅助至基准坐标系下。需要说明的是，需要将每个辅助车辆的车辆感知信息进行坐标辅助，使得所有车辆的感知信息均在同一坐标系下。其中，车辆感知信息的坐标辅助可参考现有技术中的坐标辅助方法，在此不做限定。
可选的，将辅助车辆的车辆感知信息进行坐标变换，得到位于当前车辆坐标系下的辅助感知信息，包括：确定辅助车辆的车辆感知信息中的障碍检测框，将障碍检测框的坐标进行坐标辅助，得到位于当前车辆坐标系下的辅助感知信息。具体的，车辆感知信息的坐标辅助具体为车辆感知信息内障碍检测框的坐标辅助。针对每个辅助车辆，确定该辅助车辆的车辆感知信息内的所有障碍检测框，针对每个障碍检测框，将其进行坐标辅助，得到该障碍检测框在基准坐标系下的辅助检测框信息，并将所有障碍检测框在基准坐标系下的辅助检测框信息作为辅助感知信息。
坐标辅助过程是指将参与协同的辅助车辆所检测到的障碍检测框从各车的像素
坐标系下映射到当前车辆的像素坐标系下。由于车辆之间的坐标变换是三维变换，除了需
要图像中的二维位置信息，还需要知道深度信息，因此需要采用包含深度信息的RGB-D图
像。示例性的，假设在辅助车辆像素坐标系下，一个待映射的坐标为 
，映射到当前车
辆像素坐标系下后，坐标变换为
。
首先，需要基于
对应的深度信息
将其从二维像素坐标系下辅助到三维相机
坐标系下，对应坐标变为
，辅助过程为：
其中，s是图像对应的深度图的缩放因子，
,
是辅助车辆相机在x，y轴上的焦
距，
,
是辅助车辆相机的光圈中心，上述参数都属于辅助车辆相机的内参。
然后，需要先将
从相机坐标系下辅助到辅助车辆的惯性测量单元（IMU）坐
标系下，再基于IMU提供的位置信息将其辅助到世界坐标系下，关系式为：
其中，[
, 
, 
]是该坐标辅助到世界坐标系下后对应的三维坐标，
代
表辅助车辆的相机坐标系到IMU坐标系的坐标变换矩阵，
代表辅助车辆的IMU坐
标系到世界坐标系的变换矩阵。
变换到世界坐标系下后，基于当前车辆的参数继续上述过程的逆变换，将[
, 
, 
]辅助到当前车辆的像素坐标系下，得到
，变换过程为
其中，
，
是当前车辆相应的坐标辅助矩阵，f x 2 ，f y 2 ，c x 2 ，c y 2 是当
前车辆相机的内部参数。
S120、根据主感知信息确定主障碍物检测对象信息和主障碍检测类别信息，根据辅助感知信息确定辅助障碍物检测对象信息和辅助障碍检测类别信息。
在本实施例中，将感知信息的融合具体划分为障碍物检测对象信息的融合，以及障碍物检测类别信息的融合。因此，需要分别根据主感知信息确定主障碍物检测对象信息和主障碍物检测类别信息，根据辅助感知信息确定辅助障碍物检测对象信息和辅助障碍检测类别信息。可选的，可以直接从主感知信息中提取出主障碍物检测对象信息和主障碍物检测类别信息，从辅助感知信息中提取出辅助障碍物检测对象信息和辅助障碍检测类别信息。
其中，障碍物检测对象信息可以包括障碍物检测对象的坐标、形状等信息，障碍物检测类别信息可以包括障碍物检测对象的类别、概率等信息。
S130、将主障碍检测对象信息和辅助障碍检测对象信息融合得到目标障碍检测对象信息，将主障碍检测类别信息和辅助障碍检测类别信息融合得到目标障碍检测类别信息，基于目标障碍检测对象信息和目标障碍检测类别信息得到感知信息融合结果。
在本实施例中，分别进行障碍物检测信息的融合以及障碍物检测类别的融合。需要说明的是，障碍物检测信息和障碍物检测类别是独立进行的，但障碍物检测信息和障碍物检测类别是相互关联的。示例性的，针对检测出的一个障碍物，其包括障碍物检测信息（坐标等）和障碍物检测类别（类别、概率等）。针对该障碍物，分别进行障碍物检测信息的融合和障碍物检测类别的融合，然后基于障碍物检测信息的融合结果和障碍物检测类别的融合结果确定该障碍物的感知信息融合结果。
由上述可知，在进行障碍物检测信息的融合和障碍物检测类别的融合时，需要将同一障碍物的障碍检测对象信息进行融合，将同一障碍物的障碍物检测类别进行融合。因此，在进行信息融合之前，需要将属于同一障碍物的主障碍检测信息和辅助障碍检测信息进行关联。
可以理解的是，由于主感知信息和辅助感知信息的感知范围可能不同。因此，可能存在不与主障碍检测信息关联的辅助障碍检测信息，和/或，存在不与辅助障碍检测信息关联的主障碍检测信息。若存在不与主障碍检测信息关联的辅助障碍检测信息，和/或，存在不与辅助障碍检测信息关联的主障碍检测信息，可以直接将该辅助障碍检测信息作为目标障碍检测对象信息中的部分信息，和/或，将该主障碍检测信息作为目标障碍检测对象信息中的部分信息。
在本发明的一种实施方式中，将主障碍检测对象信息和辅助障碍检测对象信息融合得到目标障碍检测对象信息，包括：获取主障碍检测对象信息中的主检测框信息；将主检测框信息与辅助检测框信息进行匹配，确定与主检测框信息相匹配的辅助检测框信息，并将相匹配的主检测框信息与辅助检测框信息进行关联；针对每组相关联的主检测框信息和辅助检测框信息，将主检测框信息的主检测框坐标与辅助检测框信息的辅助检测框坐标进行融合，得到目标检测框坐标，将目标检测框坐标作为目标障碍检测对象信息。主障碍检测对象信息和辅助障碍检测对象信息已经位于同一坐标系下，因此可以根据主检测框信息和辅助检测框信息的重合度判断主检测框信息和辅助检测框信息是否为同一障碍物的检测框信息。当主检测框信息和辅助检测框信息是否为同一障碍物的检测框信息时，将主检测框信息和辅助检测框信息进行关联，得到至少一组相关联的主检测框信息和辅助检测框信息。针对每组相关联的主检测框信息和辅助检测框信息，将主检测框信息的主检测框坐标与辅助检测框信息的辅助检测框坐标进行融合，得到目标检测框坐标，将目标检测框坐标作为目标障碍检测对象信息。
其中，主检测框坐标和辅助检测框坐标的融合可以为将对应特征点坐标求均值、加权求和等方式融合，在此不做限定。
一个实施例中，为提高融合信息的准确性，可以根据主检测框坐标和辅助检测框坐标的置信度将主检测框坐标与辅助检测框坐标进行融合。也就是说，将主检测框信息的主检测框坐标与辅助检测框信息的辅助检测框坐标进行融合，得到目标检测框坐标，包括：获取主检测框信息对应车辆的主置信度，以及辅助检测框信息对应车辆的辅助置信度；基于主置信度和辅助置信度将主检测框坐标和辅助检测框坐标进行融合，得到目标检测框坐标。其中，主检测框坐标的置信度可以为当前车辆的置信度，辅助检测框作为的置信度可以为辅助车辆的置信度。车辆的置信度可以根据实际经验设置。
示例性的，假设待融合的来自两辆车的检测框位置信息分别表示为: bbox 1，bbox 2，均是四元向量，两车的置信度分别为P(V 1 )，P(V 2 )。基于两车的置信度对检测框坐标
进行加权平均，对置信度高的位置信息给予更多的权重，对于置信度低的位置信息给予更
小的权重，两车的权重分别为：
,
基于上式，融合后的检测框的位置信
可以表示为
.
在本发明的一种实施方式中，将主障碍检测类别信息和辅助障碍检测类别信息融合得到目标障碍检测类别信息，包括：获取主障碍检测类别信息中的主障碍检测概率，以及辅助障碍检测类别信息中的辅助障碍检测概率；将主障碍检测概率与辅助障碍检测概率融合，得到目标障碍检测类别概率，基于目标障碍检测类别概率确定目标障碍检测类别信息。可以理解的是，障碍类别信息的融合依赖于上述过程中确定的相关联的主检测框信息和辅助检测框信息。针对每组相关联的主检测框信息和辅助检测框信息，将主检测框信息的主障碍检测概率与辅助检测框信息的辅助障碍检测概率进行融合，得到目标障碍检测类别概率，将目标障碍检测类别概率作为目标障碍检测类别信息。可选的，目标障碍检测类别信息中除目标障碍检测类别概率之外，还包括目标障碍检测类别标识。其中，目标障碍检测类别标识可以为障碍物类别的唯一标识，可以通过文字、数字、字符串等表示。示例性的，目标障碍检测类别标识可以为车辆、行人、非机动车辆等。
需要说明的是，检测概率的融合是针对同一障碍检测类别标识的概率的融合。假设主障碍检测对象信息中包括主障碍检测类别1和主障碍检测类别2，主障碍检测类别1对应的概率为主障碍检测类别概率1A，主障碍检测类别2对应的概率为主障碍检测类别概率2A；辅助障碍检测对象信息中包括辅助障碍检测类别1和辅助障碍检测类别2，辅助障碍检测类别1对应的概率为辅助障碍检测类别概率1B，辅助障碍检测类别2对应的概率为辅助障碍检测类别概率2B；则分别针对主障碍检测类别1和主障碍检测类别2进行概率融合。具体的，针对主障碍检测类别1，将主障碍检测类别概率1A和主障碍检测类别概率1B融合，得到主障碍检测类别概率1C；针对主障碍检测类别2，将主障碍检测类别概率2A和主障碍检测类别概率2B融合，得到主障碍检测类别概率2C；则可以直接将主障碍检测类别1和主障碍检测类别概率1C，以及主障碍检测类别2和主障碍检测类别概率2C共同作为目标障碍检测类别信息输出。也可以比较主障碍检测类别概率1C和主障碍检测类别概率2C的大小，将大的概率以及其对应的类别作为目标障碍检测类别信息输出。如当主障碍检测类别概率1C大于主障碍检测类别概率2C时，将主障碍检测类别1和主障碍检测类别概率1C作为目标障碍检测类别信息输出。
一个实施例中，将主障碍检测概率与辅助障碍检测概率融合，得到目标障碍检测类别概率，包括：基于对数似然比将主障碍检测概率与辅助障碍检测概率融合，得到目标障碍检测类别概率。
以车辆类别为例，所对应的障碍检测类别概率可以表示为P(car|Vi)，其中Vi表示该类别信息，由车辆i的感知算法所提供。采用条件概率是因为该分类概 率是基于车辆i提供的信息可信的假设下得到的，即如果车辆i的感知信息正确， 那么该目标属于车辆类别的概率是P(car|Vi)。基于对数似然比对两车的分类概 率进行融合，因为对数似然比相比于概率有更广泛的取值范围，可以避免不必 要的截断误差，车辆i的分类概率对应的对数似然比可以表示为
可以看出，如果P(car/Vi)＞0.5，则对数似然比为正数，在之后的融合中起 到增强作用，如果P(car/Vi)＜0.5，则对数似然比为负数，在之后的融合中起到 衰减的作用。基于两车的置信度P(V1)，P(V2)，将融合前后的对数似然比的关系 表示为
其中，
表 示融合后的分类概率对应的对数似然比，P(V1+V2)表示两车融合后的置信度。 该式的含义是是两个分类概率对数似然比分别乘以两车各自的置信度之和等于 融合后的对数似然比乘以融合后结果的置信度。由于两车提供的语义信息均是 基于各自的传感器数据和感知算法得到的，没有相互关联，因此可以假设来自 V1和V2的语义信息相互独立，所以有P(V1+V2)＝P(V1)*P(V2).将式 P(V1+V2)＝P(V1)*P(V2)代入式
中，可以得到融合后的对数似然比，表示为：
最后，将对视似然比转换为概率，作为融合后的目标障碍检测类别概率 P(car|V1+V2)，表示为：
得到融合后的目标障碍检测类别概率后，结合障碍检测类别可以得到目标障碍检测类别信息。
确定目标障碍检测对象信息和目标障碍检测类别信息后，结合目标障碍检测对象信息和其关联的目标障碍检测类别信息即可得到感知信息融合结果。
本发明实施例提供的车辆感知信息融合方法通过获取当前车辆的主感知信息和辅助车辆的辅助感知信息；根据主感知信息确定主障碍物检测对象信息和主障碍检测类别信息，根据辅助感知信息确定辅助障碍物检测对象信息和辅助障碍检测类别信息；将主障碍检测对象信息和辅助障碍检测对象信息融合得到目标障碍检测对象信息，将主障碍检测类别信息和辅助障碍检测类别信息融合得到目标障碍检测类别信息，基于目标障碍检测对象信息和目标障碍检测类别信息得到感知信息融合结果。通过着重于考虑障碍物级别的感知信息进行感知信息融合，使得感知信息的融合更加全面，可靠性更强。
实施例二
图2是本发明实施例二所提供的一种多车协同感知流程示意图。本实施例在上述方案的基础上，提供了一种优选实施例。如图2所示，本实施例提供的多车协同感知进行多车协同语义融合，由语义融合模块实现。整体来说，语义融合模块的输入是各车提供的障碍物级别的语义信息（即障碍物检测对象信息和障碍检测类别信息）以及置信度评估算法得到的语义信息置信度。其中语义信息是基于目标检测网络从原始图像数据中提取的，包含障碍物检测对象信息（如障碍物的位置信息）和障碍检测类别信息。一般来说，障碍物的位置信息在图像中通过一个矩形边界框( Bounding Box, bbox)来体现，由矩形框左上角和右下角的两个坐标值决定,表示为[x min ，y min ，x max ，y max ]，障碍检测类别信息主要包含检测网络输出的分类概率，表示该障碍物属于这一类别的概率。首先需要将多视角检测到的检测框位置信息映射到主车的像素坐标系下，然后在主车坐标系下对各车的语义信息进行匹配和融合，下面将以两车为例对融合过程中的几个主要步骤进行说明。假设参与融合的两辆车分别是车1、车2，其中车2是当前车辆，车1是辅助车辆。
（1.1）坐标转换
坐标转换过程是指将参与协同的各车所检测到的检测框从各车的像素坐标系下映射到主车的像素坐标系下，由于车辆之间的坐标变换是三维变换，除了需要图像中的二维位置信息，还需要知道对应的深度信息，因此采用的图像是RGB-D图像，包含深度信息。基于RGB-D图像中的信息将辅助车辆-车1的检测框坐标转换到车2的坐标系下。
（1.2）数据关联
多车的检测框映射到主车坐标系下之后，需要将属于同一障碍物的检测框关联起来，以便为后续的融合过程做准备。可以基于检测框之间的交并比(IOU)对检测框进行匹配，将交并比(IOU)大于阈值的检测框相互关联起来，车1、车2的检测框匹配过程如下：
1)两车对应的检测框矩阵分别为BBOX1={bbox 1 1 ...bbox m 1}和 BBOX2={bbox 1 2 ...bbox n 2}，匹配成功的检测框将成对放入BBOX，BBOX初始化为空；
2)计算BBOX1和BBOX2中两两元素之间的IOU，得到IOU矩阵IOU；
3)选择IOU中最大值iou max =IOU[i][j]下标所对应两个检测框bbox i 1，bbox j 2进行匹配；
a)如果iou max >threshold，则匹配成功，将{bbox i 1，bbox j 2}加入BBOX中，然后将bbox i 1，bbox j 2分别从BBOX1，BBOX2中剔除；
b)如果iou max <threshold，说明BBOX1和BBOX2中已无匹配对，跳转到步骤5；
4)判断BBOX1和BBOX2是否为空；
a)如果都不为空，重复步骤2；
b)否则，跳转到步骤5；
5)返回BBOX1、BBOX2和BBOX。
BBOX中为相关联的检测框，BBOX1、BBOX2为不关联的检测框。对于相关联的检测框进行融合后输出，将不关联的检测框直接输出。
（1.3）数据融合
数据关联之后，车1中的一部分检测框未匹配成功，将直接展示其语义信息，用于扩展主车视野，不进行其它处理；另一部分检测框和车2的检测框匹配到相同的障碍物，对于这些相互关联的检测框，将基于两车所提供的语义信息置信度进行融合。语义信息融合包含检测框的位置融合（即障碍检测对象信息的融合）和分类概率融合（即障碍检测类别信息的融合）。
其中，位置融合和分类概率融合均基于车辆置信度实现，具体的融合方式可参展上述实施例在此不再赘述。
需要说明的是，本发明实施例基于真实场景下采集的图像数据对多车语义融合算法进了行验证。在原始数据集中，选取了几个实际驾驶过程中经常遇到的危险场景，分别是强光、左转、斜坡和遮挡场景，在上述场景中，本实施例提供的感知信息融合方法的检测效果均高于现有技术中的感知信息融合方法的检测效果。
本发明实施例提供了一种语义层面的多车协同感知方案，考虑到深度学习技术在感知过程中应用时存在不稳定、容易受到攻击等问题，分别对语义信息的置信度和多视角语义信息融合算法进行设计。相比于已有的语义级协同感知研究本发明实施例提供的融合方法考虑到了语义信息的不确定性，基于置信度对语义融合算法进行设计，并且重点关注了数据量小且对驾驶过程十分关键的障碍物级语义信息，使得感知信息融合更加全面可靠。
实施例三
图3是本发明实施例三所提供的一种车辆感知信息融合装置的结构示意图。该车辆感知信息融合装置可以采用软件和/或硬件的方式实现，例如该车辆感知信息融合装置可以配置于计算机设备中。如图3所示，该装置包括感知信息获取模块310、障碍物信息获取模块320和感知信息融合模块330，其中：
感知信息获取模块310，用于获取当前车辆的主感知信息和辅助车辆的辅助感知信息，其中，辅助车辆为位置在当前车辆位置关联的感知区域内的车辆；
障碍物信息获取模块320，用于根据主感知信息确定主障碍物检测对象信息和主障碍检测类别信息，根据辅助感知信息确定辅助障碍物检测对象信息和辅助障碍检测类别信息；
感知信息融合模块330，用于将主障碍检测对象信息和辅助障碍检测对象信息融合得到目标障碍检测对象信息，将主障碍检测类别信息和辅助障碍检测类别信息融合得到目标障碍检测类别信息，基于目标障碍检测对象信息和目标障碍检测类别信息得到感知信息融合结果。
本发明实施例提供的车辆感知信息融合方法通过获取当前车辆的主感知信息和辅助车辆的辅助感知信息；根据主感知信息确定主障碍物检测对象信息和主障碍检测类别信息，根据辅助感知信息确定辅助障碍物检测对象信息和辅助障碍检测类别信息；将主障碍检测对象信息和辅助障碍检测对象信息融合得到目标障碍检测对象信息，将主障碍检测类别信息和辅助障碍检测类别信息融合得到目标障碍检测类别信息，基于目标障碍检测对象信息和目标障碍检测类别信息得到感知信息融合结果。通过着重于考虑障碍物级别的感知信息进行感知信息融合，使得感知信息的融合更加全面，可靠性更强。
可选的，在上述方案的基础上，感知信息融合模块330具体用于：
获取主障碍检测对象信息中的主检测框信息；
将主检测框信息与辅助检测框信息进行匹配，确定与主检测框信息相匹配的辅助检测框信息，并将相匹配的主检测框信息与辅助检测框信息进行关联；
针对每组相关联的主检测框信息和辅助检测框信息，将主检测框信息的主检测框坐标与辅助检测框信息的辅助检测框坐标进行融合，得到目标检测框坐标，将目标检测框坐标作为目标障碍检测对象信息。
可选的，在上述方案的基础上，感知信息融合模块330具体用于：
获取主检测框信息对应车辆的主置信度，以及辅助检测框信息对应车辆的辅助置信度；
基于主置信度和辅助置信度将主检测框坐标和辅助检测框坐标进行融合，得到目标检测框坐标。
可选的，在上述方案的基础上，感知信息融合模块330具体用于：
获取主障碍检测类别信息中的主障碍检测概率，以及辅助障碍检测类别信息中的辅助障碍检测概率；
将主障碍检测概率与辅助障碍检测概率融合，得到目标障碍检测类别概率，基于目标障碍检测类别概率确定目标障碍检测类别信息。
可选的，在上述方案的基础上，感知信息融合模块330具体用于：
基于对数似然比将主障碍检测概率与辅助障碍检测概率融合，得到目标障碍检测类别概率。
可选的，在上述方案的基础上，感知信息获取模块310具体用于：
获取辅助车辆的车辆感知信息，将辅助车辆的车辆感知信息进行坐标变换，得到与主感知信息位于同一坐标系下的辅助感知信息。
可选的，在上述方案的基础上，感知信息获取模块310具体用于：
确定辅助车辆的车辆感知信息中的障碍检测框，将障碍检测框的坐标进行坐标辅助，得到位于当前车辆坐标系下的辅助感知信息。
本发明实施例所提供的车辆感知信息融合装置可执行本发明任意实施例所提供的车辆感知信息融合方法，具备执行方法相应的功能模块和有益效果。
实施例四
图4是本发明实施例四所提供的一种计算机设备的结构示意图。图4示出了适于用来实现本发明实施方式的示例性计算机设备412的框图。图4显示的计算机设备412仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图4所示，计算机设备412以通用计算设备的形式表现。计算机设备412的组件可以包括但不限于：一个或者多个处理器416，***存储器428，连接不同***组件（包括***存储器428和处理器416）的总线418。
总线418表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，***总线，图形加速端口，处理器416或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构（ISA）总线，微通道体系结构（MAC）总线，增强型ISA总线、视频电子标准协会（VESA）局域总线以及***组件互连（PCI）总线。
计算机设备412典型地包括多种计算机***可读介质。这些介质可以是任何能够被计算机设备412访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
***存储器428可以包括易失性存储器形式的计算机***可读介质，例如随机存取存储器（RAM）430和/或高速缓存存储器432。计算机设备412可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机***存储介质。仅作为举例，存储装置434可以用于读写不可移动的、非易失性磁介质（图4未显示，通常称为“硬盘驱动器”）。尽管图4中未示出，可以提供用于对可移动非易失性磁盘（例如“软盘”）读写的磁盘驱动器，以及对可移动非易失性光盘（例如CD-ROM，DVD-ROM或者其它光介质）读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线418相连。存储器428可以包括至少一个程序产品，该程序产品具有一组（例如至少一个）程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组（至少一个）程序模块442的程序/实用工具440，可以存储在例如存储器428中，这样的程序模块442包括但不限于操作***、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块442通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备412也可以与一个或多个外部设备414（例如键盘、指向设备、显示器424等）通信，还可与一个或者多个使得用户能与该计算机设备412交互的设备通信，和/或与使得该计算机设备412能与一个或多个其它计算设备进行通信的任何设备（例如网卡，调制解调器等等）通信。这种通信可以通过输入/输出（I/O）接口422进行。并且，计算机设备412还可以通过网络适配器420与一个或者多个网络（例如局域网（LAN），广域网（WAN）和/或公共网络，例如因特网）通信。如图所示，网络适配器420通过总线418与计算机设备412的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备412使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储***等。
处理器416通过运行存储在***存储器428中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的车辆感知信息融合方法，该方法包括：
获取当前车辆的主感知信息和辅助车辆的辅助感知信息；
根据主感知信息确定主障碍物检测对象信息和主障碍检测类别信息，根据辅助感知信息确定辅助障碍物检测对象信息和辅助障碍检测类别信息；
将主障碍检测对象信息和辅助障碍检测对象信息融合得到目标障碍检测对象信息，将主障碍检测类别信息和辅助障碍检测类别信息融合得到目标障碍检测类别信息，基于目标障碍检测对象信息和目标障碍检测类别信息得到感知信息融合结果。
当然，本领域技术人员可以理解，处理器还可以实现本发明任意实施例所提供的车辆感知信息融合方法的技术方案。
实施例五
本发明实施例五还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明实施例所提供的车辆感知信息融合方法，该方法包括：
获取当前车辆的主感知信息和辅助车辆的辅助感知信息；
根据主感知信息确定主障碍物检测对象信息和主障碍检测类别信息，根据辅助感知信息确定辅助障碍物检测对象信息和辅助障碍检测类别信息；
将主障碍检测对象信息和辅助障碍检测对象信息融合得到目标障碍检测对象信息，将主障碍检测类别信息和辅助障碍检测类别信息融合得到目标障碍检测类别信息，基于目标障碍检测对象信息和目标障碍检测类别信息得到感知信息融合结果。
当然，本发明实施例所提供的一种计算机可读存储介质，其上存储的计算机程序不限于如上的方法操作，还可以执行本发明任意实施例所提供的车辆感知信息融合方法的相关操作。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器（RAM）、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (10)
1.一种车辆感知信息融合方法，其特征在于，包括：
获取当前车辆的主感知信息和辅助车辆的辅助感知信息，其中，所述辅助车辆为位置在当前车辆位置关联的感知区域内的车辆；
根据所述主感知信息确定主障碍物检测对象信息和主障碍检测类别信息，根据所述辅助感知信息确定辅助障碍物检测对象信息和辅助障碍检测类别信息；
将所述主障碍检测对象信息和所述辅助障碍检测对象信息融合得到目标障碍检测对象信息，将所述主障碍检测类别信息和所述辅助障碍检测类别信息融合得到目标障碍检测类别信息，基于所述目标障碍检测对象信息和所述目标障碍检测类别信息得到感知信息融合结果。
2.根据权利要求1所述的方法，其特征在于，所述将所述主障碍检测对象信息和所述辅助障碍检测对象信息融合得到目标障碍检测对象信息，包括：
获取所述主障碍检测对象信息中的主检测框信息；
确定所述主检测框信息中的主检测框区域和所述辅助检测框信息中的辅助检测框区域；
根据所述主检测框区域与所述辅助检测框区域的交并比将所述主检测框信息与所述辅助检测框信息进行匹配，确定与所述主检测框信息相匹配的辅助检测框信息，并将相匹配的主检测框信息与辅助检测框信息进行关联；
针对每组相关联的主检测框信息和辅助检测框信息，将所述主检测框信息的主检测框坐标与所述辅助检测框信息的辅助检测框坐标进行融合，得到目标检测框坐标，将所述目标检测框坐标作为所述目标障碍检测对象信息。
3.根据权利要求2所述的方法，其特征在于，所述将所述主检测框信息的主检测框坐标与所述辅助检测框信息的辅助检测框坐标进行融合，得到目标检测框坐标，包括：
获取所述主检测框信息对应车辆的主置信度，以及所述辅助检测框信息对应车辆的辅助置信度；
基于所述主置信度和所述辅助置信度将所述主检测框坐标和所述辅助检测框坐标进行融合，得到所述目标检测框坐标。
4.根据权利要求2所述的方法，其特征在于，所述将所述主障碍检测类别信息和所述辅助障碍检测类别信息融合得到目标障碍检测类别信息，包括：
获取所述主障碍检测类别信息中的主障碍检测概率，以及所述辅助障碍检测类别信息中的辅助障碍检测概率；
将所述主障碍检测概率与所述辅助障碍检测概率融合，得到目标障碍检测类别概率，基于所述目标障碍检测类别概率确定所述目标障碍检测类别信息。
5.根据权利要求1所述的方法，其特征在于，所述将所述主障碍检测概率与所述辅助障碍检测概率融合，得到目标障碍检测类别概率，包括：
基于对数似然比将所述主障碍检测概率与所述辅助障碍检测概率融合，得到目标障碍检测类别概率。
6.根据权利要求1所述的方法，其特征在于，获取辅助车辆的辅助感知信息，包括：
获取辅助车辆的车辆感知信息，将所述辅助车辆的车辆感知信息进行坐标变换，得到与所述主感知信息位于同一坐标系下的辅助感知信息。
7.根据权利要求6所述的方法，其特征在于，所述将所述辅助车辆的车辆感知信息进行坐标变换，得到与所述主感知信息位于同一坐标系下的辅助感知信息，包括：
确定所述辅助车辆的车辆感知信息中的障碍检测框，将所述障碍检测框的坐标进行坐标变换，得到位于当前车辆坐标系下的辅助感知信息。
8.一种车辆感知信息融合装置，其特征在于，包括：
感知信息获取模块，用于获取当前车辆的主感知信息和辅助车辆的辅助感知信息，其中，所述辅助车辆为位置在当前车辆位置关联的感知区域内的车辆；
障碍物信息获取模块，用于根据所述主感知信息确定主障碍物检测对象信息和主障碍检测类别信息，根据所述辅助感知信息确定辅助障碍物检测对象信息和辅助障碍检测类别信息；
感知信息融合模块，用于将所述主障碍检测对象信息和所述辅助障碍检测对象信息融合得到目标障碍检测对象信息，将所述主障碍检测类别信息和所述辅助障碍检测类别信息融合得到目标障碍检测类别信息，基于所述目标障碍检测对象信息和所述目标障碍检测类别信息得到感知信息融合结果。
9.一种计算机设备，其特征在于，所述设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如权利要求1-7任一所述的车辆感知信息融合方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7任一所述的车辆感知信息融合方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111524574.5A CN114386481A (zh) | 2021-12-14 | 2021-12-14 | 一种车辆感知信息融合方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111524574.5A CN114386481A (zh) | 2021-12-14 | 2021-12-14 | 一种车辆感知信息融合方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114386481A true CN114386481A (zh) | 2022-04-22 |
Family
ID=81195176
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111524574.5A Pending CN114386481A (zh) | 2021-12-14 | 2021-12-14 | 一种车辆感知信息融合方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114386481A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115249355A (zh) * | 2022-09-22 | 2022-10-28 | 杭州枕石智能科技有限公司 | 目标关联方法、设备及计算机可读存储介质 |
| CN115438712A (zh) * | 2022-07-26 | 2022-12-06 | 中智行(苏州)科技有限公司 | 一种基于卷积神经网络与车路协同的感知融合方法、装置、设备及存储介质 |
-
2021
- 2021-12-14 CN CN202111524574.5A patent/CN114386481A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115438712A (zh) * | 2022-07-26 | 2022-12-06 | 中智行(苏州)科技有限公司 | 一种基于卷积神经网络与车路协同的感知融合方法、装置、设备及存储介质 |
| CN115249355A (zh) * | 2022-09-22 | 2022-10-28 | 杭州枕石智能科技有限公司 | 目标关联方法、设备及计算机可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3627180B1 (en) | Sensor calibration method and device, computer device, medium, and vehicle | |
| CN112861653B (zh) | 融合图像和点云信息的检测方法、***、设备及存储介质 | |
| CN110163930B (zh) | 车道线生成方法、装置、设备、***及可读存储介质 | |
| CN109188457B (zh) | 物体检测框的生成方法、装置、设备、存储介质及车辆 | |
| CN109271944B (zh) | 障碍物检测方法、装置、电子设备、车辆及存储介质 | |
| CN109214980B (zh) | 一种三维姿态估计方法、装置、设备和计算机存储介质 | |
| CN110095752B (zh) | 定位方法、装置、设备和介质 | |
| CN109582880B (zh) | 兴趣点信息处理方法、装置、终端及存储介质 | |
| CN109931945B (zh) | Ar导航方法、装置、设备和存储介质 | |
| JP7422105B2 (ja) | 路側計算装置に用いる障害物３次元位置の取得方法、装置、電子デバイス、コンピュータ可読記憶媒体、及びコンピュータプログラム | |
| CN114386481A (zh) | 一种车辆感知信息融合方法、装置、设备及存储介质 | |
| CN113793370B (zh) | 三维点云配准方法、装置、电子设备及可读介质 | |
| CN115817463B (zh) | 车辆避障方法、装置、电子设备和计算机可读介质 | |
| CN113297958A (zh) | 一种自动化标注方法、装置、电子设备和存储介质 | |
| CN115438711A (zh) | 一种基于车路协同的分布式多级感知融合方法、装置、设备及存储介质 | |
| CN112650300A (zh) | 一种无人机避障方法和装置 | |
| CN115578516A (zh) | 一种三维成像方法、装置、设备和存储介质 | |
| WO2021189420A1 (zh) | 一种数据处理方法及装置 | |
| CN112668596B (zh) | 三维物体识别方法及装置、识别模型训练方法及装置 | |
| CN114627438A (zh) | 目标检测模型生成方法、目标检测方法、设备及介质 | |
| CN116844129A (zh) | 多模态特征对齐融合的路侧目标检测方法、***及装置 | |
| CN115866229B (zh) | 多视角图像的视角转换方法、装置、设备和介质 | |
| CN116642490A (zh) | 基于混合地图的视觉定位导航方法、机器人及存储介质 | |
| CN114429631B (zh) | 三维对象检测方法、装置、设备以及存储介质 | |
| CN113222968B (zh) | 融合毫米波和图像的检测方法、***、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |