CN112614226A - 点云多视角特征融合方法及装置 - Google Patents

点云多视角特征融合方法及装置 Download PDF

Info

Publication number
CN112614226A
CN112614226A CN202011440246.2A CN202011440246A CN112614226A CN 112614226 A CN112614226 A CN 112614226A CN 202011440246 A CN202011440246 A CN 202011440246A CN 112614226 A CN112614226 A CN 112614226A
Authority
CN
China
Prior art keywords
grid
view grid
top view
point cloud
view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011440246.2A
Other languages
English (en)
Inventor
陈海波
李忠蓬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenlan Artificial Intelligence Shenzhen Co Ltd
Original Assignee
Shenlan Artificial Intelligence Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenlan Artificial Intelligence Shenzhen Co Ltd filed Critical Shenlan Artificial Intelligence Shenzhen Co Ltd
Priority to CN202011440246.2A priority Critical patent/CN112614226A/zh
Publication of CN112614226A publication Critical patent/CN112614226A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T17/205—Re-meshing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/35—Determination of transform parameters for the alignment of images, i.e. image registration using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G06T7/596—Depth or shape recovery from multiple images from stereo images from three or more stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请实施例涉及点云处理技术领域，提供了一种点云多视角特征融合方法及装置，点云多视角特征融合方法包括：根据待融合点云的垂直视场范围和水平视场范围，构建待融合点云的三维极坐标空间，并将三维极坐标空间划分为三维极坐标栅格；将待融合点云中的每个点分别映射到三维极坐标栅格的前视图栅格和俯视图栅格中，并对每个前视图栅格和俯视图栅格中点的特征进行统计，获取每个前视图栅格和俯视图栅格的统计特征；将前视图栅格和俯视图栅格的统计特征分别作为神经网络的输入，输出前视图栅格和俯视图栅格的提取特征，对前视图栅格和俯视图栅格的提取特征进行融合，获取融合结果。本申请实施例提升了点云多视角特征融合效果。

Description

点云多视角特征融合方法及装置
技术领域
本申请涉及点云处理技术领域，尤其涉及一种点云多视角特征融合方法及装置。
背景技术
以点云作为输入的三维目标检测方法，一般使用图像方面成熟的卷积神经网络提取点云的特征。因此需要克服点云无序性特点和卷积神经网络需要规则尺寸输入的难点。构造点云栅格特征作为卷积神经网络的输入是主流的特征构造方法。而所构造的栅格特征很稀疏，因此通常办法是使用多帧叠加或者多视角特征融合来增加特征信息。
MVLidarNet(Multi-View LidarNet，多视角激光雷达)算法将点云分别使用前视图和俯视图栅格特征映射，其中前视图特征使用语义分割网络提取语义信息，然后投影到俯视图栅格，结合俯视图栅格特征进行目标检测。该算法是一种非端到端网络，需要分成两阶段训练。主体目标检测部分以俯视图栅格特征为主，虽然结合了前视图的语义特征，但是由于点云近密远疏的特性，俯视图栅格特征仍然很稀疏。
MVF(Multi-View Fusion，多视图融合)算法是一种点云多视角目标检测算法，使用端到端训练的方法，在提取前视图栅格和俯视图栅格特征后，使用卷积神经网络分别提取特征，然后映射回每一个点上进行融合。最后使用带有融合特征的点，基于三维目标检测算法进行检测。该算法中前视图栅格使用球形投影，俯视图使用矩形栅格投影。其中前视图栅格具有近小远大感受野，而俯视图栅格感受野不受距离影响，两者感受野不一致，在融合时有所差异。此外，主体目标检测部分是以俯视图栅格特征为主，由于点云近密远疏的特性，俯视图栅格特征很稀疏。
综上所述，现有的点云多视角特征融合方法将前视图和俯视图栅格特征进行融合，这两种栅格特征感受尺度不一致，融合效果欠佳。此外，由于点云近密远疏的特性，俯视图栅格的矩形栅格信息很稀疏，影响融合效果。而融合效果直接关系到点云目标检测的准确度。
发明内容
本申请提供一种点云多视角特征融合方法及装置，以实现提升点云多视角特征融合的效果，进而提高点云目标检测的准确度。
本申请提供一种点云多视角特征融合方法，包括：
根据待融合点云的垂直视场范围和水平视场范围，构建所述待融合点云的三维极坐标空间，并将所述三维极坐标空间划分为三维极坐标栅格；
将所述待融合点云中的每个点分别映射到所述三维极坐标栅格的前视图栅格和俯视图栅格中，并对每个前视图栅格和俯视图栅格中点的特征进行统计，获取每个前视图栅格和俯视图栅格的统计特征；
将所述前视图栅格和俯视图栅格的统计特征分别作为神经网络的输入，输出所述前视图栅格和俯视图栅格的提取特征，对所述前视图栅格和俯视图栅格的提取特征进行融合，获取所述前视图栅格和俯视图栅格的提取特征的融合结果。
根据本申请提供的一种点云多视角特征融合方法，所述根据待融合点云的垂直视场范围和水平视场范围，构建所述待融合点云的三维极坐标空间，包括：
根据所述待融合点云的垂直视场范围和水平视场范围，获取所述前视图栅格的长和宽，以及所述俯视图栅格的长和宽；
根据所述前视图栅格的长和宽，以及所述俯视图栅格的长和宽，构建所述待融合点云的三维极坐标空间。
根据本申请提供的一种点云多视角特征融合方法，所述前视图栅格为二维矩形栅格；
所述俯视图栅格为二维极坐标栅格；
所述前视图栅格的长度与所述俯视图栅格的长度相等。
根据本申请提供的一种点云多视角特征融合方法，所述对每个前视图栅格和俯视图栅格中点的特征进行统计，获取每个前视图栅格和俯视图栅格的统计特征，包括：
将每个前视图栅格中距离所述三维极坐标空间的坐标原点最近的点的特征作为每个前视图栅格的统计特征；
对每个俯视图栅格中所有点的特征进行统计，获取每个俯视图栅格的统计特征；和/或，
对每个前视图栅格中所有点的特征进行统计，获取每个前视图栅格的统计特征；
将每个俯视图栅格中距离所述三维极坐标空间的坐标原点最近的点的特征作为每个俯视图栅格的统计特征。
根据本申请提供的一种点云多视角特征融合方法，每个前视图栅格和俯视图栅格中距离所述三维极坐标空间的坐标原点最近的点的特征包括是否占据栅格、反射强度、高度、水平方位角和垂直方位角中的一种或多种；
对每个前视图栅格和俯视图栅格中所有点的特征进行统计获取的统计特征包括是否占据栅格、点数、最高高度、平均高度、最高反射强度和平均反射强度中的一种或多种。
根据本申请提供的一种点云多视角特征融合方法，所述对所述前视图栅格和俯视图栅格的提取特征进行融合，获取所述前视图栅格和俯视图栅格的提取特征的融合结果，包括：
对于任一前视图栅格，查找该前视图栅格中距离所述坐标原点最近的点映射的俯视图栅格；
将查找的俯视图栅格的提取特征与该前视图栅格的提取特征进行叠加，获取所述前视图栅格和俯视图栅格的提取特征的第一融合结果；和/或，
对于任一俯视图栅格，查找该俯视图栅格中距离所述坐标原点最近的点映射的前视图栅格；
将查找的前视图栅格的提取特征与该俯视图栅格的提取特征进行叠加，获取所述前视图栅格和俯视图栅格的提取特征的第二融合结果。
根据本申请提供的一种点云多视角特征融合方法，所述对所述前视图栅格和俯视图栅格的提取特征进行融合，之后还包括：
基于第一目标检测方法根据所述第一融合结果对所述待融合点云进行目标检测；和/或，
基于第二目标检测方法根据所述第二融合结果对所述待融合点云进行目标检测。
本申请还提供一种点云多视角特征融合装置，包括：
构建模块，用于根据待融合点云的垂直视场范围和水平视场范围，构建所述待融合点云的三维极坐标空间，并将所述三维极坐标空间划分为三维极坐标栅格；
统计模块，用于将所述待融合点云中的每个点分别映射到所述三维极坐标栅格的前视图栅格和俯视图栅格中，并对每个前视图栅格和俯视图栅格中点的特征进行统计，获取每个前视图栅格和俯视图栅格的统计特征；
融合模块，用于将所述前视图栅格和俯视图栅格的统计特征分别作为神经网络的输入，输出所述前视图栅格和俯视图栅格的提取特征，对所述前视图栅格和俯视图栅格的提取特征进行融合，获取所述前视图栅格和俯视图栅格的提取特征的融合结果。
根据本申请提供的一种点云多视角特征融合装置，所述构建模块包括获取子模块和构建子模块；
所述获取子模块用于根据所述待融合点云的垂直视场范围和水平视场范围，获取所述前视图栅格的长和宽，以及所述俯视图栅格的长和宽；
所述构建子模块用于根据所述前视图栅格的长和宽，以及所述俯视图栅格的长和宽，构建所述待融合点云的三维极坐标空间。
根据本申请提供的一种点云多视角特征融合装置，所述前视图栅格为二维矩形栅格；
所述俯视图栅格为二维极坐标栅格；
所述前视图栅格的长度与所述俯视图栅格的长度相等。
根据本申请提供的一种点云多视角特征融合装置，所述统计模块包括第一统计子模块、第二统计子模块，和/或第三统计子模块、第四统计子模块；
所述第一统计子模块用于将每个前视图栅格中距离所述三维极坐标空间的坐标原点最近的点的特征作为每个前视图栅格的统计特征；
所述第二统计子模块用于对每个俯视图栅格中所有点的特征进行统计，获取每个俯视图栅格的统计特征；和/或，
所述第三统计子模块用于对每个前视图栅格中所有点的特征进行统计，获取每个前视图栅格的统计特征；
所述第四统计子模块用于将每个俯视图栅格中距离所述三维极坐标空间的坐标原点最近的点的特征作为每个俯视图栅格的统计特征。
根据本申请提供的一种点云多视角特征融合装置，每个前视图栅格和俯视图栅格中距离所述三维极坐标空间的坐标原点最近的点的特征包括是否占据栅格、反射强度、高度、水平方位角和垂直方位角中的一种或多种；
对每个前视图栅格和俯视图栅格中所有点的特征进行统计获取的统计特征包括是否占据栅格、点数、最高高度、平均高度、最高反射强度和平均反射强度中的一种或多种。
根据本申请提供的一种点云多视角特征融合装置，所述融合模块包括第一查找子模块、第一叠加子模块，和/或第二查找子模块、第二叠加子模块；
所述第一查找子模块用于对于任一前视图栅格，查找该前视图栅格中距离所述坐标原点最近的点映射的俯视图栅格；
所述第一叠加子模块用于将查找的俯视图栅格的提取特征与该前视图栅格的提取特征进行叠加，获取所述前视图栅格和俯视图栅格的提取特征的第一融合结果；和/或，
所述第二查找子模块用于对于任一俯视图栅格，查找该俯视图栅格中距离所述坐标原点最近的点映射的前视图栅格；
所述第二叠加子模块用于将查找的前视图栅格的提取特征与该俯视图栅格的提取特征进行叠加，获取所述前视图栅格和俯视图栅格的提取特征的第二融合结果。
根据本申请提供的一种点云多视角特征融合装置，还包括第一检测模块和/或第二检测模块；
所述第一检测模块用于基于第一目标检测方法根据所述第一融合结果对所述待融合点云进行目标检测；
所述第二检测模块用于基于第二目标检测方法根据所述第二融合结果对所述待融合点云进行目标检测。
本申请还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述点云多视角特征融合方法的步骤。
本申请还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述点云多视角特征融合方法的步骤。
本申请提供的点云多视角特征融合方法及装置，通过在对点云进行多视角栅格特征融合的过程中，将待融合点云的三维极坐标空间划分为三维极坐标栅格，将待融合点云中的每个点分别映射到三维极坐标栅格的前视图栅格和俯视图栅格中，从而使得点云的前视图和俯视图采用相同划分尺度的极坐标栅格，统一两者的栅格特征感受尺度；此外，极坐标栅格具有近小远大的特点，和点云近密远疏相匹配，使得俯视图栅格信息分布更加均匀和稠密，利于特征提取和融合，提升点云多视角特征融合效果。
附图说明
为了更清楚地说明本申请或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请提供的点云多视角特征融合方法的流程示意图之一；
图2是本申请提供的点云多视角特征融合方法的流程示意图之二；
图3是本申请提供的点云多视角特征融合方法中步骤110的实施方式的流程示意图；
图4是本申请提供的点云多视角特征融合方法中步骤120的实施方式的流程示意图之一；
图5是本申请提供的点云多视角特征融合方法中步骤120的实施方式的流程示意图之二；
图6是本申请提供的点云多视角特征融合方法中步骤120的实施方式的流程示意图之三；
图7是本申请提供的点云多视角特征融合方法中步骤130的实施方式的流程示意图之一；
图8是本申请提供的点云多视角特征融合方法中步骤130的实施方式的流程示意图之二；
图9是本申请提供的点云多视角特征融合方法中步骤130的实施方式的流程示意图之三；
图10是本申请提供的点云多视角特征融合方法的流程示意图之三；
图11是本申请提供的点云多视角特征融合方法的流程示意图之四；
图12是本申请提供的点云多视角特征融合方法的流程示意图之五；
图13是本申请提供的点云多视角特征融合装置的结构示意图之一；
图14是本申请提供的点云多视角特征融合装置中构建模块的实施方式的结构示意图；
图15是本申请提供的点云多视角特征融合装置中统计模块的实施方式的结构示意图之一；
图16是本申请提供的点云多视角特征融合装置中统计模块的实施方式的结构示意图之二；
图17是本申请提供的点云多视角特征融合装置中统计模块的实施方式的结构示意图之三；
图18是本申请提供的点云多视角特征融合装置中融合模块的实施方式的结构示意图之一；
图19是本申请提供的点云多视角特征融合装置中融合模块的实施方式的结构示意图之二；
图20是本申请提供的点云多视角特征融合装置中融合模块的实施方式的结构示意图之三；
图21是本申请提供的点云多视角特征融合装置的结构示意图之二；
图22是本申请提供的点云多视角特征融合装置的结构示意图之三；
图23是本申请提供的点云多视角特征融合装置的结构示意图之四；
图24是本申请提供的电子设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请中的附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
下面结合图1描述本申请的点云多视角特征融合方法，该方法包括：步骤110，根据待融合点云的垂直视场范围和水平视场范围，构建所述待融合点云的三维极坐标空间，并将所述三维极坐标空间划分为三维极坐标栅格；
其中，待融合点云为需要进行多视角特征融合的点云。待融合点云可以为使用激光雷达传感器获取的环境点云，但不限于这种采集方式。在三维空间中，根据待融合点云P中每个点的坐标，确定点云的垂直视场范围为[-a,a]，水平视场方位为[-b,b]，a和b为正值。三维极坐标空间为三维极坐标系下的三维空间。三维极坐标系又称为球极坐标系，由二维极坐标扩展而来。根据待融合点云的垂直视场范围和水平视场范围构建待融合点云的三维极坐标空间，待融合点云中的所有点位于构建的三维极坐标空间内。对待融合点云的三维极坐标空间进行栅格划分，在进行划分时将三维极坐标空间的前视图的长和宽进行等分，将三维极坐标空间的俯视图的半径和夹角进行等分。将三维极坐标空间进行划分生成的三维极坐标栅格如图2所示。
步骤120，将所述待融合点云中的每个点分别映射到所述三维极坐标栅格的前视图栅格和俯视图栅格中，并对每个前视图栅格和俯视图栅格中点的特征进行统计，获取每个前视图栅格和俯视图栅格的统计特征；
将三维极坐标栅格的前视图作为前视图栅格，定义前视图栅格的长和宽分别为Lfv和Wfv。将三维极坐标栅格的俯视图作为俯视图栅格，定义俯视图栅格的长和宽为Lbev和Wbev。将待融合点云P中的每个点分别映射到相应的前视图栅格和俯视图栅格中，映射的效果如图2所示。其中，使用球体映射方法将点映射到前视图栅格。
对映射到每个前视图栅格和俯视图栅格中点的特征进行统计。将每个前视图栅格中点的特征的统计结果作为每个前视图栅格的统计特征Ifv。将每个俯视图栅格中点的特征的统计结果作为每个俯视图栅格的统计特征Ibev。本实施例不限于统计的特征的种类和统计方法。
步骤130，将所述前视图栅格和俯视图栅格的统计特征分别作为卷积神经网络的输入，输出所述前视图栅格和俯视图栅格的提取特征，对所述前视图栅格和俯视图栅格的提取特征进行融合，获取所述前视图栅格和俯视图栅格的提取特征的融合结果。
使用卷积神经网络对前视图栅格的统计特征Ifv和俯视图栅格的统计特征Ibev进行特征提取。将前视图栅格的统计特征的提取结果作为前视图栅格的提取特征Ffv，将俯视图栅格的统计特征的提取结果作为俯视图栅格的提取特征Fbev。卷积神经网络可以为FCN(Fully Convolutional Networks，全卷积网络)，本实施例不限于卷积神经网络的类型。将前视图栅格的提取特征Ffv和俯视图栅格的提取特征Fbev进行融合，增加待融合点云的特征多样性。
本实施例通过在对点云进行多视角栅格特征融合的过程中，将待融合点云的三维极坐标空间划分为三维极坐标栅格，将待融合点云中的每个点分别映射到三维极坐标栅格的前视图栅格和俯视图栅格中，从而使得点云的前视图和俯视图采用相同划分尺度的极坐标栅格，统一两者的栅格特征感受尺度；此外，极坐标栅格具有近小远大的特点，和点云近密远疏相匹配，使得俯视图栅格信息分布更加均匀和稠密，利于特征提取和融合，提升点云多视角特征融合效果。
在上述实施例的基础上，如图3所示，本实施例中步骤110，根据待融合点云的垂直视场范围和水平视场范围，构建所述待融合点云的三维极坐标空间，包括：步骤111，根据所述待融合点云的垂直视场范围和水平视场范围，获取所述前视图栅格的长和宽，以及所述俯视图栅格的长和宽；
根据待融合点云的垂直视场范围和采集待融合点云的设备的分辨率，获取前视图栅格的宽。根据待融合点云的水平视场范围和采集待融合点云的设备的分辨率，获取前视图栅格的长，以及俯视图栅格的长和宽。
步骤112，根据所述前视图栅格的长和宽，以及所述俯视图栅格的长和宽，构建所述待融合点云的三维极坐标空间。
前视图栅格的长和宽即为三维极坐标空间的前视图的长和宽，俯视图栅格的长和宽即为三维极坐标空间的俯视图的长和宽。根据三维极坐标空间的前视图的长和宽，以及俯视图的长和宽，即可确定待融合点云的三维极坐标空间。
在上述实施例的基础上，本实施例中所述前视图栅格为二维矩形栅格；所述俯视图栅格为二维极坐标栅格；所述前视图栅格的长度与所述俯视图栅格的长度相等。
其中，三维极坐标空间的前视图为矩形，三维极坐标空间的三维极坐标栅格的前视图栅格通过将矩形进行栅格划分获取。在划分时将矩形的长和宽等分。三维极坐标空间的俯视图为扇形，三维极坐标空间的三维极坐标栅格的俯视图栅格通过将扇形进行栅格划分获取。在划分时将扇形的半径和角度等分。前视图栅格和俯视图栅格如图2所示。前视图栅格的长度Lfv与俯视图栅格的长度Lbev相等，从而保证前视图栅格和俯视图栅格的水平角分辨率相同。
在上述各实施例的基础上，如图4至图6所示，本实施例中步骤120，对每个前视图栅格和俯视图栅格中点的特征进行统计，获取每个前视图栅格和俯视图栅格的统计特征，包括：步骤1201，将每个前视图栅格中距离所述三维极坐标空间的坐标原点最近的点的特征作为每个前视图栅格的统计特征；
具体地，从待融合点云映射到每个前视图栅格中的所有点中选择距离三维极坐标空间的坐标原点最近的点，记录该点的索引index。获取该点的特征，将该点的特征作为该点所映射的前视图栅格的统计特征。
步骤1202，对每个俯视图栅格中所有点的特征进行统计，获取每个俯视图栅格的统计特征；和/或，
记录待融合点云映射到每个俯视图栅格中所有点的索引index。对每个俯视图栅格中所有点的特征进行统计，将每个俯视图栅格中所有点的特征统计结果作为每个俯视图栅格的统计特征。
步骤1211，对每个前视图栅格中所有点的特征进行统计，获取每个前视图栅格的统计特征；
记录待融合点云映射到每个前视图栅格中所有点的索引index。对每个前视图栅格中所有点的特征进行统计，将每个前视图栅格中所有点的特征统计结果作为每个前视图栅格的统计特征。
步骤1212，将每个俯视图栅格中距离所述三维极坐标空间的坐标原点最近的点的特征作为每个俯视图栅格的统计特征。
从待融合点云映射到每个俯视图栅格中的所有点中选择距离三维极坐标空间的坐标原点最近的点，记录该点的索引index。获取该点的特征，将该点的特征作为该点所映射的俯视图栅格的统计特征。本实施例中灵活获取前视图栅格和俯视图栅格的统计特征。
在上述各实施例的基础上，本实施例中每个前视图栅格和俯视图栅格中距离所述三维极坐标空间的坐标原点最近的点的特征包括是否占据栅格、反射强度、高度、水平方位角和垂直方位角中的一种或多种；
其中，当任一前视图栅格或俯视图栅格中没有映射的点时，距离坐标原点最近的点的特征中是否占据栅格的特征值为0，否则是否占据栅格的特征值为1。每个前视图栅格和俯视图栅格中距离坐标原点最近的点的特征包括但不限于上述几种特征。
对每个前视图栅格和俯视图栅格中所有点的特征进行统计获取的统计特征包括是否占据栅格、点数、最高高度、平均高度、最高反射强度和平均反射强度中的一种或多种。
其中，当任一前视图栅格或俯视图栅格中没有映射的点时，所有点的统计特征中是否占据栅格的特征值为0，否则是否占据栅格的特征值为1。点数为每个前视图栅格或俯视图栅格中映射的点的总数。最高高度为每个前视图栅格或俯视图栅格中映射的所有点的高度中的最大值。平均高度为每个前视图栅格或俯视图栅格中映射的所有点的高度的平均值。最高反射强度每个前视图栅格或俯视图栅格中映射的所有点的反射强度中的最大值。平均反射强度为每个前视图栅格或俯视图栅格中映射的所有点的反射强度的平均值。每个前视图栅格和俯视图栅格中所有点的统计特征包括但不限于这几种特征。
在上述实施例的基础上，如图7至图9所示，本实施例中步骤130，对所述前视图栅格和俯视图栅格的提取特征进行融合，获取所述前视图栅格和俯视图栅格的提取特征的融合结果包括：步骤1301，对于任一前视图栅格，查找该前视图栅格中距离所述坐标原点最近的点映射的俯视图栅格；
本实施例中将俯视图栅格的提取特征Fbev向前视图栅格的提取特征Ffv投影，实现前视图栅格和俯视图栅格的提取特征融合。根据任一前视图栅格中距离坐标原点最近的点的索引index，从映射到每个俯视图栅格的所有点的index中查找该点的index，从而获取该点所映射到的俯视图栅格及其坐标。
步骤1302，将查找的俯视图栅格的提取特征与该前视图栅格的提取特征进行叠加，获取所述前视图栅格和俯视图栅格的提取特征的第一融合结果；和/或，
从俯视图栅格的提取特征Fbev中获取该坐标下的提取特征。将该坐标下的提取特征和该点所在的前视图栅格的提取特征进行叠加。将每个前视图栅格的提取特征与相应的俯视图栅格的提取特征的叠加结果作为Fbev向Ffv投影的结果，即前视图栅格和俯视图栅格的提取特征的第一融合结果Ffv2。
步骤1311，对于任一俯视图栅格，查找该俯视图栅格中距离所述坐标原点最近的点映射的前视图栅格；
步骤1312，将查找的前视图栅格的提取特征与该俯视图栅格的提取特征进行叠加，获取所述前视图栅格和俯视图栅格的提取特征的第二融合结果。
以相同的方法，本实施例中将前视图栅格的提取特征Ffv向俯视图栅格的提取特征Fbev投影，实现前视图栅格和俯视图栅格的提取特征融合，获取第二融合结果Fbev2。
本实施例中俯视图栅格的提取特征和前视图栅格的提取特征之间的投影方式灵活，可以互相投影，也可以向一个方向投影，投影方式不同，基于投影的融合结果检测出的目标不同。
在上述实施例的基础上，如图10至图12所示，本实施例中步骤130，对所述前视图栅格和俯视图栅格的提取特征进行融合，之后还包括：步骤1401，基于第一目标检测方法根据所述第一融合结果对所述待融合点云进行目标检测；和/或，
具体地，使用第一融合结果Ffv2对待融合点云进行前视图三维目标检测，得到待融合点云中的第一目标。第一目标检测方法可以为LaserNet方法，该方法是一种基于激光雷达数据的激光网络自动驾驶三维目标检测方法，但不限于这种方法。
步骤1411，基于第二目标检测方法根据所述第二融合结果对所述待融合点云进行目标检测。
使用第二融合结果Fbev2对待融合点云进行前视图三维目标检测，得到待融合点云中的第二目标。第二目标检测方法可以为SECOND(Sparsely Embedded ConvolutionalDetection，稀疏嵌入卷积检测)方法，该方法是一种一阶段的用于3D激光点云的目标检测方法，但不限于这种方法。
在对前视图栅格和俯视图栅格的提取特征进行融合时，可以在一个方向上投影，也可以在两个方向上投影。当在一个方向上投影时，获取一个视图上的目标。当在两个方向上投影时，获取两个视图上的目标，即第一目标和第二目标。可以进一步对第一目标和第二目标求并集，检测出待融合点云中的所有目标。将卷积神经网络、第一目标检测方法和第二目标检测方法结合起来，使用带有标签的点云样本进行端到端的训练。标签为点云样本中的所有目标。
下面对本申请提供的点云多视角特征融合装置进行描述，下文描述的点云多视角特征融合装置与上文描述的点云多视角特征融合方法可相互对应参照。
如图13所示，本申请提供的点云多视角特征融合装置包括构建模块510、统计模块520和融合模块530；其中：
构建模块510用于根据待融合点云的垂直视场范围和水平视场范围，构建所述待融合点云的三维极坐标空间，并将所述三维极坐标空间划分为三维极坐标栅格；
其中，待融合点云为需要进行多视角特征融合的点云。待融合点云可以为使用激光雷达传感器获取的环境点云，但不限于这种采集方式。在三维空间中，根据待融合点云P中每个点的坐标，确定点云的垂直视场范围为[-a,a]，水平视场方位为[-b,b]，a和b为正值。三维极坐标空间为三维极坐标系下的三维空间。三维极坐标系又称为球极坐标系，由二维极坐标扩展而来。根据待融合点云的垂直视场范围和水平视场范围构建待融合点云的三维极坐标空间，待融合点云中的所有点位于构建的三维极坐标空间内。对待融合点云的三维极坐标空间进行栅格划分，在进行划分时将三维极坐标空间的前视图的长和宽进行等分，将三维极坐标空间的俯视图的半径和夹角进行等分。
统计模块520用于将所述待融合点云中的每个点分别映射到所述三维极坐标栅格的前视图栅格和俯视图栅格中，并对每个前视图栅格和俯视图栅格中点的特征进行统计，获取每个前视图栅格和俯视图栅格的统计特征；
将三维极坐标栅格的前视图作为前视图栅格，将三维极坐标栅格的俯视图作为俯视图栅格。将待融合点云P中的每个点分别映射到相应的前视图栅格和俯视图栅格中。其中，使用球体映射方法将点映射到前视图栅格。
对映射到每个前视图栅格和俯视图栅格中点的特征进行统计。将每个前视图栅格中点的特征的统计结果作为每个前视图栅格的统计特征Ifv。将每个俯视图栅格中点的特征的统计结果作为每个俯视图栅格的统计特征Ibev。本实施例不限于统计的特征的种类和统计方法。
融合模块530用于将所述前视图栅格和俯视图栅格的统计特征分别作为神经网络的输入，输出所述前视图栅格和俯视图栅格的提取特征，对所述前视图栅格和俯视图栅格的提取特征进行融合，获取所述前视图栅格和俯视图栅格的提取特征的融合结果。
使用卷积神经网络对前视图栅格的统计特征Ifv和俯视图栅格的统计特征Ibev进行特征提取。将前视图栅格的统计特征的提取结果作为前视图栅格的提取特征Ffv，将俯视图栅格的统计特征的提取结果作为俯视图栅格的提取特征Fbev。卷积神经网络可以为FCN，本实施例不限于卷积神经网络的类型。将前视图栅格的提取特征Ffv和俯视图栅格的提取特征Fbev进行融合，增加待融合点云的特征多样性。
本实施例通过在对点云进行多视角栅格特征融合的过程中，将待融合点云的三维极坐标空间划分为三维极坐标栅格，将待融合点云中的每个点分别映射到三维极坐标栅格的前视图栅格和俯视图栅格中，从而使得点云的前视图和俯视图采用相同划分尺度的极坐标栅格，统一两者的栅格特征感受尺度；此外，极坐标栅格具有近小远大的特点，和点云近密远疏相匹配，使得俯视图栅格信息分布更加均匀和稠密，利于特征提取和融合，提升点云多视角特征融合效果。
在上述实施例的基础上，如图14所示，本实施例中所述构建模块包括获取子模块511和构建子模块512；所述获取子模块511用于根据所述待融合点云的垂直视场范围和水平视场范围，获取所述前视图栅格的长和宽，以及所述俯视图栅格的长和宽；所述构建子模块512用于根据所述前视图栅格的长和宽，以及所述俯视图栅格的长和宽，构建所述待融合点云的三维极坐标空间。
在上述实施例的基础上，本实施例中所述前视图栅格为二维矩形栅格；所述俯视图栅格为二维极坐标栅格；所述前视图栅格的长度与所述俯视图栅格的长度相等。
在上述实施例的基础上，如图15至图17所示，本实施例中所述统计模块包括第一统计子模块5201、第二统计子模块5202，和/或第三统计子模块5211、第四统计子模块5212；所述第一统计子模块5201用于将每个前视图栅格中距离所述三维极坐标空间的坐标原点最近的点的特征作为每个前视图栅格的统计特征；所述第二统计子模块5202用于对每个俯视图栅格中所有点的特征进行统计，获取每个俯视图栅格的统计特征；和/或，所述第三统计子模块5211用于对每个前视图栅格中所有点的特征进行统计，获取每个前视图栅格的统计特征；所述第四统计子模块5212用于将每个俯视图栅格中距离所述三维极坐标空间的坐标原点最近的点的特征作为每个俯视图栅格的统计特征。
在上述实施例的基础上，本实施例中每个前视图栅格和俯视图栅格中距离所述三维极坐标空间的坐标原点最近的点的特征包括是否占据栅格、反射强度、高度、水平方位角和垂直方位角中的一种或多种；对每个前视图栅格和俯视图栅格中所有点的特征进行统计获取的统计特征包括是否占据栅格、点数、最高高度、平均高度、最高反射强度和平均反射强度中的一种或多种。
在上述实施例的基础上，如图18至图20本实施例中所述融合模块包括第一查找子模块5301、第一叠加子模块5302，和/或第二查找子模块5311、第二叠加子模块5312；所述第一查找子模块5301用于对于任一前视图栅格，查找该前视图栅格中距离所述坐标原点最近的点映射的俯视图栅格；所述第一叠加子模块5302用于将查找的俯视图栅格的提取特征与该前视图栅格的提取特征进行叠加，获取所述前视图栅格和俯视图栅格的提取特征的第一融合结果；和/或，所述第二查找子模块5311用于对于任一俯视图栅格，查找该俯视图栅格中距离所述坐标原点最近的点映射的前视图栅格；所述第二叠加子模块5312用于将查找的前视图栅格的提取特征与该俯视图栅格的提取特征进行叠加，获取所述前视图栅格和俯视图栅格的提取特征的第二融合结果。
在上述实施例的基础上，如图21至图23，本实施例还包括第一检测模块6101和/或第二检测模块6102；所述第一检测模块6101用于基于第一目标检测方法根据所述第一融合结果对所述待融合点云进行目标检测；所述第二检测模块6102用于基于第二目标检测方法根据所述第二融合结果对所述待融合点云进行目标检测。
本申请实施例提供的点云多视角特征融合装置用于执行上述点云多视角特征融合方法，其具体的实施方式与方法实施方式一致，且可以达到相同的有益效果，此处不再赘述。
本申请实施例提供的点云多视角特征融合装置用于执行上述点云多视角特征融合方法，其实施方式与本申请提供的点云多视角特征融合方法的实施方式一致，且可以达到相同的有益效果，此处不再赘述。
图24示例了一种电子设备的实体结构示意图，如图24所示，该电子设备可以包括：处理器(processor)710、通信接口(Communications Interface)720、存储器(memory)730和通信总线740，其中，处理器710，通信接口720，存储器730通过通信总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑指令，以执行点云多视角特征融合方法，该方法包括：根据待融合点云的垂直视场范围和水平视场范围，构建所述待融合点云的三维极坐标空间，并将所述三维极坐标空间划分为三维极坐标栅格；将所述待融合点云中的每个点分别映射到所述三维极坐标栅格的前视图栅格和俯视图栅格中，并对每个前视图栅格和俯视图栅格中点的特征进行统计，获取每个前视图栅格和俯视图栅格的统计特征；将所述前视图栅格和俯视图栅格的统计特征分别作为神经网络的输入，输出所述前视图栅格和俯视图栅格的提取特征，对所述前视图栅格和俯视图栅格的提取特征进行融合。
此外，上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请实施例提供的电子设备中的处理器710可以调用存储器730中的逻辑指令，实现上述点云多视角特征融合方法，其具体的实施方式与方法实施方式一致，且可以达到相同的有益效果，此处不再赘述。
另一方面，本申请还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的点云多视角特征融合方法，该方法包括：根据待融合点云的垂直视场范围和水平视场范围，构建所述待融合点云的三维极坐标空间，并将所述三维极坐标空间划分为三维极坐标栅格；将所述待融合点云中的每个点分别映射到所述三维极坐标栅格的前视图栅格和俯视图栅格中，并对每个前视图栅格和俯视图栅格中点的特征进行统计，获取每个前视图栅格和俯视图栅格的统计特征；将所述前视图栅格和俯视图栅格的统计特征分别作为神经网络的输入，输出所述前视图栅格和俯视图栅格的提取特征，对所述前视图栅格和俯视图栅格的提取特征进行融合。
本申请实施例提供的计算机程序产品被执行时，实现上述点云多视角特征融合方法，其具体的实施方式与方法实施方式一致，且可以达到相同的有益效果，此处不再赘述。
又一方面，本申请还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的点云多视角特征融合方法，该方法包括：根据待融合点云的垂直视场范围和水平视场范围，构建所述待融合点云的三维极坐标空间，并将所述三维极坐标空间划分为三维极坐标栅格；将所述待融合点云中的每个点分别映射到所述三维极坐标栅格的前视图栅格和俯视图栅格中，并对每个前视图栅格和俯视图栅格中点的特征进行统计，获取每个前视图栅格和俯视图栅格的统计特征；将所述前视图栅格和俯视图栅格的统计特征分别作为神经网络的输入，输出所述前视图栅格和俯视图栅格的提取特征，对所述前视图栅格和俯视图栅格的提取特征进行融合。
本申请实施例提供的非暂态计算机可读存储介质上存储的计算机程序被执行时，实现上述点云多视角特征融合方法，其具体的实施方式与方法实施方式一致，且可以达到相同的有益效果，此处不再赘述。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (16)

1.一种点云多视角特征融合方法，其特征在于，包括：
根据待融合点云的垂直视场范围和水平视场范围，构建所述待融合点云的三维极坐标空间，并将所述三维极坐标空间划分为三维极坐标栅格；
将所述待融合点云中的每个点分别映射到所述三维极坐标栅格的前视图栅格和俯视图栅格中，并对每个前视图栅格和俯视图栅格中点的特征进行统计，获取每个前视图栅格和俯视图栅格的统计特征；
将所述前视图栅格和俯视图栅格的统计特征分别作为神经网络的输入，输出所述前视图栅格和俯视图栅格的提取特征，对所述前视图栅格和俯视图栅格的提取特征进行融合，获取所述前视图栅格和俯视图栅格的提取特征的融合结果。
2.根据权利要求1所述的点云多视角特征融合方法，其特征在于，所述根据待融合点云的垂直视场范围和水平视场范围，构建所述待融合点云的三维极坐标空间，包括：
根据所述待融合点云的垂直视场范围和水平视场范围，获取所述前视图栅格的长和宽，以及所述俯视图栅格的长和宽；
根据所述前视图栅格的长和宽，以及所述俯视图栅格的长和宽，构建所述待融合点云的三维极坐标空间。
3.根据权利要求1所述的点云多视角特征融合方法，其特征在于，所述前视图栅格为二维矩形栅格；
所述俯视图栅格为二维极坐标栅格；
所述前视图栅格的长度与所述俯视图栅格的长度相等。
4.根据权利要求1-3任一所述的点云多视角特征融合方法，其特征在于，所述对每个前视图栅格和俯视图栅格中点的特征进行统计，获取每个前视图栅格和俯视图栅格的统计特征，包括：
将每个前视图栅格中距离所述三维极坐标空间的坐标原点最近的点的特征作为每个前视图栅格的统计特征；
对每个俯视图栅格中所有点的特征进行统计，获取每个俯视图栅格的统计特征；和/或，
对每个前视图栅格中所有点的特征进行统计，获取每个前视图栅格的统计特征；
将每个俯视图栅格中距离所述三维极坐标空间的坐标原点最近的点的特征作为每个俯视图栅格的统计特征。
5.根据权利要求4所述的点云多视角特征融合方法，其特征在于，每个前视图栅格和俯视图栅格中距离所述三维极坐标空间的坐标原点最近的点的特征包括是否占据栅格、反射强度、高度、水平方位角和垂直方位角中的一种或多种；
对每个前视图栅格和俯视图栅格中所有点的特征进行统计获取的统计特征包括是否占据栅格、点数、最高高度、平均高度、最高反射强度和平均反射强度中的一种或多种。
6.根据权利要求4所述的点云多视角特征融合方法，其特征在于，所述对所述前视图栅格和俯视图栅格的提取特征进行融合，获取所述前视图栅格和俯视图栅格的提取特征的融合结果，包括：
对于任一前视图栅格，查找该前视图栅格中距离所述坐标原点最近的点映射的俯视图栅格；
将查找的俯视图栅格的提取特征与该前视图栅格的提取特征进行叠加，获取所述前视图栅格和俯视图栅格的提取特征的第一融合结果；和/或，
对于任一俯视图栅格，查找该俯视图栅格中距离所述坐标原点最近的点映射的前视图栅格；
将查找的前视图栅格的提取特征与该俯视图栅格的提取特征进行叠加，获取所述前视图栅格和俯视图栅格的提取特征的第二融合结果。
7.根据权利要求6所述的点云多视角特征融合方法，其特征在于，所述对所述前视图栅格和俯视图栅格的提取特征进行融合，之后还包括：
基于第一目标检测方法根据所述第一融合结果对所述待融合点云进行目标检测；和/或，
基于第二目标检测方法根据所述第二融合结果对所述待融合点云进行目标检测。
8.一种点云多视角特征融合装置，其特征在于，包括：
构建模块，用于根据待融合点云的垂直视场范围和水平视场范围，构建所述待融合点云的三维极坐标空间，并将所述三维极坐标空间划分为三维极坐标栅格；
统计模块，用于将所述待融合点云中的每个点分别映射到所述三维极坐标栅格的前视图栅格和俯视图栅格中，并对每个前视图栅格和俯视图栅格中点的特征进行统计，获取每个前视图栅格和俯视图栅格的统计特征；
融合模块，用于将所述前视图栅格和俯视图栅格的统计特征分别作为神经网络的输入，输出所述前视图栅格和俯视图栅格的提取特征，对所述前视图栅格和俯视图栅格的提取特征进行融合，获取所述前视图栅格和俯视图栅格的提取特征的融合结果。
9.根据权利要求8所述的点云多视角特征融合装置，其特征在于，所述构建模块包括获取子模块和构建子模块；
所述获取子模块用于根据所述待融合点云的垂直视场范围和水平视场范围，获取所述前视图栅格的长和宽，以及所述俯视图栅格的长和宽；
所述构建子模块用于根据所述前视图栅格的长和宽，以及所述俯视图栅格的长和宽，构建所述待融合点云的三维极坐标空间。
10.根据权利要求8所述的点云多视角特征融合装置，其特征在于，所述前视图栅格为二维矩形栅格；
所述俯视图栅格为二维极坐标栅格；
所述前视图栅格的长度与所述俯视图栅格的长度相等。
11.根据权利要求8-10任一所述的点云多视角特征融合装置，其特征在于，所述统计模块包括第一统计子模块、第二统计子模块，和/或第三统计子模块、第四统计子模块；
所述第一统计子模块用于将每个前视图栅格中距离所述三维极坐标空间的坐标原点最近的点的特征作为每个前视图栅格的统计特征；
所述第二统计子模块用于对每个俯视图栅格中所有点的特征进行统计，获取每个俯视图栅格的统计特征；和/或，
所述第三统计子模块用于对每个前视图栅格中所有点的特征进行统计，获取每个前视图栅格的统计特征；
所述第四统计子模块用于将每个俯视图栅格中距离所述三维极坐标空间的坐标原点最近的点的特征作为每个俯视图栅格的统计特征。
12.根据权利要求11所述的点云多视角特征融合装置，其特征在于，每个前视图栅格和俯视图栅格中距离所述三维极坐标空间的坐标原点最近的点的特征包括是否占据栅格、反射强度、高度、水平方位角和垂直方位角中的一种或多种；
对每个前视图栅格和俯视图栅格中所有点的特征进行统计获取的统计特征包括是否占据栅格、点数、最高高度、平均高度、最高反射强度和平均反射强度中的一种或多种。
13.根据权利要求11所述的点云多视角特征融合装置，其特征在于，所述融合模块包括第一查找子模块、第一叠加子模块，和/或第二查找子模块、第二叠加子模块；
所述第一查找子模块用于对于任一前视图栅格，查找该前视图栅格中距离所述坐标原点最近的点映射的俯视图栅格；
所述第一叠加子模块用于将查找的俯视图栅格的提取特征与该前视图栅格的提取特征进行叠加，获取所述前视图栅格和俯视图栅格的提取特征的第一融合结果；和/或，
所述第二查找子模块用于对于任一俯视图栅格，查找该俯视图栅格中距离所述坐标原点最近的点映射的前视图栅格；
所述第二叠加子模块用于将查找的前视图栅格的提取特征与该俯视图栅格的提取特征进行叠加，获取所述前视图栅格和俯视图栅格的提取特征的第二融合结果。
14.根据权利要求13所述的点云多视角特征融合装置，其特征在于，还包括第一检测模块和/或第二检测模块；
所述第一检测模块用于基于第一目标检测方法根据所述第一融合结果对所述待融合点云进行目标检测；
所述第二检测模块用于基于第二目标检测方法根据所述第二融合结果对所述待融合点云进行目标检测。
15.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述点云多视角特征融合方法的步骤。
16.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述点云多视角特征融合方法的步骤。
CN202011440246.2A 2020-12-07 2020-12-07 点云多视角特征融合方法及装置 Pending CN112614226A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011440246.2A CN112614226A (zh) 2020-12-07 2020-12-07 点云多视角特征融合方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011440246.2A CN112614226A (zh) 2020-12-07 2020-12-07 点云多视角特征融合方法及装置

Publications (1)

Publication Number Publication Date
CN112614226A true CN112614226A (zh) 2021-04-06

Family

ID=75233101

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011440246.2A Pending CN112614226A (zh) 2020-12-07 2020-12-07 点云多视角特征融合方法及装置

Country Status (1)

Country Link
CN (1) CN112614226A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113643336A (zh) * 2021-07-26 2021-11-12 之江实验室 基于球极坐标系深度神经网络的三维图像刚性匹配方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111353969A (zh) * 2018-12-20 2020-06-30 长沙智能驾驶研究院有限公司 道路可行驶区域的确定方法、装置及计算机设备
CN111429514A (zh) * 2020-03-11 2020-07-17 浙江大学 一种融合多帧时序点云的激光雷达3d实时目标检测方法
WO2020186444A1 (zh) * 2019-03-19 2020-09-24 深圳市大疆创新科技有限公司 物体检测方法、电子设备与计算机存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111353969A (zh) * 2018-12-20 2020-06-30 长沙智能驾驶研究院有限公司 道路可行驶区域的确定方法、装置及计算机设备
WO2020186444A1 (zh) * 2019-03-19 2020-09-24 深圳市大疆创新科技有限公司 物体检测方法、电子设备与计算机存储介质
CN111429514A (zh) * 2020-03-11 2020-07-17 浙江大学 一种融合多帧时序点云的激光雷达3d实时目标检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
OCEANSTONETREE: ""点云采样方法及算法实现"", pages 1, Retrieved from the Internet <URL:https://blog.csdn.net/yanfeng1022/article/details/109322887> *
YIN ZHOU: "" End-to-End Multi-View Fusion for 3D Object Detection in LiDAR Point Clouds"", 《ARXIV.ORG》, pages 1 - 5 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113643336A (zh) * 2021-07-26 2021-11-12 之江实验室 基于球极坐标系深度神经网络的三维图像刚性匹配方法
CN113643336B (zh) * 2021-07-26 2024-03-15 之江实验室 基于球极坐标系深度神经网络的三维图像刚性匹配方法

Similar Documents

Publication Publication Date Title
US10685201B2 (en) Method and system for recognizing location information in two-dimensional code
Qiao et al. Lgpma: Complicated table structure recognition with local and global pyramid mask alignment
CN111199564B (zh) 智能移动终端的室内定位方法、装置与电子设备
CN107833280B (zh) 一种基于地理网格与图像识别相结合的户外移动增强现实方法
US9754165B2 (en) Automated graph local constellation (GLC) method of correspondence search for registration of 2-D and 3-D data
US8442307B1 (en) Appearance augmented 3-D point clouds for trajectory and camera localization
CN109974721A (zh) 一种基于高精度地图的视觉回环检测方法和装置
CN108921864A (zh) 一种光条中心提取方法及装置
CN112862874A (zh) 点云数据匹配方法、装置、电子设备及计算机存储介质
CN112668573A (zh) 目标检测定位置信度确定方法、装置、电子设备及存储介质
CN110907947A (zh) 一种移动机器人slam问题中的实时回环检测方法
CN108122280A (zh) 一种三维点云的重建方法及装置
CN114332134B (zh) 一种基于密集点云的建筑物立面提取方法和装置
CN106780551A (zh) 一种三维运动目标检测方法和***
GB2534903A (en) Method and apparatus for processing signal data
CN113705669A (zh) 一种数据匹配方法、装置、电子设备以及存储介质
CN115330940A (zh) 一种三维重建方法、装置、设备和介质
CN112614226A (zh) 点云多视角特征融合方法及装置
CN117470246A (zh) 路径规划方法、装置、存储介质及电子设备
CN115937466A (zh) 一种融合gis的三维模型生成方法、***及存储介质
Cao et al. Stable image matching for 3D reconstruction in outdoor
CN116310899A (zh) 基于YOLOv5改进的目标检测方法及装置、训练方法
CN114913246A (zh) 相机标定方法、装置、电子设备及存储介质
CN112927291B (zh) 三维物体的位姿确定方法、装置及电子设备和存储介质
CN117274817B (zh) 裂缝自动化识别方法、装置、终端设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination