CN113139996A - 一种基于三维点云几何特征学习的点云配准方法及*** - Google Patents

一种基于三维点云几何特征学习的点云配准方法及*** Download PDF

Info

Publication number
CN113139996A
CN113139996A CN202110490222.6A CN202110490222A CN113139996A CN 113139996 A CN113139996 A CN 113139996A CN 202110490222 A CN202110490222 A CN 202110490222A CN 113139996 A CN113139996 A CN 113139996A
Authority
CN
China
Prior art keywords
point cloud
shape
encoder
geometric
pose
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110490222.6A
Other languages
English (en)
Other versions
CN113139996B (zh
Inventor
于耀
耿聪慧
周余
都思丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University
Original Assignee
Nanjing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University filed Critical Nanjing University
Priority to CN202110490222.6A priority Critical patent/CN113139996B/zh
Publication of CN113139996A publication Critical patent/CN113139996A/zh
Application granted granted Critical
Publication of CN113139996B publication Critical patent/CN113139996B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)

Abstract

本发明涉及一种基于三维点云几何特征学习的点云配准方法，首先使用自重建网络学习三个域转换模块：点云块到几何形状域的形状编码器、几何形状域到点云块的解码器以及点云块到采样域的采样编码器，并通过孪生交换结构保证几何特征的旋转不变性和采样一致性；然后使用形状编码器得到点云的几何特征描述并形成匹配对，初步筛选后利用RANSAC优化得到位姿估计；最后使用三个域转换网络构建点到曲面模型的精准匹配，进一步微调位姿实现点云配准，继而增量式定位激光雷达并获取点云地图。本发明的算法输入为激光雷达连续多帧点云，输出结果为各个时刻激光雷达的位姿和点云地图。本发明的算法结果可运用于自动驾驶、三维重建和虚拟现实等应用课题。

Description

一种基于三维点云几何特征学习的点云配准方法及***
技术领域
本发明涉及计算机视觉以及传感测量领域，特别是涉及一种基于三维点云几何特征学习的点云配准方法及***。
背景技术
激光雷达定位技术在自动驾驶、三维重建以及虚拟现实等方面扮演着重要的角色。
近年来，视觉SLAM定位技术得到了长足的发展，其可以借助图像信息实现未知环境中机器人自主定位和地图构建。然而，视觉SLAM比较依赖丰富的纹理和合适的光照条件，在纹理缺失和夜间光照不足的情况下无法工作。
得益于主动式探测的多线激光雷达能够不受光照变化影响，且探测范围广、距离感知精度高的优势，近年来出现了众多激光雷达SLAM定位技术，这些方法的稳定性和定位精度相较于视觉SLAM都有了较大提升，但这些方法的点云配准模块大多使用平面和边缘之类的低层次特征，在自然场景这种缺乏规整的人造结构场景中，就会常常出现精度下降甚至定位失败的问题。
因此，本领域亟需一种对不同场景具有高适应性的点云数据配准的技术方案。
发明内容
本发明的目的是提供一种基于三维点云几何特征学习的点云配准方法及***，通过增加点云特征描述的几何信息丰富程度，提升点云配准的场景适应性，解决目前激光雷达SLAM定位技术对环境的适应性不高的问题。
为实现上述目的，本发明提供了如下方案：
一种孪生交换网络的构建方法，所述方法包括：
利用雷达历史数据集中的点云数据生成训练集；
在所述训练集中选取一个点云块；
对所述点云块进行任意三维旋转，得到旋转点云块；
用自监督方法训练孪生交换网络结构并收敛，得到包含三个域变换函数的孪生交换网络，所述三个域变换函数分别为形状编码器E、采样编码器S和形状解码器D的域变换函数。
可选的，所述用自监督方法训练孪生交换网络结构并收敛，得到包含三个域变换函数的孪生交换网络，所述三个域变换函数分别为形状编码器E、采样编码器S和形状解码器D的域变换函数，具体包括：
将所述点云块和所述旋转点云块分别输入孪生交换网络结构的第一形状编码器和第二形状编码器，使所述第一形状编码器和第二形状编码器分别输出所述点云块对应的第一几何形状潜变量和第一相对旋转四元数潜变量，以及所述旋转点云块对应的第二几何形状潜变量和第二相对旋转四元数潜变量；两个所述形状编码器均包括打包级联的降采样、邻域聚类和PointTransformer结构；
将所述第一形状编码器中的第一几何形状潜变量与所述第二形状编码器中的第二几何形状潜变量交换；
在雷达覆盖范围内的单位立方体内均匀采样m次，得到大小为m×3的第一向量；再在雷达覆盖范围内的单位立方体内均匀采样n次，得到大小为m×3的第二向量；
将所述第一向量与所述第一形状编码器中所述第二几何形状潜变量堆叠后送入所述第一形状解码器，得到第一重建对齐点云；将所述第二向量与所述第二形状编码器中所述第一几何形状潜变量堆叠后送入所述第二形状解码器，得到第二重建对齐点云；
将所述第一形状编码器中的第一相对旋转四元数潜变量作用于所述第一重建对齐点云恢复朝向信息，得到第一恢复点云；将所述第二形状编码器中的第二相对旋转四元数潜变量作用于所述第二重建对齐点云恢复朝向信息，得到第二恢复点云；
根据所述第一恢复点云和所述第一恢复点云，利用第一损失函数收敛，得到域变换函数为shape＝F(X)的形状编码器E和域变换函数为
Figure BDA0003052120550000021
形状解码器D；所述第一损失函数为：
Figure BDA0003052120550000022
其中，Xi为点云块，X′i为旋转点云块，Yi为恢复了Xi朝向信息的恢复点云；Y′i为恢复了X′i朝向信息的恢复点云；Y′i，align为第一重建对齐点云，Yi，align为第二重建对齐点云，
Figure BDA0003052120550000031
将所述点云块和所述旋转点云块输入所述形状编码器E，完成采样编码器S的训练，得到包含三个域变换函数的孪生交换网络。
可选的，所述将所述点云块和所述旋转点云块输入所述形状编码器E，完成采样编码器S的训练，具体包括：
将所述旋转点云块输入固定参数的形状编码器E，使所述固定参数的形状编码器E输出第三几何形状潜变量和第三相对旋转四元数潜变量；
将所述第三几何形状潜变量和所述旋转点云块堆叠后输入采样编码器S，得到第三潜变量；
将所述第三潜变量与所述第三几何形状潜变量堆叠，输入固定参数的形状解码器，得到第三重建对齐点云；
将所述第三相对旋转四元数潜变量作用于所述第三重建对齐点云恢复朝向信息，得到第三恢复点云；
根据所述第三恢复点云利用第二损失函数收敛，得到域变换函数为
Figure BDA0003052120550000032
的采样编码器S；所述第二损失函数为L＝LMS E(Vi，Wi)；其中Vi为旋转点云块，Wi为恢复了Vi朝向信息的恢复点云。
一种基于三维点云几何特征学习的点云配准方法，所述方法包括：
利用雷达持续获取点云数据，并对当前帧点云和上一帧点云构建邻域，利用包含三域变换函数的孪生交换网络中的形状编码器E提取所述当前帧点云和所述上一帧点云的几何描述并构建匹配关系；所述包含三域变换函数的孪生交换网络构建方法为权1-3任一项所述的孪生交换网络构建方法；
利用所述匹配关系获得所述当前帧点云和所述上一帧点云的相对位姿的初始估计；
利用采样编码器S和所述形状解码器D，以所述相对位姿的初始估计为初始值，将第二帧点云到第一帧隐式曲面的距离作为优化目标，调优得到所述当前帧点云和所述上一帧点云之间的精准相对位姿；
利用所述精准相对位姿增量式地定位激光雷达并拼接得到点云地图。
可选的，所述利用雷达持续获取点云数据，并对当前帧点云和上一帧点云构建邻域，利用包含三域变换函数的孪生交换网络中的形状编码器E提取所述当前帧点云和所述上一帧点云的几何描述并构建匹配关系，具体包括：
利用雷达持续获取点云数据；
使用K近邻分类算法对所述点云数据中的当前帧点云和上一帧点云中的每一个点构建邻域点云块；
将每个所述邻域点云块输入所述形状编码器E得到每一个点的几何描述；
将所有的当前帧点云中的点的几何描述堆叠，得到当前帧点云的几何描述集合；将所有的上一帧点云中的点的几何描述堆叠，得到上一帧点云的几何描述集合；
根据所述当前帧点云的几何描述集合和所述上一帧点云的几何描述集合利用匹配公式构建两帧点云的匹配对集合；所述匹配公式为：
Figure BDA0003052120550000041
其中M记录了Na个索引对(i，j)，i和j分别表示点云A和点云B的索引，点云A为上一帧点云，点云B为当前帧点云，每个索引对记录了两个索引：点云中A点Ai的索引i、点云B中描述符和点云A第i个点Ai的描述符最近的点Bj的索引j。
可选的，所述利用所述匹配关系获得所述当前帧点云和所述上一帧点云的相对位姿的初始估计，具体包括：
将所述匹配对集合中特征距离d(i，j)＞0.3*dme an的匹配对剔除，得到标准匹配对集合；其中d(i，j)是某一匹配对的特征距离，dme an是匹配对特征距离均值，所述匹配对特征距离计算公式为：
Figure BDA0003052120550000042
其中，Na为点云A中点的总个数，(i，j)表示匹配对集合M的索引对元素，
Figure BDA0003052120550000043
表示点云A中点Ai的几何描述，
Figure BDA0003052120550000044
表示点云B中点Bj的几何描述；
利用所述标准匹配对集合生成三维坐标匹配对集合；
在所述三维坐标匹配对集合中使用随机抽样一致算法迭代地随机挑选子集并求解相对位姿，直至收敛，得到内点匹配对集合；
基于所述内点匹配对集合求解相对位姿初始估计：所述相对位姿初始估计的求解公式为：
Figure BDA0003052120550000045
其中Tinitial为相对位姿初始估计，T表示待优化位姿参数，Ai为点云A中的点，Bj为点云B中的点。
可选的，所述利用采样编码器S和所述形状解码器D，以所述相对位姿的初始估计为初始值，将第二帧点云到第一帧隐式曲面的距离作为优化目标，调优得到所述当前帧点云和所述上一帧点云之间的精准相对位姿，具体包括：
利用所述内点匹配对集合构建点云块匹配对集合Q＝{(Xi，Yj)|(i，j)∈Minlier}，其中Xi表示点云A中点Ai的邻域集合，Yj表示点云B中点Bj的邻域集合；
将点云A中点Ai的邻域集合输入所述形状编码器E获取几何形状域描述
Figure BDA0003052120550000051
将待优化的精细位姿估计参数Tfine初始化为所述初始位姿估计Tinitial；
将初始化的所述精细位姿估计参数Tfine作用在Yj上，并进行去中心化得到去中心后点云块
Figure BDA0003052120550000052
其中A1i表示点云A中心点的三维坐标；
将所述去中心后点云块输入所述采样编码器S，得到所述去中心后点云块的采样域描述
Figure BDA0003052120550000053
将所述点云块的几何形状域描述与所述去中心后点云块的几何形状域描述相连接，输入所述形状解码器D，得到采样点云块
Figure BDA0003052120550000054
以所述点云块Xi和所述采样点云块
Figure BDA0003052120550000055
的均方误差为网络优化目标，固定除所述精细位姿估计参数Tfine以外的所有网络参数和输入数据，使用深度学习框架下的梯度下降方法优化所述精细位姿估计参数Tfine直至收敛，得到精准位姿参数T*；
利用所述精准位姿参数T*得到精准相对位姿。
可选的，所述利用所述精准相对位姿增量式地定位激光雷达并拼接得到点云地图，具体包括：
利用所述精准位姿参数T*得到第t帧点云Dt和第t-1帧点云Dt-1之间的相对位姿
Figure BDA0003052120550000056
将
Figure BDA0003052120550000057
更新到历史位姿序列St中，利用所述历史位姿序列依次记录从开始扫描到当前时刻的所有相邻帧点云之间的相对位姿；
对所述历史位姿序列St进行前缀点乘，得到激光雷达各个时刻的位姿序列
Figure BDA0003052120550000061
其中
Figure BDA0003052120550000062
表示以第0帧激光雷达坐标系为世界坐标系的情况下第i帧时雷达的位置和姿态，I4×4表示单位方阵，
Figure BDA0003052120550000063
表示第j帧点云Dj和第j+1帧点云Dj+1之间的相对位姿；
根据所述位姿序列Zt实现所有点云的配准得到点云地图，配准方式为
Figure BDA0003052120550000064
其中
Figure BDA0003052120550000065
表示点云Di转换到世界坐标系后的结果。
一种三域变换函数的构建***，所述***包括：
训练集生成单元，用于利用雷达历史数据集中的点云数据生成训练集；
点云块选取单元，用于在所述训练集中选取一个点云块；
点云块旋转单元，用于对所述点云块进行任意三维旋转，得到旋转点云块；
三域变换函数训练单元，用于用自监督方法训练孪生交换网络结构并收敛，得到包含三域变换函数的孪生交换网络，所述三域变换函数包括形状编码器E、采样编码器S和形状解码器D。
一种基于三维点云几何特征学习的点云配准***，所述***包括：
匹配关系构建单元，用于利用雷达持续获取点云数据，并对当前帧点云和上一帧点云构建邻域，利用包含三域变换函数的孪生交换网络中的形状编码器E提取所述当前帧点云和所述上一帧点云的几何描述并构建匹配关系；
相对位姿初始估计单元，用于利用所述匹配关系获得所述当前帧点云和所述上一帧点云的相对位姿的初始估计；
精准相对位姿计算单元，用于利用采样编码器S和所述形状解码器D，以所述相对位姿的初始估计为初始值，将第二帧点云到第一帧隐式曲面的距离作为优化目标，调优得到所述当前帧点云和所述上一帧点云之间的精准相对位姿；
点云地图拼接单元，用于利用所述精准相对位姿增量式地定位激光雷达并拼接得到点云地图。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明首先使用自重建网络学习三个域转换模块：点云块到几何形状域的形状编码器、几何形状域到点云块的解码器以及点云块到采样域的采样编码器，并通过孪生交换结构保证几何特征的旋转不变性和采样一致性；然后使用形状编码器得到点云的几何特征描述并形成匹配对，初步筛选后优化得到位姿估计；最后使用三个域转换网络构建点到曲面模型的精准匹配，进一步微调位姿实现点云配准，继而增量式定位激光雷达并获取点云地图，从而通过增加点云特征描述的几何信息丰富程度，保证了云配准方法的场景适应性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例一提供的三域变换函数的构建方法流程图。
图2为本发明实施例一提供的三域变换函数的构建***的***框图。
图3为本发明实施例二提供的基于三维点云几何特征学习的点云配准方法流程图。
图4为本发明实施例二提供的基于三维点云几何特征学习的点云配准***框图。
符号说明：
m1-训练集生成单元，m2-点云块选取单元，m3-点云块旋转单元，m4-三域变换函数训练单元，H1-匹配关系构建单元，H2-相对位姿初始估计单元，H3-精准相对位姿计算单元，H4-点云地图拼接单元。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
得益于主动式探测的多线激光雷达能够不受光照变化影响，且探测范围广、距离感知精度高，近年来出现了众多激光雷达SLAM定位技术，这些方法的稳定性和定位精度相较于视觉SLAM都有了较大提升，但这些方法的点云配准模块大多使用平面和边缘之类低层次特征，缺少高层次几何信息，在自然场景这种缺乏规整人造结构的场景中，常常出现精度下降甚至定位失败的问题。除了基于边缘和平面的配准方法，也有大量文献研究了用于编码三维点的局部邻域几何信息的描述符，如FPFH、SHOT等，这些手工制作的描述符大多由低级几何性质的直方图构成。尽管这些描述符取得了一定的进展，但他们无法很好地处理实际扫描数据中常见的干扰，如噪声、不完整性和低分辨率。所以，如何增加点云特征描述的几何信息丰富程度，提升点云配准模块的场景适应性，是当下激光雷达定位技术的一个重大问题。
本发明的目的是提供一种基于三维点云几何特征学习的点云配准方法及***，通过增加点云特征描述的几何信息丰富程度，提升点云配准模块的场景适应性，解决目前激光雷达SLAM定位技术对环境的适应性不高的问题。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例一：
如图1所示，一种三域变换函数的构建方法，该方法包括：
S1、利用雷达历史数据集中的点云数据生成训练集；
利用groundtruth位姿变换将雷达历史数据集中的每一帧点云转换到世界坐标系下，得到稠密化的三维点云；
采用随机采样中心点和KNN的方式利用所述三维点云生成大量邻域点云块；
所有所述邻域点云块的集合即为所述训练集。
S2、在该训练集中选取一个点云块
Figure BDA0003052120550000081
S3、对该点云块进行任意三维旋转，得到旋转点云块；
对点云块Pi进行任意三维旋转得到旋转点云块
Figure BDA0003052120550000082
对Pi和P′i分别进行k次无放回随机抽样，分别得到大小为k×3的点云块Xi和X′i，Xi和X′i则为几何形状相同、旋转方向不同、采样方式不同的两个点云块。
S4、用自监督方法训练孪生交换网络结构并收敛，得到包含三个域变换函数的孪生交换网络，所述三个域变换函数分别为形状编码器E、采样编码器S和形状解码器D的域变换函数。
具体步骤包括：
将所述点云块和所述旋转点云块分别输入孪生交换网络结构的第一形状编码器和第二形状编码器，使所述第一形状编码器和第二形状编码器分别输出所述点云块对应的第一几何形状潜变量和第一相对旋转四元数潜变量，以及所述旋转点云块对应的第二几何形状潜变量和第二相对旋转四元数潜变量；两个所述形状编码器均包括打包级联的降采样、邻域聚类和PointTransformer结构；
将所述第一形状编码器中的第一几何形状潜变量与所述第二形状编码器中的第二几何形状潜变量交换；
在雷达覆盖范围内的单位立方体内均匀采样m次，得到大小为m×3的第一向量；再在雷达覆盖范围内的单位立方体内均匀采样n次，得到大小为m×3的第二向量；其中，m与n的大小相等，此处是为了区分两次采样过程。
将所述第一向量与所述第一形状编码器中所述第二几何形状潜变量堆叠后送入所述第一形状解码器，得到第一重建对齐点云；将所述第二向量与所述第二形状编码器中所述第一几何形状潜变量堆叠后送入所述第二形状解码器，得到第二重建对齐点云；
将所述第一形状编码器中的第一相对旋转四元数潜变量作用于所述第一重建对齐点云恢复朝向信息，得到第一恢复点云；将所述第二形状编码器中的第二相对旋转四元数潜变量作用于所述第二重建对齐点云恢复朝向信息，得到第二恢复点云；
根据所述第一恢复点云和所述第一恢复点云，利用第一损失函数收敛，得到域变换函数为shape＝F(X)的形状编码器E和域变换函数为
Figure BDA0003052120550000091
形状解码器D；所述第一损失函数为：
Figure BDA0003052120550000092
其中，Xi为点云块，X′i为旋转点云块，Yi为恢复了Xi朝向信息的恢复点云；Y′i为恢复了X′i朝向信息的恢复点云；Y′i，align为第一重建对齐点云，Yi，align为第二重建对齐点云，
Figure BDA0003052120550000093
将所述点云块和所述旋转点云块输入所述形状编码器E，完成采样编码器S的训练，得到包含三个域变换函数的孪生交换网络。
采样编码器S的训练过程，具体包括：
将所述旋转点云块输入固定参数的形状编码器E，使所述固定参数的形状编码器E输出第三几何形状潜变量和第三相对旋转四元数潜变量；
将所述第三几何形状潜变量和所述旋转点云块堆叠后输入采样编码器S，得到第三潜变量；
将所述第三潜变量与所述第三几何形状潜变量堆叠，输入固定参数的形状解码器，得到第三重建对齐点云；
将所述第三相对旋转四元数潜变量作用于所述第三重建对齐点云恢复朝向信息，得到第三恢复点云；
根据所述第三恢复点云利用第二损失函数收敛，得到域变换函数为
Figure BDA0003052120550000101
的采样编码器S；所述第二损失函数为L＝LMS E(Vi，Wi)；其中Vi为旋转点云块，Wi为恢复了Vi朝向信息的恢复点云。
作为一种具体的实施方式，针对孪生交换网络的构建方法，本实施例的具体过程如下：
针对KITTI公开数据集中每一帧点云，先通过groundtruth位姿变换转换到世界坐标系下，得到稠密化的三维点云。通过随机采样中心点和KNN(K近邻分类算法)的方式生成大量邻域点云块
Figure BDA0003052120550000102
m是KNN算法中的邻域点个数，约为103，训练集即为所有邻域点云块的集合，记为A＝{P0，P1，…，PN}，N是训练集样本个数。
针对训练集中某个点云块
Figure BDA0003052120550000103
对它进行任意三维旋转得到旋转点云块
Figure BDA0003052120550000104
对Pi和P′i分别进行k次无放回随机抽样，分别得到大小为k×3的点云块Xi和X′i，Xi和X′i则为几何形状相同、旋转方向不同、采样方式不同的两个点云块。
将Xi和X′i分别送入孪生的两个形状编码器，即第一形状编码器和第二形状编码器，每一形状编码器由降采样、邻域聚类和PointTransformer结构打包级联组成，第一形状编码器和第二形状编码器分别输出(第一几何形状潜变量
Figure BDA0003052120550000105
第一相对旋转四元数潜变量
Figure BDA0003052120550000106
)和(第二几何形状潜变量shape′i，第二相对旋转四元数潜变量rot′i)，记为(shapei，roti)和(shape′i，rot′i)。为了使shape域具有旋转不变性，在送入形状解码器重建点云之前，将第一形状编码器和第二形状编码器的孪生支路输出的几何形状潜变量交换，重组为(shape′i，roti)和(shapei，rot′i)。以第一条支路的输出(shape′i，roti)为例，在单位立方体内均匀采样出m次得到大小为m×3的randomSample向量，记为第一向量；然后把shape′i与第一向量堆叠在一起得到一个m×(256+3)大小的张量，送入第一形状解码器的支路，第一形状解码器输出第一重建对齐点云Y′i，align，大小为m×3，将roti表示的三维旋转作用在第一重建对齐点云Y′i，align上得到恢复了Xi朝向信息的Yi。对第二条支路的输出(shapei，rot′i)进行相同的操作，得到第二重建对齐点云Yi，align和恢复X′i朝向信息的Y′i。
整个网络的训练目标由两部分组成，分别是两条支路的自重建任务、形状潜变量一致性。通过这两个约束，保证形状编码器E可以从点云中提取出旋转一致性、采样一致性的形状潜变量，形状解码器D可以恢复出原始点云的几何形状信息。通过自重建任务保证域变换的能力，通过潜变量一致保证编码器具备旋转一致和采样一致的能力，所以整个网络的第一损失函数为：
L＝LMS E(Y′i，align，Yi，align)+(LCD(Xi，Yi)+LCD(X′i，Y′i))
其中，
Figure BDA0003052120550000111
用a表示点云Xi中任意一个点的三维坐标，用b表示点云Yi中任意一个点的三维坐标，则
Figure BDA0003052120550000112
L的第一项LMS E(Y′i，align，Yi，align)要求两条支路输出的对齐点云块(Y′i，align， Yi，align)相一致，由于Y′i，align和Yi，align采样方式使用了相同的randomSample向量，所以使用均方误差函数量化差异性；L的第二项(LCD(Xi，Yi)+LCD(X′i，Y′i))要求两条孪生支路各自的输入输出(Xi，Yi)、(X′i，Y′i)相一致，由于Xi和Yi采样方式不同，X′i和Y′i采样方式也不同，所以使用倒角距离函数量化差异性。
经过大量样本的训练，网络损失函数收敛后，就得到了域变换函数为shape＝F(X)的形状编码器E和域变换函数为
Figure BDA0003052120550000113
形状解码器D。
然后，在孪生交换网络中固定形状编码器E和形状解码器D的参数，训练采样编码器S。
针对训练集中某个点云块Pi，对它进行任意三维旋转得到点云块P′i，对P′i同样进行k次无放回随机抽样，得到大小为k×3的旋转点云块Vi。将Vi送入固定参数的形状编码器E得到Vi的形状域描述和旋转参量
Figure BDA0003052120550000121
将
Figure BDA0003052120550000122
和Vi堆叠在一起送入采样编码器S，得到大小为k×3的采样域描述潜变量
Figure BDA0003052120550000123
再将
Figure BDA0003052120550000124
和
Figure BDA0003052120550000125
堆叠在一起得到一个k×(256+3)大小的张量，送入固定参数的形状解码器D输出重建对齐点云Wi，align，最后根据
Figure BDA0003052120550000126
旋转Wi，align得到Wi。
整个网络损失函数是L＝LMS E(Vi，Wi)；均方误差函数要求唯一可训练的采样编码器S根据已经固定参数的两个域变换函数shape＝F(X)和
Figure BDA0003052120550000127
以
Figure BDA0003052120550000128
的恒等自重建作为训练目标，学习点云到采样域的变换函数
Figure BDA0003052120550000129
其中shape为形状域描述，sample为采样域描述。
经过大量样本的训练，网络损失函数收敛后，得到域变换函数为
Figure BDA00030521205500001210
采样编码器S。
本发明实施例利用大量雷达样本的数据的训练，得到三个域变换函数，在训练过程中加入了几何描述信息，从而使得三个域变换函数具备几何信息表达能力，此外，请参见图2，本发明实施例还提供了一种三域变换函数的构建***，该***包括：
训练集生成单元m1，用于利用雷达历史数据集中的点云数据生成训练集；
点云块选取单元m2，用于在所述训练集中选取一个点云块；
点云块旋转单元m3，用于对所述点云块进行任意三维旋转，得到旋转点云块；
三域变换函数训练单元m4，用于用自监督方法训练孪生交换网络结构并收敛，得到包含三域变换函数的孪生交换网络，所述三域变换函数包括形状编码器E、采样编码器S和形状解码器D。
本发明实施例提供的三域变换函数的构建方法和***利用大量雷达样本的数据的训练，得到三个域变换函数，在训练过程中加入了几何描述信息，从而使的三个域变换函数具备几何信息表达能力。
实施例二：
如图3所示，一种基于三维点云几何特征学习的点云配准方法，该方法包括：
A1、利用雷达持续获取点云数据，并对当前帧点云和上一帧点云构建邻域，利用包含三域变换函数的孪生交换网络中的形状编码器E提取所述当前帧点云和所述上一帧点云的几何描述并构建匹配关系；所述包含三域变换函数的孪生交换网络构建方法为本发明实施例一提供的孪生交换网络构建方法；
具体步骤包括：
利用雷达持续获取点云数据；
使用K近邻分类算法对所述点云数据中的当前帧点云和上一帧点云中的每一个点构建邻域点云块；
将每个所述邻域点云块输入所述形状编码器E得到每一个点的几何描述；
将所有的当前帧点云中的点的几何描述堆叠，得到当前帧点云的几何描述集合；将所有的上一帧点云中的点的几何描述堆叠，得到上一帧点云的几何描述集合；
根据所述当前帧点云的几何描述集合和所述上一帧点云的几何描述集合利用匹配公式构建两帧点云的匹配对集合；所述匹配公式为：
Figure BDA0003052120550000131
其中M记录了Na个索引对(i，j)，i和j分别表示点云A和点云B的索引，点云A为上一帧点云，点云B为当前帧点云，每个索引对记录了两个索引：点云中A点Ai的索引i、点云B中描述符和点云A第i个点Ai的描述符最近的点Bj的索引j。
A2、利用所述匹配关系获得所述当前帧点云和所述上一帧点云的相对位姿的初始估计；
具体步骤包括：
将所述匹配对集合中特征距离d(i，j)＞0.3*dme an的匹配对剔除，得到标准匹配对集合；其中d(i，j)是某一匹配对的特征距离，dme an是匹配对特征距离均值，所述匹配对特征距离计算公式为：
Figure BDA0003052120550000132
其中，Na为点云A中点的总个数，(i，j)表示匹配对集合M的索引对元素，
Figure BDA0003052120550000133
表示点云A中点Ai的几何描述，
Figure BDA0003052120550000134
表示点云B中点Bj的几何描述；
利用所述标准匹配对集合生成三维坐标匹配对集合；
在所述三维坐标匹配对集合中使用随机抽样一致算法迭代地随机挑选子集并求解相对位姿，直至收敛，得到内点匹配对集合；
基于所述内点匹配对集合求解相对位姿初始估计：所述相对位姿初始估计的求解公式为：
Figure BDA0003052120550000141
其中Tinitial为相对位姿初始估计，T表示待优化位姿参数，Ai为点云A中的点，Bj为点云B中的点。
A3、利用采样编码器S和所述形状解码器D，以所述相对位姿的初始估计为初始值，将第二帧点云到第一帧隐式曲面的距离作为优化目标，调优得到所述当前帧点云和所述上一帧点云之间的精准相对位姿；
具体步骤包括：
利用所述内点匹配对集合构建点云块匹配对集合Q＝{(Xi，Yj)|(i，j)∈Minlier}，其中Xi表示点云A中点Ai的邻域集合，Yj表示点云B中点Bj的邻域集合；
将点云A中点Ai的邻域集合输入所述形状编码器E获取几何形状域描述
Figure BDA0003052120550000142
将待优化的精细位姿估计参数Tfine初始化为所述初始位姿估计Tinitial；
将初始化的所述精细位姿估计参数Tfine作用在Yj上，并进行去中心化得到去中心后点云块
Figure BDA0003052120550000143
其中A1i表示点云A中心点的三维坐标；
将所述去中心后点云块输入所述采样编码器S，得到所述去中心后点云块的采样域描述
Figure BDA0003052120550000144
将所述点云块的几何形状域描述与所述去中心后点云块的几何形状域描述相连接，输入所述形状解码器D，得到采样点云块
Figure BDA0003052120550000145
以所述点云块Xi和所述采样点云块
Figure BDA0003052120550000146
的均方误差为网络优化目标，固定除所述精细位姿估计参数Tfine以外的所有网络参数和输入数据，使用深度学习框架下的梯度下降方法优化所述精细位姿估计参数Tfine直至收敛，得到精准位姿参数T*；
利用所述精准位姿参数T*得到精准相对位姿。
A4、利用所述精准相对位姿增量式地定位激光雷达并拼接得到点云地图。
具体步骤包括：
利用所述精准位姿参数T*得到第t帧点云Dt和第t-1帧点云Dt-1之间的相对位姿
Figure BDA0003052120550000151
将
Figure BDA0003052120550000152
更新到历史位姿序列St中，利用所述历史位姿序列依次记录从开始扫描到当前时刻的所有相邻帧点云之间的相对位姿；
对所述历史位姿序列St进行前缀点乘，得到激光雷达各个时刻的位姿序列
Figure BDA0003052120550000153
其中
Figure BDA0003052120550000154
表示以第0帧激光雷达坐标系为世界坐标系的情况下第i帧时雷达的位置和姿态，I4×4表示单位方阵，
Figure BDA0003052120550000155
表示第j帧点云Dj和第j+1帧点云Dj+1之间的相对位姿；
根据所述位姿序列Zt实现所有点云的配准得到点云地图，配准方式为
Figure BDA0003052120550000156
其中
Figure BDA0003052120550000157
表示点云Di转换到世界坐标系后的结果。
作为一种具体的实施方式，本发明实施例中使用多线激光雷达(如：Velodyne64)在真实场景中连续采集点云数据，将t时刻获取的点云记为
Figure BDA0003052120550000158
t-1时刻获取的点云记为
Figure BDA0003052120550000159
其中Nb表示点云B中点的数量、Na表示点云A中点的数量，该步骤的主要任务是：使用上述形状编码器E得到这两帧点云A和B每个点的几何形状描述从而构建匹配对，优化得到相对位姿的初始估计。
首先使用上述形状编码器E提取两帧点云的几何描述集合FA和FB：不失一般性，以点云A为例，对每一个点Ai使用KNN构成邻域点云块Ci，将Ci输入到上述训练好的形状编码器E得到(shapei，roti)，记输出的shapei为
Figure BDA00030521205500001510
即点Ai的几何描述。将所有点云块经过网络输出的几何描述
Figure BDA00030521205500001511
堆叠在一起，得到点云A的几何形状描述集合
Figure BDA00030521205500001512
对点云B进行同样的流程获得网络输出的几何描述
Figure BDA00030521205500001513
将所有点的几何形状描述组合后得到点云B的几何形状描述集合
Figure BDA00030521205500001514
接下来根据FA和FB构建两帧点云的匹配对集合M，构建方式如下
Figure BDA00030521205500001515
其中，集合M记录了Na个索引对(i,j)，i和j分别表示点云A和点云B的索引，每个索引对记录了两个索引：点云A中点Ai的索引i、点云B中描述符和点云A第i个点Ai的描述符最近的点Bj的索引j。
最后分两步剔除匹配对集合M中的误匹配对，得到内点匹配对集合Minlier，求解初始相对位姿Tinitial：
先进行粗粒度筛选提高内点比例，计算将集合M中特征距离d(i，j)＞0.3*dme an的匹配对剔除，生成匹配对集合Mclose，其中d(i，j)是某一匹配对的特征距离，dme an是匹配对特征距离均值，计算公式如下
Figure BDA0003052120550000161
其中，Na为点云A中点的总个数，(i,j)表示匹配对集合M的索引对元素，
Figure BDA0003052120550000162
表示点云A中点Ai的几何描述，
Figure BDA0003052120550000163
表示点云B中点Bj的几何描述。
再使用RANSAC方法得到内点集合，具体过程为：依据匹配对集合Mclose生成三维坐标匹配对集合Cclose＝{(Ai，Bj)|(i，j)∈Mclose}，在Cclose中使用随机抽样一致算法(RANSAC方法)重复随机挑选子集，求解相对位姿并记录该相对位子估计下设定容差范围内的匹配对数量。在迭代结束后，利用具有最多匹配对数量的模型获得内点匹配对集合Minlier，并基于Minlier求解初始位姿估计Tinitial，求解公式如下：
Figure BDA0003052120550000164
其中Tinitial为相对位姿初始估计，T表示待优化位姿参数，Ai为点云A中的点，Bj为点云B中的点。
至此，已经使用形状编码器E生成几何描述符集合FA和FB，进行特征匹配和两次筛选获得两帧点云的内点匹配对集合Minlier，继而求解出相对位姿的初始估计Tinitial。
利用上述采样编码器S和形状解码器D具备的曲面表达能力，以上述初始位姿估计Tinitial为初始值，进一步优化Tinitial至位姿参数收敛值T*，使得经过变换后的点云
Figure BDA0003052120550000171
落在Xi的隐式曲面surfi上。
首先利用上述内点匹配对集合Minlier构建匹配对集合Q＝{(Xi，Yj)|(i，j)∈Minlier}，其中Xi表示点云A中点Ai的邻域集合，Yj表示点云B中点Bj的邻域集合。
然后利用上述三种域变换函数：
Figure BDA0003052120550000172
Figure BDA0003052120550000173
将相对位姿T作为待训练参数搭建神经网络并优化得到最优解T*，具体流程如下
使用形状编码器E获取Xi隐式曲面的几何形状域描述
Figure BDA0003052120550000174
将Tfine作用在Yj上，然后进行去中心操作得到去中心后点云块
Figure BDA0003052120550000175
其中A1i表示点云A中心点的三维坐标，Tfine表示精细的位姿估计，使用Tinitial来初始化Tfine。
将去中心后点云块Y′j输入到采样编码器S得到Y′j的采样域描述(采样编码器S的输出值)
Figure BDA0003052120550000176
再把点云块Xi的几何形状域描述
Figure BDA0003052120550000177
和去中心后点云块Y′j的
Figure BDA0003052120550000178
相连接，输入到形状解码器D得到
Figure BDA0003052120550000179
其中
Figure BDA00030521205500001710
的物理意义是给定采样方式
Figure BDA00030521205500001711
情况下，在Xi隐式曲面surfi上获得的点云块。当且仅当去中心化后点云块Y′j刚好落在点云块Xi的隐式曲面上时，两个点云块Y′j和
Figure BDA00030521205500001712
完全一致，所以网络的优化目标采用两者的均方误差
Figure BDA00030521205500001713
展开后为：
Figure BDA00030521205500001714
在优化过程中固定除了Tfine以外的所有网络参数和输入数据，使用深度学习框架下的梯度下降方法优化参数Tfine直至收敛，得到
Figure BDA00030521205500001715
最后使用历史获得的相对位姿和当前帧的相对位姿，增量式更新雷达定位和点云地图，具体流程如下：
利用网络优化得到的收敛后参数T*得到第t帧点云Dt和第t-1帧点云Dt-1之间的相对位姿
Figure BDA00030521205500001716
将
Figure BDA00030521205500001717
更新到历史位姿序列St中，使得St依次记录从开始扫描到当前时刻的所有相邻帧点云之间的相对位姿，即
Figure BDA0003052120550000181
则序列St按照采集顺序记录了所有相邻点云的相对位姿。对St进行前缀点乘就可以得到激光雷达各个时刻的位姿序列
Figure BDA0003052120550000182
其中
Figure BDA0003052120550000183
表示以第0帧激光雷达坐标系为世界坐标系的情况下第i帧时雷达的位置和姿态，I4×4表示单位方阵，
Figure BDA0003052120550000184
表示第j帧点云Dj和第j+1帧点云Dj+1之间的相对位姿。然后根据序列Zt实现所有点云Di的配准得到点云地图Map，配准方式为
Figure BDA0003052120550000185
其中
Figure BDA0003052120550000186
表示点云Di转换到世界坐标系后的结果。
至此，得到激光雷达的增量式定位结果Zt和配准后的点云地图Map。
本发明实施例还提供了一种基于三维点云几何特征学习的点云配准***，该***包括：
匹配关系构建单元H1，用于利用雷达持续获取点云数据，并对当前帧点云和上一帧点云构建邻域，利用包含三域变换函数的孪生交换网络中的形状编码器E提取所述当前帧点云和所述上一帧点云的几何描述并构建匹配关系；
相对位姿初始估计单元H2，用于利用所述匹配关系获得所述当前帧点云和所述上一帧点云的相对位姿的初始估计；
精准相对位姿计算单元H3，用于利用采样编码器S和所述形状解码器D，以所述相对位姿的初始估计为初始值，将第二帧点云到第一帧隐式曲面的距离作为优化目标，调优得到所述当前帧点云和所述上一帧点云之间的精准相对位姿；
点云地图拼接单元H4，用于利用所述精准相对位姿增量式地定位激光雷达并拼接得到点云地图。
在此基础上，本发明实施例还提供了一种将本发明提供的点云配准方法应用到自动驾驶领域的具体方法，其步骤如下：
下载公开数据集(如KITTI)或者使用采集车辆实地采集激光雷达点云数据，生成训练集。
在训练集上训练孪生网络，得到三个域编码器：形状编码器、采样编码器和形状解码器。
使用者在实际场景中(如城市道路上)驾驶测试车辆，通过车载激光雷达实时获取场景的扫描点云，当获取到两帧以上点云时，每获取新的一帧点云Bt时，就将最新的两帧点云组成(Bt,Bt-1)。
将最新两帧点云的组合(Bt,Bt-1)经过形状编码器得到各自编码(Ft,Ft-1)，基于编码距离构建匹配对M2,依次经过粗筛选和RANSAC方法得到内点匹配对M2inliner和相对位姿初始估计T2initial。
基于M2inliner形成(Bt,Bt-1)之间的点云块匹配对{(X2i,Y2j)|(2i,2j)∈M2inlier}，利用采样编码器和形状解码器的曲面表达能力，搭建网络优化相对位姿估计T2，使得X2i和Y2j落在同一个隐式曲面上，得到精准的相对位姿T2*，该变换就是两帧点云(Bt,Bt-1)之间的位姿变换，结合车与激光雷达之间的外参标定结果可以很方便地得到车辆在这两个时刻的相对位姿。每次得到精准相对位姿T2*后，都将它存储到历史相对位姿估计序列S2中。
使用历史相对位姿序列S2，就能够增量式地更新雷达定位和点云地图，具体操作是通过位姿变换累乘的方式将各个时刻扫描得到点云都转换到同一个坐标系下，拼接得到全局点云地图。
至此我们可以得到各个时刻车辆的三维位置和姿态信息，也能够得到所处环境的点云地图。保证了自动驾驶车辆能够在各种情况下都能获取自身的位置姿态以及周围环境(有无障碍物)的情况，为车辆的决策执行提供准确的感知信息。
本发明实施例提供的基于三维点云几何特征学***面和边缘等低层次特征，缺少高层次几何信息的情况，提出了一种基于三维点云几何特征学习的点云配准方法。本发明首先使用自重建网络学习三个域转换模块：点云块到几何形状域的形状编码器、几何形状域到点云块的解码器以及点云块到采样域的采样编码器，并通过孪生交换结构保证几何特征的旋转不变性和采样一致性；然后使用形状编码器得到点云的几何特征描述并形成匹配对，初步筛选后利用RANSAC优化得到位姿估计；最后使用三个域转换网络构建点到曲面模型的精准匹配，进一步微调位姿实现点云配准，继而增量式定位激光雷达并获取点云地图。本发明的算法输入为激光雷达连续多帧点云，输出结果为各个时刻激光雷达的位姿和点云地图。本发明的算法结果可运用于自动驾驶、三维重建和虚拟现实等应用课题。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的***而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种孪生交换网络的构建方法，其特征在于，所述方法包括：
利用雷达历史数据集中的点云数据生成训练集；
在所述训练集中选取一个点云块；
对所述点云块进行任意三维旋转，得到旋转点云块；
用自监督方法训练孪生交换网络结构并收敛，得到包含三个域变换函数的孪生交换网络，所述三个域变换函数分别为形状编码器E、采样编码器S和形状解码器D的域变换函数。
2.根据权利要求1所述的孪生交换网络的构建方法，其特征在于，所述用自监督方法训练孪生交换网络结构并收敛，得到包含三个域变换函数的孪生交换网络，所述三个域变换函数分别为形状编码器E、采样编码器S和形状解码器D的域变换函数，具体包括：
将所述点云块和所述旋转点云块分别输入孪生交换网络结构的第一形状编码器和第二形状编码器，使所述第一形状编码器和第二形状编码器分别输出所述点云块对应的第一几何形状潜变量和第一相对旋转四元数潜变量，以及所述旋转点云块对应的第二几何形状潜变量和第二相对旋转四元数潜变量；两个所述形状编码器均包括打包级联的降采样、邻域聚类和PointTransformer结构；
将所述第一形状编码器中的第一几何形状潜变量与所述第二形状编码器中的第二几何形状潜变量交换；
在雷达覆盖范围内的单位立方体内均匀采样m次，得到大小为m×3的第一向量；再在雷达覆盖范围内的单位立方体内均匀采样n次，得到大小为m×3的第二向量；
将所述第一向量与所述第一形状编码器中所述第二几何形状潜变量堆叠后送入所述第一形状解码器，得到第一重建对齐点云；将所述第二向量与所述第二形状编码器中所述第一几何形状潜变量堆叠后送入所述第二形状解码器，得到第二重建对齐点云；
将所述第一形状编码器中的第一相对旋转四元数潜变量作用于所述第一重建对齐点云恢复朝向信息，得到第一恢复点云；将所述第二形状编码器中的第二相对旋转四元数潜变量作用于所述第二重建对齐点云恢复朝向信息，得到第二恢复点云；
根据所述第一恢复点云和所述第一恢复点云，利用第一损失函数收敛，得到域变换函数为shape＝F(X)的形状编码器E和域变换函数为
Figure FDA0003052120540000021
形状解码器D；所述第一损失函数为：L＝LMSE(Y′i，align，Yi，align)+(LCD(Xi，Yi)+LCD(X′i，Y′i))；其中，Xi为点云块，X′i为旋转点云块，Yi为恢复了Xi朝向信息的恢复点云；Y′i为恢复了X′i朝向信息的恢复点云；Y′i，align为第一重建对齐点云，Yi，align为第二重建对齐点云，
Figure FDA0003052120540000022
将所述点云块和所述旋转点云块输入所述形状编码器E，完成采样编码器S的训练，得到包含三个域变换函数的孪生交换网络。
3.如权利要求2所述的孪生交换网络的构建方法，其特征在于，所述将所述点云块和所述旋转点云块输入所述形状编码器E，完成采样编码器S的训练，具体包括：
将所述旋转点云块输入固定参数的形状编码器E，使所述固定参数的形状编码器E输出第三几何形状潜变量和第三相对旋转四元数潜变量；
将所述第三几何形状潜变量和所述旋转点云块堆叠后输入采样编码器S，得到第三潜变量；
将所述第三潜变量与所述第三几何形状潜变量堆叠，输入固定参数的形状解码器，得到第三重建对齐点云；
将所述第三相对旋转四元数潜变量作用于所述第三重建对齐点云恢复朝向信息，得到第三恢复点云；
根据所述第三恢复点云利用第二损失函数收敛，得到域变换函数为
Figure FDA0003052120540000023
的采样编码器S；所述第二损失函数为L＝LMSE(Vi，Wi)；其中Vi为旋转点云块，Wi为恢复了Vi朝向信息的恢复点云。
4.一种基于三维点云几何特征学习的点云配准方法，其特征在于，所述方法包括：
利用雷达持续获取点云数据，并对当前帧点云和上一帧点云构建邻域，利用包含三域变换函数的孪生交换网络中的形状编码器E提取所述当前帧点云和所述上一帧点云的几何描述并构建匹配关系；所述包含三域变换函数的孪生交换网络构建方法为权1-3任一项所述的孪生交换网络构建方法；
利用所述匹配关系获得所述当前帧点云和所述上一帧点云的相对位姿的初始估计；
利用采样编码器S和所述形状解码器D，以所述相对位姿的初始估计为初始值，将第二帧点云到第一帧隐式曲面的距离作为优化目标，调优得到所述当前帧点云和所述上一帧点云之间的精准相对位姿；
利用所述精准相对位姿增量式地定位激光雷达并拼接得到点云地图。
5.根据权利要求4所述的基于三维点云几何特征学习的点云配准方法，其特征在于，所述利用雷达持续获取点云数据，并对当前帧点云和上一帧点云构建邻域，利用包含三域变换函数的孪生交换网络中的形状编码器E提取所述当前帧点云和所述上一帧点云的几何描述并构建匹配关系，具体包括：
利用雷达持续获取点云数据；
使用K近邻分类算法对所述点云数据中的当前帧点云和上一帧点云中的每一个点构建邻域点云块；
将每个所述邻域点云块输入所述形状编码器E得到每一个点的几何描述；
将所有的当前帧点云中的点的几何描述堆叠，得到当前帧点云的几何描述集合；将所有的上一帧点云中的点的几何描述堆叠，得到上一帧点云的几何描述集合；
根据所述当前帧点云的几何描述集合和所述上一帧点云的几何描述集合利用匹配公式构建两帧点云的匹配对集合；所述匹配公式为：
Figure FDA0003052120540000031
其中M记录了Na个索引对(i，j)，i和j分别表示点云A和点云B的索引，点云A为上一帧点云，点云B为当前帧点云，每个索引对记录了两个索引：点云中A点Ai的索引i、点云B中描述符和点云A第i个点Ai的描述符最近的点Bj的索引j。
6.根据权利要求5所述的基于三维点云几何特征学习的点云配准方法，其特征在于，所述利用所述匹配关系获得所述当前帧点云和所述上一帧点云的相对位姿的初始估计，具体包括：
将所述匹配对集合中特征距离d(i，j)＞0.3*dmean的匹配对剔除，得到标准匹配对集合；其中d(i，j)是某一匹配对的特征距离，dmean是匹配对特征距离均值，所述匹配对特征距离计算公式为：
Figure FDA0003052120540000041
其中，Na为点云A中点的总个数，(i，j)表示匹配对集合M的索引对元素，
Figure FDA0003052120540000042
表示点云A中点Ai的几何描述，
Figure FDA0003052120540000043
表示点云B中点Bj的几何描述；
利用所述标准匹配对集合生成三维坐标匹配对集合；
在所述三维坐标匹配对集合中使用随机抽样一致算法迭代地随机挑选子集并求解相对位姿，直至收敛，得到内点匹配对集合；
基于所述内点匹配对集合求解相对位姿初始估计：所述相对位姿初始估计的求解公式为：
Figure FDA0003052120540000044
其中Tinitial为相对位姿初始估计，T表示待优化位姿参数，Ai为点云A中的点，Bj为点云B中的点。
7.根据权利要求6所述的基于三维点云几何特征学习的点云配准方法，其特征在于，所述利用采样编码器S和所述形状解码器D，以所述相对位姿的初始估计为初始值，将第二帧点云到第一帧隐式曲面的距离作为优化目标，调优得到所述当前帧点云和所述上一帧点云之间的精准相对位姿，具体包括：
利用所述内点匹配对集合构建点云块匹配对集合Q＝{(Xi，Yj)|(i，j)∈Minlier}，其中Xi表示点云A中点Ai的邻域集合，Yj表示点云B中点Bj的邻域集合；
将点云A中点Ai的邻域集合输入所述形状编码器E获取几何形状域描述
Figure FDA0003052120540000045
将待优化的精细位姿估计参数Tfine初始化为所述初始位姿估计Tinitial；
将初始化的所述精细位姿估计参数Tfine作用在Yj上，并进行去中心化得到去中心后点云块
Figure FDA0003052120540000046
其中A1i表示点云A中心点的三维坐标；
将所述去中心后点云块输入所述采样编码器S，得到所述去中心后点云块的采样域描述
Figure FDA0003052120540000047
将所述点云块的几何形状域描述与所述去中心后点云块的几何形状域描述相连接，输入所述形状解码器D，得到采样点云块
Figure FDA0003052120540000048
以所述点云块Xi和所述采样点云块
Figure FDA0003052120540000051
的均方误差为网络优化目标，固定除所述精细位姿估计参数Tfine以外的所有网络参数和输入数据，使用深度学习框架下的梯度下降方法优化所述精细位姿估计参数Tfine直至收敛，得到精准位姿参数T*；
利用所述精准位姿参数T*得到精准相对位姿。
8.根据权利要求7所述的基于三维点云几何特征学习的点云配准方法，其特征在于，所述利用所述精准相对位姿增量式地定位激光雷达并拼接得到点云地图，具体包括：
利用所述精准位姿参数T*得到第t帧点云Dt和第t-1帧点云Dt-1之间的相对位姿
Figure FDA0003052120540000052
将
Figure FDA0003052120540000053
更新到历史位姿序列St中，利用所述历史位姿序列依次记录从开始扫描到当前时刻的所有相邻帧点云之间的相对位姿；
对所述历史位姿序列St进行前缀点乘，得到激光雷达各个时刻的位姿序列
Figure FDA0003052120540000054
其中
Figure FDA0003052120540000055
表示以第0帧激光雷达坐标系为世界坐标系的情况下第i帧时雷达的位置和姿态，I4×4表示单位方阵，
Figure FDA0003052120540000056
表示第j帧点云Dj和第j+1帧点云Dj+1之间的相对位姿；
根据所述位姿序列Zt实现所有点云的配准得到点云地图，配准方式为
Figure FDA0003052120540000057
其中
Figure FDA0003052120540000058
表示点云Di转换到世界坐标系后的结果。
9.一种三域变换函数的构建***，其特征在于，所述***包括：
训练集生成单元，用于利用雷达历史数据集中的点云数据生成训练集；
点云块选取单元，用于在所述训练集中选取一个点云块；
点云块旋转单元，用于对所述点云块进行任意三维旋转，得到旋转点云块；
三域变换函数训练单元，用于用自监督方法训练孪生交换网络结构并收敛，得到包含三域变换函数的孪生交换网络，所述三域变换函数包括形状编码器E、采样编码器S和形状解码器D。
10.一种基于三维点云几何特征学习的点云配准***，其特征在于，所述***包括：
匹配关系构建单元，用于利用雷达持续获取点云数据，并对当前帧点云和上一帧点云构建邻域，利用包含三域变换函数的孪生交换网络中的形状编码器E提取所述当前帧点云和所述上一帧点云的几何描述并构建匹配关系；
相对位姿初始估计单元，用于利用所述匹配关系获得所述当前帧点云和所述上一帧点云的相对位姿的初始估计；
精准相对位姿计算单元，用于利用采样编码器S和所述形状解码器D，以所述相对位姿的初始估计为初始值，将第二帧点云到第一帧隐式曲面的距离作为优化目标，调优得到所述当前帧点云和所述上一帧点云之间的精准相对位姿；
点云地图拼接单元，用于利用所述精准相对位姿增量式地定位激光雷达并拼接得到点云地图。
CN202110490222.6A 2021-05-06 2021-05-06 一种基于三维点云几何特征学习的点云配准方法及*** Active CN113139996B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110490222.6A CN113139996B (zh) 2021-05-06 2021-05-06 一种基于三维点云几何特征学习的点云配准方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110490222.6A CN113139996B (zh) 2021-05-06 2021-05-06 一种基于三维点云几何特征学习的点云配准方法及***

Publications (2)

Publication Number Publication Date
CN113139996A true CN113139996A (zh) 2021-07-20
CN113139996B CN113139996B (zh) 2024-02-06

Family

ID=76817664

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110490222.6A Active CN113139996B (zh) 2021-05-06 2021-05-06 一种基于三维点云几何特征学习的点云配准方法及***

Country Status (1)

Country Link
CN (1) CN113139996B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113971690A (zh) * 2021-10-28 2022-01-25 燕山大学 一种基于深度学习的端到端三维点云配准方法
CN114067310A (zh) * 2021-11-16 2022-02-18 国网福建省电力有限公司 一种基于特征匹配的场站映射方法、装置及电子设备
CN114913552A (zh) * 2022-07-13 2022-08-16 南京理工大学 一种基于单视角点云序列的三维人体稠密对应估计方法
CN115115700A (zh) * 2022-05-17 2022-09-27 清华大学 物体的姿态估计方法、装置、电子设备及存储介质
CN116128941A (zh) * 2023-02-08 2023-05-16 西安电子科技大学 一种基于跳跃注意力机制的点云配准方法
CN116468767A (zh) * 2023-03-28 2023-07-21 南京航空航天大学 基于局部几何特征和隐式距离场的飞机表面重建方法
CN116664645A (zh) * 2023-07-28 2023-08-29 之江实验室 一种点云匹配方法、装置、电子装置和存储介质
CN117288094A (zh) * 2023-11-24 2023-12-26 太原理工大学 基于激光传感器的掘进机实时定位***

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105976353A (zh) * 2016-04-14 2016-09-28 南京理工大学 基于模型和点云全局匹配的空间非合作目标位姿估计方法
EP3291180A1 (en) * 2016-08-31 2018-03-07 Siemens Aktiengesellschaft Method for creating a digital twin of a room
CN108765475A (zh) * 2018-05-25 2018-11-06 厦门大学 一种基于深度学习的建筑物三维点云配准方法
CN108876831A (zh) * 2018-06-08 2018-11-23 西北工业大学 一种基于深度学习的建筑物三维点云配准方法
CN110910433A (zh) * 2019-10-29 2020-03-24 太原师范学院 一种基于深度学习的点云匹配方法
CN111025331A (zh) * 2019-12-25 2020-04-17 湖北省国土资源研究院(湖北省国土资源厅不动产登记中心) 一种基于旋转结构的激光雷达建图方法及其扫描***
CN111580129A (zh) * 2020-04-07 2020-08-25 华南理工大学 一种基于单线激光雷达获取3d激光点云的方法
US20200278450A1 (en) * 2017-11-20 2020-09-03 Panasonic Intellectual Property Corporation Of America Three-dimensional point cloud generation method, position estimation method, three-dimensional point cloud generation device, and position estimation device
CN111783838A (zh) * 2020-06-05 2020-10-16 东南大学 一种用于激光slam的点云特征空间表征方法
CN111882593A (zh) * 2020-07-23 2020-11-03 首都师范大学 结合注意力机制及三维图卷积网络的点云配准模型及方法
CN112102458A (zh) * 2020-08-31 2020-12-18 湖南盛鼎科技发展有限责任公司 基于激光雷达点云数据辅助的单镜头三维图像重构方法
CN112362072A (zh) * 2020-11-17 2021-02-12 西安恒图智源信息科技有限责任公司 一种复杂城区环境中的高精度点云地图创建***及方法
CN112614186A (zh) * 2020-12-28 2021-04-06 上海汽车工业(集团)总公司 目标位姿计算方法及计算模块

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105976353A (zh) * 2016-04-14 2016-09-28 南京理工大学 基于模型和点云全局匹配的空间非合作目标位姿估计方法
EP3291180A1 (en) * 2016-08-31 2018-03-07 Siemens Aktiengesellschaft Method for creating a digital twin of a room
US20200278450A1 (en) * 2017-11-20 2020-09-03 Panasonic Intellectual Property Corporation Of America Three-dimensional point cloud generation method, position estimation method, three-dimensional point cloud generation device, and position estimation device
CN108765475A (zh) * 2018-05-25 2018-11-06 厦门大学 一种基于深度学习的建筑物三维点云配准方法
CN108876831A (zh) * 2018-06-08 2018-11-23 西北工业大学 一种基于深度学习的建筑物三维点云配准方法
CN110910433A (zh) * 2019-10-29 2020-03-24 太原师范学院 一种基于深度学习的点云匹配方法
CN111025331A (zh) * 2019-12-25 2020-04-17 湖北省国土资源研究院(湖北省国土资源厅不动产登记中心) 一种基于旋转结构的激光雷达建图方法及其扫描***
CN111580129A (zh) * 2020-04-07 2020-08-25 华南理工大学 一种基于单线激光雷达获取3d激光点云的方法
CN111783838A (zh) * 2020-06-05 2020-10-16 东南大学 一种用于激光slam的点云特征空间表征方法
CN111882593A (zh) * 2020-07-23 2020-11-03 首都师范大学 结合注意力机制及三维图卷积网络的点云配准模型及方法
CN112102458A (zh) * 2020-08-31 2020-12-18 湖南盛鼎科技发展有限责任公司 基于激光雷达点云数据辅助的单镜头三维图像重构方法
CN112362072A (zh) * 2020-11-17 2021-02-12 西安恒图智源信息科技有限责任公司 一种复杂城区环境中的高精度点云地图创建***及方法
CN112614186A (zh) * 2020-12-28 2021-04-06 上海汽车工业(集团)总公司 目标位姿计算方法及计算模块

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
CHUANZHE SUO，ET AL: ""LPD-AE: Latent Space Representation of Large-Scale 3D Point Cloud"", 《IEEE》 *
SHANGJIE SHI ，ET AL: ""An_Efficient_Multi-Robot_3D_SLAM_Algorithm"", 《IEEE》 *
SIDAN DU，ET AL: ""Learn a Global Appearance Semi-Supervisedly for Synthesizing Person Images"", 《IEEE》 *
YAO YU，ET AL: ""Reconstruction of High-Precision Semantic Map"", 《SENSORS》 *
YUFU ZANG，ET AL: ""Deep Localization of Static Scans in Mobile Mapping Point Clouds"", 《REMOTE SENSING》 *
周余，于耀，都思丹，等: ""基于Kinect的无标记手部姿态估计***"", 《南京大学学报（自然科学）》 *
李欣;李京英;: "基于激光雷达点云多特征提取的车辆目标识别算法", 传感器与微***, no. 10 *
梁振斌;熊风光;韩燮;陶谦;: "基于深度学习的点云匹配", 计算机工程与设计, no. 06 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113971690A (zh) * 2021-10-28 2022-01-25 燕山大学 一种基于深度学习的端到端三维点云配准方法
CN113971690B (zh) * 2021-10-28 2024-04-16 燕山大学 一种基于深度学习的端到端三维点云配准方法
CN114067310A (zh) * 2021-11-16 2022-02-18 国网福建省电力有限公司 一种基于特征匹配的场站映射方法、装置及电子设备
CN115115700A (zh) * 2022-05-17 2022-09-27 清华大学 物体的姿态估计方法、装置、电子设备及存储介质
CN114913552A (zh) * 2022-07-13 2022-08-16 南京理工大学 一种基于单视角点云序列的三维人体稠密对应估计方法
CN116128941A (zh) * 2023-02-08 2023-05-16 西安电子科技大学 一种基于跳跃注意力机制的点云配准方法
CN116468767A (zh) * 2023-03-28 2023-07-21 南京航空航天大学 基于局部几何特征和隐式距离场的飞机表面重建方法
CN116468767B (zh) * 2023-03-28 2023-10-13 南京航空航天大学 基于局部几何特征和隐式距离场的飞机表面重建方法
CN116664645A (zh) * 2023-07-28 2023-08-29 之江实验室 一种点云匹配方法、装置、电子装置和存储介质
CN116664645B (zh) * 2023-07-28 2023-10-20 之江实验室 一种点云匹配方法、装置、电子装置和存储介质
CN117288094A (zh) * 2023-11-24 2023-12-26 太原理工大学 基于激光传感器的掘进机实时定位***
CN117288094B (zh) * 2023-11-24 2024-01-26 太原理工大学 基于激光传感器的掘进机实时定位***

Also Published As

Publication number Publication date
CN113139996B (zh) 2024-02-06

Similar Documents

Publication Publication Date Title
CN113139996B (zh) 一种基于三维点云几何特征学习的点云配准方法及***
Sarlin et al. Back to the feature: Learning robust camera localization from pixels to pose
CN108510532B (zh) 基于深度卷积gan的光学和sar图像配准方法
CN110503680B (zh) 一种基于非监督的卷积神经网络单目场景深度估计方法
CN110189399B (zh) 一种室内三维布局重建的方法及***
CN111462329A (zh) 一种基于深度学习的无人机航拍影像的三维重建方法
CN107967463B (zh) 一种基于合成图像和深度学习的虚拟人脸识别方法
CN112750198B (zh) 一种基于非刚性点云的稠密对应预测方法
CN113283525B (zh) 一种基于深度学习的图像匹配方法
CN112560648B (zh) 一种基于rgb-d图像的slam方法
CN113516693B (zh) 一种快速通用的图像配准方法
CN110009745B (zh) 根据平面基元和模型驱动对点云提取平面的方法
Uddin et al. Human Activity Recognition via 3-D joint angle features and Hidden Markov models
CN113077554A (zh) 一种基于任意视角图片的三维结构化模型重建的方法
CN111860651A (zh) 一种基于单目视觉的移动机器人半稠密地图构建方法
CN113538218A (zh) 基于位姿自监督对抗生成网络的弱配对图像风格迁移方法
Ruhnke et al. Unsupervised learning of compact 3d models based on the detection of recurrent structures
CN104463962B (zh) 基于gps信息视频的三维场景重建方法
CN116772820A (zh) 一种基于slam和语义分割的局部细化建图***及方法
CN114663880A (zh) 基于多层级跨模态自注意力机制的三维目标检测方法
CN115272599A (zh) 一种面向城市信息模型的三维语义地图构建方法
CN113284249B (zh) 一种基于图神经网络的多视角三维人体重建方法及***
CN117252928B (zh) 用于电子产品模块化智能组装的视觉图像定位***
CN114494644A (zh) 一种基于双目立体匹配的空间非合作目标位姿估计与三维重建方法及***
CN114049541A (zh) 基于结构化信息特征解耦与知识迁移的视觉场景识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant