CN112837356A - 一种基于wgan的无监督多视角三维点云联合配准方法 - Google Patents
一种基于wgan的无监督多视角三维点云联合配准方法 Download PDFInfo
- Publication number
- CN112837356A CN112837356A CN202110165409.9A CN202110165409A CN112837356A CN 112837356 A CN112837356 A CN 112837356A CN 202110165409 A CN202110165409 A CN 202110165409A CN 112837356 A CN112837356 A CN 112837356A
- Authority
- CN
- China
- Prior art keywords
- point
- point cloud
- matrix
- sampling
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000005070 sampling Methods 0.000 claims abstract description 66
- 230000000007 visual effect Effects 0.000 claims abstract description 29
- 238000012549 training Methods 0.000 claims abstract description 27
- 230000008569 process Effects 0.000 claims abstract description 24
- 230000005477 standard model Effects 0.000 claims abstract description 13
- 239000011159 matrix material Substances 0.000 claims description 88
- 238000009826 distribution Methods 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 19
- 238000005457 optimization Methods 0.000 claims description 16
- 238000013528 artificial neural network Methods 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 9
- 230000017105 transposition Effects 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 239000013256 coordination polymer Substances 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000012512 characterization method Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 238000000354 decomposition reaction Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 230000003190 augmentative effect Effects 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 abstract description 7
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 230000036544 posture Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 8
- 238000005259 measurement Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于WGAN的无监督多视角三维点云联合配准方法包括如下步骤:步骤S1、获取不同视角的点云;步骤S1、对所有视角的点云进行下采样;步骤S3、从标准模型中采样;步骤S4、对多视角点云联合配准WGAN的生成器网络进行训练;步骤S5、对多视角点云联合配准WGAN的判别器网络进行训练;步骤S6、判断是否终止训练:设定生成器和判别器训练的次数均为M次,若达到M次则终止训练,若未达到M次则回到步骤S4。本发明设计了一种多视角点云配准网络生成点云模型,相较于传统的配准方法,具有对初始化更强的鲁棒性,有利于在生产线上实时运行,既不存在视角偏置,也不存在累计误差。
Description
技术领域
本发明涉及机器视觉技术领域,特别涉及一种基于WGAN(WassersteinGenerative Adversarial Networks,一种生成式对抗网络深度学习模型)的无监督多视角三维点云联合配准方法。
背景技术
智能制造技术是实现制造业工业化与信息化融合的动力。如今,航空制造业也正面临着向智能化的转型。机器人作为智能制造技术的载体之一,在航空制造领域引起了广泛关注。航空发动机是飞机的“心脏”,其性能主要受到航空发动机叶片制造水平的限制。叶片三维尺寸测量技术对叶片加工和质量检测具有重要意义。为了满足叶片日益复杂的测量需求,亟需开发三维测量机器人并实现自动测量。随着光学测量技术的发展,一个可行的机器人测量方案是:利用装载在工业机器人末端的激光扫描仪获取点云并重建出三维模型,通过该模型测量叶片的三维尺寸数据。
在该测量方案中,准确和完整地重建叶片的三维模型是精密测量叶片的必要前提,而配准多个视角的三维点云是重建过程主要需要解决的问题。点云配准指将不同坐标系下的点云变换到统一的坐标系下,一般分为三类:粗配准、精细配准和全局配准。粗配准一般用于两个姿态相差较大的点云;精细配准用于提升粗配准点云的精度,较为成熟的方法包括ICP(Iterative Closest Point,迭代最近点)配准算法以及基于ICP的改进算法;重建过程中,逐帧配准点云数据往往存在严重的累计误差,影响重建模型的精度。全局配准算法则期望将累计误差分散到每一帧数据,从而减小整体的误差。无论是精配准还是全局配准,都需要一个较好的粗配准结果作为初始化参数。粗配准则对依赖于点云的重叠区域大小,重叠部分特征的显著性,以及模型本身的对称性等。
航空发动机叶片为了满足气动性能,被设计成光滑无纹理的双曲面薄壁异形结构。在获取三维点云时,这样的结构会导致相邻点云间重叠区域不足,且纹理特征微弱,难以取得较好的粗配准结果,因此使得全局配准的误差大,无法精密重建出叶片的三维模型。
发明内容
本发明提供了一种基于WGAN的无监督多视角三维点云联合配准方法,该方法在WGAN的框架上可训练并优化各个视角的姿态,使得优化后整体的点云概率分布与先验模型点云的概率分布差异最小化,即表示配准后的点云模型最大程度的接近理论模型。
为了达到上述目的,本发明提供的一种基于WGAN的无监督多视角三维点云联合配准方法,包括如下步骤:
步骤S1、获取不同视角的点云:从不同视角进行扫描,扫描后获得I个点云P={P1,...,Pi,...,PI},表示第i个点云;Ni表示第i个点云所包含的点的个数,Pij表示第i个点云中的第j个点,pn=R3,R表示实数,R3表示笛卡尔三维坐标系;
步骤S2、对所有视角的点云进行下采样:点云Pi为分别处理与前后相邻两个视角的关系,存在两个相邻的点云,处理不同相邻点云时,共进行两次点云下采样,即对于每个点云,分别对前后相邻视角点云下采样:
对于Pi-1,对Pi和Pi-1进行随机采样,采样数量NiL为:
NiL=min{Ni-1/s,Ni/s} (1)
对于Pi+1,对Pi和Pi+1进行随机采样,采样数量NiR为:
NiR=min{Ni/s,Ni+1/s} (2)
式中,Ni-1表示第i-1个点云所包含的点的个数,Ni表示第i个点云所包含的点的个数,Ni+1表示第i+1个点云所包含的点的个数,s为人为设定的采样参数;
步骤S4、对多视角点云联合配准WGAN的生成器网络进行训练:将各个视角点云逐一转换到统一的坐标系下,将所有转换后的点云融合成一个完整的点云模型P',并对P'进行均匀采样,从P'采样m个点作为生成样本具体包括如下步骤:
步骤S41、设计生成器;
步骤S42、生成器网络进行训练;
步骤S51、设计判别器;
步骤S52、判别器网络进行训练;
步骤6:判断是否终止训练:设定生成器和判别器训练的次数均为M次,若达到M次则终止训练,若未达到M次则回到步骤S4。
优选地,所述步骤S41具体包括如下步骤:
步骤S412、构建匹配点计算网络层,逐点计算匹配点:提取相邻点云Pi-1与Pi+1对应的经过高维特征向量转换的特征矩阵F(i-1)R和F(i+1)L;分别计算Pi与Pi-1及Pi+1的匹配概率,分别得到匹配点对集合
步骤S413、滤除基于注意力机制的外点:计算上一次迭代得到的第i个姿态的转置与匹配点对Cij之间的相关性度量simij,j表示索引;
步骤S414、联合配准求姿态的闭式解T:根据当前匹配点对及其权重计算点云的相对姿态及约束条件,获得点云的相对姿态优化唯一最优解,即最优姿态;
步骤S415、生成点云模型并进行采样:根据最优姿态,将各个视角点云逐一转换到统一的坐标系下,融合成一个完整的点云模型P',并对P'进行均匀采样。
优选地,所述步骤S411具体为:
将每一条边作为多层感知机MLP的输入,经过ReLU激活函数后输出Dout维特征;
其中,第一个EdgeConv层输出的特征维数为64,第二个EdgeConv层输出的特征维数为64,第三个EdgeConv层输出的特征维数为128,第四个EdgeConv层输出的特征维数为256;将四个EdgeConv层提取的特征拼接得到的N×512维特征作为Conv的输入,过ReLU激活函数后输出特征矩阵Fi∈RN×1024,RN×1024表示N×1024维实数矩阵。
优选地,所述步骤S412具体为:
Pi与Pi+1的匹配点具体为:输入为输出为和其中,φ(FiR,F(i+1)L)为Transformer将特征FiR通过学习调整到一个“条件”F(i+1)L的残差变化量,φ(F(i+)L,FiR)为Transformer将特征F(i+1)L通过学习调整到一个“条件”FiR的残差变化量;
对于点pij∈Pi,Pi+1的每一个点与pij成为匹配点的概率所构成矩阵为
ΦiR(j)表示ΦiR的第j行,即对应于点pij的特征向量,T表示矩阵转置,softmax是一种概率归一化处理函数;
根据上述匹配点概率,为pij∈Pi生成一个平均匹配点cpij:
点云Pi在Pi+1中得到的匹配点集合记为CPi,匹配点对(pij,cpij)记作Cij,匹配点对构成集合CiR;
Pi与Pi-1的匹配点均可按照上述过程实现,得到匹配点对集合CiL;CiR与CiL构成匹配点对构成集合Ci;每对相邻视角寻找匹配点的过程均可按照上述过程实现。
优选地,所述步骤S413具体为:
引入soft max函数对simij进行归一化,使所有匹配点对权重之和为1:
优选地,所述步骤S414具体为:
根据当前匹配点对及其权重计算点云的相对姿态,所有匹配点对欧式距离之和d为:
所求得的姿态T=[T1,...,TI]T需要一个固定的初始坐标系,以保证优化问题仅存在唯一的最优解;
为式(9)添加约束条件T1=T0,T0是任意的满足R0∈SO(3)的姿态;为了简化网络结构,取T0为标准3D模型的坐标系;由于T=[T1,...,TI]T,构造矩阵A=[I4 04×4(I-1)],I4表示4×4的单位矩阵,04×4(I-1)表示4×4(I-1)的零矩阵;
约束条件1表示成:
T1=AT=T0 (10)
式中,I表示单位矩阵,det表示行列式;
令b=[I3 03×1],则
Ri=bTi (12)
令R=[R1...Ri...RI],则
R=BT (13)
式中,s.t.表示约束条件;
采用拉格朗日乘子法处理等式约束问题,增广的拉格朗日函数为
采用交替乘子法求解上述问题的最优解,得到如下迭代关系
SVD表示奇异值分解;
关于T的子问题是一个二次凸优化问题,令其导数为0求其最小值,即
则有
优选地,所述步骤S415具体为:
根据上个步骤求得的姿态T,将各个视角点云逐一转换到统一的坐标系下:
p'ij=pijTi (21)
将所有转换后的点云融合成一个完整的点云模型P';
所述步骤S3具体包括入下步骤:
步骤S31、记标准模型点集为Ps,采样点集为S1,S1初始化为空集;
步骤S32、随机采样一个种子点seed,放入S1;
步骤S33、在集合Ps-S1里,找一个距离集合S1最远的点,其中点到集合S1的距离为该点到S1最小的点距;
优选地,所述步骤S42具体包括如下步骤:
步骤S422、将相邻视角的特征矩阵FiR和F(i+1)L逐对输入到匹配点对生成网络,得到点云Pi的匹配点集CPi;
步骤S423、将所有视角的点及其匹配点作为输入,利用联合配准求姿态的闭式解T;
步骤S424、将所有点云通过求得的T转换到统一坐标系下,融合成点云模型P';
步骤S426、调节生成器网络参数:
θ←θ-α·RMS Prop(θ,gθ) (23)
gθ表示关于θ的梯度,θ表示生成器的网络参数,fω表示判别器,ω表示判别器的网络参数,v(i)表示第i个生成样本,α表示步长,RMSProp表示一种基于动量的优化算法。
优选地,所述步骤S51具体为:
WGAN网络通过训练含参数ω、最后一层不是非线性激活层的判别器网络fω,在ω不超过某个范围的条件下,使得L尽可能最大,L表达式如下:
判别器采用全连接实现的多层感知机,结构为四层全连接,伴有3个ReLU激活函数;输入为点的坐标,即输入维度为3,输出维度为1。
优选地,所述步骤S52具体包括如下步骤:
ω←ω+α·RMS Prop(ω,gω) (26)
ω←clip(ω,-c,c) (27)
gω表示关于ω的梯度,u(i)表示第i个标准样本,fω表示判别器,ω表示判别器的网络参数,RMSProp表示一种基于动量的优化算法,clip()表示参数ω的绝对值截断到不超过一个固定的常数c。
本发明能够取得下列有益效果:
(1)对视角姿态的初始化鲁棒;(2)相比于全监督神经网络,本发明所涉及的神经网络为无监督神经网络,只需要预先知道建模对象的理论模型即可,不需要大量的标注信息和大量样本,训练简单快速;(3)无需考虑网络的泛化能力,可实时运行;(4)相比于传统的多视角配准方法,所设计的网络直接求每一个视角相对于同一参考坐标系的转换关系,既不存在对某个视角的偏置,也不存在累计误差;(5)训练后的结果可作为精配准的初始值,配准精度高。
附图说明
图1为本发明的一种基于WGAN的无监督多视角三维点云联合配准方法的算法实现流程图;
图2为本发明的一种基于WGAN的无监督多视角三维点云联合配准方法中的一较佳实施例的联合配准的WGAN总体网络结构示意图;
图3为本发明的一种基于WGAN的无监督多视角三维点云联合配准方法的一较佳实施例中WGAN的生成器网络结构的示意图;
图4为本发明的一种基于WGAN的无监督多视角三维点云联合配准方法的一较佳实施例中生成器所涉及的高维特征提取层网络结构的示意图;
图5(a)为本发明的一种基于WGAN的无监督多视角三维点云联合配准方法的一较佳实施例中高维特征提取层所涉及的EdgeConv层的示意图;
图5(b)为图5(a)中通过K-邻近构造的图的示意图;
图6为本发明的一种基于WGAN的无监督多视角三维点云联合配准方法的一较佳实施例中生成器所涉及的匹配点生成层的transformer网络结构的示意图;
图7(a)为本发明的一种基于WGAN的无监督多视角三维点云联合配准方法的一较佳实施例中transformer网络所涉及的attention的示意图;
图7(b)为图7(a)的transformer网络所涉及的Multi-head attention子层的示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚,下面将结合附图及具体实施例进行详细描述。
发动机叶片是以理论设计模型为参考加工的,所以加工成型的叶片应尽可能的符合设计模型,理论上配准后点云的整体概率分布也应该尽可能的接近理论模型点云的概率分布。
本发明针对现有的问题,提供了一种基于WGAN的无监督多视角三维点云联合配准方法,如图1及图2所示,本发明的一种基于WGAN的无监督多视角三维点云联合配准方法包括如下步骤:
步骤S1、获取不同视角的点云:从不同视角进行扫描,扫描后获得I个点云P={P1,...,Pi,...,PI},表示第i个点云;Ni表示第i个点云所包含的点的个数,Pij表示第i个点云中的第j个点,pn=R3,R表示实数,R3表示笛卡尔三维坐标系;
步骤S2、对所有视角的点云进行下采样:点云Pi为分别处理与前后相邻两个视角的关系,存在两个相邻的点云,处理不同相邻点云时,共进行两次点云下采样,即对于每个点云,分别对前后相邻视角点云下采样:
对于Pi-1,对Pi和Pi-1进行随机采样,采样数量NiL为:
NiL=min{Ni-1/s,Ni/s} (1)
对于Pi+1,对Pi和Pi+1进行随机采样,采样数量NiR为:
NiR=min{Ni/s,Ni+1/s} (2)
式中,Ni-1表示第i-1个点云所包含的点的个数,Ni表示第i个点云所包含的点的个数,Ni+1表示第i+1个点云所包含的点的个数,s为人为设定的采样参数;
步骤S4、对多视角点云联合配准WGAN的生成器网络进行训练:将各个视角点云逐一转换到统一的坐标系下,将所有转换后的点云融合成一个完整的点云模型P',并对P'进行均匀采样,从P'采样m个点作为生成样本具体包括如下步骤:
步骤S41、设计生成器;
步骤S42、生成器网络进行训练;
步骤S51、设计判别器;
步骤S52、判别器网络进行训练;
步骤6:判断是否终止训练:设定生成器和判别器训练的次数均为M次,若达到M次则终止训练,若未达到M次则回到步骤S4。
参考图3中WGAN的生成器网络结构的示意图,其中,所述步骤S41具体包括如下步骤:
步骤S412、构建匹配点计算网络层,逐点计算匹配点:提取相邻点云Pi-1与Pi+1对应的经过高维特征向量转换的特征矩阵F(i-1)R和F(i+1)L;分别计算Pi与Pi-1及Pi+1的匹配概率,分别得到匹配点对集合
步骤S413、滤除基于注意力机制的外点:计算上一次迭代得到的第i个姿态的转置与匹配点对Cij之间的相关性度量simij,j表示索引;
步骤S414、联合配准求姿态的闭式解T:根据当前匹配点对及其权重计算点云的相对姿态及约束条件,获得点云的相对姿态优化唯一最优解,即最优姿态;
步骤S415、生成点云模型并进行采样:根据最优姿态,将各个视角点云逐一转换到统一的坐标系下,融合成一个完整的点云模型P',并对P'进行均匀采样。
参考图4、图5(a)及图5(b),所述步骤S411具体为:
网络由4个EdgeConv(一种边卷积操作)层和一个卷积层Conv(向量卷积运算)构成,用每一个特征作为顶点,对每个点计算K-最近邻KNN,连接其K近邻作为边,构建图结构,Din表示输入特征向量的维数,表示Din维实数向量;
将每一条边作为多层感知机MLP(Multilayer Perceptron)的输入,经过ReLU(线性整流函数,Rectified Linear Unit)激活函数后输出Dout维特征;
其中,第一个EdgeConv层输出的特征维数为64,第二个EdgeConv层输出的特征维数为64,第三个EdgeConv层输出的特征维数为128,第四个EdgeConv层输出的特征维数为256;将四个EdgeConv层提取的特征拼接得到的N×512维特征作为Conv的输入,过ReLU激活函数后输出特征矩阵Fi∈RN×1024,RN×1024表示N×1024维实数矩阵。
所述步骤S412具体为:
Pi与Pi+1的匹配点具体为:输入为输出为和其中,φ(FiR,F(i+1)L)为Transformer将特征FiR通过学习调整到一个“条件”F(i+1)L的残差变化量,φ(F(i+)L,FiR)为Transformer将特征F(i+1)L通过学习调整到一个“条件”FiR的残差变化量;
参考图6、图7(a)及7(b),Transformer为基于encoder-decoder(编码器-解码器)结构的模型:
Encoder(编码器)包括6个编码器,6个编码器依次叠加,每个编码器包含一个Multi-head attention(多头注意力)子层和一个feed-forward(前馈)子层,每个子层之间有残差连接;每个编码器输出矩阵作为下一个编码器的输入;第一个编码器的输入为FiR,最后一个编码器的输出为的编码矩阵;Multi-head attention子层,将8次self-attention(自注意力)计算得到的矩阵进行加权求和;
Decoder(解码器)包括6个解码器,6个解码器依次叠加,每个解码器包含两个Multi-head attention子层和一个feed-forward子层,每个子层之间有残差连接;每个解码器输出矩阵作为下一个解码器的输入;第一个解码器的输入为F(i+1)L,最后一个编码器的输出为的解码矩阵;第一个Multi-head attention将8次self-attention计算得到的矩阵进行加权求和,第二个Multi-head attention将8次encoder-decoder-attention(编码器-解码器注意力)计算得到的矩阵进行加权求和;encoder-decoder-attention用第一个子层的输出创建Queries矩阵(查询矩阵),用encoder的输出创建Keys(关键字)和Values(值)矩阵;
对于点pij∈Pi,Pi+1的每一个点与pij成为匹配点的概率所构成矩阵为
ΦiR(j)表示ΦiR的第j行,即对应于点pij的特征向量;T表示矩阵转置,softmax是一种概率归一化处理函数;
根据上述匹配点概率,为pij∈Pi生成一个平均匹配点cpij:
点云Pi在Pi+1中得到的匹配点集合记为CPi,匹配点对(pij,cpij)记作Cij,匹配点对构成集合CiR;
Pi与Pi-1的匹配点均可按照上述过程实现,得到匹配点对集合CiL;CiR与CiL构成匹配点对构成集合Ci;每对相邻视角寻找匹配点的过程均可按照上述过程实现。
所述步骤S413具体为:
引入soft max函数对simij进行归一化,使所有匹配点对权重之和为1:
所述步骤S414具体为:
根据当前匹配点对及其权重计算点云的相对姿态,所有匹配点对欧式距离之和d为:
所求得的姿态T=[T1,...,TI]T需要一个固定的初始坐标系,以保证优化问题仅存在唯一的最优解;
为式(9)添加约束条件T1=T0,T0是任意的满足R0∈SO(3)的姿态;为了简化网络结构,取T0为标准3D模型的坐标系;由于T=[T1,...,TI]T,构造矩阵A=[I4 04×4(I-1)],I4表示4×4的单位矩阵,04×4(I-1)表示4×4(I-1)的零矩阵;
约束条件1表示成:
T1=AT=T0. (10)
式中,I表示单位矩阵,det表示行列式;
令b=[I3 03×1],则
Ri=bTi, (12)
令R=[R1...Ri...RI],则
R=BT, (13)
式中,s.t.表示约束条件;
采用拉格朗日乘子法处理等式约束问题,增广的拉格朗日函数为
采用交替乘子法求解上述问题的最优解,得到如下迭代关系
SVD(Singular Value Decomposition,奇异值分解)表示奇异值分解;
关于T的子问题是一个二次凸优化问题,令其导数为0求其最小值,即
则有
所述步骤S415具体为:
根据上个步骤求得的姿态T,将各个视角点云逐一转换到统一的坐标系下:
p'ij=pijTi (21)
将所有转换后的点云融合成一个完整的点云模型P';
所述步骤S416具体为:
逐一将下采样的点云输入到共享权值的高维特征提取层,得到对应点云Pi的特征矩阵Fi∈RN×1024;将相邻视角的特征矩阵FiR和F(i+1)L逐对输入到匹配点对生成网络,得到点云Pi的匹配点集CPi;将所有视角的点及其匹配点作为输入,利用联合配准求姿态的闭式解T。将所有点云通过求得的T转换到统一坐标系下,融合成点云模型P';从P'采样m个点作为生成的样本设p'ij∈P'服从概率分布保持判别器fω的网络参数不变,构造生成器的loss为:
所述步骤S3具体包括入下步骤:
步骤S31、记标准模型点集为Ps,采样点集为S1,S1初始化为空集;
步骤S32、随机采样一个种子点seed,放入S1;
步骤S33、在集合Ps-S1里,找一个距离集合S1最远的点,其中点到集合S1的距离为该点到S1最小的点距;
优选地,所述步骤S42具体包括如下步骤:
步骤S422、将相邻视角的特征矩阵FiR和F(i+1)L逐对输入到匹配点对生成网络,得到点云Pi的匹配点集CPi;
步骤S423、将所有视角的点及其匹配点作为输入,利用联合配准求姿态的闭式解T;
步骤S424、将所有点云通过求得的T转换到统一坐标系下,融合成点云模型P';
步骤S426、调节生成器网络参数:
θ←θ-α·RMS Prop(θ,gθ) (24)
gθ表示关于θ的梯度,θ表示生成器的网络参数,fω表示判别器,ω表示判别器的网络参数,v(i)表示第i个生成样本,α表示步长,RMSProp表示一种基于动量的优化算法。
所述步骤S51具体为:
WGAN网络通过训练含参数ω、最后一层不是非线性激活层的判别器网络fω,在ω不超过某个范围的条件下,使得L尽可能最大,L表达式如下:
判别器采用全连接实现的多层感知机,结构为四层全连接,伴有3个ReLU激活函数;输入为点的坐标,即输入维度为3,输出维度为1。
所述步骤S52具体包括如下步骤:
ω←ω+α·RMS Prop(ω,gω) (26)
ω←clip(ω,-c,c) (27)
gω表示关于ω的梯度,u(i)表示第i个标准样本,fω表示判别器,ω表示判别器的网络参数,RMSProp表示一种基于动量的优化算法,clip()表示参数ω的绝对值截断到不超过一个固定的常数c。
本发明能够取得下列有益效果:
(1)对视角姿态的初始化鲁棒;(2)相比于全监督神经网络,本发明所涉及的神经网络为无监督神经网络,只需要预先知道建模对象的理论模型即可,不需要大量的标注信息和大量样本,训练简单快速;(3)无需考虑网络的泛化能力,可实时运行;(4)相比于传统的多视角配准方法,所设计的网络直接求每一个视角相对于同一参考坐标系的转换关系,既不存在对某个视角的偏置,也不存在累计误差;(5)训练后的结果可作为精配准的初始值,配准精度高。
以上所述是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明所述原理的前提下,还可以作出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种基于WGAN的无监督多视角三维点云联合配准方法,其特征在于,包括如下步骤:
步骤S1、获取不同视角的点云:从不同视角进行扫描,扫描后获得I个点云P={P1,...,Pi,...,PI},表示第i个点云;Ni表示第i个点云所包含的点的个数,Pij表示第i个点云中的第j个点,pn=R3,R表示实数,R3表示笛卡尔三维坐标系;
步骤S2、对所有视角的点云进行下采样:点云Pi为分别处理与前后相邻两个视角的关系,存在两个相邻的点云,处理不同相邻点云时,共进行两次点云下采样,即对于每个点云,分别对前后相邻视角点云下采样:
对于Pi-1,对Pi和Pi-1进行随机采样,采样数量NiL为:
NiL=min{Ni-1/s,Ni/s} (1)
对于Pi+1,对Pi和Pi+1进行随机采样,采样数量NiR为:
NiR=min{Ni/s,Ni+1/s} (2)
式中,Ni-1表示第i-1个点云所包含的点的个数,Ni表示第i个点云所包含的点的个数,Ni+1表示第i+1个点云所包含的点的个数,s为人为设定的采样参数;
步骤S4、对多视角点云联合配准WGAN的生成器网络进行训练:将各个视角点云逐一转换到统一的坐标系下,将所有转换后的点云融合成一个完整的点云模型P',并对P'进行均匀采样,从P'采样m个点作为生成样本具体包括如下步骤:
步骤S41、设计生成器;
步骤S42、生成器网络进行训练;
步骤S51、设计判别器;
步骤S52、判别器网络进行训练;
步骤6:判断是否终止训练:设定生成器和判别器训练的次数均为M次,若达到M次则终止训练,若未达到M次则回到步骤S4。
2.根据权利要求1所述的一种基于WGAN的无监督多视角三维点云联合配准方法,其特征在于,所述步骤S41具体包括如下步骤:
步骤S412、构建匹配点计算网络层,逐点计算匹配点:提取相邻点云Pi-1与Pi+1对应的经过高维特征向量转换的特征矩阵F(i-1)R和F(i+1)L;分别计算Pi与Pi-1及Pi+1的匹配概率,分别得到匹配点对集合
步骤S413、滤除基于注意力机制的外点:计算上一次迭代得到的第i个姿态的转置与匹配点对Cij之间的相关性度量simij,j表示索引;
步骤S414、联合配准求姿态的闭式解T:根据当前匹配点对及其权重计算点云的相对姿态及约束条件,获得点云的相对姿态优化唯一最优解,即最优姿态;
步骤S415、生成点云模型并进行采样:根据最优姿态,将各个视角点云逐一转换到统一的坐标系下,融合成一个完整的点云模型P',并对P'进行均匀采样。
3.根据权利要求2所述的一种基于WGAN的无监督多视角三维点云联合配准方法,其特征在于,所述步骤S411具体为:
将每一条边作为多层感知机MLP的输入,经过ReLU激活函数后输出Dout维特征;
其中,第一个EdgeConv层输出的特征维数为64,第二个EdgeConv层输出的特征维数为64,第三个EdgeConv层输出的特征维数为128,第四个EdgeConv层输出的特征维数为256;将四个EdgeConv层提取的特征拼接得到的N×512维特征作为Conv的输入,过ReLU激活函数后输出特征矩阵Fi∈RN×1024,RN×1024表示N×1024维实数矩阵。
4.根据权利要求3所述的一种基于WGAN的无监督多视角三维点云联合配准方法,其特征在于,所述步骤S412具体为:
Pi与Pi+1的匹配点具体为:输入为输出为ΦiR=FiR+φ(FiR,F(i+1)L),和Φ(i+1)L=F(i+1)L+φ(F(i+1)L,FiR),其中,φ(FiR,F(i+1)L)为Transformer将特征FiR通过学习调整到一个“条件”F(i+1)L的残差变化量,φ(F(i+)L,FiR)为Transformer将特征F(i+1)L通过学习调整到一个“条件”FiR的残差变化量;
对于点pij∈Pi,Pi+1的每一个点与pij成为匹配点的概率所构成矩阵为
ΦiR(j)表示ΦiR的第j行,即对应于点pij的特征向量,T表示矩阵转置,softmax是一种概率归一化处理函数;
根据上述匹配点概率,为pij∈Pi生成一个平均匹配点cpij:
点云Pi在Pi+1中得到的匹配点集合记为CPi,匹配点对(pij,cpij)记作Cij,匹配点对构成集合CiR;
Pi与Pi-1的匹配点均可按照上述过程实现,得到匹配点对集合CiL;CiR与CiL构成匹配点对构成集合Ci;每对相邻视角寻找匹配点的过程均可按照上述过程实现。
6.根据权利要求2所述的一种基于WGAN的无监督多视角三维点云联合配准方法,其特征在于,所述步骤S414具体为:
根据当前匹配点对及其权重计算点云的相对姿态,所有匹配点对欧式距离之和d为:
所求得的姿态T=[T1,...,TI]T需要一个固定的初始坐标系,以保证优化问题仅存在唯一的最优解;
为式(9)添加约束条件T1=T0,T0是任意的满足R0∈SO(3)的姿态;为了简化网络结构,取T0为标准3D模型的坐标系;由于T=[T1,...,TI]T,构造矩阵A=[I4 04×4(I-1)],I4表示4×4的单位矩阵,04×4(I-1)表示4×4(I-1)的零矩阵;
约束条件1表示成:
T1=AT=T0 (10)
式中,I表示单位矩阵,det表示行列式;
令b=[I3 03×1],则
Ri=bTi (12)
令R=[R1...Ri...RI],则
R=BT (13)
AT=T0. (14)
式中,s.t.表示约束条件;
采用拉格朗日乘子法处理等式约束问题,增广的拉格朗日函数为
采用交替乘子法求解上述问题的最优解,得到如下迭代关系
(U,D,VT)=SVD(bTi k) (17)
SVD表示奇异值分解;
关于T的子问题是一个二次凸优化问题,令其导数为0求其最小值,即
则有
7.根据权利要求6所述的一种基于WGAN的无监督多视角三维点云联合配准方法,其特征在于,所述步骤S415具体为:
根据上个步骤求得的姿态T,将各个视角点云逐一转换到统一的坐标系下:
p′ij=pijTi (21)
将所有转换后的点云融合成一个完整的点云模型P';
所述步骤S3具体包括入下步骤:
步骤S31、记标准模型点集为Ps,采样点集为S1,S1初始化为空集;
步骤S32、随机采样一个种子点seed,放入S1;
步骤S33、在集合Ps-S1里,找一个距离集合S1最远的点,其中点到集合S1的距离为该点到S1最小的点距;
8.根据权利要求7所述的一种基于WGAN的无监督多视角三维点云联合配准方法,其特征在于,所述步骤S42具体包括如下步骤:
步骤S422、将相邻视角的特征矩阵FiR和F(i+1)L逐对输入到匹配点对生成网络,得到点云Pi的匹配点集CPi;
步骤S423、将所有视角的点及其匹配点作为输入,利用联合配准求姿态的闭式解T;
步骤S424、将所有点云通过求得的T转换到统一坐标系下,融合成点云模型P';
步骤S426、调节生成器网络参数:
θ←θ-α·RMSProp(θ,gθ) (23)
gθ表示关于θ的梯度,θ表示生成器的网络参数,fω表示判别器,ω表示判别器的网络参数,v(i)表示第i个生成样本,α表示步长,RMSProp表示一种基于动量的优化算法。
10.根据权利要求9所述的一种基于WGAN的无监督多视角三维点云联合配准方法,其特征在于,所述步骤S52具体包括如下步骤:
ω←ω+α·RMS Prop(ω,gω) (26)
ω←clip(ω,-c,c) (27)
gω表示关于ω的梯度,u(i)表示第i个标准样本,fω表示判别器,ω表示判别器的网络参数,RMSProp表示一种基于动量的优化算法,clip()表示参数ω的绝对值截断到不超过一个固定的常数c。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110165409.9A CN112837356B (zh) | 2021-02-06 | 2021-02-06 | 一种基于wgan的无监督多视角三维点云联合配准方法 |
PCT/CN2021/077770 WO2022165876A1 (zh) | 2021-02-06 | 2021-02-25 | 一种基于wgan的无监督多视角三维点云联合配准方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110165409.9A CN112837356B (zh) | 2021-02-06 | 2021-02-06 | 一种基于wgan的无监督多视角三维点云联合配准方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112837356A true CN112837356A (zh) | 2021-05-25 |
CN112837356B CN112837356B (zh) | 2024-05-31 |
Family
ID=75932553
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110165409.9A Active CN112837356B (zh) | 2021-02-06 | 2021-02-06 | 一种基于wgan的无监督多视角三维点云联合配准方法 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN112837356B (zh) |
WO (1) | WO2022165876A1 (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113673425A (zh) * | 2021-08-19 | 2021-11-19 | 清华大学 | 一种基于Transformer的多视角目标检测方法及*** |
CN113870160A (zh) * | 2021-09-10 | 2021-12-31 | 北京交通大学 | 一种基于变换器神经网络的点云数据处理方法 |
CN114037743A (zh) * | 2021-10-26 | 2022-02-11 | 西北大学 | 一种基于动态图注意力机制的秦俑三维点云鲁棒配准方法 |
CN114399505A (zh) * | 2022-03-25 | 2022-04-26 | 江苏智云天工科技有限公司 | 工业检测中的检测方法、检测装置 |
CN114627169A (zh) * | 2022-03-09 | 2022-06-14 | 腾讯科技(深圳)有限公司 | 图像处理的方法、装置、电子设备及存储介质 |
CN114897692A (zh) * | 2022-05-06 | 2022-08-12 | 广州紫为云科技有限公司 | 搭载基于零样本学习的整体点云上采样算法的手持设备 |
CN116128941A (zh) * | 2023-02-08 | 2023-05-16 | 西安电子科技大学 | 一种基于跳跃注意力机制的点云配准方法 |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116310401A (zh) * | 2022-12-19 | 2023-06-23 | 南京航空航天大学 | 一种基于单演特征联合稀疏表示的跨视角sar识别方法 |
CN115795579B (zh) * | 2022-12-23 | 2023-06-27 | 岭南师范学院 | 无特征复杂曲面测量误差分析的快速坐标对齐方法 |
CN115908517B (zh) * | 2023-01-06 | 2023-05-12 | 广东工业大学 | 一种基于对应点匹配矩阵优化的低重叠点云配准方法 |
CN116258817B (zh) * | 2023-02-16 | 2024-01-30 | 浙江大学 | 一种基于多视图三维重建的自动驾驶数字孪生场景构建方法和*** |
CN116299367B (zh) * | 2023-05-18 | 2024-01-26 | 中国测绘科学研究院 | 一种多激光空间标定方法 |
CN117741662A (zh) * | 2023-12-20 | 2024-03-22 | 中国科学院空天信息创新研究院 | 基于双观测视角的阵列干涉sar点云融合方法 |
CN117456001B (zh) * | 2023-12-21 | 2024-04-09 | 广州泽亨实业有限公司 | 一种基于点云配准的工件姿态检测方法 |
CN117495932B (zh) * | 2023-12-25 | 2024-04-16 | 国网山东省电力公司滨州供电公司 | 一种电力设备异源点云配准方法及*** |
CN117557733B (zh) * | 2024-01-11 | 2024-05-24 | 江西啄木蜂科技有限公司 | 基于超分辨率的自然保护区三维重建方法 |
CN118154651B (zh) * | 2024-05-11 | 2024-07-23 | 山东科技大学 | 一种由粗到精的室内场景点云自动配准方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10755428B2 (en) * | 2017-04-17 | 2020-08-25 | The United States Of America, As Represented By The Secretary Of The Navy | Apparatuses and methods for machine vision system including creation of a point cloud model and/or three dimensional model |
CN109872354A (zh) * | 2019-01-28 | 2019-06-11 | 深圳市易尚展示股份有限公司 | 基于非线性优化的多视角点云配准方法及*** |
CN111210466A (zh) * | 2020-01-14 | 2020-05-29 | 华志微创医疗科技(北京)有限公司 | 多视角点云配准方法、装置以及计算机设备 |
CN111882593B (zh) * | 2020-07-23 | 2022-06-17 | 首都师范大学 | 结合注意力机制及三维图卷积网络的点云配准模型及方法 |
CN111899353A (zh) * | 2020-08-11 | 2020-11-06 | 长春工业大学 | 一种基于生成对抗网络的三维扫描点云孔洞填补方法 |
-
2021
- 2021-02-06 CN CN202110165409.9A patent/CN112837356B/zh active Active
- 2021-02-25 WO PCT/CN2021/077770 patent/WO2022165876A1/zh active Application Filing
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113673425A (zh) * | 2021-08-19 | 2021-11-19 | 清华大学 | 一种基于Transformer的多视角目标检测方法及*** |
CN113673425B (zh) * | 2021-08-19 | 2022-03-15 | 清华大学 | 一种基于Transformer的多视角目标检测方法及*** |
CN113870160A (zh) * | 2021-09-10 | 2021-12-31 | 北京交通大学 | 一种基于变换器神经网络的点云数据处理方法 |
CN113870160B (zh) * | 2021-09-10 | 2024-02-27 | 北京交通大学 | 一种基于变换器神经网络的点云数据处理方法 |
CN114037743A (zh) * | 2021-10-26 | 2022-02-11 | 西北大学 | 一种基于动态图注意力机制的秦俑三维点云鲁棒配准方法 |
CN114037743B (zh) * | 2021-10-26 | 2024-01-26 | 西北大学 | 一种基于动态图注意力机制的秦俑三维点云鲁棒配准方法 |
CN114627169A (zh) * | 2022-03-09 | 2022-06-14 | 腾讯科技(深圳)有限公司 | 图像处理的方法、装置、电子设备及存储介质 |
CN114399505A (zh) * | 2022-03-25 | 2022-04-26 | 江苏智云天工科技有限公司 | 工业检测中的检测方法、检测装置 |
CN114399505B (zh) * | 2022-03-25 | 2022-06-28 | 江苏智云天工科技有限公司 | 工业检测中的检测方法、检测装置 |
CN114897692A (zh) * | 2022-05-06 | 2022-08-12 | 广州紫为云科技有限公司 | 搭载基于零样本学习的整体点云上采样算法的手持设备 |
CN114897692B (zh) * | 2022-05-06 | 2024-04-26 | 广州紫为云科技有限公司 | 搭载基于零样本学习的整体点云上采样算法的手持设备 |
CN116128941A (zh) * | 2023-02-08 | 2023-05-16 | 西安电子科技大学 | 一种基于跳跃注意力机制的点云配准方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112837356B (zh) | 2024-05-31 |
WO2022165876A1 (zh) | 2022-08-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112837356B (zh) | 一种基于wgan的无监督多视角三维点云联合配准方法 | |
CN111080627B (zh) | 一种基于深度学习的2d+3d大飞机外形缺陷检测与分析方法 | |
Patel et al. | Latent space sparse and low-rank subspace clustering | |
CN108665491B (zh) | 一种基于局部参考点的快速点云配准方法 | |
CN112017220B (zh) | 一种基于抗差约束最小二乘算法的点云精确配准方法 | |
CN110009674B (zh) | 基于无监督深度学习的单目图像景深实时计算方法 | |
CN112907735B (zh) | 一种基于点云的柔性电缆识别与三维重建方法 | |
CN111415379B (zh) | 一种基于布谷鸟优化的三维点云数据配准方法 | |
CN112750198B (zh) | 一种基于非刚性点云的稠密对应预测方法 | |
Yang | Alignment of overlapping locally scaled patches for multidimensional scaling and dimensionality reduction | |
CN111260702B (zh) | 激光三维点云与ct三维点云配准方法 | |
CN111598995A (zh) | 一种基于原型分析的自监督多目三维人体姿态估计方法 | |
CN116958420A (zh) | 一种数字人教师三维人脸的高精度建模方法 | |
CN117876447B (zh) | 一种基于微表面融合与对齐的三维点云配准方法 | |
CN113902779B (zh) | 一种基于张量投票方法的点云配准方法 | |
CN106373177A (zh) | 一种用于实现优化图像场景光照估计的设计方法 | |
Wang et al. | 6D pose estimation from point cloud using an improved point pair features method | |
CN115775214A (zh) | 一种基于多阶段分形组合的点云补全方法及*** | |
CN113724325B (zh) | 一种基于图卷积网络的多场景单目相机位姿回归方法 | |
CN112784800B (zh) | 一种基于神经网络和形状约束的人脸关键点检测方法 | |
CN112396089B (zh) | 基于lfgc网络和压缩激励模块的图像匹配方法 | |
CN115170626A (zh) | 一种基于深度特征进行鲁棒点云配准的无监督方法 | |
Sun et al. | A robust point set registration approach with multiple effective constraints | |
CN112509018A (zh) | 一种四元数空间优化的三维图像配准方法 | |
CN112633229A (zh) | 一种基于spd流形的行人重识别*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |