CN113470084A - 一种基于外轮廓粗匹配的点集配准方法 - Google Patents
一种基于外轮廓粗匹配的点集配准方法 Download PDFInfo
- Publication number
- CN113470084A CN113470084A CN202110541234.7A CN202110541234A CN113470084A CN 113470084 A CN113470084 A CN 113470084A CN 202110541234 A CN202110541234 A CN 202110541234A CN 113470084 A CN113470084 A CN 113470084A
- Authority
- CN
- China
- Prior art keywords
- point set
- template
- matching
- obtaining
- ellipsoid
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 230000009466 transformation Effects 0.000 claims abstract description 57
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 43
- 239000013598 vector Substances 0.000 claims abstract description 38
- 239000011159 matrix material Substances 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 16
- 238000013519 translation Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 11
- 238000009826 distribution Methods 0.000 claims description 11
- 239000000203 mixture Substances 0.000 claims description 5
- 238000013178 mathematical model Methods 0.000 claims description 4
- 238000009827 uniform distribution Methods 0.000 claims description 4
- 230000001427 coherent effect Effects 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 241000251468 Actinopterygii Species 0.000 description 7
- 238000005457 optimization Methods 0.000 description 6
- 238000002474 experimental method Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000000254 composite pulse decoupling sequence Methods 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011056 performance test Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于外轮廓粗匹配的点集配准方法,包括:对待配准的模板点集构建MVEE模型,获得模板点集的最小外接椭球参数,最小外接椭球参数至少包括构建的椭圆或椭球的长主轴向量和中心点位置;对目标点集构建MVEE模型,并获得目标点集的最小外接椭球参数;设定多个不同方向的方向模板;根据方向模板、长主轴向量和中心点位置获得多组刚性变换矩阵;利用多组刚性变换矩阵分别对模板点集和目标点集进行粗匹配,获得多组粗匹配结果;利用CPD算法对多组粗匹配结果分别进行精匹配,并选取最佳匹配结果。该方法考虑点集的全局结构信息,对两点集首先利用最小体积封闭椭球模型进行粗匹配,随后利用CPD进行精配准,可以获得更加精确的配准结果。
Description
技术领域
本发明属于信号处理技术领域,具体涉及一种基于外轮廓粗匹配的点集配准方法。
背景技术
随着图像获取技术的快速发展和自动化需求的提升,对多源、多视角、多时相的图像的分析技术越来越迫切。作为一种比较或融合不同条件下的图像的技术,图像配准已经广泛应用于遥感数据分析、计算机视觉和图像处理等领域。通过图像配准技术,寻找并建立不同图像之间的对应关系和变换关系,从而实现信息融合的目的。
一致性点漂移算法(Coherent Point Drift,CPD)是一种鲁棒的基于高斯混合模型的图像点集匹配算法,适用于刚体以及非刚体变换下的多维点集配准问题。然而,传统的CPD存在一些缺陷,除了配准性能受高比率离群点的干扰影响较为剧烈以外,CPD也无法处理某些具有大角度旋转差异的点集。当旋转角度超过60度时,大多数情况下该算法的匹配效果并不理想,当超过90度时基本失效。这是因为,CPD算法是通过单一的全局结构约束来进行变换估计,针对同一物体的两幅或多幅图像,通过变换函数的约束作用把提取出的模板点集朝着目标点集移动,从而达到对齐的目的。然而,这些待配准的点集并不一定是朝着同一方向移动的,这种单一的运动一致性约束对于不同方向点集的变换会产生一定的阻碍。在两点集对应关系一致的情形下,针对模板点集的形变系数求解会出现严重的误差。另外,在点集配准的过程中变换估计是不可逆的,如果不同方向的点集,尤其是旋转角度较大的点集被施加相同方向的外力进行拖动时,这个外力在迭代过程中不断累积,最终会导致不同程度的扭曲,使点集配准失败。
此外,CPD算法在求解空间变换时采用EM算法迭代更新,因此初始匹配参数对算法的影响较大,当初始值选取不当时往往导致时间复杂度很高。对于旋转退化的点集,不合理的初始值很可能导致算法配准失败。
发明内容
为了解决现有技术中存在的上述问题,本发明提供了一种基于外轮廓粗匹配的点集配准方法。本发明要解决的技术问题通过以下技术方案实现:
本发明提供了一种基于外轮廓粗匹配的点集配准方法,包括:
S1:对待配准的模板点集构建MVEE模型,获得所述模板点集的最小外接椭球参数,所述最小外接椭球参数至少包括构建的椭圆或椭球的长主轴向量和中心点位置;
S2:对目标点集构建MVEE模型,并获得目标点集的最小外接椭球参数;
S3:设定多个不同方向的方向模板;
S4:根据所述方向模板、所述长主轴向量和所述中心点位置获得多组刚性变换矩阵;
S5:利用所述多组刚性变换矩阵分别对所述模板点集和所述目标点集进行粗匹配,获得多组粗匹配结果;
S6:利用CPD算法对所述多组粗匹配结果分别进行精匹配,并选取最佳匹配结果。
在本发明的一个实施例中,所述S1包括:
S11:对所述模板点集X={x1,x2,…,xM}构建椭球数学模型:
E(Q,c)={x|(x-c)TQ(x-c)≤n},
S12:将所述模板点集X的列数从M增加至2M,并添加一行单位向量,获得所述模板点集的相关点集Z=[±z1,±z2,…±zM],其中:
zi=[(xi)T,1]T,i=1,2,…,M;
S13:将模板点集X的MVEE模型转化为其相关点集Z的MVEE模型:
MVEE(X)=MVEE(Z);
S14:获得所述相关点集Z的MVEE模型表达式:
S15:求解所述MVEE模型表达式,获得模板点集的最小外接椭球参数,其中,所述最小外接椭球参数包括椭圆或椭球的长主轴方向向量和中心位置。
在本发明的一个实施例中,所述S3包括:
所述24个不同方向的方向模板包括:
将所述模板点集绕x轴分别旋转0,π,四个角度,得到四个方向模板;将所述模板点集沿着x轴翻转180度后,再绕x轴分别旋转0,π,四个角度,得到四个方向模板;将模板点集绕y轴分别旋转0,π,四个角度,得到四个方向模板;将模板点集沿着y轴翻转180度后,再绕y轴分别旋转0,π,四个角度,得到四个方向模板;将模板点集绕z轴分别旋转0,π,四个角度,得到四个方向模板;将模板点集沿着z轴翻转180度后,再绕z轴旋转0,π,四个角度,得到四个方向模板,最终得到24个不同方向的方向模板。
在本发明的一个实施例中,所述S4包括:
S41:根据所述模板点集和所述目标点集形成的两椭圆或椭球的长主轴向量的夹角和所述多个不同方向的方向模板确定多个旋转矩阵;
S42:根据两椭圆中心的距离确定平移向量;
S43:将所述多个旋转矩阵中的每个旋转矩阵分别与所述平移向量构成一组刚性变换矩阵,从而形成多组刚性变换矩阵。
在本发明的一个实施例中,所述S5包括:
利用每组刚性变换矩阵分别对所述模板点集进行位置变换,获得与所述目标点集的多组粗匹配结果。
在本发明的一个实施例中,所述S6包括:
S61:获得所述模板点集经过粗匹配后的一组粗匹配点集X'={x'1,x'2,…,x'M},将粗匹配点集X'中的每个点看作高斯混合模型每个高斯分量的质心,目标点集Y={y1,y1,…,yN}看作模型生成的数据点,M和N分别为粗匹配点集和目标点集中点的个数;
S62:将目标点集Y中的数据点y的概率分布表示为一个由M个高斯分模型进行线性叠加的混合高斯模型:
其中,P(m)为混合比例系数,表示数据点属于第m类高斯分布的先验概率;参数γ表示权重系数,反映了数据点y的概率密度与这项均匀分布的关系,即受噪声和离群点的影响程度;p(y|m)表示第m类高斯分布的概率密度函数,其中,
其中,x'm为数据点y经迭代变换后的对应点,也是高斯分模型的质心,σ2为第m类高斯分布的方差,D表示点集的维度;
S63:构造CPD算法的代价函数:
其中,θ表示空间变换模型T中的所有参数集合,包括空间变换的旋转矩阵和平移矩阵,σ2为高斯分模型的方差;
S64:采用最大期望算法迭代优化所述代价函数求解参数θ和σ2;
S65:重复步骤S61-S64,对所述多组粗匹配结果分别进行获得对应的参数θ和σ2,选择方差σ2最小的一组点集的精匹配结果作为最终的点集配准结果,并根据该点集配准结果恢复模板点集和目标点集的空间变换。
本发明的另一方面提供了一种存储介质,所述存储介质中存储有计算机程序,所述计算机程序用于执行上述实施例中任一项所述基于外轮廓粗匹配的点集配准方法的步骤。
本发明的又一方面提供了一种电子设备,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器调用所述存储器中的计算机程序时实现如上述实施例中任一项所述基于外轮廓粗匹配的点集配准方法的步骤。
与现有技术相比,本发明的有益效果在于:
1、本发明实施例基于外轮廓粗匹配的点集配准方法充分考虑点集的全局结构信息,对两点集的外轮廓进行最小外接椭圆或椭球的计算,通过两椭圆或椭球的中心与主轴可以获得多个旋转矩阵和一个平移向量,构成多个刚性变换矩阵,将模板点集进行多次空间变换,随后利用CPD进行精配准,可以获得最优配准结果。
2、本发明实施例的点集配准方法在应对大旋转这类数据退化问题上是有效且可行的,某些情况下也可以缩短配准时间,提升配准效率。
以下将结合附图及实施例对本发明做进一步详细说明。
附图说明
图1是本发明实施例提供的一种基于外轮廓粗匹配的点集配准方法的流程图;
图2是不同形态点集及最小外接椭圆的错误匹配结果;
图3是本发明实施例的方法与现有CPD算法对“鱼”数据集的配准结果图;
图4是本发明实施例的方法与现有CPD算法对“人体姿态”数据集的配准结果图;
图5是本发明实施例的方法与现有CPD算法对“face”数据集的配准结果图;
图6是本发明实施例的方法与现有CPD算法对“bunny”数据集的配准结果图。
具体实施方式
为了进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及具体实施方式,对依据本发明提出的基于外轮廓粗匹配的点集配准方法进行详细说明。
有关本发明的前述及其他技术内容、特点及功效,在以下配合附图的具体实施方式详细说明中即可清楚地呈现。通过具体实施方式的说明,可对本发明为达成预定目的所采取的技术手段及功效进行更加深入且具体地了解,然而所附附图仅是提供参考与说明之用,并非用来对本发明的技术方案加以限制。
应当说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的物品或者设备中还存在另外的相同要素。
请参照图1,图1是本发明实施例提供的一种基于外轮廓粗匹配的点集配准方法的流程图。本实施例的点集配准方法包括:
S1:对待配准的模板点集构建MVEE模型,获得所述模板点集的最小外接椭球参数,所述最小外接椭球参数至少包括构建的椭圆或椭球的长主轴向量和中心点位置。
最小体积封闭椭球(Minimum Volume Enclosing Ellipsoid,MVEE)问题实质上是一类典型的优化问题,其本质是在n维欧式空间中,寻找点集X={x1,x2,…,xM},的最小体积封闭椭球问题,该椭球包含点集内的所有数据点,且满足体积最小这一约束条件。需要说明的是,如果待处理的点集为二维点集,则形成的为封闭椭圆,如果待处理的点集为三维点集,则形成的为封闭椭球。
具体地,所述S1包括:
S11:对所述模板点集X={x1,x2,…,xM}构建椭球数学模型。
E(Q,c)={x|(x-c)TQ(x-c)≤n} (1)
n维空间中的椭球体积为:
其中,VB表示单位球的体积,且满足:
根据表达式(12)可以得出,det(Q)越大,椭球E(Q,c)的体积越小。
S12:获得所述模板点集的相关点集。
任意数据集均存在与其相关的中心对称集合,且该数据集与其中心对称集合拥有相同的最小体积封闭椭球以及等值的Q和c。因此,对某一数据集求解Q和c的过程,可以转换为求解当前数据集的相关数据集的Q和c,也就是当前数据集关于原点中心对称集合的最小体积封闭椭球。
在本实施例中,给定的模板点集为X={x1,x2,…,xM},将其列数从M增加至2M,并添加一行单位向量,得到模板点集的相关点集相关点集Z=[±z1,±z2,…±zM],其中:
zi=[(xi)T,1]T,i=1,2,…,M (4)
基于此,求解模板点集X的MVEE模型的过程可以转化为求解其相关点集相关点集Z的MVEE模型,即:
MVEE(X)=MVEE(Z) (5)
由于相关点集Z是关于原点中心对称的,因此Z=-Z,将Z和-Z分别带入式(1)的E(Q,c)方程中,经过联立求解得到c=0。则相关点集Z的MVEEE(Q,0)可以通过求解一个优化问题得到,即:
由于-detQ并不是一个凸函数,该优化问题不能看做一个凸优化模型,不能采用常规的方式来求解,因此在本实施例中,采取将该目标函数转化为-logdetQ的策略来解决这个优化问题,计算模型如下式:
通过计算该凸优化模型求解参数Q和c,即可确定了模板点集X的最小体积覆盖椭球的外部形态与空间位置,从而完成从模板点集数据信息到n维空间封闭椭球的转换。
具体地,对于椭圆,参数Q为一个两行两列的矩阵,求解可以得到Q的两个特征值和对应的两个特征向量,其中,最大的特征值和对应的特征向量为该椭圆的长主轴向量;对于椭球,参数Q为一个三行三列的矩阵,求解可以得到Q的三个特征值和对应的三个特征向量,其中,最大的特征值和对应的特征向量为该椭圆的长主轴向量。
S2:对目标点集构建MVEE模型,并获得目标点集的最小外接椭球参数。
与模板点集类似,本步骤对与模板点集进行配准的目标点集构建MVEE模型,并获得目标点集的最小外接椭球参数,即,获得目标点集的椭圆或椭球的长主轴向量和中心点位置。
S3:设定多个不同方向的方向模板。
在寻找刚性变换模型参数的过程中,通常根据两椭圆或椭球的长主轴向量的夹角确定旋转矩阵,根据两椭圆中心的距离确定平移向量,旋转矩阵和平移向量构成一个刚性变换矩阵。对模板点集进行相应的变换后,使两点集的最小外接椭圆或椭球的长主轴重合,达到“对齐”的目的。一般情况下,此时两点集中目标对象的方向也趋于一致,从而缩小了旋转差异,实现粗配准。然而待配准点集发生的形变是多种多样的,这种求解方式在某些情况下会引发一些问题。
请参见图2,图2是不同形态点集及最小外接椭圆的错误匹配结果,其中,第一列为待配准点集可能表现出的三类形态,第二列为求解MVEE模型获得的最小外接椭圆,第三列为椭圆对齐的结果。从图2中可以看出,第一行图片显示了第一类形态,第一类形态的两点集在匹配前,在视觉上两个点集似乎具有较大的旋转角度。而且计算出对应的外接椭圆后可以看出两条主轴的方向相差近90度,此时应当对两椭圆进行粗匹配实现“对齐”,修正点集的初始位置,得到最右图所示的结果。但事实上,两个点集的鱼头方向是相同的,并不需要进行初始位置的调整。第二行图片显示了第二类形态,此时需要对模板点集进行旋转以使两鱼头方向一致,但因两椭圆长主轴方向相同,算法并未将点集进行旋转。第三行图片显示了最后一类形态,按照两椭圆主轴方向对模板点集顺时针旋转约30°,再将其平移后得到右图的匹配结果,此时两点集的鱼头方向正好相差180°。基于以上分类讨论可知,某些情形下按照前述算法流程进行粗配准反而会适得其反,给配准又增加了难度。
对于三维点集,处理方式与之类似,唯一的差异在于椭球有三条主轴。二维空间只有两个自由度,而三维空间包含六个自由度,导致三维点集中目标对象具有更多可能的方向,因此预先需要设置更多的方向模板。椭球的三条主轴对应六个方向向量,当“对齐”两个椭球时,总共可以得到24种组合方式,因此设置24个不同方向的方向模板。具体地,所述24个不同方向的方向模板包括:
将所述模板点集绕x轴分别旋转0,π,四个角度,得到四个方向模板;将所述模板点集沿着x轴翻转180度后,再绕x轴分别旋转0,π,四个角度,得到四个方向模板;将模板点集绕y轴分别旋转0,π,四个角度,得到四个方向模板;将模板点集沿着y轴翻转180度后,再绕y轴分别旋转0,π,四个角度,得到四个方向模板;将模板点集绕z轴分别旋转0,π,四个角度,得到四个方向模板;将模板点集沿着z轴翻转180度后,再绕z轴旋转0,π,四个角度,得到四个方向模板,最终得到24个不同方向的方向模板。
S4:根据所述方向模板、所述长主轴向量和所述中心点位置获得多组刚性变换矩阵。
所述S4具体包括:
S41:根据所述模板点集和所述目标点集形成的两椭圆或椭球的长主轴向量的夹角和所述多个不同方向的方向模板确定多个旋转矩阵;
具体地,如果模板点集和目标点集为二维点集,在步骤S1和步骤S2获取了模板点集和目标点集的两椭圆位置的基础上,计算两个椭圆长主轴向量间的夹角将方向角度更新为从而获得4个旋转矩阵。类似地,如果模板点集和目标点集为二维点集,在步骤S1和步骤S2获取了模板点集和目标点集的两椭球位置的基础上,计算两个椭球长主轴向量间的夹角根据上述24个不同方向的方向模板,更新方向角度,获得24个旋转矩阵。
S42:根据两椭圆中心的距离确定平移向量;
S43:将所述多个旋转矩阵中的每个旋转矩阵分别与所述平移向量构成一组刚性变换矩阵,从而形成多组刚性变换矩阵。
具体地,对于二维点集,获得4组旋转矩阵,对于三维点集,获得24组旋转矩阵。
S5:利用所述多组刚性变换矩阵分别对所述模板点集和所述目标点集进行粗匹配,获得多组粗匹配结果。
具体地,利用每组刚性变换矩阵分别对所述模板点集进行位置变换,使得所述变换后的模板点集与所述目标点集间的旋转差异尽可能最小,获得与所述目标点集的多组粗匹配结果。若模板点集和目标点集为二维点集,则根据上述形成的4组刚性变换矩阵进行4次空间变换,获得4组粗匹配结果;若模板点集和目标点集为三维点集,则根据上述形成的24组刚性变换矩阵进行24次空间变换,获得24组粗匹配结果。
S6:利用CPD算法对所述多组粗匹配结果分别进行精匹配,并选取最佳匹配结果。
CPD算法是一种有效的概率匹配方法,算法思想源于运动一致性理论,即彼此接近的点趋于做一致性移动,CPD算法的核心就是强制将GMM(Gaussian Mixture Model,高斯混合模型)的质心作为一个整体进行移动以维持拓扑结构,将两个点集的匹配问题转化为GMM的概率密度估计问题。
在本实施例中,所述S6包括:
S61:分别获得所述模板点集经过粗匹配后的一组粗匹配点集X'={x'1,x'2,…,x'M},将粗匹配点集X'中的每个点看作高斯混合模型每个高斯分量的质心,目标点集Y={y1,y1,…,yN}看作模型生成的数据点,M和N分别为粗匹配点集和目标点集中点的个数,每个点用一个D×1维的向量表示,其中,D表示点集的维度。
S62:将目标点集Y中的数据点y的概率分布表示为一个由M个高斯分模型进行线性叠加的混合高斯模型,其中,每个高斯分模型的先验概率相等,并加入一项额外的均匀分布以提高算法对噪声和离群点的鲁棒性,如下式:
其中,P(m)为混合比例系数,表示数据点属于第m类高斯分布的先验概率;参数γ表示权重系数,反映了数据点y的概率密度与这项均匀分布的关系,即受噪声和离群点的影响程度;p(y|m)表示第m类高斯分布的概率密度函数,
其中,x'm是经迭代变换后的对应点,也是高斯分模型的质心,σ2为第m类高斯分布的方差,D表示点集的维度。
S63:构造CPD算法的代价函数。
在本实施例中,所述代价函数为:
其中,θ表示空间变换模型T中的所有参数集合,即,包括空间变换的旋转矩阵和平移矩阵,σ2为高斯分模型的方差(所有高斯分模型的方差是相同的)。通过最大化这个似然函数就可以求解出最优参数(θ,σ2)。
S64:采用EM(最大期望算法,Expectation-maximization algorithm)迭代优化所述代价函数求解求解参数θ和σ2。
需要说明的是,在求解前需要预先设置阈值ε,当σ2<ε即达到迭代中止条件,此时获得参数θ和σ2的值。
S65:重复步骤S61-S64,对所述多组粗匹配结果分别进行获得对应的参数θ和σ2,选择方差σ2最小的一组点集的精匹配结果作为最终的点集配准结果,并根据该点集配准结果恢复模板点集和目标点集的空间变换。
本方法实施例采用由粗到细、由刚性到非刚性的配准策略,在粗匹配阶段充分利用点集的全局轮廓信息,首先对待配准点集构建MVEE模型,求解该MVEE模型,使点集轮廓得到的最小外接椭圆或椭球最大限度地拟合点集,保证所有的数据点均落入椭圆或椭球内部。对两椭圆或两椭球进行粗略的匹配,实现基本“对齐”。经刚性变换校正后的模板点集与目标点集的旋转角度尽可能最小,全局形状达到最大化的重叠,削弱点集间的旋转差异对配准的影响,以保证后续精配准的效果。该粗匹配过程为后续利用CPD算法进行经匹配的过程提供了较优的初始值,下一步只需要按照空间距离,使模板点集经过粗匹配后的点集随着高斯径向基函数与运动一致性函数逐渐移动,直到模板点集经过粗匹配后的点集与目标点集在空间位置逐点完全对齐。基于合理的初始值进行配准的方案是有效的,而且配准效果更加优越。
以下通过实验对本发明实施例提出的基于外轮廓粗匹配的点集配准方法的效果做进一步地描述和分析。
本发明实施例的点集配准方法在MATLAB上编译运行。实验数据包括二维与三维数据集。二维点集包含“鱼”数据集、汉字“福”数据集和“人体姿态”数据集,特征点数量分别为91、105和200。三维数据采用了经典的“bunny”数据集,包含1000个特征点。实验前对模板点集进行一些仿射变换或非刚性变换,然后将其旋转较大角度作为目标点集,在不同旋转角度下对本发明实施例的点集配准方法进行性能测试。
(一)、二维点集配准实验
实验采用三种二维数据集,分别为“鱼”和“人体姿态”。首先通过一系列实验效果图展示本发明实施例的点集配准方法涉及到的每一步骤,并与现有的CPD算法进行对比。请参见图3和图4,图3是本发明实施例的方法与现有的CPD算法对“鱼”数据集的配准结果图,图4是本发明实施例的方法与现有的CPD算法对“人体姿态”数据集的配准结果图。在图3和图4中,(a)均为配准前的模板点集,“*”表示模板点集,“o”表示目标点集,下同,可以看出两点集存在较大角度的旋转关系;(b)为现有CPD算法的配准结果,可以看出对于大旋转变形的点集,现有的CPD算法无法找到准确的模板点与目标点的对应关系,CPD算法基本失效;(c)、(d)、(e)显示了本发明方法的配准流程,首先对两二维点集构建MVEE模型,确定最小外接椭圆的空间位置和外部形态,如图(c)所示,同时也获得了两椭圆的中心及长短主轴向量,根据两长主轴向量的角度差及两椭圆中心位置,并结合预先设定的多个方向模板,形成多组刚性变换矩阵,分别对原始的模板点集进行变换从而完成粗匹配。图(d)为最佳的粗匹配结果。可以看出经过刚性变换后的粗匹配点集与原始的目标点集间的旋转角度明显缩小。这里需要注意,当第一次旋转后若点集仍未到达最佳初始位置,则需要按照预先设置的模板进行多次变换,最大程度地减小两点集的旋转差异,图(d)显示的是“对齐”结果,最后采用CPD算法进行精配准的结果如图3和图4中的(e)所示。本实施例的方法大大提高了二维点集配准的精度,成功恢复了原始的模板点集与目标点集间的空间变换。
(二)、三维点集配准实验
本实验采用的“face”与“bunny”数据集对本发明实施例的点集配准方法进行性能测试。首先通过一系列实验效果图展示本发明实施例的点集配准方法在三维点集配准中的每一步骤,并与现有的CPD算法进行对比。请参见图5和图6,图5是本发明实施例的方法与现有CPD算法对“face”数据集的配准结果图;图6是本发明实施例的方法与现有CPD算法对“bunny”数据集的配准结果图。在图5和图6中,(a)均为配准前的模板点集,可以看出两点集存在较大角度的旋转关系;(b)为现有CPD算法的配准结果如图;(c)、(d)、(e)显示了本发明方法的配准流程。首先对两二维点集构建MVEE模型,确定最小外接椭圆的空间位置和外部形态,如图(c)所示,同时获得两椭球的中心坐标及三条主轴,根据两长主轴向量的角度差及两椭球中心位置,并结合预先设定的多个方向模板,形成多组刚性变换矩阵,分别对原始的模板点集进行变换从而完成粗匹配。图(d)为最佳的粗匹配结果。可以看出经过刚性变换后的粗匹配点集与原始的目标点集间的旋转角度明显缩小。与二维点集类似,若第一次旋转后点集仍未到达最佳初始位置,需要按照预先设置的多个方向模板进行多次旋转。图(d)显示的是“对齐”结果,最后采用CPD算法进行精配准的结果如图5和图6中的(e)所示。可以看出,本实施例的方法大大提高了三维点集配准的精度,成功恢复了原始的模板点集与目标点集间的空间变换。
综上,本发明对传统CPD算法无法处理大角度旋转点集的缺陷,重点探究如何选取更好的初始值来应对这一问题。本发明实施例基于外轮廓粗匹配的点集配准方法充分考虑点集的全局结构信息,对两点集的外轮廓进行最小外接椭圆或椭球的计算。大多数情况下两椭圆或两椭球的形状与点集的形变程度相关,主轴的夹角与点集的旋转角相关,因此通过两椭圆或椭球的中心与主轴可以获得多个旋转矩阵和一个平移向量,构成多个刚性变换矩阵。将模板点集进行多次空间变换,随后利用CPD进行精配准,可以获得最优配准结果。此外,本发明实施例的配准方法在应对大旋转这类数据退化问题上是有效且可行的,某些情况下也可以缩短配准时间,提升配准效率。
本发明的又一实施例提供了一种存储介质,所述存储介质中存储有计算机程序,所述计算机程序用于执行上述实施例中所述基于外轮廓粗匹配的点集配准方法的步骤。本发明的再一方面提供了一种电子设备,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器调用所述存储器中的计算机程序时实现如上述实施例所述基于外轮廓粗匹配的点集配准方法的步骤。具体地,上述以软件功能模块的形式实现的集成的模块,可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中,包括若干指令用以使得一台电子设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干简单推演或替换,都应当视为属于本发明的保护范围。
Claims (8)
1.一种基于外轮廓粗匹配的点集配准方法,其特征在于,包括:
S1:对待配准的模板点集构建MVEE模型,获得所述模板点集的最小外接椭球参数,所述最小外接椭球参数至少包括构建的椭圆或椭球的长主轴向量和中心点位置;
S2:对目标点集构建MVEE模型,并获得目标点集的最小外接椭球参数;
S3:设定多个不同方向的方向模板;
S4:根据所述方向模板、所述长主轴向量和所述中心点位置获得多组刚性变换矩阵;
S5:利用所述多组刚性变换矩阵分别对所述模板点集和所述目标点集进行粗匹配,获得多组粗匹配结果;
S6:利用CPD算法对所述多组粗匹配结果分别进行精匹配,并选取最佳匹配结果。
2.根据权利要求1所述的基于外轮廓粗匹配的点集配准方法,其特征在于,所述S1包括:
S11:对所述模板点集X={x1,x2,…,xM}构建椭球数学模型:
E(Q,c)={x|(x-c)TQ(x-c)≤n},
S12:将所述模板点集X的列数从M增加至2M,并添加一行单位向量,获得所述模板点集的相关点集Z=[±z1,±z2,…±zM],其中:
zi=[(xi)T,1]T,i=1,2,…,M;
S13:将模板点集X的MVEE模型转化为其相关点集Z的MVEE模型:
MVEE(X)=MVEE(Z);
S14:获得所述相关点集Z的MVEE模型表达式:
S15:求解所述MVEE模型表达式,获得模板点集的最小外接椭球参数,其中,所述最小外接椭球参数包括椭圆或椭球的长主轴方向向量和中心位置。
3.根据权利要求1所述的基于外轮廓粗匹配的点集配准方法,其特征在于,所述S3包括:
所述24个不同方向的方向模板包括:
4.根据权利要求1所述的基于外轮廓粗匹配的点集配准方法,其特征在于,所述S4包括:
S41:根据所述模板点集和所述目标点集形成的两椭圆或椭球的长主轴向量的夹角和所述多个不同方向的方向模板确定多个旋转矩阵;
S42:根据两椭圆中心的距离确定平移向量;
S43:将所述多个旋转矩阵中的每个旋转矩阵分别与所述平移向量构成一组刚性变换矩阵,从而形成多组刚性变换矩阵。
5.根据权利要求1所述的基于外轮廓粗匹配的点集配准方法,其特征在于,所述S5包括:
利用每组刚性变换矩阵分别对所述模板点集进行位置变换,获得与所述目标点集的多组粗匹配结果。
6.根据权利要求5所述的基于外轮廓粗匹配的点集配准方法,其特征在于,所述S6包括:
S61:获得所述模板点集经过粗匹配后的一组粗匹配点集X'={x'1,x'2,…,x'M},将粗匹配点集X'中的每个点看作高斯混合模型每个高斯分量的质心,目标点集Y={y1,y1,…,yN}看作模型生成的数据点,M和N分别为粗匹配点集和目标点集中点的个数;
S62:将目标点集Y中的数据点y的概率分布表示为一个由M个高斯分模型进行线性叠加的混合高斯模型:
其中,P(m)为混合比例系数,表示数据点属于第m类高斯分布的先验概率;参数γ表示权重系数,反映了数据点y的概率密度与这项均匀分布的关系,即受噪声和离群点的影响程度;p(y|m)表示第m类高斯分布的概率密度函数,其中,
其中,x'm为数据点y经迭代变换后的对应点,也是高斯分模型的质心,σ2为第m类高斯分布的方差,D表示点集的维度;
S63:构造CPD算法的代价函数:
其中,θ表示空间变换模型T中的所有参数集合,包括空间变换的旋转矩阵和平移矩阵,σ2为高斯分模型的方差;
S64:采用最大期望算法迭代优化所述代价函数求解参数θ和σ2;
S65:重复步骤S61-S64,对所述多组粗匹配结果分别进行获得对应的参数θ和σ2,选择方差σ2最小的一组点集的精匹配结果作为最终的点集配准结果,并根据该点集配准结果恢复模板点集和目标点集的空间变换。
7.一种存储介质,其特征在于,所述存储介质中存储有计算机程序,所述计算机程序用于执行权利要求1至6中任一项所述基于外轮廓粗匹配的点集配准方法的步骤。
8.一种电子设备,其特征在于,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器调用所述存储器中的计算机程序时实现如权利要求1至6任一项所述基于外轮廓粗匹配的点集配准方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110541234.7A CN113470084B (zh) | 2021-05-18 | 2021-05-18 | 一种基于外轮廓粗匹配的点集配准方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110541234.7A CN113470084B (zh) | 2021-05-18 | 2021-05-18 | 一种基于外轮廓粗匹配的点集配准方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113470084A true CN113470084A (zh) | 2021-10-01 |
CN113470084B CN113470084B (zh) | 2024-01-30 |
Family
ID=77870888
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110541234.7A Active CN113470084B (zh) | 2021-05-18 | 2021-05-18 | 一种基于外轮廓粗匹配的点集配准方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113470084B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114140365A (zh) * | 2022-01-27 | 2022-03-04 | 荣耀终端有限公司 | 基于事件帧的特征点匹配方法及电子设备 |
CN114445472A (zh) * | 2022-03-04 | 2022-05-06 | 山东胜算软件科技有限公司 | 基于仿射变换和模板匹配的多步图像配准算法 |
CN116452774A (zh) * | 2023-06-09 | 2023-07-18 | 西南交通大学 | 基于改进cpd点云配准方法的钢轨波磨三维重建方法 |
CN117871416A (zh) * | 2024-03-11 | 2024-04-12 | 视睿(杭州)信息科技有限公司 | 一种晶粒坐标排序方法及*** |
Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110235898A1 (en) * | 2010-03-24 | 2011-09-29 | National Institute Of Advanced Industrial Science And Technology | Matching process in three-dimensional registration and computer-readable storage medium storing a program thereof |
US20120016537A1 (en) * | 2010-07-16 | 2012-01-19 | Salvatore Alfano | System and Method for Detection of Anti-Satellite Vulnerability of an Orbiting Platform |
US20140153802A1 (en) * | 2012-12-04 | 2014-06-05 | Siemens Corporation | Deformable tree matching with tangent-enhanced coherent point drift |
CN106485739A (zh) * | 2016-09-22 | 2017-03-08 | 哈尔滨工业大学 | 一种基于l2距离的点集配准方法 |
CN106780459A (zh) * | 2016-12-12 | 2017-05-31 | 华中科技大学 | 一种三维点云数据自动配准方法 |
CN106991722A (zh) * | 2017-03-01 | 2017-07-28 | 浙江大学 | 一种基于斜椭球域影响凸包的几何网格模型变形方法 |
CN107204009A (zh) * | 2017-05-23 | 2017-09-26 | 哈尔滨工业大学 | 基于仿射变换模型cpd算法的三维点云配准方法 |
CN108376408A (zh) * | 2018-01-30 | 2018-08-07 | 清华大学深圳研究生院 | 一种基于曲率特征的三维点云数据快速加权配准方法 |
US20180348287A1 (en) * | 2017-05-31 | 2018-12-06 | University Of Tennessee Research Foundation | Power system disturbance localization using recurrence quantification analysis and minimum-volume-enclosing ellipsoid |
US20190073744A1 (en) * | 2017-09-01 | 2019-03-07 | Tata Consultancy Services Limited | Systems and methods for shape constrained 3d point cloud registration |
CN110197503A (zh) * | 2019-05-14 | 2019-09-03 | 北方夜视技术股份有限公司 | 基于增强型仿射变换的非刚性点集配准方法 |
CN111383353A (zh) * | 2020-04-01 | 2020-07-07 | 大连理工大学 | 基于高斯混合模型和轮廓描述子的断骨模型配准方法 |
CN111784770A (zh) * | 2020-06-28 | 2020-10-16 | 河北工业大学 | 基于shot和icp算法的无序抓取中的三维姿态估计方法 |
CN111815686A (zh) * | 2019-04-12 | 2020-10-23 | 四川大学 | 基于几何特征由粗到细点云配准方法 |
CN111968166A (zh) * | 2020-08-20 | 2020-11-20 | 西安工程大学 | 一种基于非刚体纺织图像配准技术的精确纺织方法 |
WO2021088481A1 (zh) * | 2019-11-08 | 2021-05-14 | 南京理工大学 | 一种基于条纹投影的高精度动态实时360度全方位点云获取方法 |
-
2021
- 2021-05-18 CN CN202110541234.7A patent/CN113470084B/zh active Active
Patent Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110235898A1 (en) * | 2010-03-24 | 2011-09-29 | National Institute Of Advanced Industrial Science And Technology | Matching process in three-dimensional registration and computer-readable storage medium storing a program thereof |
US20120016537A1 (en) * | 2010-07-16 | 2012-01-19 | Salvatore Alfano | System and Method for Detection of Anti-Satellite Vulnerability of an Orbiting Platform |
US20140153802A1 (en) * | 2012-12-04 | 2014-06-05 | Siemens Corporation | Deformable tree matching with tangent-enhanced coherent point drift |
CN106485739A (zh) * | 2016-09-22 | 2017-03-08 | 哈尔滨工业大学 | 一种基于l2距离的点集配准方法 |
CN106780459A (zh) * | 2016-12-12 | 2017-05-31 | 华中科技大学 | 一种三维点云数据自动配准方法 |
CN106991722A (zh) * | 2017-03-01 | 2017-07-28 | 浙江大学 | 一种基于斜椭球域影响凸包的几何网格模型变形方法 |
CN107204009A (zh) * | 2017-05-23 | 2017-09-26 | 哈尔滨工业大学 | 基于仿射变换模型cpd算法的三维点云配准方法 |
US20180348287A1 (en) * | 2017-05-31 | 2018-12-06 | University Of Tennessee Research Foundation | Power system disturbance localization using recurrence quantification analysis and minimum-volume-enclosing ellipsoid |
US20190073744A1 (en) * | 2017-09-01 | 2019-03-07 | Tata Consultancy Services Limited | Systems and methods for shape constrained 3d point cloud registration |
CN108376408A (zh) * | 2018-01-30 | 2018-08-07 | 清华大学深圳研究生院 | 一种基于曲率特征的三维点云数据快速加权配准方法 |
CN111815686A (zh) * | 2019-04-12 | 2020-10-23 | 四川大学 | 基于几何特征由粗到细点云配准方法 |
CN110197503A (zh) * | 2019-05-14 | 2019-09-03 | 北方夜视技术股份有限公司 | 基于增强型仿射变换的非刚性点集配准方法 |
WO2021088481A1 (zh) * | 2019-11-08 | 2021-05-14 | 南京理工大学 | 一种基于条纹投影的高精度动态实时360度全方位点云获取方法 |
CN111383353A (zh) * | 2020-04-01 | 2020-07-07 | 大连理工大学 | 基于高斯混合模型和轮廓描述子的断骨模型配准方法 |
CN111784770A (zh) * | 2020-06-28 | 2020-10-16 | 河北工业大学 | 基于shot和icp算法的无序抓取中的三维姿态估计方法 |
CN111968166A (zh) * | 2020-08-20 | 2020-11-20 | 西安工程大学 | 一种基于非刚体纺织图像配准技术的精确纺织方法 |
Non-Patent Citations (5)
Title |
---|
LINGJING WANG ET AL.: "Coherent Point Drift Networks: Unsupervised Learning of Non-Rigid Point Set Registration", ARXIV * |
PENGPENG ZHANG ET AL.: "A robust coherent point drift approach based on rotation invariant shape context", NEUROCOMPUTING, vol. 219 * |
XIANG WEI FENG AND DAZHENG FENG: "A Robust Nonrigid Point Set Registration Method Based on Collaborative Correspondences", SENSORS, vol. 20 * |
周志勇;薛维琴;郑健;蒯多杰;张涛;胡粟;: "基于t分布混合模型的点集非刚性配准算法", 光学精密工程, no. 09 * |
贺飞跃;贺兴时;赵文芝;: "轮廓匹配的快速相干点漂移方法", 自动化与仪器仪表, no. 08 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114140365A (zh) * | 2022-01-27 | 2022-03-04 | 荣耀终端有限公司 | 基于事件帧的特征点匹配方法及电子设备 |
CN114445472A (zh) * | 2022-03-04 | 2022-05-06 | 山东胜算软件科技有限公司 | 基于仿射变换和模板匹配的多步图像配准算法 |
CN116452774A (zh) * | 2023-06-09 | 2023-07-18 | 西南交通大学 | 基于改进cpd点云配准方法的钢轨波磨三维重建方法 |
CN116452774B (zh) * | 2023-06-09 | 2023-08-18 | 西南交通大学 | 基于改进cpd点云配准方法的钢轨波磨三维重建方法 |
CN117871416A (zh) * | 2024-03-11 | 2024-04-12 | 视睿(杭州)信息科技有限公司 | 一种晶粒坐标排序方法及*** |
Also Published As
Publication number | Publication date |
---|---|
CN113470084B (zh) | 2024-01-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Ma et al. | Locality preserving matching | |
CN113470084A (zh) | 一种基于外轮廓粗匹配的点集配准方法 | |
Ma et al. | Non-rigid point set registration by preserving global and local structures | |
Ma et al. | LMR: Learning a two-class classifier for mismatch removal | |
Ma et al. | Nonrigid point set registration with robust transformation learning under manifold regularization | |
Ma et al. | Robust $ L_ {2} E $ estimation of transformation for non-rigid registration | |
Zhou et al. | Factorized graph matching | |
Moreno-Noguer et al. | Accurate Non-Iterative 𝑂 (𝑛) Solution to the P𝑛P Problem | |
Huang et al. | A coarse-to-fine algorithm for matching and registration in 3D cross-source point clouds | |
US9141871B2 (en) | Systems, methods, and software implementing affine-invariant feature detection implementing iterative searching of an affine space | |
US8280150B2 (en) | Method and apparatus for determining similarity between surfaces | |
Jiang et al. | Linear scale and rotation invariant matching | |
Tao et al. | An adaptive differential evolution algorithm with a point-based approach for 3D point cloud registration | |
Strange et al. | Open problems in spectral dimensionality reduction | |
CN108830289B (zh) | 一种基于改进的模糊c均值聚类的图像聚类方法及装置 | |
Hu et al. | Robust ellipse fitting with Laplacian kernel based maximum correntropy criterion | |
Simeonov et al. | Shelving, stacking, hanging: Relational pose diffusion for multi-modal rearrangement | |
US20050036690A1 (en) | Unified bayesian framework for shape registration | |
Peng et al. | A robust method for estimating image geometry with local structure constraint | |
Moyou et al. | A grassmannian graph approach to affine invariant feature matching | |
Burchfiel et al. | Bayesian Eigenobjects: A Unified Framework for 3D Robot Perception. | |
Skočaj | Robust subspace approaches to visual learning and recognition | |
Dan et al. | Multifeature energy optimization framework and parameter adjustment-based nonrigid point set registration | |
Leng et al. | Graph matching based on stochastic perturbation | |
Okada | Analysis, synthesis and recognition of human faces with pose variations |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |