CN111445540B - 一种用于rgb有色三维点云的自动配准方法 - Google Patents

一种用于rgb有色三维点云的自动配准方法 Download PDF

Info

Publication number
CN111445540B
CN111445540B CN202010223783.5A CN202010223783A CN111445540B CN 111445540 B CN111445540 B CN 111445540B CN 202010223783 A CN202010223783 A CN 202010223783A CN 111445540 B CN111445540 B CN 111445540B
Authority
CN
China
Prior art keywords
point
point set
curvature
source
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010223783.5A
Other languages
English (en)
Other versions
CN111445540A (zh
Inventor
王勇
黎春
赵丽娜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Technology
Original Assignee
Chongqing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Technology filed Critical Chongqing University of Technology
Priority to CN202010223783.5A priority Critical patent/CN111445540B/zh
Publication of CN111445540A publication Critical patent/CN111445540A/zh
Application granted granted Critical
Publication of CN111445540B publication Critical patent/CN111445540B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种用于RGB有色三维点云的自动配准方法，包括：获取源点集P和目标点集Q中每个点的灰度值；将源点集P中的点划分为S个等级、设置最大分辨率N并初始化当前分辨率；计算目标点集Q中每个点的曲率信息的方差之和及灰度值的方差，计算曲率信息的几何特征和颜色特征对应的权重因子；在当前分辨率下对源点集P提取采样点；计算每个采样点的主曲率、高斯曲率、平均曲率；选择采样点在目标点集Q中的匹配点；依次在当前分辨率至最大分辨率N下基于匹配点对更新源点集P。本发明由于采用了具备缩放、旋转及平移不变性的曲率特征和颜色特征来寻找匹配点，使得误匹配点对更少，因此提高了配准精度，并且引入了多分辨率框架提高了配准速度。

Description

一种用于RGB有色三维点云的自动配准方法
技术领域
本发明属于图像处理技术领域，具体涉及一种用于RGB有色三维点云的自动配准方法。
背景技术
近年来，三维重建技术广泛应用于3D打印、机器视觉、数学考古、医疗发展等诸多领域，受到了社会各界的高度关注。
目前，由于三维扫描设备受到测量环境和仪器本身的限制，无法一次性获取完整的物体点云数据，需要在多个视角下多次扫描得到物体各个面的点云数据并对其进行拼接最终得到完整的物体模型。因此点云的配准在三维物体的重建过程中显得尤为重要。
当前常见的点云配准手段主要有手动配准、依赖仪器的配准和自动配准，通常意义上的配准技术是指自动配准，而所谓的点云自动配准，主要是通过一定的算法或者统计学规律，利用计算机计算两块点云的错位，从而达到把两片点云自动配准的效果。
目前点云配准主要分为粗配准和精配准，其中粗配准方法主要包括两大类：基于几何特征的配准方法和基于随机采样检测的配准方法。如利用点的曲率并增加对应点时间的法矢夹角约束来实现匹配点对的方法，基于点云单应性的迭代最近点的配准算法，利用点的旋转图像来搜索对应关系的方法，然而上述粗配准方法都在一定程度上存在不足。而在精配准方法中最经典的是由Besl和Chen于1991年提出的迭代最近点(ICP)算法，该算法相对简单且配准精度较好，但当物体模型表面较光滑、特征不明显时常常失效。
为此，国内外学者针对不同点云数据及不同的应用场景提出了各种改进ICP算法。Hao Men等人提出了一种进行颜色点云配准的4D ICP算法，该方法将加权色调值与3D坐标数据一起进行配准，提高了查找对应点的准确性，同时该方法在最近点搜索时引入KDtree，提高了配准的速度，但该方法相对于传统ICP算法在精度上并没有多大的提高。苏本跃等人提出一种面向RGB-D数据的4D-ICP配准算法，该方法将颜色值与3D坐标值混合完成点云配准，一定程度上提高了算法配准的精度。但是这方法配准的精度与3D ICP配准精度差不多，但其速度有待提升。Jaesik Park等人提出了一种联合光度和几何信息的算法用于两个彩色点云配准，该方法为了定义用于点云配准的光度目标，在每个点的切平面引入虚拟图像，使用于RGB-D图像配准的光度目标可推广到非结构化点云对齐。通过这种方式，可以有效完成彩色点云配准，但由于引入的虚拟图像是对隐式颜色变化的局部近似，其配准精度不高。Bharat Lohani提出了一种强度增强ICP(Intensity Augmented，IAICP)算法，该方法利用与坐标一起获取的辐射测量数据，并结合几何坐标实现粗配准。对于一般的三维点云数据，该方法精度比较高，速度也较快，但对较平坦的点云数据，其配准速度很慢。
综上所述，现有的基于ICP的改进算法有如下不足之处：非结构化点云对齐的配准精度有待提升。精度高，速度快，但是当面对较平坦点云时配准速度较慢。因此，如何提高非结构化点云对齐的配准精度以及如何提高对较平坦点云的配准速度，成为了本领域技术人员急需解决的问题。
发明内容
针对现有技术中存在的上述不足，本发明实际需要解决的问题是：如何提高非结构化点云对齐的配准精度以及如何提高对较平坦点云的配准速度。
为解决上述技术问题，本发明采用了如下的技术方案：
一种用于RGB有色三维点云的自动配准方法，包括：
S1、获取源点集P和目标点集Q，并获取对应的坐标信息及颜色信息，源点集P和目标点集Q为目标物体两个不同视角的三维点云；
S2、基于源点集P和目标点集Q的颜色信息得到源点集P和目标点集Q中每个点的灰度值；
S3、计算源点集P中每个点的法向量夹角平均值，基于所述法向量夹角平均值将源点集P中的点划分为S个等级、设置最大分辨率N并初始化当前分辨率为1；
S4、计算目标点集Q中每个点的主曲率、高斯曲率、平均曲率，并归一化；
S5、基于目标点集Q中每个点的主曲率、高斯曲率、平均曲率以及灰度值，计算目标点集Q中每个点的曲率信息的方差之和及灰度值的方差，并基于目标点集Q中每个点的曲率信息的方差之和及灰度值的方差，计算几何特征和颜色特征对应的权重因子；
S6、计算当前分辨率下源点集P中每一级的采样比例并提取采样点；
S7、计算源点集P中每个采样点的主曲率、高斯曲率、平均曲率，并归一化；
S8、基于自适应匹配度
Figure BDA0002426980200000032
来选择采样点在目标点集Q中的匹配点；
S9、依次在当前分辨率至最大分辨率N下基于匹配点对更新源点集P。
优选地，源点集P和目标点集Q对应的颜色信息包括源点集P和目标点集Q中每个点的RGB颜色值；步骤S2中得到源点集P和目标点集Q中每个点的灰度值的方法包括：
对于源点集P和目标点集Q中任意点，使用加权平均法按下式将RGB颜色值中的R、G、B三个分量赋以不同的权值进行灰度转换：
Figure BDA0002426980200000031
式中，R表示(i,j,k)坐标点对应的红色分量，G表示(i,j,k)坐标点对应的绿色分量，B表示(i,j,k)坐标点对应的蓝色分量，Gray表示(i,j,k)坐标点对应的RGB信息转换后的灰度值，a、b及c分别为红色分量、绿色分量及蓝色分量的权值，a、b及c分别为红色分量、绿色分量及蓝色分量的权值。
优选地，步骤S3包括：
S301、对源点集P和目标点集Q构建KD tree；
利用获取的点云信息构建的KD tree，此为现有技术，在此不再赘述。
S302、基于KD tree，计算源点集P和目标点集Q中每个点的法向量；
S303、基于源点集P中每个点的法向量计算源点集P中每个点的法向量夹角平均值。
优选地，在计算出主曲率、高斯曲率、平均曲率及灰度值后，对主曲率、高斯曲率、平均曲率及灰度值进行归一化处理。
优选地，步骤S8中：
Figure BDA0002426980200000041
式中，pi是源点云中任意的一个采样点，
Figure BDA0002426980200000042
是pi在目标点集中的k近邻点，pim(m＝1,2,3,4)分别是pi的主曲率pi1，pi2，高斯曲率pi3，平均曲率pi4。
Figure BDA0002426980200000043
分别是
Figure BDA0002426980200000044
的主曲率
Figure BDA0002426980200000045
Figure BDA0002426980200000046
高斯曲率
Figure BDA0002426980200000047
平均曲率
Figure BDA0002426980200000048
gi表示pi的颜色分量，
Figure BDA0002426980200000049
表示pi在目标点集中的k近邻点
Figure BDA00024269802000000410
的颜色分量，fc表示几何特征的权重因子，fg表示颜色特征的权重因子。
优选地，
Figure BDA00024269802000000411
式中，Vg是灰度值的方差，Vc是曲率的方差和，即Vc＝Vpi1+Vpi2+Vpi3+Vpi4。Vpi1，Vpi2，Vpi3，Vpi4分别是点云中某点pi的主曲率pi1，pi2，高斯曲率pi3，平均曲率pi4的方差。
优选地，步骤S9包括：
S901、基于匹配点对，使用四元数法计算旋转矩阵和平移矩阵，执行步骤S902；
S902、基于旋转矩阵和平移矩阵对源点集P进行变换，将变换后的点击作为更新后的源点集，执行步骤S903；
S903、判断目标函数
Figure BDA00024269802000000412
是否最小，若是，执行步骤S904；否则，基于自适应匹配度
Figure BDA0002426980200000051
来选择采样点在目标点集Q中的匹配点，并执行步骤S901；式中，nnum为匹配点对总数，pi′为源点集中的采样点，qi′为pi′对应的目标点集中的点，R为旋转矩阵，T为平移矩阵；
S904、判断是否满足预设条件，若是，结束；否则将当前分辨率加并执行步骤S6。
综上所述，本发明首先将RGB值转化成灰度值，并根据灰度值的方差和曲率方差和大小设置权重因子的大小，然后根据权重因子自适应的调整颜色信息和几何信息对配准的影响，实现基于颜色信息和基于几何信息的有机结合，由于采用了具备缩放、旋转及平移不变性的曲率特征和颜色特征来寻找匹配点，使得误匹配点对更少，因此提高了配准精度，并且引入了多分辨率框架提高了配准速度。
附图说明
图1为本发明公开一种用于RGB有色三维点云的自动配准方法的一种具体实施方式的流程图；
图2为本发明验证算法对颜色特征变化比较明显但几何特征变化不明显的点云数据进行配准的有效性，扫描脸谱，为未加入噪声时的点云配准结果图；
图3为本发明验证算法对颜色特征变化比较明显但几何特征变化不明显的点云数据进行配准的有效性，扫描脸谱，为加入高斯噪声时的点云配准结果图；
图4为本发明验证算法对颜色特征变化和几何特征变化都不明显的点云数据进行配准的有效性，扫描水壶，为未加入噪声时的点云配准结果图；
图5为本发明验证算法对颜色特征变化和几何特征变化都不明显的点云数据进行配准的有效性，扫描水壶，为加入高斯噪声时的点云配准结果图；
图6为本发明验证算法几何特征变化比较明显但是颜色单一的点云数据进行配准的有效性，扫描石膏像，为未加入噪声时的点云配准结果图；
图7为本发明验证算法几何特征变化比较明显但是颜色单一的点云数据进行配准的有效性，扫描石膏像，为加入高斯噪声时的点云配准结果图；
图8为本发明公开的一种用于三维重建的点云配准方法与经典ICP、4D-ICP(Hue)、4D-ICP(IAICP)算法未加入噪声时在不同模型上的误差；
图9为本发明公开的一种用于三维重建的点云配准方法与经典ICP、4D-ICP(Hue)、4D-ICP(IAICP)算法加入高斯噪声时不同模型上的误差；
图10为本发明公开的一种用于三维重建的点云配准方法与经典ICP、4D-ICP(Hue)、4D-ICP(IAICP)算法在不同模型上未加入噪声的配准的时间对比图；
图11为本发明公开的一种用于三维重建的点云配准方法与经典ICP、4D-ICP(Hue)、4D-ICP(IAICP)算法在不同模型上加入高斯噪声的配准的时间对比图。
具体实施方式
下面结合附图对本发明作进一步的详细说明。
如图1所示，本发明公开了一种用于RGB有色三维点云的自动配准方法，包括：
S1、获取源点集P和目标点集Q，并获取对应的坐标信息及颜色信息，源点集P和目标点集Q为目标物体两个不同视角的三维点云；
S2、基于源点集P和目标点集Q的颜色信息得到源点集P和目标点集Q中每个点的灰度值；
S3、计算源点集P中每个点的法向量夹角平均值，基于所述法向量夹角平均值将源点集P中的点划分为S个等级、设置最大分辨率N并初始化当前分辨率为1；
S4、计算目标点集Q中每个点的主曲率、高斯曲率、平均曲率；
对于任意一个点，可利用构建的kd-tree求取其临近点，参考拟合二次曲面公式，使用这些点的信息进行计算。主曲率、高斯曲率、平均曲率的计算为现有技术，在此不再赘述。
S5、基于目标点集Q中每个点的主曲率、高斯曲率、平均曲率以及灰度值，计算目标点集Q中每个点的曲率信息的方差之和及灰度值的方差，并基于目标点集Q中每个点的曲率信息的方差之和及灰度值的方差，计算几何特征和颜色特征对应的权重因子；
S6、计算当前分辨率下源点集P中每一级的采样比例并提取采样点；
当分辨率为1≤j≤N，级数为1≤i≤S时，采样比例计算公式如下:
Figure BDA0002426980200000071
其中，S为最大级数，N为最大分辨率。
S7、计算源点集P中每个采样点的主曲率、高斯曲率、平均曲率；
S8、基于自适应匹配度
Figure BDA0002426980200000073
来选择采样点在目标点集Q中的匹配点；
S9、依次在当前分辨率至最大分辨率N下基于匹配点对更新源点集P。
本发明首先将RGB值转化成灰度值，并根据灰度值的方差和曲率方差和大小设置权重因子的大小，然后根据权重因子自适应的调整颜色信息和几何信息对配准的影响，实现基于颜色信息和基于几何信息的有机结合，由于采用了具备缩放、旋转及平移不变性的曲率特征和颜色特征来寻找匹配点，使得误匹配点对更少，因此提高了配准精度，并且引入了多分辨率框架提高了配准速度。
具体实施时，源点集P和目标点集Q对应的颜色信息包括源点集P和目标点集Q中每个点的RGB颜色值；步骤S2中得到源点集P和目标点集Q中每个点的灰度值的方法包括：
对于源点集P和目标点集Q中任意点，使用加权平均法按下式将RGB颜色值中的R、G、B三个分量赋以不同的权值进行灰度转换：
Figure BDA0002426980200000072
式中，R表示(i,j,k)坐标点对应的红色分量，G表示(i,j,k)坐标点对应的绿色分量，B表示(i,j,k)坐标点对应的蓝色分量，Gray表示(i,j,k)坐标点对应的RGB信息转换后的灰度值，a、b及c分别为红色分量、绿色分量及蓝色分量的权值，a、b及c分别为红色分量、绿色分量及蓝色分量的权值。
可将点云中每个点对应的RGB颜色信息转换成灰度值并将其作为点云数据的第四维，即将(x,y,z,r,g,b)格式的数据转换成(x,y,z,gray)格式进行后续处理；各分量的权值根据可人眼对各分量敏感度不同分别为：a＝0.30,b＝0.59,c＝0.11。
具体实施时，步骤S3包括：
S301、对源点集P和目标点集Q构建KD tree；
利用获取的点云信息构建的KD tree，此为现有技术，在此不再赘述。
S302、基于KD tree，计算源点集P和目标点集Q中每个点的法向量；
根据相同原理，可利用KD tree计算目标点集Q中每个点的法向量，从而计算Q法向量夹角的平均值。
S303、基于源点集P中每个点的法向量计算源点集P中每个点的法向量夹角平均值。
可采用主成分分析法(PCA)分别求P中每个点pi的法向量pnormal和Q中每个点qj的法向量qnormal。
具体实施时，在计算出主曲率、高斯曲率、平均曲率及灰度值后，对主曲率、高斯曲率、平均曲率及灰度值进行归一化处理。
为了减少了曲率数据和灰度值数据范围不一致对配准带来的不利影响，可采用最大最小规范化方法分布处理曲率信息(主曲率、高斯曲率、平均曲率)和灰度值数据。
具体实施时，步骤S8中：
Figure BDA0002426980200000081
式中，pi是源点云中任意的一个采样点，
Figure BDA0002426980200000082
是pi在目标点集中的k近邻点，pim(m＝1,2,3,4)分别是pi的主曲率pi1，pi2，高斯曲率pi3，平均曲率pi4。
Figure BDA0002426980200000083
分别是
Figure BDA0002426980200000084
的主曲率
Figure BDA0002426980200000085
Figure BDA0002426980200000086
高斯曲率
Figure BDA0002426980200000087
平均曲率
Figure BDA0002426980200000088
gi表示pi的颜色分量，
Figure BDA0002426980200000089
表示pi在目标点集中的k近邻点
Figure BDA00024269802000000810
的颜色分量，fc表示几何特征的权重因子，fg表示颜色特征的权重因子。
本发明中的几何特征是指点云与各点的局部特征。在本发明中，可选取匹配度
Figure BDA0002426980200000091
值最小的点作为pi的匹配点；由此选取出源点集P中各个采样点的匹配点。
具体实施时，
Figure BDA0002426980200000092
式中，Vg是灰度值的方差，Vc是曲率的方差和，即Vc＝Vpi1+Vpi2+Vpi3+Vpi4。Vpi1，Vpi2，Vpi3，Vpi4分别是点云中某点pi的主曲率pi1，pi2，高斯曲率pi3，平均曲率pi4的方差。
上式根据几何曲率的方差和以及颜色值的方差衡量权重因子的权值。数据的方差越大，说明数据的波动就越大，若曲率方差和比颜色值方差更大，则说明曲率信息波动更明显，其几何特征更丰富。若颜色值方差比曲率方差和更大，则说明颜色值波动更明显，其颜色信息更丰富。
具体实施时，步骤S9包括：
S901、基于匹配点对，使用四元数法计算旋转矩阵和平移矩阵，执行步骤S902；
S902、基于旋转矩阵和平移矩阵对源点集P进行变换，将变换后的点击作为更新后的源点集，执行步骤S903；
S903、判断目标函数
Figure BDA0002426980200000093
是否最小，若是，执行步骤S904；否则，基于自适应匹配度
Figure BDA0002426980200000094
来选择采样点在目标点集Q中的匹配点，并执行步骤S901；式中，nnum为匹配点对总数，pi′为源点集中的采样点，qi′为pi′对应的目标点集中的点，R为旋转矩阵，T为平移矩阵；
目标函数实际是所有对应点之间的欧式距离平方和，Rpi′+T即对pi′，假设用旋转与平移进行变换得到的一个变换后的点云集。
这个变换后的点云集中的点与目标点集中的点进行比较。
S904、判断是否满足预设条件，若是，结束；否则将当前分辨率加并执行步骤S6。
预设条件为，当前分辨率等于最大分辨率。
本发明数据均可通过实验室搭建的拍照式彩色扫描仪ADAM-S02S获取。算法基本参数：k＝8。为了验证算法对各种类型的数据均能有效配准，本发明分别扫描了几组不同类型的数据进行实验，并将本发明中算法分别与经典ICP、4D-ICP(Hue)、4D-ICP(IAICP)进行了对比分析。
图2、图3、图4、图5、图6、图7分别为脸谱(Facial Makeup)、水壶(Kettle)、石膏像(Plaster Statue)的配准结果，其中(a)、(b)、(c)、(d)、(e)分别表示点云的初始位姿、经典ICP、4D-ICP(Hue)、4D-ICP(IAICP)与本发明算法配准的效果图。其中图2、4、6分别是从两次不同角度扫描的Facial Makeup、Kettle、Plaster Statue的点云数据，这些数据在扫描时通过将目标物旋转一定角度获取，旋转角度任意，存在一部分重叠数据。为了更好的观察几种算法的配准效果，在图2、图4、图6的(a)、(b)、(c)、(d)和(e)中均对配准结果图中的边缘进行了细节放大处理。
在图3中，各算法均成功对该数据进行了配准，仔细观察右上方的细节放大图，可看出传统ICP、4D-ICP(Hue)和4D-ICP(IAICP)配准精度相差不大，但脸谱嘴角上方区域黑色部分和黄色部分有一小部分重叠，说明配准有一定的错位，而本发明算法很好的进行了配准，且嘴角上方区域也基本不存在错位。在图4中，各算法分别对加入高斯白噪声后的数据进行了配准，从配准结果中的细节放大图可看出，传统ICP受噪声影响最大，脸谱嘴角上方区域效果最差，4D-ICP(Hue)和4D-ICP(IAICP)效果比传统ICP略好。
对比图2(e)和图3(e)，可看出本发明算法也受到了噪声的影响，但对比其他三种算法，本发明算法受噪声干扰影响最小，其配准效果在几种算法中最好。在图4中，各算法配准效果差异较大，可以很显著看出算法的优劣，传统ICP与4D-ICP(Hue)配准效果差不多，4D-ICP(IAICP)比前两者配准效果更好，但从细节放大图可看出其他三种算法边缘重叠部分的配准效果并不好，而本发明算法在边缘部分也很好的完成了配准。在加入噪声后，对比图4和图5中各算法配准的效果图，可以明显看出4D-ICP(IAICP)算法受噪声影响很大，在加入噪声后配准效果明显变差。在图6、图7中，各算法配准效果差不多，这是因为PlasterStatue数据几何特征比较丰富但颜色特征单一，所以4D-ICP(Hue)、4D-ICP(IAICP)和本发明算法的颜色分量在该数据中并不能体现出其优越性。在加入噪声后，各配准算法配准效果也没有受到较大的影响，这是因为该数据几何特征比较明显，在加入少量噪声时的干扰性也比较小。
从对图2～图7的这六组(三对)不同数据进行配准的结果看，各算法基本上都能完成对目标数据的配准，但可以很明显看出本发明算法相较其他三种算法的优越性，尤其是对Calibration Board这种几何特征不明显的数据，本发明算法在精度和速度上都占据独特优势。
表1中对未加入噪声时四种算法配准的时间和误差分别进行了统计。
表1未加入噪声时四种算法的配准结果对比
Figure BDA0002426980200000111
可以看出，经典ICP、4D-ICP(Hue)和4D-ICP(IAICP)这三种算法精度差不多，但是4D-ICP(Hue)和4D-ICP(IAICP)算法速度较快。精度差不多是因为这三种算法都是基于坐标点的欧氏距离来寻找对应点的，但4D-ICP(Hue)和4D-ICP(IAICP)在经典ICP基础上多了一维颜色信息，使其算法精度比经典ICP略高，同时结合颜色信息寻找对应点也加速了算法收敛，从而使整体配准的速度得到了提升。从表1中可以看出本发明算法不管是在哪种数据下，无论是精度还是速度比经典ICP、4D-ICP(Hue)、4D-ICP(IAICP)都有大幅度提高。在精度上的提升是因为本发明算法采用具备缩放、旋转及平移不变性的曲率特征和颜色特征来寻找对应点，使得误匹配点对更少。在速度上的提升是一方面是因为本发明算法采用KD-tree加快了近邻点的搜索，另一方面是因为本发明算法采用多分辨率配准的思想，利用低分辨率匹配点对快速配准，再利用高分辨率匹配点对提高配准精度，从而既保证了配准的精度，又提高了配准的速度。
表2中对加入高斯噪声时四种算法配准的时间和误差分别进行了统计。
表2加入高斯噪声后四种算法的配准结果对比
Figure BDA0002426980200000121
可以看出几种算法均不同程度的受到噪声的影响，其中，经典ICP、4D-ICP(Hue)和4D-ICP(IAICP)这三种算法受噪声影响比较大，尤其是经典ICP算法，而本发明算法受噪声影响较小，在噪声比较少的情况下基本可以忽略。
为了更直观的对比各算法的配准效果，图8、9和图10、11的折线图分别对加入噪声前后各算法配准的误差和时间进行了对比。图8是未加入噪声时各算法在各数据上的误差对比，图9是加入高斯噪声后各算法在各数据上的误差对比。图10是未加入噪声时各算法在各数据上的时间对比，图11是加入高斯噪声后各算法在各数据上的时间对比。从图中可以直观的看出本发明算法相对于经典ICP、4D-ICP(Hue)、4D-ICP(IAICP)的优越性。
从以上实验看出，本发明为了进一步提高配准精度，提出结合灰度值数据和曲率信息的自适应匹配度公式精确获取对应点，引入KD-tree加速临近点的搜索，提高了算法的匹配速度，同时引入多分辨率框架加速配准，通过实验证明本算法在精度和速度方面都有极大的提升。
上仅是本发明优选的实施方式，需指出是，对于本领域技术人员在不脱离本技术方案的前提下，还可以做出若干变形和改进，上述变形和改进的方案应同样视为落入本申请要去保护的范围。
以上仅是本发明优选的实施方式，需指出是，对于本领域技术人员在不脱离本技术方案的前提下，还可以做出若干变形和改进，上述变形和改进的技术方案应同样视为落入本申请要求保护的范围。

Claims (4)

1.一种用于RGB有色三维点云的自动配准方法，其特征在于，包括：
S1、获取源点集P和目标点集Q，并获取对应的坐标信息及颜色信息，源点集P和目标点集Q为目标物体两个不同视角的三维点云；
S2、基于源点集P和目标点集Q的颜色信息得到源点集P和目标点集Q中每个点的灰度值；源点集P和目标点集Q对应的颜色信息包括源点集P和目标点集Q中每个点的RGB颜色值；步骤S2中得到源点集P和目标点集Q中每个点的灰度值的方法包括：
对于源点集P和目标点集Q中任意点，使用加权平均法按下式将RGB颜色值中的R、G、B三个分量赋以不同的权值进行灰度转换：
式中，R表示(i,j,k)坐标点对应的红色分量，G表示(i,j,k)坐标点对应的绿色分量，B表示(i,j,k)坐标点对应的蓝色分量，Gray表示(i,j,k)坐标点对应的RGB信息转换后的灰度值，a、b及c分别为红色分量、绿色分量及蓝色分量的权值；
S3、计算源点集P中每个点的法向量夹角平均值，基于所述法向量夹角平均值将源点集P中的点划分为S个等级、设置最大分辨率N并初始化当前分辨率为1；
S4、计算目标点集Q中每个点的主曲率、高斯曲率、平均曲率，并归一化；
S5、基于目标点集Q中每个点的主曲率、高斯曲率、平均曲率以及灰度值，计算目标点集Q中每个点的曲率信息的方差之和及灰度值的方差，并基于目标点集Q中每个点的曲率信息的方差之和及灰度值的方差，计算几何特征和颜色特征对应的权重因子；
S6、计算当前分辨率下源点集P中每一级的采样比例并提取采样点；
S7、计算源点集P中每个采样点的主曲率、高斯曲率、平均曲率，并归一化；
S8、基于自适应匹配度来选择采样点在目标点集Q中的匹配点；步骤S8中：
式中，pi是源点云中任意的一个采样点，是pi在目标点集中的k近邻点，pim(m＝1,2,3,4)分别是pi的主曲率pi1，pi2，高斯曲率pi3，平均曲率pi4。，分别是的主曲率高斯曲率平均曲率gi表示pi的颜色分量，表示pi在目标点集中的k近邻点的颜色分量，fc表示几何特征的权重因子，fg表示颜色特征的权重因子；
S9、依次在当前分辨率至最大分辨率N下基于匹配点对更新源点集P；步骤S9包括：
S901、基于匹配点对，使用四元数法计算旋转矩阵和平移矩阵，执行步骤S902；
S902、基于旋转矩阵和平移矩阵对源点集P进行变换，将变换后的点击作为更新后的源点集，执行步骤S903；
S903、判断目标函数是否最小，若是，执行步骤S904；否则，基于自适应匹配度来选择采样点在目标点集Q中的匹配点，并执行步骤S901；式中，nnum为匹配点对总数，pi′为源点集中的采样点，qi′为pi′对应的目标点集中的点，R为旋转矩阵，T为平移矩阵；
S904、判断是否满足预设条件，若是，结束；否则将当前分辨率加并执行步骤S6。
2.如权利要求1所述的用于RGB有色三维点云的自动配准方法，其特征在于，步骤S3包括：
S301、对源点集P和目标点集Q构建KD tree；
S302、基于KD tree，计算源点集P和目标点集Q中每个点的法向量；
S303、基于源点集P中每个点的法向量计算源点集P中每个点的法向量夹角平均值。
3.如权利要求1所述的用于RGB有色三维点云的自动配准方法，其特征在于，在计算出主曲率、高斯曲率、平均曲率及灰度值后，对主曲率、高斯曲率、平均曲率及灰度值进行归一化处理。
4.如权利要求1所述的用于RGB有色三维点云的自动配准方法，其特征在于，
式中，Vg是灰度值的方差，Vc是曲率的方差和，即 分别是点云中某点pi的主曲率pi1，pi2，高斯曲率pi3，平均曲率pi4的方差。
CN202010223783.5A 2020-03-26 2020-03-26 一种用于rgb有色三维点云的自动配准方法 Active CN111445540B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010223783.5A CN111445540B (zh) 2020-03-26 2020-03-26 一种用于rgb有色三维点云的自动配准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010223783.5A CN111445540B (zh) 2020-03-26 2020-03-26 一种用于rgb有色三维点云的自动配准方法

Publications (2)

Publication Number Publication Date
CN111445540A CN111445540A (zh) 2020-07-24
CN111445540B true CN111445540B (zh) 2023-04-18

Family

ID=71647974

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010223783.5A Active CN111445540B (zh) 2020-03-26 2020-03-26 一种用于rgb有色三维点云的自动配准方法

Country Status (1)

Country Link
CN (1) CN111445540B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112525130B (zh) * 2020-10-23 2022-01-28 清华大学 接触式局部曲率特征的测量方法及***
CN112509142B (zh) * 2020-11-10 2024-04-26 华南理工大学 基于面向表型精确鉴定的豆株快速三维重建方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103955939A (zh) * 2014-05-16 2014-07-30 重庆理工大学 三维扫描***中点云拼接用边界特征点配准方法
CN107230203A (zh) * 2017-05-19 2017-10-03 重庆理工大学 基于人眼视觉注意机制的铸件缺陷识别方法
CN107886529A (zh) * 2017-12-06 2018-04-06 重庆理工大学 一种用于三维重建的点云配准方法
CN109767463A (zh) * 2019-01-09 2019-05-17 重庆理工大学 一种三维点云自动配准方法
CN110276790A (zh) * 2019-06-28 2019-09-24 易思维（杭州）科技有限公司 基于形状约束的点云配准方法
CN110490912A (zh) * 2019-07-17 2019-11-22 哈尔滨工程大学 基于局部灰度顺序模型描述符的3d-rgb点云配准方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9824486B2 (en) * 2013-12-16 2017-11-21 Futurewei Technologies, Inc. High resolution free-view interpolation of planar structure

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103955939A (zh) * 2014-05-16 2014-07-30 重庆理工大学 三维扫描***中点云拼接用边界特征点配准方法
CN107230203A (zh) * 2017-05-19 2017-10-03 重庆理工大学 基于人眼视觉注意机制的铸件缺陷识别方法
CN107886529A (zh) * 2017-12-06 2018-04-06 重庆理工大学 一种用于三维重建的点云配准方法
CN109767463A (zh) * 2019-01-09 2019-05-17 重庆理工大学 一种三维点云自动配准方法
CN110276790A (zh) * 2019-06-28 2019-09-24 易思维（杭州）科技有限公司 基于形状约束的点云配准方法
CN110490912A (zh) * 2019-07-17 2019-11-22 哈尔滨工程大学 基于局部灰度顺序模型描述符的3d-rgb点云配准方法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
Li,H et. al.《A ICP–improved pint cloud maps fusion algorithm with multi uav collaboration》.《lecture notes of the institute for computer sciences social informatics and telecommunications engineering》.2019,550-560. *
shihua li et. al.《Tree point clouds registration using an improved ICP algorithm based kd-tree》.《2016IEEE international geoscience and remote sensing symposium》.2016,全文. *
张宏斌.《基于点云的三维目标检测算法研究与标注工具设计》.《CNKI硕士电子期刊》.2020,全文. *
杨小青 等.《基于法向量改进的ICP算法》.《计算机工程与设计》.2016,第37卷(第1期),169-173. *
杨福嘉.《基于特征点的图像配准技术研究》.《CNKI硕士电子期刊》.2019,全文. *
王勇 等.《多分辨率配准点的ICP算法》.《小型微型计算机***》.2018,第39卷(第3期),406-410. *
王勇 等.《改进的多分辨率点云自动配准算法》.《小型微型计算机***》.2019,第40卷(第10期),2236-2240. *

Also Published As

Publication number Publication date
CN111445540A (zh) 2020-07-24

Similar Documents

Publication Publication Date Title
JP4573085B2 (ja) 位置姿勢認識装置とその位置姿勢認識方法、及び位置姿勢認識プログラム
CN109615611B (zh) 一种基于巡检影像的绝缘子自爆缺陷检测方法
WO2021138990A1 (zh) 一种棋盘格亚像素级角点自适应检测的方法
JP4868530B2 (ja) 画像認識装置
CN104568986A (zh) 基于surf算法的遥控器面板印刷缺陷自动检测方法
CN108346162B (zh) 基于结构信息和空间约束的遥感图像配准方法
CN111652292B (zh) 一种基于ncs、ms的相似物体实时检测方法及***
CN111445540B (zh) 一种用于rgb有色三维点云的自动配准方法
CN101295363A (zh) 从距离图像确定物体姿势的方法和***
JPH06150000A (ja) 画像クラスタリング装置
CN110490913A (zh) 基于角点与单线段编组的特征描述算子进行影像匹配方法
CN111105452A (zh) 基于双目视觉的高低分辨率融合立体匹配方法
CN117152163B (zh) 一种桥梁施工质量视觉检测方法
CN112634262A (zh) 一种基于互联网的写字质量评价方法
CN115937552A (zh) 一种基于融合手工特征与深度特征的图像匹配方法
CN110728718B (zh) 改进摄像机标定各参数的方法
CN109993090B (zh) 基于级联回归森林和图像灰度特征的虹膜中心定位方法
CN109344758B (zh) 基于改进局部二值模式的人脸识别方法
JP2006285956A (ja) 赤目検出方法および装置並びにプログラム
Li et al. Global color consistency correction for large-scale images in 3-D reconstruction
CN116612165A (zh) 一种针对大视角差异sar图像的配准方法
CN116363179A (zh) 一种基于进化多任务优化的三维点云配准方法
CN116189160A (zh) 一种基于局部对比度机制的红外弱小目标检测方法
CN113283429B (zh) 基于深度卷积神经网络的液位式表计读数方法
CN109961393A (zh) 基于插值和迭代优化算法的亚像素配准与拼接技术

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant