CN112712589A - 一种基于激光雷达和深度学习的植株3d建模的方法和*** - Google Patents

Abstract

一种基于激光雷达和深度学***滑；7)对步骤6处理完的点云数据进行三维建模。本发明还提供一种基于激光雷达和深度学习的植株3D建模的***。本发明的植株真实性好、几何精度高，分离效果好。

Description

一种基于激光雷达和深度学习的植株3D建模的方法和***

技术领域

本发明涉及一种对植株进行三维建模领域，主要应用在对活立木进行高精度建模领域，具体涉及一种基于深度学习的方法对激光雷达点云数据进行降噪、区域分割、特征提取、配准、拼接并形成高精度3D植株模型的方法和***。

背景技术

目前业界对植株进行3D建模的主要方法是基于图像序列的方式进行植株的重建。基于图像序列的重建方式精度低，适用场景少而且扫描的距离较近。并且基于图像序列的方法需要从两幅图像的匹配和重建开始逐渐增加新的图像直至重建整个序列。由于这种方法无法同时利用所有的图像信息因此累计误差不可避免。

激光雷达以扫描距离长、空间数据获取速度快、精度高、数据量大、适用场景广等特点著称，已经成为许多测绘领域的首选传感器。随着林业信息化进程进一步加快，以激光雷达技术为代表的主动遥感技术正逐步出现在植被建模领域。并且随着近些年来计算机硬件以及深度学习技术的发展，深度学习已经被应用于处理激光雷达点云数据，因此基于深度学习的方法去处理激光雷达获取的植株3D点云数据成为了可能。

激光雷达3D点云数据更接近于场景的原始表征不需要进一步的离散化并且一个物体仅用一个N*D的矩阵即可表示。针对这一特性Charles R.Qi等人提出了对点云数据进行分割、分类、识别的深度学习网络PointNet，该网络可以直接在原始的点云数据上进行特征提取、语义分割、分类、识别。这一网络的提出为3D目标建模提供了理论依据。

发明内容

本发明的目的在于针对现有的植株建模方法存在的植株模型真实感不足、模型几何精度不高、细节纹理特征不明显、噪声处理不理想、建模受环境限制(如光线)等不足，提出了一种基于激光雷达和深度学习的植株3D建模的方法和***。

本发明实现上述发明目所采用的技术方案如下：

基于激光雷达和深度学习的植株3D建模的方法，包括以下步骤：

S1：在多个视角使用激光雷达对植株进行静态扫描，获取不同视角的原始点云数据；

S2：对步骤S1获得的各个激光雷达原始点云数据进行滤波去噪、降采样的预处理；

S3：从步骤S2处理后的激光雷达点云数据中提取语义特征点、对环境中各个目标进行识别；

S4：对步骤S3识别到的目标中进行选定，分离出植株的点云信息；

S5：对经过步骤S4处理的多个点云数据进行拼接；

S6：对步骤S5处理完的点云数据进行网格平滑；

S7：对步骤S6处理完的点云进行三维显示。

进一步的，所述步骤S2具体包括：

S2.1：对各个视角的原始点云数据进行滤波去噪：

首先对各个视角的点云数据进行滤波去噪，滤掉较少点形成的团簇后利用移动最小二乘法再对点云数据进行平滑和重采样；

S2.2：对去噪之后的点云数据进行降采样：

把S2.1处理完的点云数据在空间中划分为若干个均等的格子,计算每个方向上被划分出了多少个小格子，计算每个点具体落在哪个特定的格子中，使用哈希表将每个点映射到不同的容器中，对每个格子中的点云只保留一个点，对应的哈希函数是:

其中D_x、D_y、D_z分别是X、Y、Z维度的体素网格的维度，h_x、h_y、h_z是X、Y、Z方向上体素点的索引。

进一步的，所述步骤S3具体包括：

S3.1：对步骤S2处理完的点云数据提取语义特征点：

把S2处理完的N*3的点云数据作为一帧的全部数据输入到PointNet网络中去，输入的数据先通过和一个T-Net学习到的转换矩阵相乘来对齐，保证了模型的对特定空间转换的不变性，然后通过多次多层感知机对各点云数据进行特征提取，再用一个T-Net对特征进行对齐，然后在特征的各个维度上执行最大值池化操作得到最终的全局特征，把全局特征和之前得到的各点云局部特征进行串联，再通过多层感知机得到每个数据点的分类结果；

S3.2：使用PointNet对点云数据进行目标提取以及识别：

在S3.1处理后的分类点云，再对其进行全局特征提取，然后通过多层感知机来预测最后的分类分数。通过分类分数给出每个目标的识别结果。

进一步的，所述步骤S5具体包括：

S5.1：选定一个视角作为主视角：

从S4步骤获取的多个视角的单植株点云中选定一个视角作为主视角P；

S5.2：根据主视角对其他视角点云进行坐标变换：

主视角P的点云坐标集为D*3的矩阵S_p，如下所示：

其中X_i、Y_i、Z_i分别代表的是对应点云坐标的X轴、Y轴、Z轴的值，其他视角的点云集对应的矩阵为S_k，如下所示：

再根据主视角X轴正半轴和其他视角X轴正半轴的夹角θ_k计算出其他视角的点云集矩阵相对于主视角的点云集矩阵，对应的相对矩阵S_k如下所示：

S5.3：把坐标变换之后的点云两两进行粗配准：

采用PCA算法，把S5.2处理完的点云数据，两两分组之后根据两点云数据的主轴走向和主要形态特征得到两点云数据的转换矩阵，假设其中一点云的点云集如下：

P＝{p1,p2,...,pn} (5)

p_i为单个点集，首先求出均值并计算点集的协方差矩阵cov，目标点集点云协方差矩阵和源点云协方差矩阵分别如下所示：

其中X、Y、Z和X'、Y'、Z'分别为目标点集矩阵和源点集矩阵的3个列向量，协方差矩阵cov的3个特征向量作为点集P的空间直角坐标系的3个坐标轴，并以均值为坐标系的坐标原点，计算源点集点云数据对应目标点集点云数据的坐标变换矩阵参数，使用坐标变换矩阵参数把源点集数据统一变换到目标点集数据所在的空间直角坐标系上，通过两两粗配准之后两点云集基本统一到同一坐标系下。

S5.4：把S5.3粗配准之后的点云图进行精配准：

对S5.3粗配准之后的点云集P和Q进行空间变换，使得P和Q两点云之间的距离最小，在待配准的两点云数据的重叠区域内，分别选择两个点集来表示源点集和目标点集，计算P和Q在旋转矩阵下目标点集和源点集之间的误差，求出最优变换矩阵，如果求出的变换矩阵满足目标函数的要求，也就是两点集之间的平均距离小于给定的阈值，那么停止迭代计算，否则重新计算直到满足收敛条件为止。

本发明还提供一种基于激光雷达和深度学***滑模块、显示模块。

本发明的技术构思为：基于激光雷达和深度学***滑滤波。

本发明的有益效果为：1)从多视角获取待建模的植株的点云信息，多视角能够使建模出来的植株真实性更好、几何精度更高。2)对原始点云数据进行滤波去噪，降采样等操作，去除噪声以及冗余信息点，不仅仅可以减少干扰还可以减少下一步神经网络的计算量。3)使用PointNet神经网络从各个点云中分离出待建模的植株点云，使用PointNet神经网络分离目标相对于使用DBSCAN等机器学习的方法或者手工分离的方法，本方法分离效果更好效率更好，并且对于不同植株的泛化性更好。4)使用基于θ_k和主视角的多视角拼接方法，本方法计算量较小适合多视角点云数据的拼接，能够把各个视角的数据正确整合到主视角中。

附图说明

图1为本发明方法的流程示意图；

图2为某一视角点云图；

图3为图2视角去噪以及降采样后的点云图；

图4为从点云数据中分离出来的植株点云图；

图5为另一视角分离出来的植株点云图；

图6为两视角拼接完成后的点云图。

具体实施方式

下面结合说明书附图对本发明的具体实施方式作进一步详细描述。

参照图1～图6，基于激光雷达和深度学习的植株3D建模的方法，步骤如下：

1)利用激光雷达获取目标的多视角点云信息：

1.1)获取目标点云信息：

根据待测活立木实际情况，选定多个视角对目标进行静态扫描，静态扫描的扫描时间设置为能够覆盖99％视场的1S。如图2所示为某个视角获取的整个目标环境的点云信息图。

1.2)获取各个视角雷达之间位置关系：

标记各个相邻雷达视角坐标系X轴正半轴所形成的夹角θ_k。

2)对获取到的点云信息进行预处理：

2.1)对各个视角的原始点云数据进行滤波去噪：

首先对各个视角的点云数据进行滤波去噪，根据预设的阈值滤掉较少点形成的非目标团簇，然后利用移动最小二乘法再对点云数据进行平滑和重采样。

2.2)：对去噪之后的点云数据进行降采样：

把去噪之后的点云数据在空间中划分为若干个均等的格子,计算每个方向上被划分出了多少个小格子，计算每个点具体落在哪个特定的格子中，使用哈希表将每个点映射到不同的容器中。对每个格子中的点云只保留一个点。对应的哈希函数是:

其中D_x、D_y、D_z分别是X、Y、Z维度的体素网格的维度，h_x、h_y、h_z是X、Y、Z方向上体素点的索引。预处理完之后的点云数据图如图3所示。

3)对点云数据进行特征提取以及目标检测：

3.1)：对预处理完的点云数据提取语义特征点：

把预处理之后N*3的点云数据作为一帧的全部数据输入到PointNet网络中去，输入的数据先通过和一个T-Net学习到的转换矩阵相乘来对齐，保证了模型的对特定空间转换的不变性。然后通过多次多层感知机对各点云数据进行特征提取，再用一个T-Net对特征进行对齐。然后在特征的各个维度上执行最大值池化操作得到最终的全局特征。把全局特征和之前得到的各点云局部特征进行串联，再通过多层感知机得到每个数据点的分类结果。

3.2)：使用PointNet对点云数据进行目标提取以及识别：

对语义特征提取之后的点云，再对其进行全局特征提取，然后通过多层感知机来预测最后的分类分数。通过分类分数给出每个目标的识别结果。

4)：分离植株点云信息：

4.1)：根据识别到的目标，选定要建模的植株，并分离出植株的点云数据：

根据步骤3识别结果结合我们要建模的植株，从各个目标点云框中选定结果。并且根据选定框的3D坐标把框内所有的点云数据分离出来单独保存为一个点云文件。如图4和图5是两个不同视角分离出来的同一植株的点云信息图。

5)：点云数据坐标变换以及拼接：

5.1)：选定一个视角作为主视角：

从步骤4获取的多个视角的单植株点云中选定一个视角作为主视角P。

5.2)：根据主视角对其他视角点云进行坐标变换：

主视角P的点云坐标集为D*3的矩阵S_p，如下所示：

其中X_i、Y_i、Z_i分别代表的是对应点云坐标的X轴、Y轴、Z轴的值。其他视角的点云集对应的矩阵为S_k，如下所示：

再根据主视角X轴正半轴和其他视角X轴正半轴的夹角θ_k计算出其他视角的点云集矩阵相对于主视角的点云集矩阵。对应的相对矩阵S_k如下所示：

5.3)：把坐标变换之后的点云两两进行粗配准：

采用PCA算法，把5.2处理完的点云数据，两两分组之后根据两点云数据的主轴走向和主要形态特征得到两点云数据的转换矩阵，假设其中一点云的点云集如下：

P＝{p1,p2,...,pn} (5)

p_i为单个点集，首先求出均值并计算点集的协方差矩阵cov，目标点集点云协方差矩阵和源点云协方差矩阵分别如下所示：

其中X、Y、Z和X'、Y'、Z'分别为目标点集矩阵和源点集矩阵的3个列向量，协方差矩阵cov的3个特征向量作为点集P的空间直角坐标系的3个坐标轴，并以均值为坐标系的坐标原点，计算源点集点云数据对应目标点集点云数据的坐标变换矩阵参数，使用坐标变换矩阵参数把源点集数据统一变换到目标点集数据所在的空间直角坐标系上，通过两两粗配准之后两点云集基本统一到同一坐标系下。

5.4)：把粗配准之后的点云图进行精配准：

对粗配准之后的点云集P和Q进行空间变换，使得P和Q两点云之间的距离最小，在待配准的两点云数据的重叠区域内，分别选择两个点集来表示源点集和目标点集，计算P和Q在旋转矩阵下目标点集和源点集之间的误差，求出最优变换矩阵，如果求出的变换矩阵满足目标函数的要求，也就是两点集之间的平均距离小于给定的阈值，那么停止迭代计算，否则重新计算直到满足收敛条件为止。精配准完成之后的点云图如图6所示。

6)：对完整的点云数据进行平滑处理：

6.1)：在步骤5点云数据的基础上进行网格平滑：

对步骤5最终生成的完整点云数据采用拉普拉斯平滑算法，把凹凸点移动到其相邻点加权策略的平均位置处，其中影响权值为距离的倒数。

一种基于激光雷达和深度学***滑模块、显示模块；

点云图像获取模块连接激光雷达，在多个视角使用激光雷达对植株进行静态扫描，获取不同视角的原始点云数据；

预处理模块，对步骤S1获得的各个激光雷达原始点云数据进行滤波去噪、降采样的预处理，具体包括：

S2.1：对各个视角的原始点云数据进行滤波去噪：

首先对各个视角的点云数据进行滤波去噪，滤掉较少点形成的团簇后利用移动最小二乘法再对点云数据进行平滑和重采样；

S2.2：对去噪之后的点云数据进行降采样：

把S2.1处理完的点云数据在空间中划分为若干个均等的格子,计算每个方向上被划分出了多少个小格子，计算每个点具体落在哪个特定的格子中，使用哈希表将每个点映射到不同的容器中，对每个格子中的点云只保留一个点，对应的哈希函数是:

其中D_x、D_y、D_z分别是X、Y、Z维度的体素网格的维度，h_x、h_y、h_z是X、Y、Z方向上体素点的索引。

目标识别模块，将从预处理模块输入激光雷达点云数据中提取语义特征点、对环境中各个目标进行识别，具体包括：

S3.1：对预处理模块处理后的点云数据提取语义特征点：

把预处理模块处理后的N*3的点云数据作为一帧的全部数据输入到PointNet网络中去，输入的数据先通过和一个T-Net学习到的转换矩阵相乘来对齐，保证了模型的对特定空间转换的不变性，然后通过多次多层感知机对各点云数据进行特征提取，再用一个T-Net对特征进行对齐，然后在特征的各个维度上执行最大值池化操作得到最终的全局特征，把全局特征和之前得到的各点云局部特征进行串联，再通过多层感知机得到每个数据点的分类结果；

S3.2：使用PointNet对点云数据进行目标提取以及识别：

在S3.1处理后的分类点云，再对其进行全局特征提取，然后通过多层感知机来预测最后的分类分数，通过分类分数给出每个目标的识别结果；

植株的点云信息分离模块，对预处理模块识别到的目标中进行选定，分离出植株的点云信息；

拼接模块对对经过植株的点云信息分离模块处理的多个点云数据进行拼接，具体包括：

S5.1：选定一个视角作为主视角：

从植株的点云信息分离模块获取的多个视角的单植株点云中选定一个视角作为主视角P；

S5.2：根据主视角对其他视角点云进行坐标变换：

主视角P的点云坐标集为D*3的矩阵Sp，如下所示：

其中X_i、Y_i、Z_i分别代表的是对应点云坐标的X轴、Y轴、Z轴的值，其他视角的点云集对应的矩阵为S_k，如下所示：

再根据主视角X轴正半轴和其他视角X轴正半轴的夹角θ_k计算出其他视角的点云集矩阵相对于主视角的点云集矩阵，对应的相对矩阵S_k如下所示：

S5.3：把坐标变换之后的点云两两进行粗配准：

采用PCA算法，把S5.2处理完的点云数据，两两分组之后根据两点云数据的主轴走向和主要形态特征得到两点云数据的转换矩阵，假设其中一点云的点云集如下：

P＝{p1,p2,...,pn} (5)

p_i为单个点集，首先求出均值并计算点集的协方差矩阵cov，目标点集点云协方差矩阵和源点云协方差矩阵分别如下所示：

其中X、Y、Z和X'、Y'、Z'分别为目标点集矩阵和源点集矩阵的3个列向量，协方差矩阵cov的3个特征向量作为点集P的空间直角坐标系的3个坐标轴，并以均值为坐标系的坐标原点，计算源点集点云数据对应目标点集点云数据的坐标变换矩阵参数，使用坐标变换矩阵参数把源点集数据统一变换到目标点集数据所在的空间直角坐标系上，通过两两粗配准之后两点云集基本统一到同一坐标系下；

S5.4：把S5.3粗配准之后的点云图进行精配准：

对S5.3粗配准之后的点云集P和Q进行空间变换，使得P和Q两点云之间的距离最小，在待配准的两点云数据的重叠区域内，分别选择两个点集来表示源点集和目标点集，计算P和Q在旋转矩阵下目标点集和源点集之间的误差，求出最优变换矩阵，如果求出的变换矩阵满足目标函数的要求，也就是两点集之间的平均距离小于给定的阈值，那么停止迭代计算，否则重新计算直到满足收敛条件为止；

网格平滑模块，对拼接模块处理完的点云数据进行网格平滑；

显示模块，对网格平滑模块处理完的点云进行三维显示。

本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (5)

1.一种基于激光雷达和深度学习的植株3D建模的方法和***，其特征在于，包括以下步骤：

S1：在多个视角使用激光雷达对植株进行静态扫描，获取不同视角的原始点云数据；

S2：对步骤S1获得的各个激光雷达原始点云数据进行滤波去噪、降采样的预处理；

S3：从步骤S2处理后的激光雷达点云数据中提取语义特征点、对环境中各个目标进行识别；

S4：对步骤S3识别到的目标中进行选定，分离出植株的点云信息；

S5：对经过步骤S4处理的多个点云数据进行拼接；

S6：对步骤S5处理完的点云数据进行网格平滑；

S7：对步骤S6处理完的点云进行三维显示。

2.如权利要求1所述的一种基于激光雷达和深度学习的植株3D建模的方法和***，其特征在于：所述步骤S2具体包括：

S2.1：对各个视角的原始点云数据进行滤波去噪：

首先对各个视角的点云数据进行滤波去噪，滤掉较少点形成的团簇后利用移动最小二乘法再对点云数据进行平滑和重采样；

S2.2：对去噪之后的点云数据进行降采样：

把S2.1处理完的点云数据在空间中划分为若干个均等的格子,计算每个方向上被划分出了多少个小格子，计算每个点具体落在哪个特定的格子中，使用哈希表将每个点映射到不同的容器中，对每个格子中的点云只保留一个点，对应的哈希函数是:

hash(h_x,h_y,h_z):

E.g.，hash(h_x+h_y*D_x+h_z*D_x*D_y)％container_size (1)

其中D_x、D_y、D_z分别是X、Y、Z维度的体素网格的维度，h_x、h_y、h_z是X、Y、Z方向上体素点的索引。

3.如权利要求1所述的一种基于激光雷达和深度学习的植株3D建模的方法和***，其特征在于：所述步骤S3具体包括：

S3.1：对步骤S2处理完的点云数据提取语义特征点：

把S2处理完的N*3的点云数据作为一帧的全部数据输入到PointNet网络中去，输入的数据先通过和一个T-Net学习到的转换矩阵相乘来对齐，保证了模型的对特定空间转换的不变性，然后通过多次多层感知机对各点云数据进行特征提取，再用一个T-Net对特征进行对齐，然后在特征的各个维度上执行最大值池化操作得到最终的全局特征，把全局特征和之前得到的各点云局部特征进行串联，再通过多层感知机得到每个数据点的分类结果；

S3.2：使用PointNet对点云数据进行目标提取以及识别：

在S3.1处理后的分类点云，再对其进行全局特征提取，然后通过多层感知机来预测最后的分类分数，通过分类分数给出每个目标的识别结果。

4.如权利要求1所述的一种基于激光雷达和深度学习的植株3D建模的方法和***，其特征在于：所述步骤S5具体包括：

S5.1：选定一个视角作为主视角：

从S4步骤获取的多个视角的单植株点云中选定一个视角作为主视角P；

S5.2：根据主视角对其他视角点云进行坐标变换：

主视角P的点云坐标集为D*3的矩阵Sp，如下所示：

其中X_i、Y_i、Z_i分别代表的是对应点云坐标的X轴、Y轴、Z轴的值，其他视角的点云集对应的矩阵为S_k，如下所示：

再根据主视角X轴正半轴和其他视角X轴正半轴的夹角θ_k计算出其他视角的点云集矩阵相对于主视角的点云集矩阵，对应的相对矩阵S_k如下所示：

S5.3：把坐标变换之后的点云两两进行粗配准：

采用PCA算法，把S5.2处理完的点云数据，两两分组之后根据两点云数据的主轴走向和主要形态特征得到两点云数据的转换矩阵，假设其中一点云的点云集如下：

P＝{p1,p2,...,pn} (5)

p_i为单个点集，首先求出均值并计算点集的协方差矩阵cov，目标点集点云协方差矩阵和源点云协方差矩阵分别如下所示：

其中X、Y、Z和X'、Y'、Z'分别为目标点集矩阵和源点集矩阵的3个列向量，协方差矩阵cov的3个特征向量作为点集P的空间直角坐标系的3个坐标轴，并以均值为坐标系的坐标原点，计算源点集点云数据对应目标点集点云数据的坐标变换矩阵参数，使用坐标变换矩阵参数把源点集数据统一变换到目标点集数据所在的空间直角坐标系上，通过两两粗配准之后两点云集基本统一到同一坐标系下。

S5.4：把S5.3粗配准之后的点云图进行精配准：

对S5.3粗配准之后的点云集P和Q进行空间变换，使得P和Q两点云之间的距离最小，在待配准的两点云数据的重叠区域内，分别选择两个点集来表示源点集和目标点集，计算P和Q在旋转矩阵下目标点集和源点集之间的误差，求出最优变换矩阵，如果求出的变换矩阵满足目标函数的要求，也就是两点集之间的平均距离小于给定的阈值，那么停止迭代计算，否则重新计算直到满足收敛条件为止。

5.一种基于激光雷达和深度学***滑模块、显示模块；

点云图像获取模块连接激光雷达，在多个视角使用激光雷达对植株进行静态扫描，获取不同视角的原始点云数据；

预处理模块，对步骤S1获得的各个激光雷达原始点云数据进行滤波去噪、降采样的预处理，具体包括：

S2.1：对各个视角的原始点云数据进行滤波去噪：

首先对各个视角的点云数据进行滤波去噪，滤掉较少点形成的团簇后利用移动最小二乘法再对点云数据进行平滑和重采样；

S2.2：对去噪之后的点云数据进行降采样：

把S2.1处理完的点云数据在空间中划分为若干个均等的格子,计算每个方向上被划分出了多少个小格子，计算每个点具体落在哪个特定的格子中，使用哈希表将每个点映射到不同的容器中，对每个格子中的点云只保留一个点，对应的哈希函数是:

hash(h_x,h_y,h_z):

E.g.，hash(h_x+h_y*D_x+h_z*D_x*D_y)％container_size (1)

其中D_x、D_y、D_z分别是X、Y、Z维度的体素网格的维度，h_x、h_y、h_z是X、Y、Z方向上体素点的索引。

目标识别模块，将从预处理模块输入激光雷达点云数据中提取语义特征点、对环境中各个目标进行识别，具体包括：

S3.1：对预处理模块处理后的点云数据提取语义特征点：

把预处理模块处理后的N*3的点云数据作为一帧的全部数据输入到PointNet网络中去，输入的数据先通过和一个T-Net学习到的转换矩阵相乘来对齐，保证了模型的对特定空间转换的不变性，然后通过多次多层感知机对各点云数据进行特征提取，再用一个T-Net对特征进行对齐，然后在特征的各个维度上执行最大值池化操作得到最终的全局特征，把全局特征和之前得到的各点云局部特征进行串联，再通过多层感知机得到每个数据点的分类结果；

S3.2：使用PointNet对点云数据进行目标提取以及识别：

在S3.1处理后的分类点云，再对其进行全局特征提取，然后通过多层感知机来预测最后的分类分数，通过分类分数给出每个目标的识别结果；

植株的点云信息分离模块，对预处理模块识别到的目标中进行选定，分离出植株的点云信息；

拼接模块对对经过植株的点云信息分离模块处理的多个点云数据进行拼接，具体包括：

S5.1：选定一个视角作为主视角：

从植株的点云信息分离模块获取的多个视角的单植株点云中选定一个视角作为主视角P；

S5.2：根据主视角对其他视角点云进行坐标变换：

主视角P的点云坐标集为D*3的矩阵Sp，如下所示：

其中X_i、Y_i、Z_i分别代表的是对应点云坐标的X轴、Y轴、Z轴的值，其他视角的点云集对应的矩阵为S_k，如下所示：

再根据主视角X轴正半轴和其他视角X轴正半轴的夹角θ_k计算出其他视角的点云集矩阵相对于主视角的点云集矩阵，对应的相对矩阵S_k如下所示：

S5.3：把坐标变换之后的点云两两进行粗配准：

采用PCA算法，把S5.2处理完的点云数据，两两分组之后根据两点云数据的主轴走向和主要形态特征得到两点云数据的转换矩阵，假设其中一点云的点云集如下：

P＝{p1,p2,...,pn} (5)

pi为单个点集，首先求出均值并计算点集的协方差矩阵cov，目标点集点云协方差矩阵和源点云协方差矩阵分别如下所示：

其中X、Y、Z和X'、Y'、Z'分别为目标点集矩阵和源点集矩阵的3个列向量，协方差矩阵cov的3个特征向量作为点集P的空间直角坐标系的3个坐标轴，并以均值为坐标系的坐标原点，计算源点集点云数据对应目标点集点云数据的坐标变换矩阵参数，使用坐标变换矩阵参数把源点集数据统一变换到目标点集数据所在的空间直角坐标系上，通过两两粗配准之后两点云集基本统一到同一坐标系下；

S5.4：把S5.3粗配准之后的点云图进行精配准：

对S5.3粗配准之后的点云集P和Q进行空间变换，使得P和Q两点云之间的距离最小，在待配准的两点云数据的重叠区域内，分别选择两个点集来表示源点集和目标点集，计算P和Q在旋转矩阵下目标点集和源点集之间的误差，求出最优变换矩阵，如果求出的变换矩阵满足目标函数的要求，也就是两点集之间的平均距离小于给定的阈值，那么停止迭代计算，否则重新计算直到满足收敛条件为止；

网格平滑模块，对拼接模块处理完的点云数据进行网格平滑；

显示模块，对网格平滑模块处理完的点云进行三维显示。

Images