CN104809759A - 基于小型无人直升机的大面积非结构化场景三维建模方法 - Google Patents

Abstract

本发明针对大范围非结构化物体的三维重建，以陕西明长城为例，考虑到长城遗址的地形复杂性，提出了基于小型无人直升机的大面积非结构化场景三维建模方法，在原始数据采集阶段，用无人直升机搭载LiDAR***与高品质数码相机，对款贡城城墙进行数据采集工作，解决了大面积物体的点云采集和原始照片采集难题。在数据分析与处理阶段，采用了点云匹配和全局优化，有效地克服了点云拼接的困难。实验证明，这套无人机动态监测***是可行的，有效地解决了大范围非结构化大物体的三维重建工作。

Description

基于小型无人直升机的大面积非结构化场景三维建模方法

技术领域

本发明涉及地理测绘技术领域，尤其涉及一种大面积非结构化场景三维建模方法。

背景技术

三维重建是指对三维物体建立适合计算机表示和处理的数学模型,是在计算机环境下对其进行处理、操作和分析其性质的基础，也是在计算机中建立表达客观世界的虚拟现实的关键技术。

普遍的基于相机的三维重建技术步骤一般是：1.图像获取，2.摄像机标定，3.特征点提取，4.立体匹配，5.三维重建。上述技术是基于视觉方法的，对光照和相机的几何特性要求苛刻，无法在室外环境下进行；并且，由于相机的视距有限，无法对大面积物体进行数据采集。

一般地，基于激光扫描仪的三维重建的技术步骤是：1.获得原始扫描点云数据，位置信息，姿态信息和数字图像；2.对点云数据进行预处理，包括去除噪点，去除错误点，去除地面点；3.对点云实施配准，得到初步点云模型；4.构造几何模型；5.纹理贴图。该技术的瓶颈在于：其一、原始点云和数据图像的获取工作困难，特别是针对大面积非结构化物体更是束手无策；其二、在大数据量的条件下，连续ICP匹配会导致累计误差，这会使后续工作不能继续。普通房屋和城市一般的建筑都是结构化的，对于结构化场景，采集部分数据，比如房顶数据，就可以构造出整个三维模型，但对于非结构化场景(例如明长城)需要采集所有数据。

国内外的专家与学者在机载三维重建方面做了不少工作：Vivek Verma,Lu Wang和Liang Cheng等人通过LiDAR数据，实现屋顶的三维建模；Shugen Wang等人通过LiDAR和摄像机实现了对简单建筑的三维重构工作；Charalambos Poullis和Jinhui Hu等人通过LiDAR***，实现对一个大的城市区域进行建模；Cornelius Wefelscheid等人用UAVs对一栋房子进行了三维重建，他们重构的方法是基于图像的，不是基于激光扫描仪的，而且都是对结构化的物体进行三维重建的；Zhichao Zhang等人用激光扫描仪和摄像机对城市的雕塑进行三维重建，在处理过程中，他们对点云模型中的重合区域进行了融合，使得点云模型更加精确，在纹理映射阶段，他们采用SURF来实现图片匹配，最后他们也得到了很好的效果；Chia-Yen Chen等人使用LiDAR***进行大范围的激光扫描，作者针对大范围3D重建提出两种方法来提高ICP匹配精度：其一，剔除那些差别很大的点，设定一个差别阈值，在这个阈值之内的点都不应该参与ICP匹配过程；其二，选取特征点来进行ICP匹配，他们的匹配结果也是令人满意的；针对ICP匹配之后，累积性误差会比较大，Rainer Kummerle等人提出了一种图形优化算法：G2O；Sabry F.El-Hakim等人也做了文化遗址的三维重建，他们对圣多明我大殿***进行了重构，他们将多种三维重建方法联合在一起用，比如：对于大的建筑，用图像的建模技术行不通，应该采用基于距离的建模技术即采用激光扫描仪。然而，对于一些体积不大的东西，如果用激光扫描仪去进行重构，会丢失很多细节性的东西，此时，用基于图像的建模技术再好不过。基于上述思想，Sabry F.El-Hakim的团队将不同技术重构出来的三维模型放到一块儿，效果不错，但他们没有对点云做全局优化；张涛对基于复杂点云的空间三角化与三维剪裁进行研究，提出一种复杂点云的改进的三角化算法，使得处理后的空间网格反映出物体表面离散点间的拓扑连接关系，同时也对空间三角网格增加光照和材质处理以及纹理映射，大大提高了渲染速度，改善了渲染效果。郑克强主要完成了三维非结构化场景的重构，有效建立了场景的几何特征模型和三维栅格模型。上述事件均没有对大范围非结构化的物体进行重建。王昌翰等在文物三维重建中做了不少工作，他们用激光对千手观音进行了三维重建工作，但是，他们并没有重建出一个完整的三维立体模型，只是重建出了千手观音的一部分。于明旭等利用三维激光扫描仪和一些***软件对两棵树化石进行了三维重建，他们并没有对三维点云进行全局优化，而且被扫描物体体积小，扫描点云次数不多。

发明内容

为了解决现有技术中的问题，本发明提供了一种基于无人直升机的大面积非结构化场景三维建模方法，解决了大面积物体的点云采集和原始照片采集难题，有效地克服了点云拼接的困难，解决了大范围非结构化大物体的三维重建工作难题。

本发明通过以下技术方案实现：

一种基于无人直升机的大面积非结构化场景三维建模方法，所述方法采用分段重构、最后拼接对大面积非结构化场景进行三维建模，所述方法包括以下步骤：

A.无人直升机搭载LiDAR***与高品质数码相机采集目标对象的激光点云数据和图片数据；

B.对所述点云数据进行处理：首先进行ICP匹配单步矫正，然后G2O图形全局优化，再进行三角网格化处理，得到网格表面法向量；

C.对所述图片数据进行处理：首先进行预处理，然后计算物像映射关系，获取纹理序列；

D.利用冗余的纹理进行多重纹理映射，实现纹理间的模糊过渡：步骤C所得到的纹理序列按照纹理坐标一一地贴到步骤B所得到的三维几何模型上，形成三维数字模型。

E.输出目标对象的三维数字模型。

作为本发明的进一步改进，所述步骤B中对所述点云数据进行处理还包括点云去噪：基于定半径包围球去噪算法，以目标点为圆心，固定半径区域内点数如果少于数量阀值，则被认为是噪点并予以去除。

作为本发明的进一步改进，所述步骤B中在进行三角网格化处理之前，需要使用基于聚类的方法对点云精简处理。

作为本发明的进一步改进，所述三角网格化处理基于delaunay准则的PowerCrust算法作为三角化的方法。

作为本发明的进一步改进，为了得到更平滑精确的模型，需要对网格进行加密，加密算法基于三阶B-spine插值。

作为本发明的进一步改进，所述方法还包括步骤F：将多段目标对象的三维数字模型进行拼接，形成完整的目标对象的三维数字模型

本发明的有益效果是：本发明提出的基于小型无人直升机的大面积非结构化场景三维建模方法，在原始数据采集阶段，用无人直升机搭载LiDAR***与高品质数码相机，对款贡城城墙进行数据采集工作，解决了大面积物体的点云采集和原始照片采集难题。在数据分析与处理阶段，采用了点云匹配和全局优化，有效地克服了点云拼接的困难。实验证明，这套无人机动态监测***是可行的，有效地解决了大范围非结构化大物体的三维重建工作。

附图说明

图1是本发明的方法的数据处理流程图；

图2是G2O算法的原理示意图；

图3是纹理映射示意图；

图4是长城数据采集示意图；

图5是无人直升机激光扫描示意图；

图6是豁口段城墙点云图；

图7是豁口段城墙三维几何模型俯视图；

图8是豁口段城墙三维几何模型侧视图；

图9是豁口段城墙贴上纹理的侧视图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

附图1所示为本发明的大面积非结构化场景三维建模方法的数据处理流程图，输入是激光点云数据，相机图片；处理时，采用了点云匹配、G2O图形优化、点云去噪、点云精简、点云三角化、纹理贴图等方法；输出是三维模型。

点云匹配是三维重建的基础，它决定了模型的精度。点云匹配领域使用最多的方法是ICP(Iterative Closest Point:迭代最近点法)，它是基于统计学的思想，计算所有匹配点对之间的欧氏距离，所有点对的距离方均根作为评价函数，当该函数收敛到极小值时，即认为匹配。ICP匹配的缺点是它只能找到局部最优，对于点云集中分布的模型而言，例如类球体或圆柱体分布的点云，该算法效果最好，而对于呈线性广域分布的长城的点云，该算法不能够保证点云全局的走向正确性，重复使用ICP会导致累积性误差。因此本发明使用了G2O(General Graph Optimization:一种基于图的针对全局非线性误差的优化算法)，它能够在ICP匹配的基础上，对点云的全局分布进行微调，使点云匹配达到全局最优。附图2介绍了G2O的原理。

扫描过程存在噪声，扫描仪本身存在边缘效应，加之长城遗址地貌变化多端，这给扫描数据带来噪点，使得扫描数据平滑性很差，普通的基于平滑数据的滤波算法不能很好的适应这种粗糙度不均匀的点云，为此，本发明采用基于定半径包围球去噪算法：以目标点为圆心，固定半径区域内点数如果少于数量阀值，则被认为是噪点并予以去除。

点云扫描面之间存在大量拼接区域，造成点云冗余，另外，由于长城遗址表面粗糙度不均，且存在很多尖锐点，以及扫描视角的不同，造成点云数据密度不均匀，不利于生成均匀的网格模型，且可能造成网格模型存在不应该存在的孔洞，在网格化之前，需要精简处理。一般的精简算法基于点云局部曲率，这样可以在平滑的地方保留较少的点，在曲率较大的地方保留较多的点，以保留原物体较多的特征，然而，这种算法基于整体较平滑的表面，而长城的点云数据不平滑且不均匀，所以本发明使用了基于聚类的方法进行精简，这种算法会造成较小的细节缺失，但满足该项目的需求。

由点造面中用的最多的方法是网格法，而网格法中用的最广泛的是三角网格，它具备自适应多分辨率的特性，且适应性广，所以本任务选择三角化方法作为提取外表面的方法。三角化方法可以划分为两类：基于隐函数的逼近方法和基于delaunay准则的几何方法。第一类方法通过隐函数拟合来构造表面，适用于较光滑且规则的模型，不适用于既不光滑又不规则的长城点云，所以，本发明选择了基于delaunay准则的PowerCrust算法作为三角化的方法，它应用广泛，鲁棒性较强，且能保证全局拓扑结构的正确性。为了得到更平滑精确的模型，本发明还对网格进行了加密，加密算法基于三阶B-spine插值。

网格表面法向量是3D建模中必不可少的重要参数，是纹理获取中遮挡判断的依据，也是多纹理融合权重的参考及光照计算的参考。本发明利用三角形任意两边的叉积来确定初始法向量，利用PowerCrust算法中外极点调整法向量的朝向，使其一致朝外。

不同于室内可以人为控制环境光场，室外环境复杂多变，例如阴天、晴天，拍照环境亮度不同，造成纹理照片亮度、色调的不一致，这会给后续的纹理融合带来困难，所以，拍摄的初始照片不能直接用于提取纹理，需要先进行一定的预处理，包括亮度、色调的全局调整。

计算物像映射关系是纹理映射之前的必备步骤，物像映射关系是获取纹理坐标的前提。物像映射关系是通过一系列空间坐标变换得到的，这些坐标变换基于相机的内外参数。所以首先需要对相机进行标定。相机标定目前是一个很成熟的技术，本发明使用了Matlab的相机标定工具箱来完成相机的标定。物像映射原理上是由两个变换组合而成：世界坐标系到相机坐标系的变换、相机坐标系到图像坐标系的变换。这些变换的参数来源于GPS和IMU(惯性测量单元)测量的位姿数据和相机的内参(由标定给出)。这些参数的精确度直接影响纹理映射的精度。附图3说明物像映射关系，其中，P和p是同一点的世界坐标和图像坐标，O是相机坐标系，f是焦距，C′是图像主点位置。

将3D网格模型顶点数据按照物像映射关系投影到经过预处理的图像上就可以获取到每一个三角面片的纹理及其纹理坐标。

纹理映射的目的是加强3D模型视觉上的真实性。纹理映射所做的工作就是将上一步获取的纹理序列按照纹理坐标一一“贴”到之前步骤所获得的3D几何模型上。

由于获取的纹理图像是存在重叠部分的，所以，纹理序列存在冗余，即一个三角面片可能对应多个纹理，这里存在一个选优或者融合问题。在一些案例中，他们采取选择视角最大的纹理作为待映射纹理，然后再进行纹理融合。但是，这样做造成了数据浪费，这些数据可以用于纹理融合。实际操作中，相邻纹理图像间存在匹配误差，所以，如果最大视角纹理不是来源于同一幅图像，可能会出现相邻纹理三角形间“对不齐”的问题，本发明的解决方法就是利用冗余的纹理进行多重纹理映射，实现纹理间的模糊过渡，既不造成数据浪费，又完善了纹理融合。

现场实验设计了如下数据采集方案：采用无人直升机作为载体，机上搭载GPS和IMU等定位设备，用来测量载体的位姿信息；采用重量较轻的二维激光扫描仪和旋转云台搭配的方式来完成长城遗址地形三维分布数据的测量；采用高分辨率的相机来完成长城遗址的图像数据采集。然后根据采集到的数据，建立长城的仿真三维模型，能够反映长城的三维几何数据和纹理概貌，能够提供虚拟漫游，为长城的动态监控提供可视化支持。

考虑到无人直升机的短途续航能力以及陕西明长城镇北台款贡城的庞大面积，为了完成对镇北台款贡城围墙的三维重建，采用分段重构，最后拼接的方法。以对豁口段墙面进行数据采集工作为例，工作示意图如附图4所示。

在附图4中，无人机在13个不同的位置对长城墙体进行激光扫描工作，这13个位置是大概位置且位置个数由实际情况(墙体长度，墙的复杂程度等)而定，其实际位置只要能满足条件：激光完成一个扫描周期后，能得到少数地面点，大部分墙面点和墙顶点。无人机按照附图4中的13个位置依次进行数据采集，即：无人机移动到达目的位置，保持悬停，激光采集数据，继而移动到下一位置。也就是所谓的“飞行-停止-扫描”的数据采集模式。无人机按照1-12的顺序完成扫描后，要回到位置1附近，采集第13组数据以完成该段墙体的数据采集工作。假如无人机在激光采集数据的过程中发生飘移、大抖动，则需重新采集此处的数据。

为了实现更好地进行数据采集，需要大致知道无人机的飞行高度以及无人机距离墙体的水平距离。无人直升机激光扫描示意图如附图5所示，其中，图中D为物体实际长度，h为物体实际高度，d为直升机距离物体的水平距离，H为无人直升机距离物体的垂直距离。

       $\begin{array}{cc}\tan \mathrm{\α}=\frac{d}{H+h}& \tan \mathrm{\β}=\frac{d}{H}\end{array}$

根据事先设定好的云台旋转角度范围[α,β]，可以计算出恰当的飞行高度和飞行距离。

在点云采集之前，还需要做实地勘察，大致测量目标物体的长度、宽度和高度，然后再根据α和β来定无人机的飞行高度和飞行距离，这样才能更好的采集点云数据，提高实验的质量和效率。

现场实验中，对款贡城东墙靠近南墙豁口段城墙进行了数据采集，附图6为该段城墙的点云图，附图7是豁口段城墙三维几何模型俯视图，附图8是豁口段城墙三维几何模型侧视图，附图9是豁口段城墙贴上纹理的侧视图。点云数据处理出来的结果是如附图7和附图8这样的图形，它们并没有纹理。而附图9是经过将纹理贴到这样的模型之后的效果，其真实地反映了长城的地貌。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (6)

1.一种基于无人直升机的大面积非结构化场景三维建模方法，所述方法采用采用分段重构、最后拼接对大面积非结构化场景进行三维建模，其特征在于：所述方法包括以下步骤：

A.无人直升机搭载LiDAR***与高品质数码相机采集目标对象的激光点云数据和图片数据；

B. 对所述点云数据进行处理：首先进行ICP匹配单步矫正，然后G2O图形全局优化，再进行三角网格化处理，得到网格表面法向量；

C.对所述图片数据进行处理：首先进行预处理，然后计算物像映射关系，获取纹理序列；

D.利用冗余的纹理进行多重纹理映射，实现纹理间的模糊过渡，将步骤C所得到的纹理序列按照纹理坐标一一地贴到步骤B所得到的三维几何模型上，形成三维数字模型；

E.输出目标对象的三维数字模型。

2.根据权利要求1所述的大面积非结构化场景三维建模方法，其特征在于：所述步骤B中对所述点云数据进行处理还包括点云去噪：基于定半径包围球去噪算法，以目标点为圆心，固定半径区域内点数如果少于数量阀值，则被认为是噪点并予以去除。

3.根据权利要求1所述的大面积非结构化场景三维建模方法，其特征在于：所述步骤B中在进行三角网格化处理之前，需要使用基于聚类的方法对点云精简处理。

4.根据权利要求1所述的大面积非结构化场景三维建模方法，其特征在于：所述三角网格化处理基于delaunay准则的PowerCrust算法作为三角化的方法。

5.根据权利要求1所述的大面积非结构化场景三维建模方法，其特征在于：为了得到更平滑精确的模型，需要对网格进行加密，加密算法基于三阶B-spine插值。

6.根据权利要求1所述的大面积非结构化场景三维建模方法，其特征在于：所述方法还包括步骤F：将多段目标对象的三维数字模型进行拼接，形成完整的目标对象的三维数字模型。