CN112927360A - 一种基于倾斜模型与激光点云数据融合的三维建模方法和*** - Google Patents

Abstract

本发明公开了一种基于倾斜模型与激光点云数据融合的三维建模方法和***，通过数据处理模块，读取、存储和算法处理所述倾斜摄影测量模块和三维激光扫描模块获取任务目标区域三维建模的基础数据源，输出任务目标区域高精度的三维模型；将无人机倾斜影像匹配的点云与近景影像匹配的点云统一到相同空间参考基准下实现点云数据的有效融合，通过地面激光点云修补倾斜摄影建模缺失的影像点云，在点云基础上构建三角网，同时对三角网进行平滑和简化，最后基于倾斜摄影影像自动映射纹理，即可生成高精度的三维模型，这种基于倾斜摄影与地面激光点云融合建模的方法可以明显地提高模型的精细度。

Description

一种基于倾斜模型与激光点云数据融合的三维建模方法和 ***

技术领域

本发明涉及城市三维建模技术领域，特别是一种基于倾斜模型与激光点云数据融合的三维建模方法和***。

背景技术

倾斜摄影是一种高效、低成本的三维建模技术，被越来越广泛地应用于城市三维重建当中，但由于其是通过空中作业的方式获取地面影像数据，受地形、建筑物、风向等因素影响，不可避免地会产生局部遮挡现象，使得在空三加密处理过程中出现点云漏洞，导致三维模型在相应部位出现空洞、拉花、变形等现象。

三维激光扫描技术是利用激光测距的原理，通过记录被测物体表面大量的密集的点的三维坐标、反射率和纹理等信息，可快速复建出被测目标的三维模型及线、面、体等各种图件数据。三维激光扫描技术在应用上也仍然存在着一些不足之处，如高层建筑物与构筑物顶部的扫描盲区、相机拍摄视角不理想、后处理软件处理效率偏低等。

针对倾斜摄影测量和三维激光扫描技术各自的优缺点，为解决倾斜摄影技术的遮挡问题，从而实现模型的精细化，提出在倾斜摄影测量数据的基础上，融合机载激光雷达移动测量***获取的建筑立面点云数据，共同构建城市建筑三维模型，有效地解决了模型拉花、空洞、变形问题。

由于倾斜摄影拍摄角度及作业方法的限制，经空三加密后的三维点云在有遮挡的区域存在空洞，并不能建立完整的三维模型，这会造成模型的美观度、完整性存在缺陷。激光点云具有精度高、密度大的优点，所以目前已有将两者融合的研究，例如武大的邓非博士尝试通过建立立体像对获取三维点云，然后再与激光雷达设备获取的点云数据进行配准，该方法关键在于摄影测量获取到的三维点云，对内方位元素的标定有很高的要求。

现在大部分软件采用的是基于ICP算法的点云融合技术，此项技术是基于局部特征匹配初值的迭代最近点(iterative closest point，ICP)算法。点云配准是通过计算不同方式获取的点云集合间空间几何的关系精准映射，求取坐标转换参数，将待转换数据集进行刚体变换的过程。ICP算法是一种全局配准的迭代算法，可以获得很高的配准精度。由于当前技术的局限，在融合工作中进行识别和匹配几何特征仍然面临3个瓶颈：

1.在城市周边建筑物稀疏或非人工建成区的几何自然特征提取较难，可采用地面作为特征基元进行配准；

2.基于特征向量提取的几何特征冗余性强，且由于精度和尺度差异影响，普遍导致一对多、多对多、空匹配的相似性度量结果，需要利用概率松弛约束匹配特征线等方法解决；

3.多时相点云的变化信息会干扰相同几何特征的识别和提取。

在当前的各种新型测绘手段中，无人机倾斜摄影三维建模是一种高效、高精度、低成本的三维建模技术，被越来越广泛地应用于城市三维重建、实景中国等方面当中。但由于其通过是空中作业的方式获取地面影像数据，不可避免地会产生局部遮挡现象，使得在空三加密处理过程中出现点云漏洞，导致三维模型在相应部位出现空洞、拉花、变形等现象。为解决倾斜摄影三维建模技术的遮挡问题，提高模型的建模精度，提出倾斜摄影与地面激光点云融合建模的方法，那么ICP算法是不可避免需要用到的。

ICP算法涉及图像配准，图像配准是图像处理研究领域中的一个典型问题和技术难点，其目的在于比较或融合针对同一对象在不同条件下获取的图像，例如图像会来自不同的采集设备，可能是SONY相机拍摄的，也可能是尼康相机拍摄的，它们取自不同的时间，不同的光照条件，不同的拍摄视角等等，有时也需要用到针对不同对象的图像配准问题。具体地说，对于一组图像数据集中的两幅图像，通过寻找一种空间变换把一幅图像映射到另一幅图像，使得两图中对应于空间同一位置的点一一对应起来，从而达到信息融合的目的。一个经典的应用是场景的重建，比如说一张茶几上摆了很多杯具，用深度摄像机进行场景的扫描，通常不可能通过一次采集就将场景中的物体全部扫描完成，只能是获取场景不同角度的点云，然后将这些点云融合在一起，获得一个完整的场景。

发明内容

针对上述问题，本发明的一方面，提供一种基于倾斜模型与激光点云数据融合的三维建模方法，本发明的技术方案为：

一种基于倾斜模型与激光点云数据融合的三维建模方法，包括：

通过倾斜摄影测量模块和三维激光扫描模块获取任务目标区域三维建模的基础数据源，所述三维建模的基础数据源包括所述倾斜摄影测量模块获取的倾斜影像和所述三维激光扫描模块获取的近景影像；

数据处理模块基于所述倾斜影像建立模型，得到任务目标区域的倾斜模型点云；基于所述近景影像建立模型，得到任务目标区域的激光点云；

所述数据处理模块获取所述倾斜模型点云和激光点云，利用配准工具对两个数据进行粗配准，使其纠正在同一***里并重叠在一起，得到任务目标区域的粗配准模型；

所述数据处理模块得到所述粗配准模型后，利用计算机算法工具对点云进行精配准修正，使之严密贴合在一起，完成倾斜模型点云和激光点云数据的有效融合；

所述数据处理模块在有效融合的点云基础上构建三角网，同时对三角网进行平滑和简化，并基于倾斜摄影影像自动映射纹理，生成任务目标区域高精度的三维模型。

作为本发明进一步地说明，所述倾斜摄影测量模块基于无人机倾斜飞行摄影获取所述倾斜影像。

更进一步地，所述数据处理模块包含Context Capture软件，在Context Capture中对所述倾斜模型点云和激光点云进行融合。

更进一步地，采用特征点的方式进行所述粗配准，选取所述倾斜模型点云和激光点云的多个明显特征点，利用所述Context Capture的配准工具栏进行两个数据的粗配准。

更进一步地，所述倾斜影像和所述近景影像之间保持一定的重叠度，以便进行特征点的提取。

更进一步地，所述数据处理模块包含DP-Modeler软件，在所述倾斜模型点云和激光点云出现不融合导致建立的三维模型不衔接时，利用所述DP-Modeler软件对倾斜影像和近景影像建立的模型进行无缝集成，在DP-Modeler软件中将两个模型的套合处进行踏平操作，并将踏平后的瓦片和近景模型中的精细瓦片放到一个文件夹中调用。

更进一步地，对点云进行精配准修正的算法为ICP算法。

更进一步地，在所述映射纹理中，从多源影像中选择最优分辨率的影像进行纹理贴图，以得到高精度的实景三维模型。

本发明的另一方面，提供一种基于倾斜模型与激光点云数据融合的三维建模***，包括：

倾斜摄影测量模块，用于获取任务目标区域三维建模的倾斜影像；

三维激光扫描模块，用于获取任务目标区域三维建模的近景影像；

数据处理模块，用于读取、存储和算法处理所述倾斜摄影测量模块和三维激光扫描模块获取任务目标区域三维建模的基础数据源，输出任务目标区域高精度的三维模型。

更进一步地，所述数据处理模块包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至8任一项所述基于倾斜模型与激光点云数据融合的三维建模方法。

本发明的有益效果：

本发明通过将无人机倾斜影像匹配的点云与近景影像匹配的点云统一到相同空间参考基准下实现点云数据的有效融合，通过地面激光点云修补倾斜摄影建模缺失的影像点云，在点云基础上构建三角网，同时对三角网进行平滑和简化，最后基于倾斜摄影影像自动映射纹理，即可生成高精度的三维模型，这种基于倾斜摄影与地面激光点云融合建模的方法可以明显地提高模型的精细度。

附图说明

图1为本发明方法流程图；

图2为本发明点云匹配示意图一；

图3为本发明点云匹配示意图二；

图4为本发明倾斜模型点云实施例示例图；

图5为本发明激光点云实施例示例图；

图6为本发明倾斜模型点云与激光点云粗配准效果示例图；

图7为本发明倾斜模型点云与激光点云ICP算法精配准修正效果示例图；

图8为本发明经ICP算法精配准前后对比图；

图9为本发明倾斜影像与所述近景影像之间重叠度的计算原理示意图。

具体实施方式

实施例：

下面结合附图对本发明实施例详细的说明，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

在本发明的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”、“第一”、“第二”等指示的方位或位置或顺序关系为基于附图所示的方位或位置或顺序关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

参见附图1所示的流程图，一种基于倾斜模型与激光点云数据融合的三维建模方法，本发明，将无人机航空摄影测量、地面近景摄影测量***获取的数据作为实景三维建模的基础数据源，结合相机文件、无人机POS(position)***提供的影像外方位元素，使用Context Capture软件进行点云融合及三维建模进行三维建模；经过激光点云配准及绝对定向，激光点云数据和空三加密点云已纳入到同一坐标***下，可以在Context Capture中对2种点云进行融合，在点云基础上构建三角网，同时对三角网进行平滑和简化，最后基于倾斜摄影影像自动映射纹理，即可生成高精度的三维模型。

在此过程中点云配准的步骤尤为重要，点云配准实际上可以理解为：通过计算(类似七参数的求取)得到完美的坐标变换参数，将处于不同视角下的点云数据经过旋转平移等刚性变换统一整合到指定坐标系之下的过程。通俗一点来讲：要进行配准的两个点云，它们彼此之间可以通过旋转平移等这种位置变换完全重合，因此这两个点云属于刚性变换即形状大小是完全一样的，只是坐标位置不一样而已。点云配准就是求出两个点云之间的坐标位置变换关系。

点云配准是通过计算不同方式获取的点云集合间空间几何的关系精准映射，求取坐标转换参数，将待转换数据集进行刚体变换的过程。ICP算法是一种全局配准的迭代算法，可以获得很高的配准精度。如附图2和附图3所示，PR(红色点云)和RB(蓝色点云)是两个点集，该算法就是计算怎么把PB平移旋转变换，使PB和PR尽量重叠在一起。

用数学语言描述如下，即ICP算法的实质是基于最小二乘法的最优匹配，它重复进行“确定对应关系的点集→计算最优刚体变换”的过程，直到某个表示正确匹配的收敛准则得到满足。

Given：two corresponding point sets：

X＝{x₁，...，x_n}

P＝{p₁，...，p_n}

Wanted：translation tand rotation R that

minimizes the sum of the squared error：

Where x_i and p_i are corresponding points.

所以如果知道正确的两个点对应，那么两个点集之间的相对变换(旋转、平移)就可以求得封闭解。

首先计算两个点集x和P的质心，分别为μx和μp。

然后在两个点集中分别减去对应的质心(Subtract the corresponding centerof mass from every point in the two point sets before calculating thetransformation)

The resulting point sets are：

X′＝{x_i-μ_x}＝{x′_i}

and

P′＝{p_i-μ_p}＝{p′_i}

目标函数E(R，t)的优化是ICP算法的最后一个阶段。在求得目标函数后，采用什么样的方法来使其收敛到最小，就需要留待软件进行自动处理了。。

基于以上可以看出ICP算法的优点很明显：1.可以获得非常精确的配准效果；2.不必对处理的点集进行分割和特征提取；3.在较好的初值情况下，可以得到很好的算法收敛性。

ICP算法也有自己的不足之处：1.在搜索对应点的过程中，计算量非常大，这是传统ICP算法的瓶颈；2.标准ICP算法中寻找对应点时，认为欧氏距离最近的点就是对应点。这种假设有不合理之处，会产生一定数量的错误对应点。

基于特征的多点云数据配准流程主要有几个方面，一是显著特征点提取，可以是提取地面各要素的几何特征或是语义特征；二是进行同名特征识别，获取和识别对应特征；三是求取两者间的转换参数；第四步是利用此参数进行精确配准点云。

在标准ICP算法中，选用点集中所有的点来计算对应点，通常用于配准的点集元素数量都是非常巨大的，通过这些点集来计算，所消耗的时间很长。在全球范围内专家的研究中，提出了各种方法来选择配准元素，这些方法的主要目的都是为了减小点集元素的数目，即如何选用最少的点来表征原始点集的全部特征信息。在点集选取时可以：1.选取所有点；2.均匀采样(Uniform sub-sampling)；3.随机采样(Random sampling)；4.按特征采样(Feature based Sampling)；5.法向空间均匀采样(Normal-space sampling)，如下图所示，法向采样保证了法向上的连续性(Ensure that samples have normals distributedas uniformly as possible)。

上面说到，基于局部特征的点云配准可按照点、线、面3种特征基元进行分类，需要经过特征提取、同名特征识别、转换参数的求取和应用3个步骤。在面向城市三维建模的点云配准任务，普遍的方法是运用多种三维点云描述符如快速点特征直方图(fast pointfeature histograms，FPFH)等提取特征，或识别建筑物边缘的几何特征点和特征线，这是由于建筑边缘的几何特征通常满足稳定性和特异性。局部特征的提取及其相关的点云索引方法、法向量计算等是研究人员的热点研究内容，利用点到线、点到面的关系，提取特征曲线、建筑面作为特征,也为基于特征的配准方法提供了更好的适用性和灵活性。

点云数据融合过程中可能会出现不融合的问题，导致建立的三维模型不衔接。因此，需要对倾斜影像和近景影像建立的模型进行无缝集成。无缝集成时，倾斜影像和近景影像各自建立的模型会出现交错覆盖的情况，而利用Context Capture软件无法将二者建立的模型进行无缝衔接，所以需要在DP-Modeler软件中将两个模型的套合处进行踏平操作，并将踏平后的瓦片和近景模型中的精细瓦片放到一个文件夹中调用。

结合上述技术在倾斜模型生成的点云与激光雷达采集的点云中找到对应的特征点进行整体点云粗配准。如下为同一地域的倾斜模型数据及三维激光点云数据，选取明显的特征点进行粗配准。为了方便无进行特征点的提取，人机倾斜影像与近景影像之间要保持一定的重叠度，重叠度的具体设置根据任务区的情况而定。重叠度是指飞机沿航线摄影时，相邻像片之间或相邻航线之间所保持的影像重叠程度。用于三维重建的重叠度,一般设置为航带(旁向)重叠度70％以上，航线(纵向)重叠度80％以上,达到这个重叠度的保证,目前均是利用无人机飞行控制器软件的自动化设置,只需要输入无人机搭载倾斜相机的参数,无人机飞行高度,即可设计出保证重叠度的航线。参见附图9所示的计算原理示意图：

相机以长边飞行方向垂直，航线间距为x，计算旁向重叠度用的是传感器长边尺寸:d/ccd＝h/len；

旁向重叠度＝x/len；

即可推算出x＝旁向重叠度*h/d*ccd。

参见附图4至附图6，获取多个特征点后，利用配准工具栏对两个数据进行粗配准，使得他们能纠正在同一***里，如附图所示，使两套数据基本重叠在一起。

得到粗配准的模型之后，再利用ICP算法对点云进行精配准修正，使之严密贴合在一起，达到生产高精度三维模型的要求。参见附图7和附图8，通过以下两图对比，可以得知经ICP配准后，两者的融合精度较高。经实验研究表明，虽然基于倾斜摄影的三维模型在有遮挡区域会出现明显的扭曲变形，但是通过地面激光点云可以修补缺失的影像点云，这种基于倾斜摄影与地面激光点云融合建模的方法可以明显地提高模型的精细度。

以上仅就本发明较佳的实施例作了说明，但不能理解为是对权利要求的限制。本发明不仅局限于以上实施例，其具体结构允许有变化，总之，凡在本发明独立权利要求的保护范围内所作的各种变化均在本发明的保护范围内。

Claims (10)

1.一种基于倾斜模型与激光点云数据融合的三维建模方法，其特征在于，包括：

通过倾斜摄影测量模块和三维激光扫描模块获取任务目标区域三维建模的基础数据源，所述三维建模的基础数据源包括所述倾斜摄影测量模块获取的倾斜影像和所述三维激光扫描模块获取的近景影像；

数据处理模块基于所述倾斜影像建立模型，得到任务目标区域的倾斜模型点云；基于所述近景影像建立模型，得到任务目标区域的激光点云；

所述数据处理模块获取所述倾斜模型点云和激光点云，利用配准工具对两个数据进行粗配准，使其纠正在同一***里并重叠在一起，得到任务目标区域的粗配准模型；

所述数据处理模块得到所述粗配准模型后，利用计算机算法工具对点云进行精配准修正，使之严密贴合在一起，完成倾斜模型点云和激光点云数据的有效融合；

所述数据处理模块在有效融合的点云基础上构建三角网，同时对三角网进行平滑和简化，并基于倾斜摄影影像自动映射纹理，生成任务目标区域高精度的三维模型。

2.根据权利要求1所述的基于倾斜模型与激光点云数据融合的三维建模方法，其特征在于：所述倾斜摄影测量模块基于无人机倾斜飞行摄影获取所述倾斜影像。

3.根据权利要求2所述的基于倾斜模型与激光点云数据融合的三维建模方法，其特征在于：所述数据处理模块包含Context Capture软件，在Context Capture中对所述倾斜模型点云和激光点云进行融合。

4.根据权利要求3所述的基于倾斜模型与激光点云数据融合的三维建模方法，其特征在于：采用特征点的方式进行所述粗配准，选取所述倾斜模型点云和激光点云的多个明显特征点，利用所述Context Capture的配准工具栏进行两个数据的粗配准。

5.根据权利要求4所述的基于倾斜模型与激光点云数据融合的三维建模方法，其特征在于：所述倾斜影像和所述近景影像之间保持一定的重叠度。

6.根据权利要求3所述的基于倾斜模型与激光点云数据融合的三维建模方法，其特征在于：所述数据处理模块包含DP-Modeler软件，在所述倾斜模型点云和激光点云出现不融合导致建立的三维模型不衔接时，利用所述DP-Modeler软件对倾斜影像和近景影像建立的模型进行无缝集成，在DP-Modeler软件中将两个模型的套合处进行踏平操作，并将踏平后的瓦片和近景模型中的精细瓦片放到一个文件夹中调用。

7.根据权利要求2所述的基于倾斜模型与激光点云数据融合的三维建模方法，其特征在于：对点云进行精配准修正的算法为ICP算法。

8.根据权利要求2所述的基于倾斜模型与激光点云数据融合的三维建模方法，其特征在于：在所述映射纹理中，从多源影像中选择最优分辨率的影像进行纹理贴图，以得到高精度的实景三维模型。

9.一种基于倾斜模型与激光点云数据融合的三维建模***，其特征在于，包括：

倾斜摄影测量模块，用于获取任务目标区域三维建模的倾斜影像；

三维激光扫描模块，用于获取任务目标区域三维建模的近景影像；

数据处理模块，用于读取、存储和算法处理所述倾斜摄影测量模块和三维激光扫描模块获取任务目标区域三维建模的基础数据源，输出任务目标区域高精度的三维模型。

10.根据权利要求9所述的基于倾斜模型与激光点云数据融合的三维建模***，其特征在于：所述数据处理模块包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至8任一项所述基于倾斜模型与激光点云数据融合的三维建模方法。

Images