CN114219819A - 基于正射影像边界检测的倾斜摄影模型单体化方法 - Google Patents

Abstract

本发明提供了一种基于正射影像边界检测的倾斜摄影模型单体化方法.本发明充分利用了正射影像与实景模型同地理坐标系的优势，应用倾斜摄影模型和深度学习方法，实现了基于正射影像边界检测的建筑物轮廓自动提取，进一步利用正射影像的坐标属性来获取建筑单体化后的具体地理坐标位置，实现倾斜摄影模型的单体化信息提取，提升了建筑物单体化自动提取的效率，同时，也为后期单体化管理提供了数据支持。本发明使用正射影像进行倾斜摄影实景模型单体化研究，能够实现单体化的自动提取，解决实景模型单体化中地物矢量边界提取效率低、坐标定位存在偏差等问题。

Description

基于正射影像边界检测的倾斜摄影模型单体化方法

技术领域

本发明涉及一种基于正射影像边界检测的倾斜摄影模型单体化方法。

背景技术

近年来，随着民用无人机的普及和倾斜摄影技术的快速发展，通过在同一飞行平台上搭载多镜头传感器，同时从垂直方向和倾斜方向多角度进行倾斜摄影，真实反映建筑地物的实际情况，快速生成地物实景三维模型已成为获取三维空间信息数据的重要手段。而且建筑三维空间信息的提取对城市和乡村规划与管理具有重要意义。但是，基于倾斜摄影技术获取的三维实景模型缺乏结构化的语义信息，本身是无法选中和分离出单个建筑的。这种模型在实际应用中只能停留在模型浏览、几何测量等层面，无法对地物单体进行选择、索引、属性信息添加、单体化管理等操作，因此，需要对倾斜摄影实景模型进行单体化处理。

目前，常见的单体化方法主要有切割单体化、重建单体化、ID单体化和动态单体化。其中，动态单体化可以直接利用二维矢量数据，更新分类成本低，在渲染时也不会存在锯齿边缘，LOD索引也不变，可满足不同的数据应用需求。现阶段在进行单体化操作时，对建筑物轮廓边界进行人工勾绘和通过软件操作获取地理位置信息是难以避免的，这造成了单体化过程对人力和时间精力上有一定的需求，同时在对建筑物进行人工勾绘时，每个人定义的界限标准不唯一，这对后期规划和管理也有一定困难。

因此，如何统一标准地、快速地完成单体化操作是一个难题。

发明内容

本发明的目的在于提供一种基于正射影像边界检测的倾斜摄影模型单体化方法。

为解决上述问题，本发明提供一种基于正射影像边界检测的倾斜摄影模型单体化方法，包括：

步骤S1，通过搭载多镜头传感器的飞行器平台，从多角度采集影像，获取倾斜摄影三维模型和无投影畸变的正射影像；

步骤S2，构建神经网络模型并进行神经网络模型的训练，利用训练好的神经网络模型对正射影像进行边界检测，得到建筑正射投影轮廓边界；

步骤S3，将所述建筑正射投影轮廓边界进行规则化，以得到正射影像规则化后的建筑正射投影轮廓边界，对正射影像规则化后的建筑正射投影轮廓边界进行实景模型坐标转换，以得到建筑轮廓每一角点的地理坐标值，基于建筑轮廓每一角点的地理坐标值，生成实景模型建筑边界平面矢量图；

步骤S4，基于实景模型建筑边界平面矢量图建立建筑包围盒模型，将所述包围盒模型叠加至所述倾斜摄影三维模型上，以得到叠加三维模型，渲染所述叠加三维模型中的三角面片并叠加指定颜色，从而实现倾斜摄影实景模型的自动单体化。

进一步的，在上述方法中，步骤S1，通过搭载多镜头传感器的飞行器平台，从多角度采集影像，获取倾斜摄影三维模型和无投影畸变的正射影像，包括：

步骤S11，利用搭载多镜头传感器的飞行器平台，从空中对目标区域进行多方位和多角度航拍获取具有预设重叠度的序列影像；

步骤S12，利用实景建模软件，并根据序列影像，重建生成倾斜摄影三维模型，一并导出空中影像密集匹配点云；

步骤S13，利用实景建模软件，并根据序列影像，生成无投影畸变的正射影像，其中，所述正射影像地理坐标系与倾斜摄影三维模型的地理坐标系保持一致。

进一步的，在上述方法中，步骤S2中，构建神经网络模型并进行神经网络模型的训练，包括：

步骤S21，搭建深度学习框架，构建建筑边界图像检测的神经网络模型；

步骤S22，建立训练集、验证集和测试集；

步骤S23，将训练集与验证集输入所述建筑边界图像检测的神经网络模型，设置所述构建建筑边界图像检测的神经网络模型的训练环境、训练次数、训练阈值和训练步距，并执行模型训练，训练完成后保留模型参数，以得到初始边界检测训练模型；

步骤S24，利用所述测试集对初始边界检测训练模型进行测试，若测试结果的正确率大于等于97％，则完成模型训练和测试，将初始边界检测训练模型作为训练好的神经网络模型；若检测结果的正确率小于97％，则通过数据集拓展、数据增强、调整超参数的方式对初始边界检测训练模型的参数进行迭代优化，直至检测结果的正确率大于等于97％，得到训练好的神经网络模型。

进一步的，在上述方法中，步骤S22，建立训练集与验证集，包括：

步骤S221，选取与研究区域建筑风格类似的数据集；

步骤S222，选取所述正射影像中的部分正射影像，并利用图像标注工具对选取的部分正射影像进行建筑轮廓标注，得到标注后的正射影像；

步骤S223，将所述与研究区域建筑风格类似的数据集和所述标注后的正射影像随机打乱次序，以融合建立模型训练数据集，并按照预设比例将模型训练数据集划分为训练集、验证集和测试集。

进一步的，在上述方法中，步骤S2中，利用训练好的神经网络模型对正射影像进行边界检测，得到建筑正射投影轮廓边界，包括：

步骤S25，基于训练好的神经网络模型可接收影像尺寸确定切割尺寸，基于所述切割尺寸对所述正射影像进行均匀影像切割，以获得正射影像预测集；

步骤S26，利用所述训练好的神经网络模型对所有正射影像预测集进行检测，以得到所有正射影像预测图集的建筑物区块二值图。

进一步的，在上述方法中，步骤S3，将所述建筑正射投影轮廓边界进行规则化，以得到正射影像规则化后的建筑正射投影轮廓边界，包括：

步骤S301，基于任意多边形种子填充方法，对正射影像预测图集的建筑物区块二值图进行孔洞填充，以得到填充后的建筑物区块二值图；

步骤S302，利用分水岭算法，在填充后的建筑物区块二值图中分割存在局部连接的建筑区块，以得到分割二值图；

步骤S303，利用腐蚀算法，在所述分割二值图中扩大建筑区块之间的缝隙，以得优化后的建筑区块二值图；

步骤S304，基于二值图轮廓提取算法，对步优化后的建筑区块二值图进行各建筑轮廓的提取；

步骤S305，利用多边形拟合曲线方法，对提取到的各建筑轮廓的边界进行近似拟合处理，以得到建筑轮廓边界多边形；

步骤S306，获取所述建筑轮廓边界多边形中的每条边的长度和方位角；

步骤S307，比较建筑轮廓边界多边形的每条边的长度，选择最长的边作为主方向；

步骤S308，将建筑轮廓边界绕中心点旋转至与上述主方向垂直或者平行的位置，以得到旋转后的建筑轮廓边界；

步骤S309，校正旋转后的建筑轮廓边界的相邻边，当相邻边垂直时取交点；当相邻边平行时，基于相邻边的距离阈值，平移短边至长边或者在相邻边增加直线，以最后生成正射影像规则化后的建筑正射投影轮廓边界。

进一步的，在上述方法中，步骤S3，对正射影像规则化后的建筑正射投影轮廓边界进行实景模型坐标转换，以得到建筑轮廓每一角点的地理坐标值，包括：

步骤S321，基于GDAL栅格空间数据转换库提取出所述正射影像的仿射矩阵，其中，所述仿射矩阵包含影像左上角点的地理坐标(X，Y)、像素坐标和实际地理坐标的转换缩放比例α；

步骤S322，构造所述正射影像中任一正射影像规则化后的建筑正射投影轮廓边界的角点像素坐标(x，y)与对应的地理坐标(X_COOR，Y_COOR)的转换函数为：

X_COOR＝X+x·α；

Y_COOR＝Y+y·α；

步骤S322，根据所述转换函数，将每一正射影像规则化后的建筑正射投影轮廓边界的每一角点像素坐标转换为对应地理坐标。

进一步的，在上述方法中，步骤S3，基于建筑轮廓每一角点的地理坐标值，生成实景模型建筑边界平面矢量图，包括：

步骤S331，基于建筑轮廓每一角点的地理坐标值，生成实景模型建筑边界平面矢量图，所述实景模型建筑边界平面矢量图与倾斜摄影三维模型在同一地理坐标系下。

进一步的，在上述方法中，步骤S4，基于实景模型建筑边界平面矢量图建立建筑包围盒模型，包括：

步骤S401，根据所述空中三角测量结果，获得空中三角连接点的三维地理坐标信息；

步骤S402，根据建筑轮廓每一角点的地理坐标值和空中三角连接点的三维地理坐标，基于射线法原理，判断空中三角连接点和建筑轮廓的包含关系，筛选出位于每个建筑轮廓内的空中三角连接点；

步骤S403，比较每个建筑轮廓内的空中三角连接点高程，获得每个建筑轮廓内的最低高程和最高高程；

步骤S404，将每个建筑轮廓内的最高高程减去最低高程，得到该建筑单体的包围盒高度；

步骤S405，将实景模型建筑边界平面矢量图内的矢量几何多边形作为建筑单体的包围盒模型的下底面，以建筑单体的包围盒高度作为包围盒模型的高，创建建筑单体包围盒多面体模型。

进一步的，在上述方法中，将所述包围盒模型叠加至所述倾斜摄影三维模型上，以得到叠加三维模型，渲染所述叠加三维模型中的三角面片并叠加指定颜色，从而实现倾斜摄影实景模型的自动单体化，包括：

将建筑单体包围盒模型叠加至倾斜摄影三维模型的建筑轮廓内的最低高程位置上，以得到复合模型，并对所述复合模型进行渲染和叠加指定颜色，从而实现模型单体化的高亮显示，进而实现倾斜摄影实景模型的动态单体化。

与现有技术相比，本发明充分利用了正射影像与实景模型同地理坐标系的优势，应用倾斜摄影模型和深度学习方法，实现了基于正射影像边界检测的建筑物轮廓自动提取，进一步利用正射影像的坐标属性来获取建筑单体化后的具体地理坐标位置，实现倾斜摄影模型的单体化信息提取，提升了建筑物单体化自动提取的效率，同时，也为后期单体化管理提供了数据支持。

本发明使用正射影像进行倾斜摄影实景模型单体化研究，能够实现单体化的自动提取，解决实景模型单体化中地物矢量边界提取效率低、坐标定位存在偏差等问题。

附图说明

图1是本发明一实施例的基于正射影像边界检测的倾斜摄影模型单体化方法的流程图；

图2是本发明一实施例的正射影像建筑物区块二值图；

图3是本发明一实施例的正射影像建筑物轮廓边界图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

如图1所示，本发明提供一种基于正射影像边界检测的倾斜摄影模型单体化方法，包括：

步骤S1，通过搭载多镜头传感器的飞行器平台，从多角度采集影像，获取倾斜摄影三维模型和无投影畸变的正射影像；

步骤S2，构建神经网络模型并进行神经网络模型的训练，利用训练好的神经网络模型对正射影像进行边界检测，得到建筑正射投影轮廓边界；

步骤S3，将所述建筑正射投影轮廓边界进行规则化，以得到正射影像规则化后的建筑正射投影轮廓边界，对正射影像规则化后的建筑正射投影轮廓边界进行实景模型坐标转换，以得到建筑轮廓每一角点的地理坐标值，基于建筑轮廓每一角点的地理坐标值，生成实景模型建筑边界平面矢量图；

步骤S4，基于实景模型建筑边界平面矢量图建立建筑包围盒模型，将所述包围盒模型叠加至所述倾斜摄影三维模型上，以得到叠加三维模型，渲染所述叠加三维模型中的三角面片并叠加指定颜色，从而实现倾斜摄影实景模型的自动单体化。

在此，正射影像不仅具有影像信息丰富、直观真实、无投影畸变等特点，有良好的判读与量测性能，而且通过正射影像与实景模型的坐标位置关系能够确定建筑的地理位置信息。

本发明使用正射影像进行倾斜摄影实景模型单体化研究，能够实现单体化的自动提取，解决实景模型单体化中地物矢量边界提取效率低、坐标定位存在偏差等问题。

本发明充分利用了正射影像与实景模型同地理坐标系的优势，应用倾斜摄影模型和深度学习方法，实现了基于正射影像边界检测的建筑物轮廓自动提取，进一步利用正射影像的坐标属性来获取建筑单体化后的具体地理坐标位置，实现倾斜摄影模型的单体化信息提取，提升了建筑物单体化自动提取的效率，同时，也为后期单体化管理提供了数据支持。

本发明的基于正射影像边界检测的倾斜摄影模型单体化方法一实施例中，步骤S1，通过搭载多镜头传感器的飞行器平台，从多角度采集影像，获取倾斜摄影三维模型和无投影畸变的正射影像，包括：

步骤S11，利用搭载多镜头传感器的飞行器平台，从空中对目标区域进行多方位和多角度航拍获取具有预设重叠度的序列影像；

步骤S12，利用实景建模软件，并根据序列影像，重建生成倾斜摄影三维模型，一并导出空中影像密集匹配点云；

步骤S13，利用实景建模软件，并根据序列影像，生成无投影畸变的正射影像，其中，所述正射影像地理坐标系与倾斜摄影三维模型的地理坐标系保持一致。

本发明的基于正射影像边界检测的倾斜摄影模型单体化方法一实施例中，步骤S2中，构建神经网络模型并进行神经网络模型的训练，包括：

步骤S21，搭建深度学习框架，构建建筑边界图像检测的神经网络模型；

步骤S22，建立训练集、验证集和测试集；

步骤S23，将训练集与验证集输入所述建筑边界图像检测的神经网络模型，设置所述构建建筑边界图像检测的神经网络模型的训练环境、训练次数、训练阈值和训练步距，并执行模型训练，训练完成后保留模型参数，以得到初始边界检测训练模型；

步骤S24，利用所述测试集对初始边界检测训练模型进行测试，若测试结果的正确率大于等于97％，则完成模型训练和测试，将初始边界检测训练模型作为训练好的神经网络模型；若检测结果的正确率小于97％，则通过数据集拓展、数据增强、调整超参数的方式对初始边界检测训练模型的参数进行迭代优化，直至检测结果的正确率大于等于97％，得到训练好的神经网络模型。

本发明的基于正射影像边界检测的倾斜摄影模型单体化方法一实施例中，步骤S22，建立训练集与验证集，包括：

步骤S221，选取与研究区域建筑风格类似的数据集；

步骤S222，选取所述正射影像中的部分正射影像，并利用图像标注工具对选取的部分正射影像进行建筑轮廓标注，得到标注后的正射影像；

步骤S223，将所述与研究区域建筑风格类似的数据集和所述标注后的正射影像随机打乱次序，以融合建立模型训练数据集，并按照预设比例将模型训练数据集划分为训练集、验证集和测试集。

本发明的基于正射影像边界检测的倾斜摄影模型单体化方法一实施例中，步骤S2中，利用训练好的神经网络模型对正射影像进行边界检测，得到建筑正射投影轮廓边界，包括：

步骤S25，基于练好的神经网络模型可接收影像尺寸确定切割尺寸，基于所述切割尺寸对所述正射影像进行均匀影像切割，以获得正射影像预测集；

步骤S26，利用所述训练好的神经网络模型对所有正射影像预测集进行检测，以得到所有正射影像预测图集的建筑物区块二值图。

本发明的基于正射影像边界检测的倾斜摄影模型单体化方法一实施例中，步骤S3，将所述建筑正射投影轮廓边界进行规则化，以得到正射影像规则化后的建筑正射投影轮廓边界，包括：

步骤S301，基于任意多边形种子填充方法，对正射影像预测图集的建筑物区块二值图进行孔洞填充，以得到填充后的建筑物区块二值图；

步骤S302，利用分水岭算法，在填充后的建筑物区块二值图中分割存在局部连接的建筑区块，以得到分割二值图；

步骤S303，利用腐蚀算法，在所述分割二值图中扩大建筑区块之间的缝隙，以得优化后的建筑区块二值图；

步骤S304，基于二值图轮廓提取算法，对步优化后的建筑区块二值图进行各建筑轮廓的提取；

步骤S305，利用多边形拟合曲线方法，对提取到的各建筑轮廓的边界进行近似拟合处理，以得到建筑轮廓边界多边形；

步骤S306，获取所述建筑轮廓边界多边形中的每条边的长度和方位角；

步骤S307，比较建筑轮廓边界多边形的每条边的长度，选择最长的边作为主方向；

步骤S308，将建筑轮廓边界绕中心点旋转至与上述主方向垂直或者平行的位置，以得到旋转后的建筑轮廓边界；

步骤S309，校正旋转后的建筑轮廓边界的相邻边，当相邻边垂直时取交点；当相邻边平行时，基于相邻边的距离阈值，平移短边至长边或者在相邻边增加直线，以最后生成正射影像规则化后的建筑正射投影轮廓边界。

本发明的基于正射影像边界检测的倾斜摄影模型单体化方法一实施例中，步骤S3，对正射影像规则化后的建筑正射投影轮廓边界进行实景模型坐标转换，以得到建筑轮廓每一角点的地理坐标值，包括：

步骤S321，基于GDAL栅格空间数据转换库提取出所述正射影像的仿射矩阵，其中，所述仿射矩阵包含影像左上角点的地理坐标(X，Y)、像素坐标和实际地理坐标的转换缩放比例α(该比例存在正负)；

步骤S322，构造所述正射影像中任一正射影像规则化后的建筑正射投影轮廓边界的角点像素坐标(x，y)与对应的地理坐标(X_COOR，Y_COOR)的转换函数为：

X_COOR＝X+x·α；

Y_COOR＝Y+y·α；

步骤S322，根据所述转换函数，将每一正射影像规则化后的建筑正射投影轮廓边界的每一角点像素坐标转换为对应地理坐标。

本发明的基于正射影像边界检测的倾斜摄影模型单体化方法一实施例中，步骤S3，基于建筑轮廓每一角点的地理坐标值，生成实景模型建筑边界平面矢量图，包括：

步骤S331，基于建筑轮廓每一角点的地理坐标值，生成实景模型建筑边界平面矢量图，所述实景模型建筑边界平面矢量图与倾斜摄影三维模型在同一地理坐标系下。

本发明的基于正射影像边界检测的倾斜摄影模型单体化方法一实施例中，步骤S4，基于实景模型建筑边界平面矢量图建立建筑包围盒模型，包括：

步骤S401，根据所述空中三角测量结果，获得空中三角连接点的三维地理坐标信息；

步骤S402，根据建筑轮廓每一角点的地理坐标值和空中三角连接点的三维地理坐标，基于射线法原理，判断空中三角连接点和建筑轮廓的包含关系，筛选出位于每个建筑轮廓内的空中三角连接点；

步骤S403，比较每个建筑轮廓内的空中三角连接点高程，获得每个建筑轮廓内的最低高程和最高高程；

步骤S404，将每个建筑轮廓内的最高高程减去最低高程，得到该建筑单体的包围盒高度；

步骤S405，将实景模型建筑边界平面矢量图内的矢量几何多边形作为建筑单体的包围盒模型的下底面，以建筑单体的包围盒高度作为包围盒模型的高，创建建筑单体包围盒多面体模型。

本发明的基于正射影像边界检测的倾斜摄影模型单体化方法一实施例中，步骤S4，将所述包围盒模型叠加至所述倾斜摄影三维模型上，以得到叠加三维模型，渲染所述叠加三维模型中的三角面片并叠加指定颜色，从而实现倾斜摄影实景模型的自动单体化，包括：

将建筑单体包围盒模型叠加至倾斜摄影三维模型的建筑轮廓内的最低高程位置上，以得到复合模型，并对所述复合模型进行渲染和叠加指定颜色，从而实现模型单体化的高亮显示，进而实现倾斜摄影实景模型的动态单体化。

具体的，本发明的一种基于正射影像边界检测的倾斜摄影模型单体化方法，主要包括以下几个步骤：

1.三维实景模型(倾斜摄影三维模型)、正射影像获取

1.1航拍数据采集

首先，利用搭载多镜头传感器的飞行器平台，从空中对目标区域进行多方位和多角度航拍获取具有预设重叠度的序列影像。

例如，可以选择我国江西吉安、广东佛山、福建晋江等地作为航拍目标区域，使用大疆专业无人机—经纬M300RTK进行无人机飞行航线的确定，确保该航线能对目标区域进行全面拍摄，然后使用该无人机搭载多镜头传感器在巡航时从多角度、多方位对目标区域进行航拍摄影，获取具有一定重叠度的序列影像。

1.2实景模型重建

然后利用实景建模软件根据步骤1.1获得的大量序列影像重建生成倾斜摄影三维模型，并导出空中三角测量结果(影像密集匹配点云)。

例如，可以将步骤1.1中获得的大量序列影像导入ContextCapture软件，然后经过提取特征点、多视影像匹配和光束法局域网平差等流程进行三维实景建模，生成江西吉安、广东佛山、福建晋江等地的倾斜摄影三维模型，并导出空中三角测量结果(影像密集匹配点云)。

1.3正射影像获取

继续通过实景建模软件生成无投影畸变的正射影像，所述正射影像地理坐标系与倾斜摄影三维模型的地理坐标系保持一致。

例如，可以通过实景建模软件生成无投影畸变真正射影像，该正射影像地理坐标系与倾斜摄影三维模型保持一致，均为WGS-84坐标系。

2.边界检测深度学习模型训练

2.1神经网络模型构建

首先搭建深度学习框架，构建建筑边界图像检测的神经网络模型。

例如，可以首先搭建建筑物轮廓提取的深度学习框架，采用全卷积神经网络U-net模型进行特征提取。

2.2建立训练数据集

2.2.1收集行业内公开的基于图像的建筑轮廓检测数据集，并根据数据属性，选取与研究区域建筑风格类似的数据集；

例如，可以收集行业内公开的基于图像的建筑轮廓检测数据集，并根据数据属性，选取与江西吉安、广东佛山、福建晋江等研究区域建筑风格类似的数据集；

2.2.2选取所述正射影像中的部分正射影像，并利用图像标注工具对选取的部分正射影像进行建筑轮廓标注，得到标注后的正射影像；

例如，可以选取部分正射影像，并利用图像标注工具labelme对正射影像进行建筑轮廓的标注；

2.2.3将步骤2.2.1与步骤2.2.2所述数据随机打乱次序，融合建立模型训练数据集，并按照合适比例划分为训练集、验证集和测试集。

例如，可以将步骤2.2.1与步骤2.2.2所述数据随机打乱次序，融合建立模型训练数据集，共计2500张数据集，并按照训练集：验证集：测试集的比例为8：1：1划分模型训练数据集。

2.3模型训练

将步骤2.2.3中获取的训练集与验证集输入步骤2.1搭建好的建筑边界图像检测的神经网络模型，设置所述构建建筑边界图像检测的神经网络模型的训练环境、训练次数、训练阈值和训练步距，并执行模型训练，训练完成后保留模型参数，以得到初始边界检测训练模型。

例如，可以将步骤2.2.3中获取的2000张训练集和250张验证集输入至步骤2.1搭建好的全卷积神经网络U-net模型中，设置训练环境python3.6，pytorch1.4，cuda10.0，学习率Lr＝0.0001，batch size＝4，迭代次数epochs＝100，并执行U-net模型训练，训练完成后保留模型参数，获取初始边界检测训练模型。

2.4模型测试

利用步骤2.2.3中获取的测试集对步骤2.3中获取的初始边界检测训练模型进行测试，若检测结果的正确率大于等于97％，满足实际应用需求，则完成模型训练和测试，得到训练好的神经网络模型；若检测结果的正确率小于97％，则不满足实际应用需求，通过数据集拓展、数据增强、调整超参数等方式进行迭代优化，直至检测结果的正确率大于等于97％，满足实际应用需求，训练好的神经网络模型。

例如，可以利用步骤2.2.3中获得的250张测试集对步骤2.3中获得的初始边界检测训练模型进行测试，若检测结果的正确率大于等于97％，满足实际应用需求，则完成模型训练和测试；若检测结果的正确率小于97％，则不满足实际应用需求，通过数据集拓展、数据增强、调整网络参数等方式进行迭代优化，直至满足实际应用需求。

3.正射影像建筑轮廓提取

3.1正射影像切割

将步骤1.3中获得的正射影像进行均匀影像切割(切割尺寸根据步骤2.4训练好的神经网络模型可接收影像尺寸确定)，以获得正射影像预测集。

例如，可以将步骤1.3中获得的真正射影像进行均匀影像切割(切割尺寸为1024*1024)，获得真正射影像预测集。

3.2建筑区块检测

利用步骤2.4得到的训练好的神经网络模型对步骤3.1中获得的所有正射影像预测集进行检测，得到所有正射影像预测图集的建筑物区块二值图。

例如，可以利用步骤2.4训练好的全卷积神经网络U-net模型对步骤3.1中的所有真正射影像预测集进行检测，得到所有正射影像图集的建筑物区块二值图。建筑物区块二值图的实际效果如附图中的图2所示。

3.3建筑轮廓规则化

3.3.1建筑区块二值图优化

(1)首先基于任意多边形种子填充方法对步骤3.2获得的建筑物区块二值图进行孔洞填充，以得到填充后的建筑物区块二值图；

例如，可以首先基于任意多边形种子填充方法构造fillPoly孔洞填充函数，对步骤3.2获得的建筑物区块二值图进行孔洞填充；

(2)然后利用分水岭算法，在填充后的建筑物区块二值图中分割存在局部连接的建筑区块，以得到分割二值图；

例如，然后可以利用分水岭算法分割存在局部连接的建筑区块；

(3)继续利用腐蚀算法，在所述分割二值图中扩大建筑区块之间的缝隙，以得优化后的建筑区块二值图。

例如，可以继续利用腐蚀算法扩大建筑区块之间的缝隙。

3.3.2建筑轮廓提取

(1)基于二值图轮廓提取算法，对步骤3.3.1进行优化后的建筑区块二值图提取各建筑轮廓；

例如，可以基于二值图轮廓提取算法原理构造findContours轮廓提取函数，设置轮廓提取函数中面积阈值为500，高宽比阈值为(0.1，10)，对步骤3.3.1进行优化后的建筑区块二值图提取各建筑轮廓；

(2)利用多边形拟合曲线方法，对提取到的各建筑轮廓的边界进行近似拟合处理，以得到建筑轮廓边界多边形。

例如，可以利用多边形拟合曲线方法构造approxPolyDP轮廓拟合函数对轮廓边界进行近似拟合处理。

3.3.3建筑轮廓边界规则化

(1)获取步骤3.3.2所得建筑轮廓边界多边形中的每条边的长度和方位角；

例如，可以获取步骤3.3.2所得建筑轮廓边界多边形每条边的长度和方位角；

(2)比较建筑轮廓边界多边形的每条边的长度，选择最长的边作为主方向；

例如，可以比较建筑轮廓边界多边形每条边的长度，选择最长的边作为主方向；

(3)将建筑轮廓边界绕中心点旋转至与主方向垂直或者平行的位置；

例如，可以将建筑轮廓边界绕中心点旋转至与主方向垂直或者平行的位置；

(4)校正建筑轮廓边界的相邻边，当相邻边垂直时取交点，当相邻边平行时，基于相邻边的距离阈值，平移短边至长边或者在相邻边增加直线，最后生成正射影像规则化后的建筑正射投影轮廓边界。

例如，可以校正建筑轮廓边界的相邻边，当相邻边垂直时取交点，当相邻边平行时，基于相邻边的距离阈值，平移短边至长边或者在相邻边增加直线，最后生成正射影像规则化后的建筑轮廓边界，如附图中图3所示；

4.建筑轮廓地理坐标转换

4.1基于GDAL栅格空间数据转换库提取出正射影像(tiff文件)的仿射矩阵，其中包含影像左上角点的地理坐标(X，Y)、像素坐标与实际地理坐标的转换缩放比例α(该比例存在正负)；

4.2构造所述正射影像中任一正射影像规则化后的建筑正射投影轮廓边界的角点像素坐标(x，y)与其地理坐标(X_COOR，Y_COOR)的转换函数为：

X_COOR＝X+x·α；

Y_COOR＝Y+y·α；

4.3根据步骤4.2公式将每一正射影像规则化后的建筑正射投影轮廓边界的每一角点像素坐标转换为对应地理坐标，以得到建筑轮廓每一角点的地理坐标值。

5.实景模型建筑轮廓矢量图生成

根据步骤4所获取建筑轮廓每一角点的地理坐标值生成实景模型建筑边界平面矢量图(建筑轮廓二维平面矢量图)，该实景模型建筑边界平面矢量图与步骤1.2所得倾斜摄影三维模型在同一地理坐标系下。

6.创建实景模型建筑单体包围盒

6.1建筑单体包围盒高度确定

6.1.1根据步骤1.2中的空中三角测量结果，获得空中三角连接点(空三连接点)的三维地理坐标信息；

6.1.2根据步骤4中获得的建筑轮廓每一角点的地理坐标值和步骤1.2中获得的空中三角连接点的三维地理坐标，基于射线法原理判断，空中三角连接点和建筑轮廓的包含关系，筛选出位于每个建筑轮廓内的空中三角连接点；

6.1.3比较每个建筑轮廓内的空中三角连接点高程，获得每个建筑轮廓内的最低高程和最高高程；

6.1.4然后将每个建筑轮廓内的最高高程减去最低高程，得到该建筑单体的包围盒高度；

6.2创建建筑单体包围盒

将步骤5中获得的实景模型建筑边界平面矢量图内的矢量几何多边形作为建筑单体的包围盒模型的下底面，以步骤6.1.4中获得的建筑单体的包围盒高度作为包围盒模型的高，创建建筑单体包围盒多面体模型；

例如，可以根据步骤5中获得的实景模型建筑轮廓二维平面矢量图，将二维平面矢量图中的矢量几何多边形作为包围盒模型中的下底面，拉升下底面的矢量几何多边形至步骤6.1中确定的建筑单体包围盒高度，然后依次将矢量几何多边形的相邻点和拉升后的点进行连接，作为包围盒模型的侧面，实现以二维平面矢量几何多边形为底，根据建筑物高度拉升而成的建筑单体包围盒多面体模型。

7.动态单体化展示

将步骤6.2中获取的建筑单体包围盒模型叠加至步骤1.2中获取的倾斜摄影三维模型的建筑轮廓内的最低高程位置上，以得到复合模型，并对所述复合模型进行渲染和叠加指定颜色，从而实现模型单体化的高亮显示，进而实现倾斜摄影实景模型的动态单体化。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

显然，本领域的技术人员可以对发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。

Claims (10)

1.一种基于正射影像边界检测的倾斜摄影模型单体化方法，其特征在于，包括：

步骤S1，通过搭载多镜头传感器的飞行器平台，从多角度采集影像，获取倾斜摄影三维模型和无投影畸变的正射影像；

步骤S2，构建神经网络模型并进行神经网络模型的训练，利用训练好的神经网络模型对正射影像进行边界检测，得到建筑正射投影轮廓边界；

步骤S3，将所述建筑正射投影轮廓边界进行规则化，以得到正射影像规则化后的建筑正射投影轮廓边界，对正射影像规则化后的建筑正射投影轮廓边界进行实景模型坐标转换，以得到建筑轮廓每一角点的地理坐标值，基于建筑轮廓每一角点的地理坐标值，生成实景模型建筑边界平面矢量图；

步骤S4，基于实景模型建筑边界平面矢量图建立建筑包围盒模型，将所述包围盒模型叠加至所述倾斜摄影三维模型上，以得到叠加三维模型，渲染所述叠加三维模型中的三角面片并叠加指定颜色，从而实现倾斜摄影实景模型的自动单体化。

2.如权利要求1所述的基于正射影像边界检测的倾斜摄影模型单体化方法，其特征在于，步骤S1，通过搭载多镜头传感器的飞行器平台，从多角度采集影像，获取倾斜摄影三维模型和无投影畸变的正射影像，包括：

步骤S11，利用搭载多镜头传感器的飞行器平台，从空中对目标区域进行多方位和多角度航拍获取具有预设重叠度的序列影像；

步骤S12，利用实景建模软件，并根据序列影像，重建生成倾斜摄影三维模型，一并导出空中影像密集匹配点云；

步骤S13，利用实景建模软件，并根据序列影像，生成无投影畸变的正射影像，其中，所述正射影像地理坐标系与倾斜摄影三维模型的地理坐标系保持一致。

3.如权利要求1所述的基于正射影像边界检测的倾斜摄影模型单体化方法，其特征在于，步骤S2中，构建神经网络模型并进行神经网络模型的训练，包括：

步骤S21，搭建深度学习框架，构建建筑边界图像检测的神经网络模型；

步骤S22，建立训练集、验证集和测试集；

步骤S23，将训练集与验证集输入所述建筑边界图像检测的神经网络模型，设置所述构建建筑边界图像检测的神经网络模型的训练环境、训练次数、训练阈值和训练步距，并执行模型训练，训练完成后保留模型参数，以得到初始边界检测训练模型；

步骤S24，利用所述测试集对初始边界检测训练模型进行测试，若测试结果的正确率大于等于97％，则完成模型训练和测试，将初始边界检测训练模型作为训练好的神经网络模型；若检测结果的正确率小于97％，则通过数据集拓展、数据增强、调整超参数的方式对初始边界检测训练模型的参数进行迭代优化，直至检测结果的正确率大于等于97％，得到训练好的神经网络模型。

4.如权利要求3所述的基于正射影像边界检测的倾斜摄影模型单体化方法，其特征在于，步骤S22，建立训练集与验证集，包括：

步骤S221，选取与研究区域建筑风格类似的数据集；

步骤S222，选取所述正射影像中的部分正射影像，并利用图像标注工具对选取的部分正射影像进行建筑轮廓标注，得到标注后的正射影像；

步骤S223，将所述与研究区域建筑风格类似的数据集和所述标注后的正射影像随机打乱次序，以融合建立模型训练数据集，并按照预设比例将模型训练数据集划分为训练集、验证集和测试集。

5.如权利要求4所述的基于正射影像边界检测的倾斜摄影模型单体化方法，其特征在于，步骤S2中，利用训练好的神经网络模型对正射影像进行边界检测，得到建筑正射投影轮廓边界，包括：

步骤S25，基于训练好的神经网络模型可接收影像尺寸确定切割尺寸，基于所述切割尺寸对所述正射影像进行均匀影像切割，以获得正射影像预测集；

步骤S26，利用所述训练好的神经网络模型对所有正射影像预测集进行检测，以得到所有正射影像预测图集的建筑物区块二值图。

6.如权利要求1所述的基于正射影像边界检测的倾斜摄影模型单体化方法，其特征在于，步骤S3，将所述建筑正射投影轮廓边界进行规则化，以得到正射影像规则化后的建筑正射投影轮廓边界，包括：

步骤S301，基于任意多边形种子填充方法，对正射影像预测图集的建筑物区块二值图进行孔洞填充，以得到填充后的建筑物区块二值图；

步骤S302，利用分水岭算法，在填充后的建筑物区块二值图中分割存在局部连接的建筑区块，以得到分割二值图；

步骤S303，利用腐蚀算法，在所述分割二值图中扩大建筑区块之间的缝隙，以得优化后的建筑区块二值图；

步骤S304，基于二值图轮廓提取算法，对步优化后的建筑区块二值图进行各建筑轮廓的提取；

步骤S305，利用多边形拟合曲线方法，对提取到的各建筑轮廓边界进行近似拟合处理，以得到建筑轮廓边界多边形；

步骤S306，获取所述建筑轮廓边界多边形中的每条边的长度和方位角；

步骤S307，比较建筑轮廓边界多边形的每条边的长度，选择最长的边作为主方向；

步骤S308，将建筑轮廓边界绕中心点旋转至与上述主方向垂直或者平行的位置，以得到旋转后的建筑轮廓边界；

步骤S309，校正旋转后的建筑轮廓边界的相邻边，当相邻边垂直时取交点；当相邻边平行时，基于相邻边的距离阈值，平移短边至长边或者在相邻边增加直线，以最后生成正射影像规则化后的建筑正射投影轮廓边界。

7.如权利要求6所述的基于正射影像边界检测的倾斜摄影模型单体化方法，其特征在于，步骤S3，对正射影像规则化后的建筑正射投影轮廓边界进行实景模型坐标转换，以得到建筑轮廓每一角点的地理坐标值，包括：

步骤S321，基于GDAL栅格空间数据转换库提取出所述正射影像的仿射矩阵，其中，所述仿射矩阵包含影像左上角点的地理坐标(X，Y)、像素坐标和实际地理坐标的转换缩放比例α；

步骤S322，构造所述正射影像中任一正射影像规则化后的建筑正射投影轮廓边界的角点像素坐标(x，y)与对应的地理坐标(X_COOR，Y_COOR)的转换函数为：

X_COOR＝X+x+α；

Y_COOR＝Y+y+α；

步骤S322，根据所述转换函数，将每一正射影像规则化后的建筑正射投影轮廓边界的每一角点像素坐标转换为对应地理坐标。

8.如权利要求7所述的基于正射影像边界检测的倾斜摄影模型单体化方法，其特征在于，步骤S3,基于建筑轮廓每一角点的地理坐标值，生成实景模型建筑边界平面矢量图，包括：

步骤S331,基于建筑轮廓每一角点的地理坐标值，生成实景模型建筑边界平面矢量图，所述实景模型建筑边界平面矢量图与倾斜摄影三维模型在同一地理坐标系下。

9.如权利要求1所述的基于正射影像边界检测的倾斜摄影模型单体化方法，其特征在于，步骤S4，基于实景模型建筑边界平面矢量图建立建筑包围盒模型，包括：

步骤S401，根据所述空中三角测量结果，获得空中三角连接点的三维地理坐标信息；

步骤S402，根据建筑轮廓每一角点的地理坐标值和空中三角连接点的三维地理坐标，基于射线法原理，判断空中三角连接点和建筑轮廓的包含关系，筛选出位于每个建筑轮廓内的空中三角连接点；

步骤S403，比较每个建筑轮廓内的空中三角连接点高程，获得每个建筑轮廓内的最低高程和最高高程；

步骤S404，将每个建筑轮廓内的最高高程减去最低高程，得到该建筑单体的包围盒高度；

步骤S405，将实景模型建筑边界平面矢量图内的矢量几何多边形作为建筑单体的包围盒模型的下底面，以建筑单体的包围盒高度作为包围盒模型的高，创建建筑单体包围盒多面体模型。

10.如权利要求9所述的基于正射影像边界检测的倾斜摄影模型单体化方法，其特征在于，将所述包围盒模型叠加至所述倾斜摄影三维模型上，以得到叠加三维模型，渲染所述叠加三维模型中的三角面片并叠加指定颜色，从而实现倾斜摄影实景模型的自动单体化，包括：

将建筑单体包围盒模型叠加至倾斜摄影三维模型的建筑轮廓内的最低高程位置上，以得到复合模型，并对所述复合模型进行渲染和叠加指定颜色，从而实现模型单体化的高亮显示，进而实现倾斜摄影实景模型的动态单体化。

Images