CN113723373A - 一种基于无人机全景影像的违建检测方法 - Google Patents

Abstract

本发明提供了一种基于无人机全景影像的违建检测方法，该方法包括以下的步骤：S10、采集无人机原始图像，并对原始区域图像进行标注；S20、训练集和测试集的划分；S30、原始图像拼接；S40、获取图像的深度信息；S50、建筑物分割图像块的获取；S60、建筑物分割全景图的获取；S70、对两期的建筑物分割全景图进行图像配准；S80、记录两期配准图像的配准参数，对两期的建筑物分割全景图进行叠加对比；本发明的有益效果是：能够大幅度的降低违法建筑检查成本，提高检查效率。

Description

一种基于无人机全景影像的违建检测方法

技术领域

本发明涉及图像识别技术领域，更具体的说，本发明涉及一种基于无人机全景影像的违建检测方法。

背景技术

随着城市的快速发展，土地价值不断攀升，房地产市场尤为活跃，为牟取非法利益，出现大量的个人或团体非法占用土地进行开发或者改变原有建筑设计加盖楼层等违章建筑。尽管很多针对违建设立了专门的部门进行管理违建，获得了一定的成效，但鉴于人力有限、信息获取途径有限，依然难以去遏制违法建筑行为。

采用遥感影像进行定期定点拍摄图件，进行筛查，为提高效率，前人提出了多种方法进行自动化匹配检测，通过两期影像的坐标匹配对比筛查出异常处，将其作为违法建筑的判断依据。这种方式存在以下缺点：遥感影像的获取是比较困难的，且具有周期性，难以进行及时的违建检查，且受到云层等不利因素，可能导致违建被遮挡，使得排查效率和准确性受到较大的挑战。

发明内容

为了克服现有技术的不足，本发明提供一种基于无人机全景影像的违建检测方法，能够大幅度的降低违法建筑检查成本，提高检查效率。

本发明解决其技术问题所采用的技术方案是：一种基于无人机全景影像的违建检测方法，其改进之处在于，该方法包括以下的步骤：

S10、采集无人机原始图像，并对原始区域图像进行标注；

S20、训练集和测试集的划分，按设定比例划分训练集和测试集，训练集进行建筑物图像分割模型训练，测试集用于测试模型鲁棒性，获得建筑物分割模型；

S30、原始图像拼接，记录原始图像各自的序号，进行原始图像的全景拼接，记录图像与图像之间的单应矩阵参数；

S40、获取图像的深度信息；

S50、建筑物分割图像块的获取，采用图像分割模型对原始图像进行建筑物与背景的分割，以获取建筑物分割图像块；

S60、建筑物分割全景图的获取，将第一期建筑物分割图像块按照单应矩阵参数进行拼接，获得与原始图像相一致的建筑物分割全景图，此后采用相同的方法对第二期相同位置的原始图获取建筑物分割全景图；

S70、对两期的建筑物分割全景图进行图像配准，找到图像的关键特征参数，对第二期的图像进行纠正，将其映射到第一期图像对应的位置；

S80、记录两期配准图像的配准参数，对两期的建筑物分割全景图进行叠加对比。

进一步的，步骤S10中，采用Labelme标注工具进行图像标注，采用多边形框选建筑物位置，收集多期城市原始图像进行标注。

进一步的，步骤S20中，按照9:1比例划分训练集和测试集；

步骤S30中，按照ORB特征提取的图像拼接方法进行原始图像的全景拼接。

进一步的，步骤S40中，包括相机标定的步骤、双目矫正的步骤、双目匹配的步骤以及计算深度信息的步骤；

其中，所述相机标定的步骤包括：

S401、摄像头的径向畸变由参数k1、k2以及k3确定，摄像头的切向畸变由参数p1和p2确定；

S402、计算出摄像头的内部参数、畸变参数以及外部参数，其中内部参数包括焦距f、成像原点cx和成像原点cy，畸变参数包括k1、k2、K3、p1以及p2，外部参数即为标定物的世界坐标；

S403、标定测量两个摄像头之间的相对位置，包括右侧摄像头相对于左侧摄像头的旋转矩阵R和平移向量t。

进一步的，所述双目矫正的步骤包括：分别对左右摄像头的左右视图进行消除畸变和行对准，使左右视图的成像原点坐标一致、两摄像头光轴平行、左右成像平面共面以及对极线行对齐。

进一步的，所述双目匹配的步骤包括：通过双目匹配，实现同一场景的左右视图上对应像点的匹配，以得到视差图。

进一步的，所述计算深度信息的步骤包括：

S404、设定OL和OR分别为两个摄像头的光心，B为两个摄像头的中心距，f为相机焦距，点P在两个摄像头感光器上的成像点分别为P和P’，Z为求得的深度信息，distance为视差，且计算公式为：

；

其中X_R为右视图成像横坐标，X_L为左视图成像横坐标；

根据相似三角形原理：

；

可得：

；

公式中，焦距f和摄像头中心距B通过相机标定获得；

对无人机高度作为基准点，将深度信息Z等比例变换为近似实际场景距离：

；

其中

为实际场景距离，H为无人机与地面的垂直高度，h为垂直地面点的深度数据；利用勾股定理求取图像的地表距离：

；

其中C为水平距离。

进一步的，步骤S70中，采用ORB特征算子的图像配准方法对两期的全景原始图像进行图像配准。

进一步的，步骤S80中，对两期的建筑物分割全景图进行叠加计算：

S_new = S₂ - S₁；

其中，S₁为第一期的建筑物分割区域，S₂为第二期的建筑物分割区域，保留匹配失败的区域，记为变化部分。

本发明的有益效果是：提供一种违建检测的技术方案，极大的降低了违建检测的成本，大幅度提高违建定位效率，采用小型无人机搭载双目全景摄像头，即可进行数据采集。无人机数据采集，很好的避免了云层以及植物影响，有效的提高了数据质量。

附图说明

图1为本发明的一种基于无人机全景影像的违建检测方法的流程示意图。

图2为本发明的一种基于无人机全景影像的违建检测方法中U-Net模型的结构示意图。

图3为最大池化方法的示意图。

图4为选用Sobel算子对两期图像进行边缘检测后保留配准的参数。

图5至图8为本发明中全景原始图件配准的具体实施例图。

图9至图12为本发明中边缘检测配准的具体实施例图。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整地描述，以充分地理解本发明的目的、特征和效果。显然，所描述的实施例只是本发明的一部分实施例，而不是全部实施例，基于本发明的实施例，本领域的技术人员在不付出创造性劳动的前提下所获得的其他实施例，均属于本发明保护的范围。另外，专利中涉及到的所有联接/连接关系，并非单指构件直接相接，而是指可根据具体实施情况，通过添加或减少联接辅件，来组成更优的联接结构。本发明创造中的各个技术特征，在不互相矛盾冲突的前提下可以交互组合。

参照图1所示，本发明揭示了一种基于无人机全景影像的违建检测方法，该方法中，主要数据来源为搭载在无人机的双目全景相机，从中提出全景影像数据以及无人机拍摄过程中获取的必要参数。其中按照无人机拍摄高度作为距离基准，正北方向为首张图件获取方法。全景影像的拼接主要采用的是ORB图像特征匹配，基于RANSAC（随机一致性采样）匹配的特征向量估计单应矩阵，完成图像拼接。

建筑物检测采用U-Net算法进行获取，U-Net是一种基于深度学习的图像分割方法，共分为编码区和解码区两部分，编码区用于提取图像特征，解码区用于将抽象特征映射成分割图像。

U-Net主要由两部分组成，包括特征表示部分和上采样恢复部分，整个网络呈现了“U”字形。特征表示部分，用于提取各层次特征，经过若干卷积，池化操作，可提取不同层次特征，卷积操作具有局部连接与权值共享的特性，卷积核按照一定步长在输入图像中进行移动，计算获得特征层，大幅度降低了参数，且不受图像旋转，平移等变化影响。在第i层，第j个卷积核在深度为N的输入的(x, y)位置上，该卷积和激活的操作可表示为公式：

；

其中，φ是激活函数，P和Q是卷积核的高度和宽度。经过卷积和激活后生成的特征图给出了在每个空间位置处卷积核的反应。直观地来说，神经网络会让卷积核学习到当它看到某些类型的视觉特征时就激活的能力，具体的视觉特征可能是某些方位上的边界，或者在第一层上某些颜色的斑点，甚至可以是网络更高层上的蜂巢状或者车轮状图案。每个卷积核都会生成一个不同的二维特征图。

将每个卷积核生成的不同特征图映射在深度方向上层叠起来就生成了输出数据。卷积操作可分为“VALID”和“SAME”两种操作方式，“VALID”指的在卷积过程中，不向边缘填充零值，每次卷积会使得特征图大小缩小，“SAME”指在卷积过程中，给图像或特征图边缘进行填充，输出的特征图尺寸与输入不变。

在连续的卷积层之间会周期性地***一个池化层。它的作用是逐渐降低数据体的空间尺寸，这样的话就能减少网络中参数的数量，使得计算资源耗费变少，也能有效控制过拟合。

池化方式多种多样，如：最大池化、平均池化、范数池化、对数池化等等。常用的池化方式为最大池化，输出结果为池化范围内的一个最大值。最大池化的范围通常为的区域，步长也为2，这样的池化结果不会有重叠区域。平均池化也有使用，其将池化范围内的取值的平均作为输出。图3为最大池化方法的示意图。

上采样部分，每进行一次采样，将特征表部分所对应的通道与上采样部分进行相同尺度的融合，融合前若尺度不一致，则需要进行裁剪，融合的意思即是特征拼接，从图1可知，输入与输出尺度并不一致，说明图像信息经过网络传递后，尺度会发生变化，输出的结果与原图并不是完全对应的大小。

图2中，即为针对U-Net模型所作出的改进，在发明中，称之为Zone-Unet模型，该Zone-Unet模型中包含有箭头1至箭头6，代表了不同的含义，其中，箭头1含义为Dilatedconv_5x5，指的是5x5空洞卷积；箭头3表示进行3x3的卷积操作，步长为1，采用padding的方法为“Valid”，不进行边界填充，由此可知，当特征图尺寸大小为奇数时，每次卷积操作后，特征图的尺寸都会减小2；箭头5表示特征图进行最大池化操作，相同的池化也采用了“Valid”，不进行边界填充，则当尺寸为奇数时，会顺势一部分信息。所以输入大小需要优选。箭头6含义为up_conv_2x2，指的2x2反卷积，表示上采样的过程，即反卷积操作,随着层数加深，层倍数进行增长，箭头2含义为copy and crop，表示的是复制和剪切的操作，可以发现，同一层中左侧部分比右侧部分的大，故在使用浅层特征时需要进行剪切操作，左右相一致后进行拼接。分类部分采用了1x1卷积进行分类操作，最终可以输出两部分，前景和背景，这里前景指关注目标，而背景指无关场景。箭头4含义为max_pool_2x2，指的2x2最大池化；箭头5含义为avg_pool_2x2，指的是2x2平均池化。

在本实施例中，Zone-UNet网络模型根据实际场景做出以下修正：

（1）采用5x5空洞卷积对编码区特征进行卷积，步数为1；

（2）编码区每两次卷积完，降采样一次，采用最大池化，遇到池化后为奇数长宽的情况，补充两边区域，再进行池化，保证长宽为偶数；

（3）编码器最后一层采用平均池化，综合信息；

（4）解码区逐层向上进行反卷积，在同一层采用5*5空洞卷积进行卷积；

（5）解码区输出层采用1x1卷积改变其特征数，使其内容按照分割内容呈现；

（6）编码区特征经过裁剪以及复制与解码区同一层特征进行融合，获取前验信；

（7）采用Adam反向传播算法根据标注信息进行反向传播误差，使输出与标签尽量靠近，以此完成训练阶段；

（8）最终输出包括两部分，目标建成区分割以及背景，记录图像顺序以及分割面积；

（9）本模型采用了参数修正线性单元PReLU，相较原模型更具生物特性，灵活变化。

其中

是根据Adam算法根据误差反向传播进行更新，采用的带动量进行更新的方式。

；

其中m是动量项，l是学习率,更新

不加入权重衰减项，避免

置为0。该模型有效提高了分割图像的准确率，降低了原模型的计算要求，提高了训练速度，综合运用到了整体的特征信息，空洞卷积有效扩大了感受野，捕捉了多尺度的上下文信息，更能有效区分建成区内容与背景，降低了模糊内容的误判情况。

U-Net在损失函数部分采用了pixel-wise softmax，每个像素都对应着softmax输出，若图像为w*h大小，则softmax相对应，也应该是w*h大小。其中，x被当作某一个像素点，c(x)表示了x点对应的标签值，pk(x)表示了x点在输出类别为k的softmax为多少。

；

其中w(x)可见于以下公式，d1 和d2分别是与像素点最近和第二近物体的距离，这个权重值是用来调整图像中区域的重要程度。

；

本发明提供的一种基于无人机全景影像的违建检测方法，该方法包括以下的步骤：

S10、采集无人机原始图像，并对原始区域图像进行标注；

步骤S10中，采用Labelme标注工具进行图像标注，采用多边形框选建筑物位置，收集多期城市原始图像进行标注；

S20、训练集和测试集的划分，按设定比例划分训练集和测试集，训练集进行建筑物图像分割模型训练，测试集用于测试模型鲁棒性，获得建筑物分割模型；本实施例中，按照9:1比例划分训练集和测试集；

S30、原始图像拼接，记录原始图像各自的序号，进行原始图像的全景拼接，记录图像与图像之间的单应矩阵参数；本实施例中，按照ORB特征提取的图像拼接方法进行原始图像的全景拼接；

S40、获取图像的深度信息；在本实施例中，包括相机标定的步骤、双目矫正的步骤、双目匹配的步骤以及计算深度信息的步骤；

其中，所述相机标定的步骤包括：

S401、摄像头的径向畸变由参数k1、k2以及k3确定，k1、k2以及k3为径向畸变系数；摄像头的切向畸变由参数p1和p2确定，p1和p2为切向畸变系数；

其中，径向畸变产生原因是光线在远离透镜中心的地方比靠近中心的地方更加弯曲，径向畸变主要包含桶形畸变和枕形畸变两种；切向畸变产生的原因透镜不完全平行于图像平面，这种现象发生于成像仪被粘贴在摄像机的时候。

S402、计算出摄像头的内部参数、畸变参数以及外部参数，其中内部参数包括焦距f、成像原点cx和成像原点cy，畸变参数包括k1、k2、K3、p1以及p2，外部参数即为标定物的世界坐标；

S403、标定测量两个摄像头之间的相对位置，包括右侧摄像头相对于左侧摄像头的旋转矩阵R和平移向量t；

所述双目矫正的步骤包括：分别对左右摄像头的左右视图进行消除畸变和行对准，使左右视图的成像原点坐标一致、两摄像头光轴平行、左右成像平面共面以及对极线行对齐；

所述双目匹配的步骤包括：通过双目匹配，实现同一场景的左右视图上对应像点的匹配，以得到视差图。

所述计算深度信息的步骤包括：

S404、设定OL和OR分别为两个摄像头的光心，B为两个摄像头的中心距，f为相机焦距，点P在两个摄像头感光器上的成像点分别为P和P’，Z为求得的深度信息，distance为视差，且计算公式为：

S404、设定OL和OR分别为两个摄像头的光心，B为两个摄像头的中心距，f为相机焦距，点P在两个摄像头感光器上的成像点分别为P和P’，Z为求得的深度信息，distance为视差，且计算公式为：

；

其中X_R为右视图成像横坐标，X_L为左视图成像横坐标；

根据相似三角形原理：

；

可得：

；

公式中，焦距f和摄像头中心距B通过相机标定获得；

对无人机高度作为基准点，将深度信息Z等比例变换为近似实际场景距离：

；

其中

为实际场景距离，H为无人机与地面的垂直高度，h为垂直地面点的深度数据；利用勾股定理求取图像的地表距离：

；

其中C为水平距离。

S50、建筑物分割图像块的获取，采用图像分割模型对原始图像进行建筑物与背景的分割，以获取建筑物分割图像块；

S60、建筑物分割全景图的获取，将第一期建筑物分割图像块按照单应矩阵参数进行拼接，获得与原始图像相一致的建筑物分割全景图，此后采用相同的方法对第二期相同位置的原始图获取建筑物分割全景图；

S70、对两期的建筑物分割全景图进行图像配准，找到图像的关键特征参数，对第二期的图像进行纠正，将其映射到第一期图像对应的位置；本实施例中，采用ORB特征算子的图像配准方法对两期的全景原始图像进行图像配准；

另外，由于无人机难以保证拍摄角度，若出现配准效果不佳等情况，将对全景原始图像首先进行边缘检测，最大程度保证场景主要特征的对应性，参照图4所示，本发明经对比后，选用Sobel算子对两期图像进行边缘检测后保留配准参数。图5至图8为本发明中全景原始图件配准的具体实施例图。图9至图12为本发明中边缘检测配准的具体实施例图。

S80、记录两期配准图像的配准参数，对两期的建筑物分割全景图进行叠加对比；步骤S80中，对两期的建筑物分割全景图进行叠加计算：

S_new = S₂ - S₁；

其中，S₁为第一期的建筑物分割区域，S₂为第二期的建筑物分割区域，保留匹配失败的区域，记为变化部分。

结合上述的步骤，再进行人工核查异常部分是否违建，并记录该区域位置，即可实现是否违建的判断。

本发明主采用双目原理获取深度信息，依靠多期拼接全景图像的建筑物差异以及深度信息，可以估算出差异异常位置，再结合人员普查，即可大幅度提高违建查处效率，减低人工成本。因此，本发明提供一种违建检测的技术方案，极大的降低了违建检测的成本，大幅度提高违建定位效率，采用小型无人机搭载双目全景摄像头，即可进行数据采集。无人机数据采集，很好的避免了云层以及植物影响，有效的提高了数据质量。另外，基于U-Net的图像分割方法，极大的提高了建筑物的分割成功率，有效的将建筑物与图像背景进行分隔。

以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (9)

1.一种基于无人机全景影像的违建检测方法，其特征在于，该方法包括以下的步骤：

S10、采集无人机原始图像，并对原始区域图像进行标注；

S20、训练集和测试集的划分，按设定比例划分训练集和测试集，训练集进行建筑物图像分割模型训练，测试集用于测试模型鲁棒性，获得建筑物分割模型；

S30、原始图像拼接，记录原始图像各自的序号，进行原始图像的全景拼接，记录图像与图像之间的单应矩阵参数；

S40、获取图像的深度信息；

S50、建筑物分割图像块的获取，采用图像分割模型对原始图像进行建筑物与背景的分割，以获取建筑物分割图像块；

S60、建筑物分割全景图的获取，将第一期建筑物分割图像块按照单应矩阵参数进行拼接，获得与原始图像相一致的建筑物分割全景图，此后采用相同的方法对第二期相同位置的原始图获取建筑物分割全景图；

S70、对两期的建筑物分割全景图进行图像配准，找到图像的关键特征参数，对第二期的图像进行纠正，将其映射到第一期图像对应的位置；

S80、记录两期配准图像的配准参数，对两期的建筑物分割全景图进行叠加对比。

2.根据权利要求1所述的一种基于无人机全景影像的违建检测方法，其特征在于，步骤S10中，采用Labelme标注工具进行图像标注，采用多边形框选建筑物位置，收集多期城市原始图像进行标注。

3.根据权利要求1所述的一种基于无人机全景影像的违建检测方法，其特征在于，步骤S20中，按照9:1比例划分训练集和测试集；

步骤S30中，按照ORB特征提取的图像拼接方法进行原始图像的全景拼接。

4.根据权利要求1所述的一种基于无人机全景影像的违建检测方法，其特征在于，步骤S40中，包括相机标定的步骤、双目矫正的步骤、双目匹配的步骤以及计算深度信息的步骤；

其中，所述相机标定的步骤包括：

S401、摄像头的径向畸变由参数k1、k2以及k3确定，k1、k2以及k3为径向畸变系数；摄像头的切向畸变由参数p1和p2确定，p1和p2为切向畸变系数；

S402、计算出摄像头的内部参数、畸变参数以及外部参数，其中内部参数包括焦距f、成像原点cx和成像原点cy，畸变参数包括k1、k2、K3、p1以及p2，外部参数即为标定物的世界坐标；

S403、标定测量两个摄像头之间的相对位置，包括右侧摄像头相对于左侧摄像头的旋转矩阵R和平移向量t。

5.根据权利要求4所述的一种基于无人机全景影像的违建检测方法，其特征在于，所述双目矫正的步骤包括：分别对左右摄像头的左右视图进行消除畸变和行对准，使左右视图的成像原点坐标一致、两摄像头光轴平行、左右成像平面共面以及对极线行对齐。

6.根据权利要求5所述的一种基于无人机全景影像的违建检测方法，其特征在于，所述双目匹配的步骤包括：通过双目匹配，实现同一场景的左右视图上对应像点的匹配，以得到视差图。

7.根据权利要求6所述的一种基于无人机全景影像的违建检测方法，其特征在于，所述计算深度信息的步骤包括：

S404、设定OL和OR分别为两个摄像头的光心，B为两个摄像头的中心距，f为相机焦距，点P在两个摄像头感光器上的成像点分别为P和P’，Z为求得的深度信息，distance为视差，且计算公式为：

；

其中X_R为右视图成像横坐标，X_L为左视图成像横坐标；

根据相似三角形原理：

；

可得：

；

公式中，焦距f和摄像头中心距B通过相机标定获得；

对无人机高度作为基准点，将深度信息Z等比例变换为近似实际场景距离：

；

其中

为实际场景距离，H为无人机与地面的垂直高度，h为垂直地面点的深度数据；利用勾股定理求取图像的地表距离：

；

其中C为水平距离。

8.根据权利要求1所述的一种基于无人机全景影像的违建检测方法，其特征在于，步骤S70中，采用ORB特征算子的图像配准方法对两期的全景原始图像进行图像配准。

9.根据权利要求1所述的一种基于无人机全景影像的违建检测方法，其特征在于，步骤S80中，对两期的建筑物分割全景图进行叠加计算：

S_new = S₂ - S₁；

其中，S₁为第一期的建筑物分割区域，S₂为第二期的建筑物分割区域，保留匹配失败的区域，记为变化部分。

Images