CN115424155A - 违建检测方法、违建检测装置以及计算机存储介质 - Google Patents

违建检测方法、违建检测装置以及计算机存储介质 Download PDF

Info

Publication number
CN115424155A
CN115424155A CN202211377018.4A CN202211377018A CN115424155A CN 115424155 A CN115424155 A CN 115424155A CN 202211377018 A CN202211377018 A CN 202211377018A CN 115424155 A CN115424155 A CN 115424155A
Authority
CN
China
Prior art keywords
image
aerial vehicle
unmanned aerial
illegal
vehicle image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211377018.4A
Other languages
English (en)
Other versions
CN115424155B (zh
Inventor
任宇鹏
金恒
周宏宾
李乾坤
殷俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202211377018.4A priority Critical patent/CN115424155B/zh
Publication of CN115424155A publication Critical patent/CN115424155A/zh
Application granted granted Critical
Publication of CN115424155B publication Critical patent/CN115424155B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种违建检测方法、违建检测装置以及计算机存储介质，该违建检测方法包括：获取基于目标区域采集的无人机图像；按照无人机图像，获取对应的正射地图切片；获取正射地图切片重投影到无人机图像的坐标系的重投影图像；基于重投影图像和无人机图像的图像差异信息，获取目标区域在第一时刻和第二时刻的变化检测区域结果；根据变化检测区域结果，形成违建检测信息，其中，违建检测信息包括违建行为位置，违建行为时间和/或违建行为类型。本申请的违建检测方法能够通过正射地图与无人机影像的变化检测结果，实现目标区域的违建行为全流程监管。

Description

违建检测方法、违建检测装置以及计算机存储介质
技术领域
本申请涉及图像处理技术领域，特别是涉及一种违建检测方法、违建检测装置以及计算机存储介质。
背景技术
违建监管一直以来是城市治理的重要工作之一，传统的以人工方式进行违章建筑的巡查耗时费力，对于违章建筑的监管也不够及时有效，同时，由于巡视角度的限制，无法及时发现建筑物顶部的违法乱搭及加建行为，导致后续需要投入大量的时间及精力开展违章建筑物的拆除和重建工作。如何长期、及时且低成本的进行违建管控和整治，将违建的事后治理转变为事中甚至是事前预防，有效防止违章扩建加建行为，提升监管部门效能，是目前亟待解决的问题。
发明内容
本申请提供一种违建检测方法、违建检测装置以及计算机存储介质。
本申请采用的一个技术方案是提供一种违建检测方法，所述违建检测方法包括：
获取基于目标区域采集的无人机图像；
按照所述无人机图像，获取对应的正射地图切片；
获取所述正射地图切片重投影到所述无人机图像的坐标系的重投影图像；
基于所述重投影图像和所述无人机图像的图像差异信息，获取所述目标区域的变化检测区域结果；
根据所述变化检测区域结果，形成违建检测信息，其中，所述违建检测信息包括违建行为位置，违建行为时间和/或违建行为类型。
其中，所述基于所述重投影图像和所述无人机图像的图像差异信息，获取所述目标区域的变化检测区域结果，包括：
将所述重投影图像作为孪生变化检测网络的第一输入，将所述无人机图像作为所述孪生变化检测网络的第二输入；
获取所述孪生变化检测网络比对所述重投影图像的遥感图像特征和所述无人机图像的遥感图像特征，根据比对结果输出的变化检测区域结果。
其中，所述孪生变化检测网络包括结果输出模块，特征比对网络，以及共享权重的第一孪生网络和第二孪生网络；
所述第一孪生网络用于提取所述重投影图像的遥感图像特征，所述第二孪生网络用于提取所述无人机图像的遥感图像特征，所述特征比对网络用于比对所述重投影图像的遥感图像特征和所述无人机图像的遥感图像特征，所述结果输出模块融合所述特征比对网络的比对输出，并形成变化检测区域结果。
其中，所述结果输出模块包括多层感知器和上采样层，所述多层感知器用于统一所述特征比对网络的输出通道个数，所述上采样层用于将所述特征比对网络的输出上采样到所述重投影图像和/或所述无人机图像的预设尺寸，将上采样结果输入所述多层感知器，所述多层感知器还用于根据所述上采样结果输出分类置信度，其中，分类包括检测区域变化和检测区域未变化。
其中，所述变化检测区域结果包括预测变化检测框；
所述根据所述变化检测区域结果，形成违建检测信息，包括：
基于所述变化检测区域结果中的若干预测变化检测框；
对所述无人机图像的违建建筑进行实例分割，获取所述无人机图像的若干违建检测框；
计算若干所述预测变化检测框与若干所述违建检测框的重叠率，去除重叠率大于预设阈值的预测变化检测框或违建检测框，由剩下的预测变化检测框与违建检测框形成违建检测信息。
其中，所述获取所述正射地图切片重投影到所述无人机图像的坐标系的重投影图像，包括：
获取所述正射地图切片的若干平面分块，其中，所述平面分块为所述正射地图切片中处于同一高度平面的正射地图切片区域；
获取每一平面分块与所述无人机图像的单应矩阵；
按照每一平面分块的单应矩阵，将所述正射地图切片的平面分块分别重投影到所述无人机图像的坐标系上，形成所述重投影图像。
其中，所述获取所述正射地图切片的若干平面分块，包括：
按照所述正射地图切片获取对应的数字表面模型切片；
对所述数字表面模型切片中所有模型点按照高度信息进行聚类，得到若干模型点分组；
利用若干所述模型点分组形成若干掩膜，并利用若干所述掩膜对所述正射地图切片进行处理，得到所述正射地图切片的若干平面分块。
其中，所述获取所述正射地图切片的若干平面分块，包括：
对所述正射地图切片进行实例分割，获取所述正射地图切片中的屋顶实例区域和地面实例区域；
按照所述屋顶实例区域和所述地面实例区域对所述正射地图切片进行划分，得到所述正射地图切片的若干平面分块。
其中，所述按照所述无人机图像，获取对应的正射地图切片，包括：
读取所述无人机图像的定位信息；
按照所述定位信息从正射地图中裁切出与所述无人机图像范围相同的正射地图切片。
其中，所述按照所述定位信息从正射地图中裁切出与所述无人机图像范围相同的正射地图切片，包括：
获取所述无人机图像的第一图像尺寸；
按照所述定位信息确定所述正射地图切片在所述正射地图的定位范围；
按照所述第一图像尺寸确定所述正射地图切片的第二图像尺寸，其中，所述第二图像尺寸大于所述第二图像尺寸；
按照所述第二图像尺寸以及所述定位范围从所述正射地图中裁剪出所述正射地图切片。
本申请采用的另一个技术方案是提供一种违建检测装置，所述违建检测装置包括存储器以及与所述存储器耦接的处理器；
其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现如上述的违建检测方法。
本申请采用的另一个技术方案是提供一种计算机存储介质，所述计算机存储介质用于存储程序数据，所述程序数据在被计算机执行时，用以实现如上述的违建检测方法。
本申请的有益效果是：违建检测装置获取基于目标区域采集的无人机图像；按照所述无人机图像，获取对应的正射地图切片；获取所述正射地图切片重投影到所述无人机图像的坐标系的重投影图像；基于所述重投影图像和所述无人机图像的图像差异信息，获取所述目标区域的变化检测区域结果；根据所述变化检测区域结果，形成违建检测信息，其中，所述违建检测信息包括违建行为位置，违建行为时间和/或违建行为类型。本申请的违建检测方法能够通过正射地图与无人机影像的变化检测结果，实现目标区域的违建行为全流程监管。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请提供的违建检测方法一实施例的流程示意图；
图2是本申请提供的违建检测方法总流程的示意图；
图3是本申请提供的无人机图像一实施例的示意图；
图4是本申请提供的正射地图切片一实施例的示意图；
图5是本申请提供的正射地图和数字表面模型一实施例的示意图；
图6是本申请提供的正射地图正射纠正及投影误差消除的示意图；
图7是图1所示违建检测方法步骤S13的具体子步骤的流程示意图；
图8是本申请提供的正射地图重投影结果一实施例的示意图；
图9是本申请提供的正射地图重投影结果另一实施例的示意图；
图10是本申请提供的孪生变化检测模型一实施例的结构示意图；
图11是本申请提供的变化检测结果一实施例的示意图；
图12是本申请提供的违建检测装置一实施例的结构示意图；
图13是本申请提供的计算机存储介质一实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请提出一种基于无人机巡检影像，综合运用深度学习配准、实例分割和历史影像变化分析的违建监管方案，可以实现特定区域内违章建筑物的自动化提取分析，以无死角、低成本的方式对广域区域违建行为进行有效排查，违法建筑发现率和快速处置效率，做到已有违章建筑物的摸底排查、违建行为的事中检测以及加建的事前预防。
其中，深度学习实例分割主要进行现存违章建筑物、施工人员及相关施工设备的检测；深度学习图像配准主要进行多期次无人机影像与正射地图的配准；深度学习变化分析主要进行多期次无人机影像与正射地图的变化区域检测。
请参阅图1和图2，图1是本申请提供的违建检测方法一实施例的流程示意图，图2是本申请提供的违建检测方法总流程的示意图。
其中，本申请提出的一种基于无人机影像的深度学习违章建筑检测及监测方法，其技术流程具体请参阅图2所述的总流程示意图。本申请的违建检测方法主要分为三个模块，分别是模块1底图定位及裁剪变换模块、模块2无人机影像/视频流实例分割模块和模块3变化检测及后处理模块。下面结合图1所述的违建检测方法一实施例的流程示意图分别介绍模块1、模块2以及模块3的工作流程。
其中，本申请的违建检测方法应用于一种违建检测装置，其中，本申请的违建检测装置可以为服务器，也可以为由服务器和违建检测装置相互配合的***。相应地，违建检测装置包括的各个部分，例如各个单元、子单元、模块、子模块可以全部设置于服务器中，也可以分别设置于服务器和违建检测装置中。
进一步地，上述服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块，例如用来提供分布式服务器的软件或软件模块，也可以实现成单个软件或软件模块，在此不做具体限定。在一些可能的实现方式中，本申请实施例的违建检测方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
具体而言，如图1所示，本申请实施例的违建检测方法具体包括以下步骤：
步骤S11：获取基于目标区域采集的无人机图像。
在本申请实施例中，违建检测装置在无人机巡检过程中，读取历次无人机影像或者无人机视频流，从而历次无人机影像或者无人机视频流中获取无人机图像。其中，多期次获取无人机图像的频率可以为相邻的时刻，例如相邻日期、相邻月份、相邻年份等，也可以为不相邻的时刻，例如第一时刻和第二时刻之间间隔多日、多月或者多年等。
步骤S12：按照无人机图像，获取对应的正射地图切片。
在本申请实施例中，违建检测装置根据无人机图像获取对应的正射地图切片。
具体地，图3是本申请提供的无人机图像一实施例的示意图，图4是本申请提供的正射地图切片一实施例的示意图。对比图3和图4可知，正射地图切片的内容与无人机图像的内容基本一致，两个的GPS信息完全相同。例如，如图3中建筑物a和图4中建筑物b。建筑物a和建筑物b实质上为同一个建筑物，由于无人机图像是非正射图像，其建筑物的拍摄角度与正射地图切片中的建筑物的拍摄角度不同。通过本申请违建检测方法可以通过重投影的方式，将图4中的建筑物b重投影到图3的建筑物a的位置上。
其中，违建检测装置通过读取无人机图像exif（可交换图像文件格式，Exchangeable image file format）中的GPS信息，如目标区域的经纬度等，根据GPS信息从正射地图中裁切出与无人机影像范围相当的正射地图切片。
在其他实施例方式中，违建检测装置可以在无人机图像的GPS信息确定的地图区域基础上外扩预设区域，从而在考虑相机畸变以及计算误差等的情况下，保证正射地图切片能够提供无人机图像匹配的所有像素信息，通过GPS信息在无人机图像中定位，并根据无人机图像的宽高进行底图对应区域裁剪，裁剪宽高略大于图像长宽，以弥合无人机图像的定位误差，提升后续正射地图切片与无人机图像配准的成功率。
具体地，违建检测装置获取无人机图像的第一图像尺寸，按照第一图像尺寸确定所述正射地图切片的第二图像尺寸，其中，第二图像尺寸略大于第二图像尺寸。违建检测装置按照定位信息确定正射地图切片在正射地图的定位范围，然后，按照第二图像尺寸以及定位范围从正射地图中裁剪出正射地图切片。
在以下的重投影过程中，可能也需要数字表面模型切片（DMS切片），数字表面模型切片与正射地图切片的获取方式相同，在此不再赘述。其中，数字表面模型切片中的模型点与正射地图切片中的像素点一一对应。具体地，图5是本申请提供的正射地图和数字表面模型一实施例的示意图。其中，区域A为正射地图，区域B为数字表面模型，区域C和区域D分别为正射地图的不同尺寸的局部细节展示。
具体地，数字表面模型（Digital Slope Model，缩写DSM）是指包含了地表建筑物、桥梁和树木等高度的地面高程模型。和DEM（数字高程模型，Digital Elevation Model）相比，DEM只包含了地形的高程信息，并未包含其它地表信息，DSM是在DEM的基础上，进一步涵盖了除地面以外的其它地表信息的高程。在一些对建筑物高度有需求的领域，得到了很大程度的重视。
通过数字表面模型提供的高程信息弥补正射地图缺少的高度信息，能够借助数字表面模型的高度信息补充，提高正射地图切片与无人机图像的配准效果和重投影效果。
如图2所示，违建检测装置预存有大区域的正射地图和DSM，或者从云端服务器中获取大区域的正射地图和DSM。制作正射地图和DSM的过程可以为：首先获取研究区无人机影像或视频流进行初始底图构建，获取研究区真正射影像（True Digital OrthophotoMap，简称TDOM）及数字表面模型（Digital Surface Model，DSM），其中TDOM作为历次无人机巡飞的比对标准或底库，DSM为后续底图提供高程信息。具体的，通过图像拼接及多角度三维重建等技术，获取研究区域的大范围无人机底图影像及DSM，可采用Smart3D、Pix4D或Photoscan等商业无人机倾斜摄影建模软件，或其他开源框架。获取到研究区域无人机大范围影像底图和DSM之后，保存至数据库备用。
经过裁剪之后的正射地图切片需要与无人机图像进行配准校正。这主要是由于正射地图在制作过程中，已经根据相邻地图和DSM进行了投影误差消除，整体视角为垂直视角，建筑物和地形已经没有几何变形。具体地，请参阅图6，图6是本申请提供的正射地图正射纠正及投影误差消除的示意图。图6中左侧的图E为正射纠正及投影误差消除前的地图图像，图6中右侧的图F为正射纠正及投影误差消除后的地图图像，即正射地图。
步骤S13：获取正射地图切片重投影到无人机图像的坐标系的重投影图像。
在本申请实施例中，违建检测装置计算正射地图切片与无人机图像之间的第一单应矩阵。然后，违建检测装置根据单应矩阵将正射地图切片重投影到无人机图像的坐标系上，得到重投影图像。
由于无人机历次巡检获取的瞬时影像或视频关键帧是非严格正射的（如图3所示），因此在输入变化检测之前要进行相应的配准和校正。但由于无人机拍摄距离较近，被拍摄物体（如建筑物、地面等）没有处于同一高度平面，因此无法用单一的单应矩阵来描述不同平面的点在不同图像之间的映射关系。
对此，本申请提出一种对正射地图切片分区域重投影的方式，解决单一的单应矩阵无法准确描述映射关系的问题。具体请参阅图7，图7是图1所示违建检测方法步骤S13的具体子步骤的流程示意图。
具体而言，如图7所示，本申请实施例的违建检测方法具体包括以下步骤：
步骤S131：获取正射地图切片的若干平面分块，其中，平面分块为正射地图切片中处于同一高度平面的正射地图切片区域。
在本申请实施例中，违建检测装置可以通过屋顶实例分割的监督方法和根据DSM进行高度聚类的无监督方法获取正射地图切片的若干平面分块，其中，平面分块为正射地图切片中处于同一高度平面的正射地图切片区域，同一高度平面可以为相同高度的平面，也可以为相近高度的近似平面。
下面分别介绍两种获取平面分块的方式：
第一、违建检测装置按照正射地图切片获取对应的数字表面模型切片；对数字表面模型切片中所有模型点按照高度信息进行聚类，得到若干模型点分组；利用若干模型点分组形成若干掩膜，并利用若干掩膜对正射地图切片进行处理，得到正射地图切片的若干平面分块。
具体地，违建检测装置使用预设聚类算法将DSM切片中的所有模型点按照其高度信息进行聚类，从而将DSM切片中的高度聚类为若干模型点分组。每个模型点分组中的模型点具有相同或相似高度，即高度距离在预设距离范围内，由此，每个模型点分组可以近似等效为一个平面。
违建检测装置将形成的若干模型点分组按照分组内的模型点平均高度从低到高，依次将每个模型点分组中的模型点转换为一个掩膜，即每一模型点分组形成一个掩膜。
进一步地，违建检测装置将依次将掩膜作用于原始的正射地图切片，掩膜后得到的正射地图切片区域近似于同一个平面。具体地，由于DSM切片与正射地图切片中的像素点一一对应，每个模型点分组在DSM切片中可以近似于同一个平面，通过像素点的对应关系，可以将掩膜下的正射地图切片区域近似于同一个平面。
第二、违建检测装置对正射地图切片进行实例分割，获取正射地图切片中的屋顶实例区域和地面实例区域；按照屋顶实例区域和地面实例区域对正射地图切片进行划分，得到正射地图切片的若干平面分块。
请继续参阅图2中的模块2，该模块主要关注违章建筑及屋顶实例分割以及附带的违建素材库构建和半自动化标注。
该模块主要是对输入的无人机历次巡检获取的影像或视频关键帧进行违章建筑及屋顶进行实例分割，分别获取违章建筑的检测框及掩膜信息、屋顶对象的掩膜信息。其中，违章建筑物检测分割结果作为对研究区存量违章建筑物的普查结果，在模块3后处理阶段与变化检测结果做融合。而研究区屋顶的实例分割结果主要是作为模块1的输入，分区域对正射地图切片进行分区域的单应变换，获取变换后的结果，将图像空洞部分采用无人机影像补全后获取最终结果，作为下一模块变化检测的输入之一。
步骤S132：获取每一平面分块与无人机图像的单应矩阵。
在本申请实施例中，违建检测装置分别提取掩膜后的正射地图切片和原始无人机图像的特征点，并进行特征点匹配，根据匹配的特征点解算投影关系，其中，投影关系可以为掩膜处理后的正射地图切片与无人机图像的单应矩阵。
具体地，违建检测装置提取无人机图像的若干第一特征点，以及提取掩膜处理后的正射地图切片的若干第二特征点；对若干第一特征点和若干所述第二特征点进行特征点匹配，根据匹配结果计算掩膜处理后的正射地图切片与所述无人机图像的单应矩阵。
进一步地，由于每一掩膜后得到的正射地图切片区域可以近似于同一个平面，违建检测装置还可以计算每一掩膜的正射地图切片区域与无人机图像的单应矩阵，从而使用多个单应矩阵，分块执行正射地图切片到非正射无人机图像的重投影。
在本申请实施例中，正射地图切片中每一掩膜对应的正射地图切片区域均可以近似于同一平面，而正射地图切片区域因此作为重投影的最小单元。
在本申请实施例中，违建检测装置根据每一正射地图切片区域与无人机图像的特征点匹配结果，即利用成功匹配的若干特征点计算正射地图切片区域与无人机图像的映射关系，即单应矩阵。
其中，单应矩阵(homography matrix)等同于透视变换中使用的矩阵。透视变换描述了两个平面之间的映射关系。理解之所以称为单应矩阵，是因为两个平面之间的关系是确定的，只能通过唯一的矩阵来表示这个变换，故称之为单应矩阵。
步骤S133：按照每一平面分块的单应矩阵，将正射地图切片的平面分块分别重投影到无人机图像的坐标系上，形成重投影图像。
在本申请实施例中，违建检测装置按照步骤S132计算得到的单应矩阵，将掩膜处理后的正射地图切片或者原始正射地图切片重投影到无人机图像的坐标系中。由于步骤S132中分别计算了多个正射地图切片区域分别与无人机图像的单应矩阵，违建检测装置可以利用多个单应矩阵将掩膜处理后的正射地图切片分块重投影到无人机图像的坐标系中。违建检测装置在所有正射地图切片区域均掩膜处理完成，多次重投影相叠加即得到将原始正射地图切片匹配到无人机图像上的结果，即得到重投影后的匹配图像。具体请参阅图8，图8是本申请提供的正射地图重投影结果一实施例的示意图。
进一步的，如图3所示的图像为无人机巡检获得的非正射图像，由于无人机的飞行高度较低，透视关系较明显，可以看到建筑物的侧立面；建筑物屋顶的高度各不相同，不处于同一个平面，无法使用单个单应矩阵实现与正射地图的匹配。如图8为正射地图切片按照本申请所述的违建检测方法匹配到图3所示的无人机图像上的结果。例如，图8中的建筑物c则为正射地图切片匹配到无人机图像上的重投影结果，由图8可知，违建检测装置通过将正射地图切片的正射建筑物贴附在无人机图像上的同一非正射建筑物上，从而显示为建筑物c的形状。
另外，由于正射地图不包含建筑物侧立面的信息，因此投影过后侧立面对应区域存在像素缺失，即如图8所示的黑色连通区域。重投影后，地图上建筑物的屋顶与无人机图像的屋顶对齐，满足后续基于图像比对的违建检测的要求。对于投影后侧立面位置像素缺失的问题，可以使用无人机图像对应位置的像素进行填充，基于深度学习的图像比对算法能有效滤除这些区域的噪声。具体请参阅图9，图9是本申请提供的正射地图重投影结果另一实施例的示意图。对比图9中的区域d和图8所示的黑色连通区域，通过像素填充的方式，可以将无人机图像中的侧立面位置像素填充到图8中的黑色连通区域，从而得到区域d的显示效果。
请继续参阅图2中的模块3，违建检测装置分别获取无人机历次巡检获取的影像或视频关键帧和单应变换之后的正射地图切片，作为变化检测模块的输入，分析两个时刻对应地区的变化情况。具体请继续参阅以下步骤：
步骤S14：基于重投影图像和无人机图像的图像差异信息，获取目标区域的变化检测区域结果。
在本申请实施例中，违建检测装置可以获取重投影图像和无人机图像之间的图像差异信息，例如像素值差异，像素值分布等信息，从而比对产生目标区域的变化检测区域结果，即分析出目标区域的变化检测区域。
本申请提出了一种基于深度神经网络的变化检测模型，具体结构请参阅图10，图10是本申请提供的孪生变化检测模型一实施例的结构示意图。
如图10所示，本申请的孪生变化检测模型采用孪生网络设计思想，通过两个共享权重的孪生网络进行第一时刻T1（即正射地图切片）和第二时刻T2（无人机图像）的遥感影像特征提取，堆叠四个Transformer模块组成孪生网络的主要结构。其中，第一孪生网络和第二孪生网络分别包括四个Transformer模块（变换块），设计Difference Transformer结构（差异变换），用于处理孪生特征提取网络不同阶段的Transformer输出。其中，特征比对网络包括四个Difference Transformer结构。
其中，Transformer结构由很多layer组成，每个layer又由很多head模块组成，每个head模块为一个自注意力模块，具体结构如下：
Figure 146272DEST_PATH_IMAGE001
其中，
Figure 890237DEST_PATH_IMAGE002
为K的维度。上述attention可以被描述为将query和key-value键值对的 一组集合映射到输出，输出被计算为values的加权和，其中分配给每个value的权重由 query与对应key的相似性函数计算得来。这种attention的形式被称为Scaled Dot- Product Attention。
多个自注意力模块输出进行concatenate，形成一个多头注意力模块（multi-headself-attention，MHA），通过一个3*3卷积进行位置信息嵌入：
Figure 596025DEST_PATH_IMAGE003
Figure 790246DEST_PATH_IMAGE004
Figure 817370DEST_PATH_IMAGE005
为每个layer的输出，
Figure 630605DEST_PATH_IMAGE006
表示高斯误差线性单元激活函数，
Figure 925320DEST_PATH_IMAGE007
为Transformer模 块中的layer个数，
Figure 556022DEST_PATH_IMAGE008
为多头注意力模块，
Figure 568977DEST_PATH_IMAGE009
为全连接层。
整个孪生特征提取网络中不同的Transformer模块对应的head个数、layer层数和通道数分别为：block1-1head-3layer-64channel、block2-2head-6layer-128channel、block3-5head-40layer-320channel、block4-8head-3layer-512channel。
Difference Transformer结构与其他Transformer模块的主要区别是Query、Key和Value的设计，Query使用T1阶段Transformer特征提取的结果，Key和Value则使用T2阶段Transformer特征提取的结果：
Figure 737966DEST_PATH_IMAGE010
Figure 824871DEST_PATH_IMAGE011
其中，
Figure 564157DEST_PATH_IMAGE012
，
Figure 861146DEST_PATH_IMAGE013
分别代表T1时刻和T2时刻孪生特征提取网络不同阶段的Transformer 输出，
Figure 344080DEST_PATH_IMAGE014
为不同阶段Difference Transformer的输出。
融合四个Difference Transformer模块的输出，通过Head模块（预测模块），即结果输出模块进行形成预测结果，Head模块由MLP（多层感知机，Multilayer Perceptron）和上采样层构成。首先将四个Difference Transformer模块的输出经过MLP层统一输出通道个数，而后通过upsample层上采样到原始图像的四分之一，最后将四个DifferenceTransformer模块的输出concatenate经过最后的MLP层输出分类（变化/未变化）置信度，再通过上采样至原始分辨率和阈值选取获得最终的变化检测结果。
步骤S15：根据变化检测区域结果，形成违建检测信息，其中，违建检测信息包括违建行为位置，违建行为时间和/或违建行为类型。
在本申请实施例中，违建检测装置通过变化检测模型输出变化区域检测结果，主要检测的是新增违章建筑、施工材料及施工设备，如加建、扩建的违章建筑，施工堆积沙土、脚手架及混凝土搅拌机等材料和设施。具体地，请参阅图11，图11是本申请提供的变化检测结果一实施例的示意图。图11中的区域e、区域f以及区域h分别为变化检测结果中的违建行为及其所在的位置。
违建检测装置通过融合违章建筑的实例分割结果，对重叠区域进行IoU（交并比）计算，去除重叠率大的区域，获取最终违章建筑的检测结果，形成报警信息。其中，违建检测信息包括违建行为位置，违建行为时间和违建行为类型等。
如图2所示，一方面，违建检测装置通过孪生变化检测模型获取正射地图切片与无人机地图的变化检测结果，表现为预测变化检测框；一方面，违建检测装置通过预先训练的目标检测模型对无人机图像上的屋顶及违建实例进行分割，获取无人机图像上的违建建筑，表示为违建检测框。进一步地，违建检测装置对预测变化检测框与违建检测框进行融合，从而对变化检测区域结果后处理，得到最终的违建检测信息。
具体地，违建检测装置计算若干所述预测变化检测框与若干所述违建检测框的重叠率，去除重叠率大于预设阈值的预测变化检测框或违建检测框，由剩下的预测变化检测框与违建检测框形成违建检测信息。
通过上述步骤S11至步骤S15，本申请的违建检测方法覆盖了违建行为实施前（施工材料及设备）、实施中（脚手架和半成品建筑）和实施之后（存量违建）整个阶段，能够大面积高效率进行违建监管。违建检测装置通过无人机影像实例分割获取存量违章建筑物，通过多期次无人机影像与事先拼接好的底图影像进行比对分析，获取变化区域，该变化区域包含正在进行或即将进行的违建目标或对象（如施工器材、建筑材料及半成品建筑物等）。
在本申请实施例中，违建检测装置获取基于目标区域采集的无人机图像；按照所述无人机图像，获取对应的正射地图切片；获取所述正射地图切片重投影到所述无人机图像的坐标系的重投影图像；基于所述重投影图像和所述无人机图像的图像差异信息，获取所述目标区域的变化检测区域结果；根据所述变化检测区域结果，形成违建检测信息，其中，所述违建检测信息包括违建行为位置，违建行为时间和/或违建行为类型。本申请的违建检测方法能够通过正射地图与无人机影像的变化检测结果，实现目标区域的违建行为全流程监管。本申请的违建检测方法还能够通过多期次无人机影像的变化检测结果，实现目标区域的违建行为全流程监管。
本申请实施例的违建检测方法结合违建的实例分割和多期次影像的变化检测结果，实现违建行为全流程监管，如实施前（施工材料及设备）、实施中（脚手架和半成品建筑）和实施之后（存量违建），能够自动化、大面积、高效率进行违建监管；采用基于深度学习的无人机影像实例分割、变化检测分析，同时可以积累违建素材，构建海量违建样本库，通过模型自迭代实现深度学习算法的更新升级。
以上实施例，仅是对本申请的其中一种常见案例而已，并非对本申请的技术范围做任何限制，故凡是依据本申请方案的实质对以上内容所做的任何细微修改、等同变化或者修饰，均仍属于本申请技术方案的范围内。
请继续参见图12，图12是本申请提供的违建检测装置一实施例的结构示意图。本申请实施例的违建检测装置500包括处理器51、存储器52、输入输出设备53以及总线54。
该处理器51、存储器52、输入输出设备53分别与总线54相连，该存储器52中存储有程序数据，处理器51用于执行程序数据以实现上述实施例所述的违建检测方法。
在本申请实施例中，处理器51还可以称为CPU（Central Processing Unit，中央处理单元）。处理器51可能是一种集成电路芯片，具有信号的处理能力。处理器51还可以是通用处理器、数字信号处理器（DSP，Digital Signal Process）、专用集成电路（ASIC，Application Specific Integrated Circuit）、现场可编程门阵列（FPGA，FieldProgrammable Gate Array）或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器51也可以是任何常规的处理器等。
本申请还提供一种计算机存储介质，请继续参阅图13，图13是本申请提供的计算机存储介质一实施例的结构示意图，该计算机存储介质600中存储有程序数据61，该程序数据61在被处理器执行时，用以实现上述实施例的违建检测方法。
本申请的实施例以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）或处理器（processor）执行本申请各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，方式利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (12)

1.一种违建检测方法，其特征在于，所述违建检测方法包括：
获取基于目标区域采集的无人机图像；
按照所述无人机图像，获取对应的正射地图切片；
获取所述正射地图切片重投影到所述无人机图像的坐标系的重投影图像；
基于所述重投影图像和所述无人机图像的图像差异信息，获取所述目标区域的变化检测区域结果；
根据所述变化检测区域结果，形成违建检测信息，其中，所述违建检测信息包括违建行为位置，违建行为时间和/或违建行为类型。
2.根据权利要求1所述的违建检测方法，其特征在于，
所述基于所述重投影图像和所述无人机图像的图像差异信息，获取所述目标区域的变化检测区域结果，包括：
将所述重投影图像作为孪生变化检测网络的第一输入，将所述无人机图像作为所述孪生变化检测网络的第二输入；
获取所述孪生变化检测网络比对所述重投影图像的遥感图像特征和所述无人机图像的遥感图像特征，根据比对结果输出的变化检测区域结果。
3.根据权利要求2所述的违建检测方法，其特征在于，
所述孪生变化检测网络包括结果输出模块，特征比对网络，以及共享权重的第一孪生网络和第二孪生网络；
所述第一孪生网络用于提取所述重投影图像的遥感图像特征，所述第二孪生网络用于提取所述无人机图像的遥感图像特征，所述特征比对网络用于比对所述重投影图像的遥感图像特征和所述无人机图像的遥感图像特征，所述结果输出模块融合所述特征比对网络的比对输出，并形成变化检测区域结果。
4.根据权利要求3所述的违建检测方法，其特征在于，
所述结果输出模块包括多层感知器和上采样层，所述多层感知器用于统一所述特征比对网络的输出通道个数，所述上采样层用于将所述特征比对网络的输出上采样到所述重投影图像和/或所述无人机图像的预设尺寸，将上采样结果输入所述多层感知器，所述多层感知器还用于根据所述上采样结果输出分类置信度，其中，分类包括检测区域变化和检测区域未变化。
5.根据权利要求1所述的违建检测方法，其特征在于，
所述变化检测区域结果包括预测变化检测框；
所述根据所述变化检测区域结果，形成违建检测信息，包括：
基于所述变化检测区域结果中的若干预测变化检测框；
对所述无人机图像的违建建筑进行实例分割，获取所述无人机图像的若干违建检测框；
计算若干所述预测变化检测框与若干所述违建检测框的重叠率，去除重叠率大于预设阈值的预测变化检测框或违建检测框，由剩下的预测变化检测框与违建检测框形成违建检测信息。
6.根据权利要求1所述的违建检测方法，其特征在于，
所述获取所述正射地图切片重投影到所述无人机图像的坐标系的重投影图像，包括：
获取所述正射地图切片的若干平面分块，其中，所述平面分块为所述正射地图切片中处于同一高度平面的正射地图切片区域；
获取每一平面分块与所述无人机图像的单应矩阵；
按照每一平面分块的单应矩阵，将所述正射地图切片的平面分块分别重投影到所述无人机图像的坐标系上，形成所述重投影图像。
7.根据权利要求6所述的违建检测方法，其特征在于，
所述获取所述正射地图切片的若干平面分块，包括：
按照所述正射地图切片获取对应的数字表面模型切片；
对所述数字表面模型切片中所有模型点按照高度信息进行聚类，得到若干模型点分组；
利用若干所述模型点分组形成若干掩膜，并利用若干所述掩膜对所述正射地图切片进行处理，得到所述正射地图切片的若干平面分块。
8.根据权利要求6所述的违建检测方法，其特征在于，
所述获取所述正射地图切片的若干平面分块，包括：
对所述正射地图切片进行实例分割，获取所述正射地图切片中的屋顶实例区域和地面实例区域；
按照所述屋顶实例区域和所述地面实例区域对所述正射地图切片进行划分，得到所述正射地图切片的若干平面分块。
9.根据权利要求1所述的违建检测方法，其特征在于，
所述按照所述无人机图像，获取对应的正射地图切片，包括：
读取所述无人机图像的定位信息；
按照所述定位信息从正射地图中裁切出与所述无人机图像范围相同的正射地图切片。
10.根据权利要求9所述的违建检测方法，其特征在于，
所述按照所述定位信息从正射地图中裁切出与所述无人机图像范围相同的正射地图切片，包括：
获取所述无人机图像的第一图像尺寸；
按照所述定位信息确定所述正射地图切片在所述正射地图的定位范围；
按照所述第一图像尺寸确定所述正射地图切片的第二图像尺寸，其中，所述第二图像尺寸大于所述第二图像尺寸；
按照所述第二图像尺寸以及所述定位范围从所述正射地图中裁剪出所述正射地图切片。
11.一种违建检测装置，其特征在于，所述违建检测装置包括存储器以及与所述存储器耦接的处理器；
其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现如权利要求1至10任一项所述的违建检测方法。
12.一种计算机存储介质，其特征在于，所述计算机存储介质用于存储程序数据，所述程序数据在被计算机执行时，用以实现如权利要求1至10任一项所述的违建检测方法。
CN202211377018.4A 2022-11-04 2022-11-04 违建检测方法、违建检测装置以及计算机存储介质 Active CN115424155B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211377018.4A CN115424155B (zh) 2022-11-04 2022-11-04 违建检测方法、违建检测装置以及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211377018.4A CN115424155B (zh) 2022-11-04 2022-11-04 违建检测方法、违建检测装置以及计算机存储介质

Publications (2)

Publication Number Publication Date
CN115424155A true CN115424155A (zh) 2022-12-02
CN115424155B CN115424155B (zh) 2023-03-17

Family

ID=84207696

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211377018.4A Active CN115424155B (zh) 2022-11-04 2022-11-04 违建检测方法、违建检测装置以及计算机存储介质

Country Status (1)

Country Link
CN (1) CN115424155B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115620150A (zh) * 2022-12-05 2023-01-17 海豚乐智科技(成都)有限责任公司 基于孪生Transformer的多模态图像地面建筑识别方法及装置
CN116341875A (zh) * 2023-04-25 2023-06-27 盐城市建设工程质量检测中心有限公司 应用于建筑施工现场的工程检测***及方法
CN117648596A (zh) * 2023-11-28 2024-03-05 河北建工集团有限责任公司 一种建筑施工的数字孪生与智能传感器融合方法与***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016099316A (ja) * 2014-11-26 2016-05-30 アジア航測株式会社 地物異動判別方法及び地物異動判別装置並びに地物異動判別プログラム
CN105956058A (zh) * 2016-04-27 2016-09-21 东南大学 一种采用无人机遥感影像的变化用地快速发现方法
CN109934166A (zh) * 2019-03-12 2019-06-25 中山大学 基于语义分割和孪生神经网络的无人机图像变化检测方法
CN113313006A (zh) * 2021-05-25 2021-08-27 哈工智慧(武汉)科技有限公司 基于无人机的城市违建监管方法、***和存储介质
WO2022213673A1 (zh) * 2021-04-06 2022-10-13 中国矿业大学 融合无人机dom和星载sar影像的地表三维形变提取方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016099316A (ja) * 2014-11-26 2016-05-30 アジア航測株式会社 地物異動判別方法及び地物異動判別装置並びに地物異動判別プログラム
CN105956058A (zh) * 2016-04-27 2016-09-21 东南大学 一种采用无人机遥感影像的变化用地快速发现方法
CN109934166A (zh) * 2019-03-12 2019-06-25 中山大学 基于语义分割和孪生神经网络的无人机图像变化检测方法
WO2022213673A1 (zh) * 2021-04-06 2022-10-13 中国矿业大学 融合无人机dom和星载sar影像的地表三维形变提取方法
CN113313006A (zh) * 2021-05-25 2021-08-27 哈工智慧(武汉)科技有限公司 基于无人机的城市违建监管方法、***和存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ZHOU HONGBIN等: "MASNET: IMPROVE PERFORMANCE OF SIAMESE NETWORKS WITH MUTUAL-ATTENTION FOR REMOTE SENSING CHANGE DETECTION TASKS", 《ARXIV》 *
刘仁钊等: "《高等职业教育测绘地理信息类十三五规划教材 无人机倾斜摄影测绘技术》", 28 February 2021 *
徐克虎等: "《智能计算方法及其应用》", 31 July 2019 *
杨永崇: "《现代土地调查技术》", 30 September 2015 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115620150A (zh) * 2022-12-05 2023-01-17 海豚乐智科技(成都)有限责任公司 基于孪生Transformer的多模态图像地面建筑识别方法及装置
CN115620150B (zh) * 2022-12-05 2023-08-04 海豚乐智科技(成都)有限责任公司 基于孪生Transformer的多模态图像地面建筑识别方法及装置
CN116341875A (zh) * 2023-04-25 2023-06-27 盐城市建设工程质量检测中心有限公司 应用于建筑施工现场的工程检测***及方法
CN116341875B (zh) * 2023-04-25 2023-11-21 盐城市建设工程质量检测中心有限公司 应用于建筑施工现场的工程检测***及方法
CN117648596A (zh) * 2023-11-28 2024-03-05 河北建工集团有限责任公司 一种建筑施工的数字孪生与智能传感器融合方法与***
CN117648596B (zh) * 2023-11-28 2024-04-30 河北建工集团有限责任公司 一种建筑施工的数字孪生与智能传感器融合方法与***

Also Published As

Publication number Publication date
CN115424155B (zh) 2023-03-17

Similar Documents

Publication Publication Date Title
CN115424155B (zh) 违建检测方法、违建检测装置以及计算机存储介质
CN107735794B (zh) 使用图像处理的状况检测
US11455805B2 (en) Method and apparatus for detecting parking space usage condition, electronic device, and storage medium
CN107835997B (zh) 使用计算机视觉的用于电力线走廊监测的植被管理
US20130336581A1 (en) Multi-cue object detection and analysis
US8744177B2 (en) Image processing method and medium to extract a building region from an image
CN112883948B (zh) 一种语义分割与边缘检测模型建立及护栏异常监测方法
CN111178283B (zh) 一种基于无人机图像的既定航线地物识别与定位方法
EP3543910A1 (en) Cloud detection in aerial imagery
CN112633661A (zh) 一种基于bim的应急调度指挥方法、***、计算机设备及可读介质
CN112084892B (zh) 一种道路异常事件检测管理装置及其方法
Sheng et al. Surveilling surveillance: Estimating the prevalence of surveillance cameras with street view data
US20210375033A1 (en) Techniques for creating, organizing, integrating, and using georeferenced data structures for civil infrastructure asset management
CN113158954B (zh) 交通非现场的基于ai技术的斑马线区域自动检测方法
CN115731477A (zh) 图像识别方法、违建检测方法、终端设备以及存储介质
CN115439672B (zh) 图像匹配方法、违建检测方法、终端设备以及存储介质
CN115249345A (zh) 一种基于倾斜摄影三维实景地图的交通拥堵检测方法
CN114140707A (zh) 一种电网故障巡检方法
CN115797668A (zh) 图像匹配方法、违建检测方法、终端设备以及存储介质
CN117392634B (zh) 车道线的获取方法、装置、存储介质及电子装置
Karanjit et al. FloodIMG: flood image DataBase system
Ahmed et al. Unmanned aerial multi-object dynamic frame detection and skipping using deep learning on the internet of drones
Böge et al. Localization and grading of building roof damages in high-resolution aerial images
CN115170860A (zh) 图像分类识别方法、识别装置以及存储介质
Anuvab et al. PlateSegFL: A Privacy-Preserving License Plate Detection Using Federated Segmentation Learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant