CN115439672A - 图像匹配方法、违建检测方法、终端设备以及存储介质 - Google Patents
图像匹配方法、违建检测方法、终端设备以及存储介质 Download PDFInfo
- Publication number
- CN115439672A CN115439672A CN202211377096.4A CN202211377096A CN115439672A CN 115439672 A CN115439672 A CN 115439672A CN 202211377096 A CN202211377096 A CN 202211377096A CN 115439672 A CN115439672 A CN 115439672A
- Authority
- CN
- China
- Prior art keywords
- aerial vehicle
- unmanned aerial
- image
- slice
- vehicle image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000001514 detection method Methods 0.000 title claims abstract description 30
- 238000010276 construction Methods 0.000 claims abstract description 20
- 239000011159 matrix material Substances 0.000 claims description 22
- 238000010586 diagram Methods 0.000 description 12
- 238000007689 inspection Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 3
- 108010001267 Protein Subunits Proteins 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000009430 construction management Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000005067 remediation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Remote Sensing (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种图像匹配方法、违建检测方法、终端设备以及计算机存储介质，该图像匹配方法包括：对数字表面模型切片中所有模型点按照高度信息进行聚类，得到若干模型点分组；利用若干模型点分组形成若干掩膜，并利用若干掩膜对正射地图切片进行处理；获取掩膜处理后的正射地图切片与无人机图像的投影关系；按照投影关系将掩膜处理后的正射地图切片重投影到无人机图像的坐标系中，利用投影后的正射地图切片与无人机图像叠加，形成重投影后的匹配图像。本申请的图像匹配方法能够通过将数字表面模型切片聚类形成的掩膜作用在正射地图切片上，保证每个掩膜下的正射地图切片图块近似处于同一平面，实现正射地图切片到无人机图像的重投影。
Description
技术领域
本申请涉及图像处理技术领域，特别是涉及一种图像匹配方法、违建检测方法、终端设备以及计算机存储介质。
背景技术
图像比对，也叫图像变化检测，要求两张图像是经过配准的。通常配准两张图像的流程是：首先分别从两张图像上提取特征点，接着将两组特征点进行匹配，然后根据匹配的特征点技术两张图像间的单应矩阵，最后根据单应矩阵将一张图像重投影到另一张图像的坐标系中。想要用一个单应矩阵来描述两张图像之间的关系，必须满足一定的先决条件，两张图像必须是同一个平面的成像，或者两张图像的相机位姿差异只包含旋转。然而在正射底图与无人机影像的匹配中，这两个条件都不满足：图像中的屋顶、地面往往都不在同一个平面上，两张图像的相机位姿存在平移。
发明内容
本申请提供一种图像匹配方法、违建检测方法、终端设备以及计算机存储介质。
本申请采用的一个技术方案是提供一种图像匹配方法，所述图像匹配方法包括：
获取无人机图像，以及基于所述无人机图像获取对应正射地图切片，以及数字表面模型切片；
对所述数字表面模型切片中所有模型点按照高度信息进行聚类，得到若干模型点分组；
利用若干所述模型点分组形成若干掩膜，并利用若干所述掩膜对所述正射地图切片进行处理；
获取掩膜处理后的所述正射地图切片与所述无人机图像的投影关系；
按照所述投影关系将掩膜处理后的所述正射地图切片重投影到所述无人机图像的坐标系中，利用投影后的所述正射地图切片与所述无人机图像叠加，形成所述重投影后的匹配图像。
其中，所述数字表面模型切片中的模型点与所述正射地图切片中的像素点一一对应。
其中，所述投影关系包括单应矩阵；
所述获取掩膜处理后的所述正射地图切片与所述无人机图像的投影关系，包括：
提取所述无人机图像的若干第一特征点，以及提取掩膜处理后的所述正射地图切片的若干第二特征点；
对若干所述第一特征点和若干所述第二特征点进行特征点匹配，根据匹配结果计算掩膜处理后的所述正射地图切片与所述无人机图像的单应矩阵。
其中，所述获取掩膜处理后的所述正射地图切片与所述无人机图像的投影关系，包括：
获取掩膜处理后的所述正射地图切片中每一掩膜对应的正射地图切片区域；
提取所述每一掩膜对应的正射地图切片区域的若干第二特征点，以及所述无人机图像的若干第一特征点；
分别利用所述每一掩膜对应的正射地图切片区域的若干第二特征点与若干所述第一特征点，计算每一掩膜对应的正射地图切片区域与所述无人机图像的单应矩阵。
其中，所述按照所述投影关系将掩膜处理后的所述正射地图切片重投影到所述无人机图像的坐标系中，利用投影后的所述正射地图切片与所述无人机图像叠加，形成所述重投影后的匹配图像，包括：
按照每一掩膜对应的正射地图切片区域与所述无人机图像的单应矩阵将每一掩膜对应的正射地图切片区域重投影到所述无人机图像的坐标系中；
将多组重投影结果进行叠加，形成所述重投影后的匹配图像。
其中，所述基于所述无人机图像获取对应正射地图切片，以及数字表面模型切片，包括：
读取所述无人机图像的定位信息；
按照所述定位信息从正射地图中裁切出与所述无人机图像范围相同的正射地图切片，以及按照所述定位信息从数字表面模型中裁切出与所述无人机图像范围相同的数字表面模型切片。
本申请采用的另一个技术方案是提供一种违建检测方法，所述违建检测方法包括：
获取实时的无人机图像，以及基于所述无人机图像获取对应正射地图切片，以及数字表面模型切片；
获取所述无人机图像与所述正射地图切片、所述数字表面模型切片的匹配图像，其中，匹配图像的获取方式如上述的图像匹配方法；
基于所述匹配图像获取所述无人机图像中建筑物的差异信息；
根据所述差异信息判断是否出现违建建筑。
其中，所述获取所述无人机图像与所述正射地图切片、所述数字表面模型切片的匹配图像之后，所述违建检测方法还包括：
利用所述无人机图像中的建筑物侧立面位置像素填充到所述匹配图像中的对应位置。
本申请采用的另一个技术方案是提供一种终端设备，所述终端设备包括存储器以及与所述存储器耦接的处理器；
其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现如上述的图像匹配方法和/或违建检测方法。
本申请采用的另一个技术方案是提供一种计算机存储介质，所述计算机存储介质用于存储程序数据，所述程序数据在被计算机执行时，用以实现如上述的图像匹配方法和/或违建检测方法。
本申请的有益效果是：终端设备获取无人机图像，以及基于无人机图像获取对应正射地图切片，以及数字表面模型切片；对数字表面模型切片中所有模型点按照高度信息进行聚类，得到若干模型点分组；利用若干模型点分组形成若干掩膜，并利用若干掩膜对正射地图切片进行处理；获取掩膜处理后的正射地图切片与无人机图像的投影关系；按照投影关系将掩膜处理后的正射地图切片重投影到无人机图像的坐标系中，利用投影后的正射地图切片与无人机图像叠加，形成重投影后的匹配图像。本申请的图像匹配方法能够通过将数字表面模型切片聚类形成的掩膜作用在正射地图切片上，保证每个掩膜下的正射地图切片图块近似处于同一平面，实现正射地图切片到无人机图像的重投影。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请提供的图像匹配方法一实施例的流程示意图；
图2是本申请提供的图像匹配方法总流程的示意图；
图3是本申请提供的无人机图像一实施例的示意图；
图4是本申请提供的正射地图切片一实施例的示意图；
图5是图1所示图像匹配方法步骤S14的具体子步骤的流程示意图；
图6是本申请提供的正射地图重投影结果一实施例的示意图；
图7是本申请提供的违建检测方法一实施例的流程示意图；
图8是本申请提供的终端设备一实施例的结构示意图；
图9是本申请提供的计算机存储介质一实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
违建监管一直以来是城市治理的重要工作之一，传统的以人工方式进行违章建筑的巡查耗时费力，对于违章建筑的监管也不够及时有效，同时，由于巡视角度的限制，无法及时发现建筑物顶部的违法乱搭及加建行为，导致后续需要投入大量的时间及精力开展违章建筑物的拆除和重建工作。如何长期、及时且低成本的进行违建管控和整治，将违建的事后治理转变为事中甚至是事前预防，有效防止违章扩建加建行为，提升监管部门效能，是目前亟待解决的问题。
基于无人机的违建巡检平台有望帮助市政管理部门解决这一难题。违建巡检平台的建设分为底图构建和例行巡检两个阶段。在底图构建阶段，使用无人机按照高重叠率的作业方式，在目标区域拍摄大量影像，利用摄影测量技术，将这些影像拼接成为正射地图和高精度数字表面模型（DSM，Digital Slope Model），正射地图和DSM作为目标区域的底图进行管理。在例行巡检阶段，使用无人机按照低重叠率的作业方式，拍摄目标区域影像，并采用图像比对技术，对无人机影像和正射地图进行比对，以检测违章建筑。
然而，由于图像中的屋顶、地面往往都不在同一个平面上，两张图像的相机位姿存在平移，导致在正射底图与无人机影像的匹配中，影响配准的效果。对此，本申请提出一种图像匹配方法，可以实现正射地图与非正射无人机影像之间的配准。本申请的图像匹配方法根据DSM中的高度信息将正射地图分割为多个图块，每个图块都是单个平面成像，因此可以使用多个单应矩阵分别将这些图块与非正射无人机配准。DSM是拼接正射地图的过程中同时生成的产物。
请参阅图1和图2，图1是本申请提供的图像匹配方法一实施例的流程示意图，图2是本申请提供的图像匹配方法总流程的示意图。
其中，本申请的图像匹配方法应用于一种图像匹配装置，其中，本申请的图像匹配装置可以为服务器，也可以为由服务器和终端设备相互配合的***。相应地，图像匹配装置包括的各个部分，例如各个单元、子单元、模块、子模块可以全部设置于服务器中，也可以分别设置于服务器和终端设备中。
进一步地，上述服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块，例如用来提供分布式服务器的软件或软件模块，也可以实现成单个软件或软件模块，在此不做具体限定。在一些可能的实现方式中，本申请实施例的图像匹配方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
具体而言，如图1所示，本申请实施例的图像匹配方法具体包括以下步骤：
步骤S11：获取无人机图像，以及基于无人机图像获取对应正射地图切片，以及数字表面模型切片。
在本申请实施例中，图像匹配装置获取无人机图像，主要数据来源在于无人机在目标区域上方实时拍摄。图像匹配装置进一步根据无人机图像获取对应的正射地图切片，以及对应的数字表面模型切片。其中，数字表面模型切片中的模型点与正射地图切片中的像素点一一对应。
具体地，数字表面模型（Digital Slope Model，缩写DSM）是指包含了地表建筑物、桥梁和树木等高度的地面高程模型。和DEM（数字高程模型，Digital Elevation Model）相比，DEM只包含了地形的高程信息，并未包含其它地表信息，DSM是在DEM的基础上，进一步涵盖了除地面以外的其它地表信息的高程。在一些对建筑物高度有需求的领域，得到了很大程度的重视。
通过数字表面模型提供的高程信息弥补正射地图缺少的高度信息，能够借助数字表面模型的高度信息补充，提高正射地图切片与无人机图像的配准效果和重投影效果。
如图2所示，图像匹配装置预存有大区域的正射地图和DSM，或者从云端服务器中获取大区域的正射地图和DSM。然后，图像匹配装置通过读取无人机图像exif（可交换图像文件格式，Exchangeable image file format）中的GPS信息，如目标区域的经纬度等，根据GPS信息从正射地图中裁切出与无人机影像范围相当的地图切片，从DSM中裁切出与地图切片相对应的DSM切片。
具体地，图3是本申请提供的无人机图像一实施例的示意图，图4是本申请提供的正射地图切片一实施例的示意图。对比图3和图4可知，正射地图切片的内容与无人机图像的内容基本一致，两个的GPS信息完全相同。
在其他实施方式中，图像匹配装置可以在无人机图像的GPS信息确定的地图区域基础上外扩预设区域，从而在考虑相机畸变以及计算误差等的情况下，保证正射地图切片以及DSM切片能够提供无人机图像匹配的所有像素信息。
步骤S12：对数字表面模型切片中所有模型点按照高度信息进行聚类，得到若干模型点分组。
在本申请实施例中，图像匹配装置使用预设聚类算法将DSM切片中的所有模型点按照其高度信息进行聚类，从而将DSM切片中的高度聚类为若干模型点分组。每个模型点分组中的模型点具有相同或相似高度，即高度距离在预设距离范围内，由此，每个模型点分组可以近似等效为一个平面。
步骤S13：利用若干模型点分组形成若干掩膜，并利用若干掩膜对正射地图切片进行处理。
在本申请实施例中，如图2所示，图像匹配装置将步骤S12形成的若干模型点分组按照分组内的模型点平均高度从低到高，依次将每个模型点分组中的模型点转换为一个掩膜，即每一模型点分组形成一个掩膜。
进一步地，图像匹配装置将依次将掩膜作用于原始的正射地图切片，掩膜后得到的正射地图切片区域近似于同一个平面。具体地，由于DSM切片与正射地图切片中的像素点一一对应，每个模型点分组在DSM切片中可以近似于同一个平面，通过像素点的对应关系，可以将掩膜下的正射地图切片区域近似于同一个平面。
步骤S14：获取掩膜处理后的正射地图切片与无人机图像的投影关系。
在本申请实施例中，图像匹配装置分别提取掩膜后的正射地图切片和原始无人机图像的特征点，并进行特征点匹配，根据匹配的特征点解算投影关系，其中，投影关系可以为掩膜处理后的正射地图切片与无人机图像的单应矩阵。
具体地，图像匹配装置提取无人机图像的若干第一特征点，以及提取掩膜处理后的正射地图切片的若干第二特征点；对若干第一特征点和若干所述第二特征点进行特征点匹配，根据匹配结果计算掩膜处理后的正射地图切片与所述无人机图像的单应矩阵。
进一步地，由于每一掩膜后得到的正射地图切片区域可以近似于同一个平面，图像匹配装置还可以计算每一掩膜的正射地图切片区域与无人机图像的单应矩阵，从而使用多个单应矩阵，分块执行正射地图切片到非正射无人机图像的重投影。
具体请参阅图5，图5是图1所示图像匹配方法步骤S14的具体子步骤的流程示意图。
具体而言，如图5所示，本申请实施例的图像匹配方法具体包括以下步骤：
步骤S141：获取掩膜处理后的正射地图切片中每一掩膜对应的正射地图切片区域。
在本申请实施例中，正射地图切片中每一掩膜对应的正射地图切片区域均可以近似于同一平面，而正射地图切片区域因此作为重投影的最小单元。
步骤S142：提取每一掩膜对应的正射地图切片区域的若干第二特征点，以及无人机图像的若干第一特征点。
步骤S143：分别利用每一掩膜对应的正射地图切片区域的若干第二特征点与若干第一特征点，计算每一掩膜对应的正射地图切片区域与无人机图像的单应矩阵。
在本申请实施例中，图像匹配装置根据每一正射地图切片区域与无人机图像的特征点匹配结果，即利用成功匹配的若干特征点计算正射地图切片区域与无人机图像的映射关系，即单应矩阵。
其中，单应矩阵(homography matrix)等同于透视变换中使用的矩阵。透视变换描述了两个平面之间的映射关系。理解之所以称为单应矩阵，是因为两个平面之间的关系是确定的，只能通过唯一的矩阵来表示这个变换，故称之为单应矩阵。
步骤S15：按照投影关系将掩膜处理后的正射地图切片重投影到无人机图像的坐标系中，利用投影后的正射地图切片与无人机图像叠加，形成重投影后的匹配图像。
在本申请实施例中，图像匹配装置按照步骤S14计算得到的单应矩阵，将掩膜处理后的正射地图切片或者原始正射地图切片重投影到无人机图像的坐标系中。由于步骤S14中分别计算了多个正射地图切片区域分别与无人机图像的单应矩阵，图像匹配装置可以利用多个单应矩阵将掩膜处理后的正射地图切片分块重投影到无人机图像的坐标系中。图像匹配装置在所有正射地图切片区域均掩膜处理完成，多次重投影相叠加即得到将原始正射地图切片匹配到无人机图像上的结果，即得到重投影后的匹配图像。具体请参阅图6，图6是本申请提供的正射地图重投影结果一实施例的示意图。
进一步的，如图3所示的图像为无人机巡检获得的非正射图像，由于无人机的飞行高度较低，透视关系较明显，可以看到建筑物的侧立面；建筑物屋顶的高度各不相同，不处于同一个平面，无法使用单个单应矩阵实现与正射地图的匹配。如图6为正射地图切片按照本申请所述的图像匹配方法匹配到图3所示的无人机图像上的结果。
另外，由于正射地图不包含建筑物侧立面的信息，因此投影过后侧立面对应区域存在像素缺失。重投影后，地图上建筑物的屋顶与无人机图像的屋顶对齐，满足后续基于图像比对的违建检测的要求。对于投影后侧立面位置像素缺失的问题，可以使用无人机图像对应位置的像素进行填充，基于深度学习的图像比对算法能有效滤除这些区域的噪声。
在本申请实施例中，图像匹配装置获取无人机图像，以及基于无人机图像获取对应正射地图切片，以及数字表面模型切片；对数字表面模型切片中所有模型点按照高度信息进行聚类，得到若干模型点分组；利用若干模型点分组形成若干掩膜，并利用若干掩膜对正射地图切片进行处理；获取掩膜处理后的正射地图切片与无人机图像的投影关系；按照投影关系将掩膜处理后的正射地图切片重投影到无人机图像的坐标系中，利用投影后的正射地图切片与无人机图像叠加，形成重投影后的匹配图像。本申请的图像匹配方法能够通过将数字表面模型切片聚类形成的掩膜作用在正射地图切片上，保证每个掩膜下的正射地图切片图块近似处于同一平面，实现正射地图切片到无人机图像的重投影。
基于上述实施例的图像匹配方法，本申请进一步提出了一种违建检测方法，具体请参阅图7，图7是本申请提供的违建检测方法一实施例的流程示意图。
其中，本申请的违建检测方法应用于一种违建检测装置，其中，本申请的违建检测装置可以为服务器，也可以为由服务器和终端设备相互配合的***。相应地，违建检测装置包括的各个部分，例如各个单元、子单元、模块、子模块可以全部设置于服务器中，也可以分别设置于服务器和终端设备中。
进一步地，上述服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块，例如用来提供分布式服务器的软件或软件模块，也可以实现成单个软件或软件模块，在此不做具体限定。在一些可能的实现方式中，本申请实施例的违建检测方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
具体而言，如图7所示，本申请实施例的违建检测方法具体包括以下步骤：
步骤S21：获取实时的无人机图像，以及基于无人机图像获取对应正射地图切片，以及数字表面模型切片。
在本申请实施例中，步骤S21的内容在上述实施例中的步骤S11中已有详细阐述，在此不再赘述。
步骤S22：获取无人机图像与正射地图切片、数字表面模型切片的匹配图像。
步骤S23：基于匹配图像获取无人机图像中建筑物的差异信息。
在本申请实施例中，违建检测装置可以利用如图6所示的正射地图重投影结果分析出无人机图像中建筑物的变化差异信息。
步骤S24：根据差异信息判断是否出现违建建筑。
在本申请实施例中，违建检测装置依靠多次图像重投影结果的建筑物差异以及深度信息，可以估算出差异异常位置，再结合人员普查，即可大幅度提高违建查处效率，减低人工成本。
本申请的图像匹配方法和违建检测方法可以直接对非正射无人机图像和正射地图进行配准后比对，不需要每次巡检都拼接正射大图，对巡检的图像重叠率没有要求，因此作业效率更高，能够满足大场景的巡检要求；另外，本申请的图像匹配方法和违建检测方法也不需要无人机拍摄正射图像，普通的低空飞行的无人机也可以用于作业，降低违建检测的技术门槛，提高违建检测的普用性。
以上实施例，仅是对本申请的其中一种常见案例而已，并非对本申请的技术范围做任何限制，故凡是依据本申请方案的实质对以上内容所做的任何细微修改、等同变化或者修饰，均仍属于本申请技术方案的范围内。
请继续参见图8，图8是本申请提供的终端设备一实施例的结构示意图。本申请实施例的终端设备500包括处理器51、存储器52、输入输出设备53以及总线54。
该处理器51、存储器52、输入输出设备53分别与总线54相连，该存储器52中存储有程序数据，处理器51用于执行程序数据以实现上述实施例所述的图像匹配方法和/或违建检测方法。
在本申请实施例中，处理器51还可以称为CPU（Central Processing Unit，中央处理单元）。处理器51可能是一种集成电路芯片，具有信号的处理能力。处理器51还可以是通用处理器、数字信号处理器（DSP，Digital Signal Process）、专用集成电路（ASIC，Application Specific Integrated Circuit）、现场可编程门阵列（FPGA，FieldProgrammable Gate Array）或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器51也可以是任何常规的处理器等。
本申请还提供一种计算机存储介质，请继续参阅图9，图9是本申请提供的计算机存储介质一实施例的结构示意图，该计算机存储介质600中存储有程序数据61，该程序数据61在被处理器执行时，用以实现上述实施例的图像匹配方法和/或违建检测方法。
本申请的实施例以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）或处理器（processor）执行本申请各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，方式利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。
Claims (10)
1.一种图像匹配方法，其特征在于，所述图像匹配方法包括：
获取无人机图像，以及基于所述无人机图像获取对应正射地图切片，以及数字表面模型切片；
对所述数字表面模型切片中所有模型点按照高度信息进行聚类，得到若干模型点分组；
利用若干所述模型点分组形成若干掩膜，并利用若干所述掩膜对所述正射地图切片进行处理；
获取掩膜处理后的所述正射地图切片与所述无人机图像的投影关系；
按照所述投影关系将掩膜处理后的所述正射地图切片重投影到所述无人机图像的坐标系中，利用投影后的所述正射地图切片与所述无人机图像叠加，形成所述重投影后的匹配图像。
2.根据权利要求1所述的图像匹配方法，其特征在于，
所述数字表面模型切片中的模型点与所述正射地图切片中的像素点一一对应。
3.根据权利要求1所述的图像匹配方法，其特征在于，
所述投影关系包括单应矩阵；
所述获取掩膜处理后的所述正射地图切片与所述无人机图像的投影关系，包括：
提取所述无人机图像的若干第一特征点，以及提取掩膜处理后的所述正射地图切片的若干第二特征点；
对若干所述第一特征点和若干所述第二特征点进行特征点匹配，根据匹配结果计算掩膜处理后的所述正射地图切片与所述无人机图像的单应矩阵。
4.根据权利要求3所述的图像匹配方法，其特征在于，
所述获取掩膜处理后的所述正射地图切片与所述无人机图像的投影关系，包括：
获取掩膜处理后的所述正射地图切片中每一掩膜对应的正射地图切片区域；
提取所述每一掩膜对应的正射地图切片区域的若干第二特征点，以及所述无人机图像的若干第一特征点；
分别利用所述每一掩膜对应的正射地图切片区域的若干第二特征点与若干所述第一特征点，计算每一掩膜对应的正射地图切片区域与所述无人机图像的单应矩阵。
5.根据权利要求4所述的图像匹配方法，其特征在于，
所述按照所述投影关系将掩膜处理后的所述正射地图切片重投影到所述无人机图像的坐标系中，利用投影后的所述正射地图切片与所述无人机图像叠加，形成所述重投影后的匹配图像，包括：
按照每一掩膜对应的正射地图切片区域与所述无人机图像的单应矩阵将每一掩膜对应的正射地图切片区域重投影到所述无人机图像的坐标系中；
将多组重投影结果进行叠加，形成所述重投影后的匹配图像。
6.根据权利要求1所述的图像匹配方法，其特征在于，
所述基于所述无人机图像获取对应正射地图切片，以及数字表面模型切片，包括：
读取所述无人机图像的定位信息；
按照所述定位信息从正射地图中裁切出与所述无人机图像范围相同的正射地图切片，以及按照所述定位信息从数字表面模型中裁切出与所述无人机图像范围相同的数字表面模型切片。
7.一种违建检测方法，其特征在于，所述违建检测方法包括：
获取实时的无人机图像，以及基于所述无人机图像获取对应正射地图切片，以及数字表面模型切片；
获取所述无人机图像与所述正射地图切片、所述数字表面模型切片的匹配图像，其中，匹配图像的获取方式如权利要求1至6任一项所述的图像匹配方法；
基于所述匹配图像获取所述无人机图像中建筑物的差异信息；
根据所述差异信息判断是否出现违建建筑。
8.根据权利要求7所述的违建检测方法，其特征在于，
所述获取所述无人机图像与所述正射地图切片、所述数字表面模型切片的匹配图像之后，所述违建检测方法还包括：
利用所述无人机图像中的建筑物侧立面位置像素填充到所述匹配图像中的对应位置。
9.一种终端设备，其特征在于，所述终端设备包括存储器以及与所述存储器耦接的处理器；
其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现如权利要求1至6任一项所述的图像匹配方法，和/或权利要求7或8所述的违建检测方法。
10.一种计算机存储介质，其特征在于，所述计算机存储介质用于存储程序数据，所述程序数据在被计算机执行时，用以实现如权利要求1至6任一项所述的图像匹配方法，和/或权利要求7或8所述的违建检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211377096.4A CN115439672B (zh) | 2022-11-04 | 2022-11-04 | 图像匹配方法、违建检测方法、终端设备以及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211377096.4A CN115439672B (zh) | 2022-11-04 | 2022-11-04 | 图像匹配方法、违建检测方法、终端设备以及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115439672A true CN115439672A (zh) | 2022-12-06 |
| CN115439672B CN115439672B (zh) | 2023-02-24 |
Family
ID=84252489
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211377096.4A Active CN115439672B (zh) | 2022-11-04 | 2022-11-04 | 图像匹配方法、违建检测方法、终端设备以及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115439672B (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008075061A2 (en) * | 2006-12-20 | 2008-06-26 | Mitsubishi Electric Information Technology Centre Europe B.V. | Multiple image registration apparatus and method |
| CN105956058A (zh) * | 2016-04-27 | 2016-09-21 | 东南大学 | 一种采用无人机遥感影像的变化用地快速发现方法 |
| CN109632585A (zh) * | 2018-06-25 | 2019-04-16 | 长沙理工大学 | 一种基于uav测量河道床面漂石粒径及分布的方法 |
| CN110689563A (zh) * | 2019-09-27 | 2020-01-14 | 佛山科学技术学院 | 一种用于提取遥感图像中违法建筑信息的数据处理方法 |
| CN110866531A (zh) * | 2019-10-15 | 2020-03-06 | 深圳新视达视讯工程有限公司 | 一种基于三维建模的建筑物特征提取方法、***及存储介质 |
| CN111401345A (zh) * | 2020-06-04 | 2020-07-10 | 常州市新翼空间信息科技有限公司 | 一种基于航拍测量的dsm自动比对*** |
| CN111854699A (zh) * | 2020-07-03 | 2020-10-30 | 武汉大学 | 一种基于无人机航测河道崩岸过程的监测方法 |
| CN113313006A (zh) * | 2021-05-25 | 2021-08-27 | 哈工智慧(武汉)科技有限公司 | 基于无人机的城市违建监管方法、***和存储介质 |
| CN113362439A (zh) * | 2021-06-11 | 2021-09-07 | 广西东方道迩科技有限公司 | 基于真正射影像融合数字表面模型数据的方法 |
| WO2022088419A1 (zh) * | 2020-10-26 | 2022-05-05 | 成都极米科技股份有限公司 | 投影方法、装置、投影设备及计算机可读存储介质 |
| CN114565863A (zh) * | 2022-02-18 | 2022-05-31 | 广州市城市规划勘测设计研究院 | 无人机图像的正射影像实时生成方法、装置、介质及设备 |
| CN115115785A (zh) * | 2022-07-20 | 2022-09-27 | 东南大学 | 面向野外山林环境搜救的多机协同三维建模***及方法 |
-
2022
- 2022-11-04 CN CN202211377096.4A patent/CN115439672B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008075061A2 (en) * | 2006-12-20 | 2008-06-26 | Mitsubishi Electric Information Technology Centre Europe B.V. | Multiple image registration apparatus and method |
| CN105956058A (zh) * | 2016-04-27 | 2016-09-21 | 东南大学 | 一种采用无人机遥感影像的变化用地快速发现方法 |
| CN109632585A (zh) * | 2018-06-25 | 2019-04-16 | 长沙理工大学 | 一种基于uav测量河道床面漂石粒径及分布的方法 |
| CN110689563A (zh) * | 2019-09-27 | 2020-01-14 | 佛山科学技术学院 | 一种用于提取遥感图像中违法建筑信息的数据处理方法 |
| CN110866531A (zh) * | 2019-10-15 | 2020-03-06 | 深圳新视达视讯工程有限公司 | 一种基于三维建模的建筑物特征提取方法、***及存储介质 |
| CN111401345A (zh) * | 2020-06-04 | 2020-07-10 | 常州市新翼空间信息科技有限公司 | 一种基于航拍测量的dsm自动比对*** |
| CN111854699A (zh) * | 2020-07-03 | 2020-10-30 | 武汉大学 | 一种基于无人机航测河道崩岸过程的监测方法 |
| WO2022088419A1 (zh) * | 2020-10-26 | 2022-05-05 | 成都极米科技股份有限公司 | 投影方法、装置、投影设备及计算机可读存储介质 |
| CN113313006A (zh) * | 2021-05-25 | 2021-08-27 | 哈工智慧(武汉)科技有限公司 | 基于无人机的城市违建监管方法、***和存储介质 |
| CN113362439A (zh) * | 2021-06-11 | 2021-09-07 | 广西东方道迩科技有限公司 | 基于真正射影像融合数字表面模型数据的方法 |
| CN114565863A (zh) * | 2022-02-18 | 2022-05-31 | 广州市城市规划勘测设计研究院 | 无人机图像的正射影像实时生成方法、装置、介质及设备 |
| CN115115785A (zh) * | 2022-07-20 | 2022-09-27 | 东南大学 | 面向野外山林环境搜救的多机协同三维建模***及方法 |
Non-Patent Citations (5)
| Title |
|---|
| INMO JANG等: "Change Detection in Unmanned Aerial Vehicle Images for Industrial Infrastructure Rooftop Monitoring", 《 2022 19TH INTERNATIONAL CONFERENCE ON UBIQUITOUS ROBOTS 》 * |
| ZHOU HONGBIN等: "MASNET: IMPROVE PERFORMANCE OF SIAMESE NETWORKS WITH MUTUAL-ATTENTION FOR REMOTE SENSING CHANGE DETECTION TASKS", 《ARXIV》 * |
| 刘欢蝶等: "基于FAST和BRIEF的密度聚类图像匹配算法改进", 《测绘与空间地理信息》 * |
| 朱建华: "无人机在智能查违中的应用", 《太原学院学报(自然科学版)》 * |
| 杨永崇: "《现代土地调查技术》", 30 September 2015 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115439672B (zh) | 2023-02-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115424155B (zh) | 违建检测方法、违建检测装置以及计算机存储介质 | |
| CN110516665A (zh) | 识别图像叠加文字区域的神经网络模型构建方法与*** | |
| AU2005271385B2 (en) | Method of preparing a composite image with non-uniform resolution | |
| CN110869974A (zh) | 点云处理方法、设备及存储介质 | |
| US8705890B2 (en) | Image alignment | |
| CA3105078A1 (en) | Synthetic image generation from 3d-point cloud | |
| CN111368615A (zh) | 一种违章建筑预警方法、装置及电子设备 | |
| US11972507B2 (en) | Orthophoto map generation method based on panoramic map | |
| CN109325913A (zh) | 无人机图像拼接方法及装置 | |
| CN115578468A (zh) | 外参标定方法、装置、计算机设备、存储介质 | |
| CN116883251A (zh) | 基于无人机视频的图像定向拼接与三维建模方法 | |
| CN113344002B (zh) | 一种目标坐标去重方法、***、电子设备及可读存储介质 | |
| JP6146731B2 (ja) | 座標補正装置、座標補正プログラム、及び座標補正方法 | |
| CN110910432A (zh) | 一种遥感图像匹配方法、装置、电子设备及可读存储介质 | |
| CN115439672B (zh) | 图像匹配方法、违建检测方法、终端设备以及存储介质 | |
| US20210165093A1 (en) | Vehicles, Systems, and Methods for Determining an Entry of an Occupancy Map of a Vicinity of a Vehicle | |
| CN113450390A (zh) | 一种基于路侧摄像头的目标跟踪方法、装置及电子设备 | |
| CN103632360B (zh) | 无人机航摄影像的拼接方法 | |
| CN115797668A (zh) | 图像匹配方法、违建检测方法、终端设备以及存储介质 | |
| CN111508067B (zh) | 一种基于垂直平面和垂直线的轻量级室内建模方法 | |
| CN110827243A (zh) | 网格梁覆盖区域异常检测方法和装置 | |
| CN117889789B (zh) | 一种建筑墙面平整度检测方法和*** | |
| KR102512222B1 (ko) | 무인항공기 기반 야적퇴비 적재량의 산출 검증 방법 및 시스템 | |
| JP7388595B2 (ja) | 画像拡張装置、制御方法、及びプログラム | |
| CN117392634B (zh) | 车道线的获取方法、装置、存储介质及电子装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |