CN115272848A - 多云多雾耕地保护区内建筑物智能变化检测方法 - Google Patents

多云多雾耕地保护区内建筑物智能变化检测方法 Download PDF

Info

Publication number
CN115272848A
CN115272848A CN202210844031.XA CN202210844031A CN115272848A CN 115272848 A CN115272848 A CN 115272848A CN 202210844031 A CN202210844031 A CN 202210844031A CN 115272848 A CN115272848 A CN 115272848A
Authority
CN
China
Prior art keywords
building
model
data
image
knowledge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210844031.XA
Other languages
English (en)
Other versions
CN115272848B (zh
Inventor
李闯农
朱军
朱庆
郭煜坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest Jiaotong University
Original Assignee
Southwest Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest Jiaotong University filed Critical Southwest Jiaotong University
Priority to CN202210844031.XA priority Critical patent/CN115272848B/zh
Publication of CN115272848A publication Critical patent/CN115272848A/zh
Application granted granted Critical
Publication of CN115272848B publication Critical patent/CN115272848B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种多云多雾耕地保护区内建筑物智能变化检测方法，属于知识图谱和识别技术领域，解决现有技术针对有云雾遮挡的光学遥感影像无法有效对耕地内建筑物进行识别检测，从而造成对耕地内建筑物的识别效果差的问题。本发明基于多源时空数据构建用于耕地内建筑物变化检测的知识图谱模型；基于知识图谱模型和双向链的推理模型构建耕地内建筑物变化检测的知识推理模型；基于知识图谱模型向知识推理模型输入的数据，执行知识推理模型中的规则进行耕地保护区内建筑物智能变化检测。本发明用于建筑物智能变化检测。

Description

多云多雾耕地保护区内建筑物智能变化检测方法
技术领域
一种多云多雾耕地保护区内建筑物智能变化检测方法，用于建筑物智能变化检测，属于知识图谱和识别技术领域。
背景技术
耕地粮食生产的重要基础，是社会发展的根本命脉，国家对耕地实行特殊保护，严守耕地保护红线，保持耕地总量不减少，更是加大力度整改乱占耕地建房的行为。因此，在耕地保护区对建筑物进行变化检测，防范耕地被胡乱占用，是一项重要举措。高分辨遥感影像的应用为目标监管带来极大的便利，更广泛的监测范围与更短的信息收集频率都为耕地建筑监管提供了良好的数据基础，加之人工智能的急速发展更是为目标的智能识别与变化检测赋予了技术支撑。然而我国南方存在大量多云多雨多雾的地区，这种天气的影响限制了遥感对地观测效果，另一方面由于这些地区的气候与地理条件，其城镇化的进程发展迅猛，更成为了耕地建筑监管的重点区域。因此，如何面向多云多雨多雾耕地保护区实现建筑物识别与变化检测是一个重要问题。
虽然，在建筑物较为集中的城镇中，有利用语义分割提取影像中的建筑物；而在耕地保区中，建筑物分布较为零散，且有许多较小的单体建筑，直接使用深度学习语义分割的方法容易在影像中漏检或误检单体建筑。另外，在建筑物提取会对背景内容进行处理，以减少影响，而在耕地内，由于耕地内建筑物占比相较于整幅影像较小，对整张影像进行预处理浪费计算资源且效率较低。
现有技术存在如下技术问题：
1.现有技术在针对有云雾遮挡的光学遥感影像无法有效对耕地内建筑物进行识别检测，从而造成对耕地内建筑物的识别效果差的问题；
2.现有技术需对整个光学遥感影像的背景进行处理后才进行建筑物的识别，会造成计算资源浪费，且会造成计算效率较低等问题；
3.现有技术在建筑物变化检测的过程中，由于数据的选取、影像的处理、目标的识别提取等步骤是分割的，需要依靠人工实现步骤之间的关联，从而需耗费大量的人力时间成本，即无法实现全流程的智能变化检测。
发明内容
本发明的目的在于提供一种多云多雾耕地保护区内建筑物智能变化检测方法，解决现有技术针对有云雾遮挡的光学遥感影像无法有效对耕地内建筑物进行识别检测，从而造成对耕地内建筑物的识别效果差的问题。
为了实现上述目的，本发明采用的技术方案为：
一种多云多雾耕地保护区内建筑物智能变化检测方法，包括如下步骤：
步骤1、基于多源时空数据构建用于耕地内建筑物变化检测的知识图谱模型；
步骤2、基于知识图谱模型和双向链的推理模型构建耕地内建筑物变化检测的知识推理模型；
步骤3、基于知识图谱模型向知识推理模型输入的数据，执行知识推理模型中的规则进行耕地保护区内建筑物智能变化检测。
进一步，所述步骤1的具体步骤为：
步骤1.1、基于多源时空数据获取耕地内建筑物检测所需的对象，梳理各对象的属性特征和各对象之间的关联关系，其中，多源时空数据包括历史气候数据、多通道影像数据、耕地区划数据、耕地建筑物样本数据、区县耕地政策数据、时间数据、行政区划空间范围数据和植被数据，对象包括分别由历史气候数据、多通道影像数据、耕地区划数据、耕地建筑物样本数据、区县耕地政策数据、时间数据、行政区划空间范围数据和植被数据抽象得到的时间、空间、气候、影像、耕地、建筑物和植被，影像包括光学遥感影像和SAR影像；
步骤1.2、所有对象和对象间的关联关系构成模式层，属性特征构成数据层，即得到构建好的知识图谱模型，即使得模式层包含所有对象与各对象之间的语义关系，数据层包含所有对象的具体数据内容。
进一步，所述步骤2的具体步骤为：
步骤2.1、基于知识图谱模型中的模式层和数据层，使用SPO三元组从多源时空数据中提取知识并进行存储，其中，SPO三元组存储的知识的三元组表现形式为主语、谓语和宾语，SPO三元组采用结构化数据的知识抽取方式、半结构化数据的知识抽取方式和非结构化的知识抽取方式从多源时空数据中提取知识；
步骤2.2、基于存储的知识和双向链的推理模型构建知识推理模型。
进一步，所述步骤2.2的具体步骤为：
步骤2.21、基于存储的知识构建规则库，其中，规则库包括影像优选规则、建筑物识别规则、建筑物提取规则和变化检测规则；
步骤2.22、基于规则库和双向链的推理模型构建耕地内建筑物变化检测的知识推理模型。
进一步，步骤2.21中的影像优选规则的具体步骤为：
若是检测历史光学遥感影像，针对所需检测的空间，依据历史气候数据的统计数据，选择所需月份中为晴天的光学遥感影像进行推荐；
若是检测当前月份的光学遥感影像，针对所需检测的空间，在月初时，依据历史气候数据的统计数据，选择历史中与当前月份相对应的月份，并将此月份中连续晴天天数从多到少进行排序，排序后获取连续晴天天数最多的时间段，再基于排序后获得的时间段选择当前月份中的时间段的光学遥感影像进行推荐；
得到推荐结果，基于知识图谱模型中的数据对推荐结果进行编号，即得到最终的推荐影像，编号格式为“空间名称-时间-影像类型”；
所述步骤2.21中的建筑物识别规则的具体步骤为：
步骤2.211、先利用场景分类器将推荐影像分为晴天场景或阴天场景，若为晴天场景，直接通过轻量化的SSD模型进行建筑物目标识别，得到建筑物的位置，即得到建筑物的范围框，再转到步骤2.213，若否，转到步骤2.212；
步骤2.212、优化处理含云雾的推荐影像，优化后通过轻量化的SSD模型进行建筑物目标识别，得到建筑物的位置，即得到建筑物的范围框，再转到步骤2.213；
优化处理含云雾的推荐影像的具体步骤为：
利用生成对抗神经网络建立SAR影像向光学遥感影像的映射模型，映射模型包括训练后得到的U-net生成网络和马尔科夫性的判别器，生成对抗神经网络的目标函数LGAN(G，D)为：
LGAN(G，D)＝En，m[logD(n，m)]+En，l[log(1-D(n，G(n，l)))] (5)
其中，n表示无雾的SAR影像，m表示无雾的光学遥感影像，G(n，l))表示生成的无雾的光学遥感影像，D(m，n)表示判定影像是否为真实样本，l表示随机噪声，En，m[logD(n，m)]表示真实数据的概率分布，En，l[log(1-D(n，G(n，l)))]表示生成数据的概率分布；
将有云雾的推荐影像输入训练后的映射模型生成光学遥感影像，即得到优化处理后的影像；
步骤2.213、基于知识图谱模型获取包含建筑物的范围框的光学遥感影像的拍摄时间以及投影坐标，利用kmeans算法以光学遥感影像的第一帧图像为基点将时间周期为一周的各帧图像进行聚类，将聚类后得到的光学遥感影像的范围框进行互补，得到互补后的范围框，互补公式为：
Figure BDA0003751557540000041
其中，Bnew{x，y，w，h}为互补后的范围框，x、y为互补后的范围框左上角的坐标，w与h为互补后的范围框的宽与长，Bi是第i个互补后的范围框，当存在范围框相交时则合并范围框，Bi{x}表示第i个互补后的范围框左上角x坐标，Bi{y}表示第i个互补后的范围框左上角y坐标，
Figure BDA0003751557540000042
表示存在，∩表示相交，max表示最大值，min表示最小值；
步骤2.214、保存互补后得到的范围框，以及包含有互补后的范围框的光学遥感影像的编号。
进一步，所述轻量化的SSD模型是在SSD模型的基础上，将SSD模型中的全连接网络替代为两个卷积层，替代后并利用卷积通道剪枝算法对模型进行轻量化；
利用卷积通道剪枝算法对替代后的SSD模型进行轻量化的具体步骤为：
首先设置替代后的SSD模型每一卷积层不同的剪枝率，确定出替代后的SSD模型最优的剪枝率区间；
接着利用替代后的SSD模型最优的剪枝率区间，设置每一卷积层在最优的剪枝率区间内的不同剪枝率，不同剪枝率依据每一卷积层在偏大或者偏小的剪枝率下的替代后的SSD模型识别正确率确定每一卷积层的剪枝率，其中，大于最优的剪枝率区间的中位数则偏大，小于最优的剪枝率区间的中位数则偏小；
然后计算替代后的SSD模型中的每个卷积核中通道的L1范数，并基于L1范数进行排序，数值越高表示通道越重要，数值低的通道进行剪枝；
最后先将剪枝率偏大的层，统一的剪枝后进行重新训练得到替代后的SSD模型在剪枝前的精度，接着一层一层对剪枝率偏小的层进行重新训练得到替代后的SSD模型在剪枝前的精度，完成对SSD模型的轻量化，即得到轻量化的SSD模型。
进一步，所述步骤2.21中建筑物提取规则的具体步骤为：
步骤2.21-1、首先基于步骤2.214得到的互补后的范围框，索引筛选出所有包含有建筑物的范围框的图像作为新光学遥感影像，并裁剪新光学遥感影像得到建筑物的范围框；
步骤2.21-2、依据裁剪得到的范围框搜索所有互补后的范围框，根据搜索得到的互补后的范围框获取用于目标识别的局部光学遥感影像；
步骤2.21-3、在步骤2.21-2得到的各局部光学遥感影像中提取出各帧图像所对应的范围框，再分别针对各范围框提取建筑物的边界，边界提取后再将提取的边界进行合并，即得到初步提取的建筑物的边界；
步骤2.21-4、基于初步提取的建筑物的边界，建立建筑物的目标库，并基于建筑物形态拟合方法规则化建筑物的边界，得到最终提取的边界，即得到建筑物对象的轮廓；
所述步骤2.21中变化检测规则的具体步骤为：
基于最终提取得到的边界与对应的规划图进行对比，即根据最初输入的空间确定地区，与该地区的规划图进行栅格计算，将建筑物的边界与规划图栅格化为统一分辨率，利用规划图减去提取的建筑物的边界，得到建筑物的变化图斑，若变化图斑中建筑物的范围框增加，则分为“正”类，若范围减小则分为“负类”，“正”类的变化图斑标记为异常，表示可能出现违规行为。
进一步，所述步骤2.21-3的具体步骤为：
步骤2.21-31、在各局部光学遥感影像中提取出各帧图像所对应的范围框，基于各局部光学遥感影像中存在的波段采用对应的植被指数，并基于植被指数判断提取出来的各范围框中的各像素是否为植被，若为植被，转到下一步，其中，植被指数包括三角植被指数、土壤调节植被指数、归一化差值植被指数、增强型植被指数和归一化差值植被指数；
步骤2.21-32、将提取出的各范围框中判断为植被的像素消除；
步骤2.21-33、基于多尺度分割方法对消除植被后的范围框进行增强，增强后，通过SVM分类方法提取建筑物的边界，边界提取后再将提取的边界进行合并，即得到初步提取的建筑物的边界；
所述步骤2.21-4的具体步骤为：
构建多种建筑物的形态基元，形态基元包括方形、矩形、梯形和圆形；
将所有形态基元组成建筑物的目标库；
根据初步提取的建筑物的边界，计算建筑物的拟合度，并根据拟合度将不规则的队形块替换为目标库中规则的建筑物形态，具体为：
首先计算所提取的边界的矩形拟合因子，即提取得到的建筑物的边界的面积在其外接矩阵上的占比K：
Figure BDA0003751557540000061
其次计算外接矩阵的长宽比W：
Figure BDA0003751557540000062
接着计算图形的面积与周长之比C：
Figure BDA0003751557540000063
其中，Areaobj是指提取的建筑物的第obj个边界的面积、Arearect是指第rect个合并后的对象块外接矩阵的面积、Lenrect是指第rect个合并后的对象块外接矩阵的长度、Widrect是指第rect个合并后的对象块外接矩阵的宽度和Cirobj是指第obj个边界的周长；
最后将上述提取得到的建筑物的边界的面积在其外接矩阵上的占比K、外接矩阵的长宽比W和图形的面积与周长之比C与目标库的对象的K、W和C进行对比，选择最接近图像进行替换，从而完成边界的规则化。
进一步，所述步骤2.21-33的具体步骤为：
基于多尺度分割方法将消除植被后的范围框中的各像素分割为对象块，通过计算相似度将相近的对象块合并，并计算得到特征变量，即得到增强后的范围框；
相似度的参数为建筑物的特征，包括形状特征、纹理特征以及颜色特征，通过赋予各特征不同权重并进行加权，得到特征变量，公式为：
F＝ω1fs+ω2ft+ω1fc (8)
其中，F表示特征变量，ω1和ω2表示为给定的权重，fs表示形状特征，ft表示纹理特征，fc表示颜色特征，形状特征用平滑度和紧致度表示，纹理特征用灰色共生矩阵中的熵值表示，颜色特征用HSV表示；
形状特征、纹理特征和颜色特征的表达方为：
Figure BDA0003751557540000071
Figure BDA0003751557540000072
fc＝ρ1H+ρ2S+ρ3V (11)
其中，α1表示权重值，C表示合并后的对象块的边界长度，L表示合并后的对象块外包矩形的周长，N表示合并后的对象块范围内所包含的像素个数，Grey(x，y)表示在像素坐标为(x，y)处的灰度值，ρ1、ρ2、ρ3表示HSV中的权重，H、S、V分别表示色调、饱和度和明度，R(x，y)、G(x，y)、B(x，y)分别表示坐标(x，y)在红色通道、绿色通道和蓝色通道的值，i、i表示合并后的对象块的像素行和列；
得到特征变量后，将特征变量输入训练好的SVM分类方法提取建筑物的边界，边界提取后再将提取的边界进行合并，得到初步提取的建筑物的边界。
进一步，所述步骤3基于输入知识推理模型数据，知识推理模型执行规则库中的影像优选规则、建筑物识别规则、建筑物提取规则或/和变化检测规则来进行建筑物的变化检测，具体步骤为：
基于知识图谱模型向知识推理模型输入空间，知识推理模型依次执行规则库中的影像优选规则、建筑物识别规则、建筑物提取规则和变化检测规则来进行耕地保护区内建筑物智能变化检测；
基于知识图谱模型向知识推理模型输入是推荐影像，知识推理模型依次执行规则库中的建筑物识别规则、建筑物提取规则和变化检测规则来进行耕地保护区内建筑物智能变化检测；
基于知识图谱模型向知识推理模型输入包含互补后建筑物的范围框的局部光学遥感影像的编号，知识推理模型依次执行规则库中的建筑物提取规则和变化检测规则进行耕地保护区内建筑物智能变化检测；
基于知识图谱模型向知识推理模型输入最终提取得到的边界，知识推理模型执行规则库中的变化检测来进行耕地保护区内建筑物智能变化检测。
与现有技术相比，本发明的优点在于：
一、本发明基于各帧图像中建筑物的范围框搜索所有时空合并(互补后)的范围框，根据互补后范围框获取用于目标识别的影像，一方面是缩小了目标处理的范围，能够更快的处理图像；另一方面，消除了许多其他目标的影响，在一定程度上能够提高边界提取的精度；
二、本发明集成了轻量化的SSD模型，构建了端对端的建筑物识别模型，以连接多个智能处理步骤，不仅更好的减轻了原有SSD模型的体积，还有效提升整体模型的效率；
三、本发明在影像有云雾时采用多通道影像互补(即优化处理含云雾的推荐影像)，进一步保全影像中各帧图像的信息完备性，利于优化后续的识别精度，且能有效对有云雾遮挡的影像中的建筑物进行识别检测；
四、本发明基于知识推理模型驱动全流程的知识图谱模式，使变化检测的各个模块紧密相连，增强了自动化，减少了人工；
五、本发明无需对整张影像的背景进行处理，即不会浪费计算资源且计算效率高。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应该看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明的框架示意图；
图2为本发明中知识图谱模型的示意图；
图3为本发明中双向链的知识推理模型的示意图；
图4为本发明中建筑物智能识别的示意图；
图5为本发明中建筑物的边界提取的流程示意图，其中，图中Image_n表示第n帧图像，Rn表示第n帧图像的范围框；
图6为本发明中局部光学遥感影像的索引示意图，其中，Z1、Z2、Z3对应的框图为裁剪后得到的互补后的范围框，M1代表第1帧图像，M2代表第2帧图像，M3代表第3帧图像；
图7为本发明中基于植被指数消除植被并增强的示意图；
图8为本发明中基于建筑物的目标库对边界规则化的示意图；
图9为本发明中轻量化SSD模型的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
通过知识图谱能模型连接耕地保护区对象、属性特征、数据之间的关联关系，从而结合知识抽取的方式能完成知识存储，面向多云多雨多雾区域耕地内建筑物变化检测的需求，基于知识图谱模型构建知识推理模型，通过关联推理实现数据优选且可以引导建筑物的智能识别、边界提取以及变化检测。在耕地建筑物智能识别方面，分析区域气候统计数据，关联时间信息，优选云雾影响概率较小的光学遥感影像作为识别的基础数据，结合深度学习技术，建立端对端的网络结构，通过场景分类、云雾优化、目标识别、时空互补等模块更精准地识别光学遥感影像影像中建筑物的范围框。在耕地建筑物边界提取与变化检测方面，通过消除植被信息以及关联建筑物几何、纹理特征，结合多尺度分割方法实现建筑物的边界提取，并且通过关联对比规划信息以及历史数据，获取变化检测结果。
一种多云多雾耕地保护区内建筑物智能变化检测方法，其特征在于，包括如下步骤：
步骤1、步骤1、基于多源时空数据构建用于耕地内建筑物变化检测的知识图谱模型；如图2所示，具体步骤为：
步骤1.1、基于多源时空数据获取耕地内建筑物检测所需的对象，梳理各对象的属性特征和各对象之间的关联关系，其中，多源时空数据包括历史气候数据、多通道影像数据、耕地区划数据、耕地建筑物样本数据、区县耕地政策数据、时间数据、行政区划空间范围数据和植被数据，对象包括分别由历史气候数据、多通道影像数据、耕地区划数据、耕地建筑物样本数据、区县耕地政策数据、时间数据、行政区划空间范围数据和植被数据抽象得到的时间、空间、气候、影像、耕地、建筑物和植被，影像包括光学遥感影像和SAR影像；
步骤1.2、所有对象和对象间的关联关系构成模式层，属性特征构成数据层，即得到构建好的知识图谱模型，即使得模式层包含所有对象与各对象之间的语义关系，数据层包含所有对象的具体数据内容。
步骤2、基于知识图谱模型和双向链的推理模型构建耕地内建筑物变化检测的知识推理模型；具体步骤为：
步骤2.1、基于知识图谱模型中的模式层和数据层，使用SPO三元组从多源时空数据中提取知识并进行存储，其中，SPO三元组存储的知识的三元组表现形式为主语、谓语和宾语，SPO三元组采用结构化数据的知识抽取方式、半结构化数据的知识抽取方式和非结构化的知识抽取方式从多源时空数据中提取知识；结构化数据通过D2RQ将多源时空数据的数据表单转化为三元组，半结构化数据分析多源时空数据模板构造，通过包装器将其转换为三元组，而非结构化数据通过流水线式模型，利用序列标注模型识别多源时空数据中的实体，然后对实体进行分类，从而将数据转化为三元组。
步骤2.2、基于存储的知识和双向链的推理模型构建知识推理模型。具体步骤为：
步骤2.21、基于存储的知识构建规则库，其中，规则库包括影像优选规则、建筑物识别规则、建筑物提取规则和变化检测规则；
影像优选规则的具体步骤为：
若是检测历史光学遥感影像，针对所需检测的空间，依据历史气候数据的统计数据，选择所需月份中为晴天的光学遥感影像进行推荐；
若是检测当前月份的光学遥感影像，针对所需检测的空间，在月初时，依据历史气候数据的统计数据，选择历史中与当前月份相对应的月份，并将此月份中连续晴天天数从多到少进行排序，排序后获取连续晴天天数最多的时间段，再基于排序后获得的时间段选择当前月份中的时间段的光学遥感影像进行推荐；
得到推荐结果，基于知识图谱模型中的数据对推荐结果进行编号，即得到最终的推荐影像，编号格式为“空间名称-时间-影像类型”；
影像优选规则的表达式为：
image(X)←isInclude(X，Y)∧isTime(X，Z) (1)
Figure BDA0003751557540000111
其中，image(X)表示所推荐影像X，isInclude(X，Y)表示推荐影像X包含在区域Y中，isTime(X，Z)表示推荐影像X包含在时间Z中，CloudTime(Y，Z)表示区域Y在时间Z的时候是有云的，∧符号表示与，
Figure BDA0003751557540000112
符号表示非，←表示条件，即表示影像X包含在区域Y中、且在时间Z内、同时该区域Y在时间Z内出现云雾的概率较小，则推荐影像X；
建筑物识别规则的具体步骤为：
步骤2.211、先利用场景分类器将推荐影像分为晴天场景或阴天场景(阴天场景也可为雨天场景，雨天场景也有云雾)，若为晴天场景，直接通过轻量化的SSD模型进行建筑物目标识别，得到建筑物的位置，即得到建筑物的范围框，再转到步骤2.213，若否，转到步骤2.212；
所述轻量化的SSD模型是在SSD模型的基础上，将SSD模型中的全连接网络替代为两个卷积层，替代后并利用卷积通道剪枝算法对模型进行轻量化；
利用卷积通道剪枝算法对替代后的SSD模型进行轻量化的具体步骤为：
首先设置替代后的SSD模型每一卷积层不同的剪枝率，确定出替代后的SSD模型最优的剪枝率区间；
接着利用替代后的SSD模型最优的剪枝率区间，设置每一卷积层在最优的剪枝率区间内的不同剪枝率，不同剪枝率依据每一卷积层在偏大或者偏小的剪枝率下的替代后的SSD模型识别正确率确定每一卷积层的剪枝率，其中，大于最优的剪枝率区间的中位数则偏大，小于最优的剪枝率区间的中位数则偏小；
然后计算替代后的SSD模型中的每个卷积核中通道的L1范数，并基于L1范数进行排序，数值越高表示通道越重要，数值低的通道进行剪枝；
最后先将剪枝率偏大的层，统一的剪枝后进行重新训练得到替代后的SSD模型在剪枝前的精度，接着一层一层对剪枝率偏小的层进行重新训练得到替代后的SSD模型在剪枝前的精度，完成对SSD模型的轻量化，即得到轻量化的SSD模型。
轻量化的SSD模型采用了大尺寸特征图、使用浅层信息、预测小目标、小尺寸特征图、使用深层信息和预测大目标(38×38、19×19、10×10、5×5、3×3和1×1)6种不同的特征图尺寸，通过预设不同长宽比例的先验框来实现建筑物目标识别，这种多尺度检测的方式，可以使得检测更加充分，同时降低小目标建筑物的漏检率。
步骤2.212、优化处理含云雾的推荐影像，优化后通过轻量化的SSD模型进行建筑物目标识别，得到建筑物的位置，即得到建筑物的范围框，再转到步骤2.213；
优化处理含云雾的推荐影像的具体步骤为：
利用生成对抗神经网络建立SAR影像向光学遥感影像的映射模型，映射模型包括训练后得到的U-net生成网络和马尔科夫性的判别器，生成对抗神经网络的目标函数LGAN(G，D)为：
LGAN(G，D)＝En，m[logD(n，m)]+En，l[log(1-D(n，G(n，l)))] (5)
其中，n表示无雾的SAR影像，m表示无雾的光学遥感影像，G(n，l))表示生成的无雾的光学遥感影像，D(m，n)表示判定影像是否为真实样本，l表示随机噪声，En，m[logD(n，m)]表示真实数据的概率分布，En，l[log(1-D(n，G(n，l)))]表示生成数据的概率分布；
训练时，向U-net生成网络输入有云雾的SAR图像用于生成无云雾的光学遥感影像，利用马尔科夫性的判别器来识别光学遥感影像是否是U-net生成网络生成的，若识别不出，则得到训练好的“SAR影像向光学遥感影像的映射模型”。
将有云雾的推荐影像输入训练后的映射模型生成光学遥感影像，即得到优化处理后的影像；
步骤2.213、基于知识图谱模型获取包含建筑物的范围框的光学遥感影像的拍摄时间以及投影坐标，利用kmeans算法以光学遥感影像的第一帧图像为基点将时间周期为一周的各帧图像进行聚类，将聚类后得到的光学遥感影像的范围框进行互补，得到互补后的范围框，互补公式为：
Figure BDA0003751557540000131
其中，Bnew{x，y，w，h}为互补后的范围框，x、y为互补后的范围框左上角的坐标，w与h为互补后的范围框的宽与长，Bi是第i个互补后的范围框，当存在范围框相交时则合并范围框，Bi{x}表示第z个互补后的范围框左上角x坐标，Bi{y}表示第z个互补后的范围框左上角y坐标，
Figure BDA0003751557540000133
表示存在，∩表示相交，max表示最大值，min表示最小值；
步骤2.214、保存互补后得到的范围框，以及包含有互补后的范围框的光学遥感影像的编号。由于云雾优化不能完全消除影响，因此通过多通道影像互补，利用相同位置的一周内的光学遥感影像进行融合，将一周内的光学遥感影像中未被遮挡的识别区域合并，即得到互补后的范围框。在建筑物目标识别完成后，进行时空互补(即多通道影像互补)，进一步保全信息的完备，优化识别的精度。
建筑物识别规则的表达式为：
Figure BDA0003751557540000132
其中，detection(X，R)表示用于识别的推荐影像X中框选出了建筑物的范围框R，hasCloud(X)表示推荐影像X含云，optCloud表示优化处理含云雾的推荐影像X，←表示条件，即表示若推荐影像X含云，则优化处理含云雾的推荐影像x后，再识别建筑物的范围框，否则，直接识别建筑物的范围框。
建筑物提取规则的具体步骤为：
步骤2.21-1、首先基于步骤2.214得到的互补后的范围框，索引筛选出所有包含有建筑物的范围框的图像作为新光学遥感影像，并裁剪新光学遥感影像得到建筑物的范围框；
步骤2.21-2、依据裁剪得到的范围框搜索所有互补后的范围框，根据搜索得到的互补后的范围框获取用于目标识别的局部光学遥感影像；
步骤2.21-3、在步骤2.21-2得到的各局部光学遥感影像中提取出各帧图像所对应的范围框，再分别针对各范围框提取建筑物的边界，边界提取后再将提取的边界进行合并，即得到初步提取的建筑物的边界，具体步骤为：
步骤2.21-31、在各局部光学遥感影像中提取出各帧图像所对应的范围框，基于各局部光学遥感影像中存在的波段采用对应的植被指数，并基于植被指数判断提取出来的各范围框中的各像素是否为植被，若为植被，转到下一步，其中，植被指数包括三角植被指数、土壤调节植被指数、归一化差值植被指数、增强型植被指数和归一化差值植被指数；
步骤2.21-32、将提取出的各范围框中判断为植被的像素消除；
步骤2.21-33、基于多尺度分割方法对消除植被后的范围框进行增强，增强后，通过SVM分类方法提取建筑物的边界，边界提取后再将提取的边界进行合并，即得到初步提取的建筑物的边界；具体步骤为：
基于多尺度分割方法将消除植被后的范围框中的各像素分割为对象块，通过计算相似度将相近的对象块合并，并计算得到特征变量，即得到增强后的范围框；
相似度的参数为建筑物的特征，包括形状特征、纹理特征以及颜色特征，通过赋予各特征不同权重并进行加权，得到特征变量，公式为：
F＝ω1fs+ω2ft+ω1fc (8)
其中，F表示特征变量，ω1和ω2表示为给定的权重，fs表示形状特征，ft表示纹理特征，fc表示颜色特征，形状特征用平滑度和紧致度表示，纹理特征用灰色共生矩阵中的熵值表示，颜色特征用HSV表示；
形状特征、纹理特征和颜色特征的表达方为：
Figure BDA0003751557540000141
Figure BDA0003751557540000142
fc＝ρ1H+ρ2S+ρ3V (11)
其中，α1表示权重值，C表示合并后的对象块的边界长度，L表示合并后的对象块外包矩形的周长，N表示合并后的对象块范围内所包含的像素个数，Grey(x，y)表示在像素坐标为(x，y)处的灰度值，ρ1、ρ2、ρ3表示HSV中的权重，H、S、V分别表示色调、饱和度和明度，R(x，y)、G(x，y)、B(x，y)分别表示坐标(x，y)在红色通道、绿色通道和蓝色通道的值，i、i表示合并后的对象块的像素行和列；
得到特征变量后，将特征变量输入训练好的SVM分类方法提取建筑物的边界，边界提取后再将提取的边界进行合并，得到初步提取的建筑物的边界。
步骤2.21-4、基于初步提取的建筑物的边界，建立建筑物的目标库，并基于建筑物形态拟合方法规则化建筑物的边界，得到最终提取的边界，即得到建筑物对象的轮廓；具体步骤为：
构建多种建筑物的形态基元，形态基元包括方形、矩形、梯形和圆形；
将所有形态基元组成建筑物的目标库；由于建筑物是为人造目标，其具有一定的几何特征，耕地中的建筑物多为单层建筑以及四层以下的多层建筑或是别墅，是以此基础的形态基元构建常见的耕地区建筑物的目标库。
根据初步提取的建筑物的边界，计算建筑物的拟合度，并根据拟合度将不规则的队形块替换为目标库中规则的建筑物形态，具体为：
首先计算所提取的边界的矩形拟合因子，即提取得到的建筑物的边界的面积在其外接矩阵上的占比K：
Figure BDA0003751557540000151
其次计算外接矩阵的长宽比W：
Figure BDA0003751557540000152
接着计算图形的面积与周长之比C：
Figure BDA0003751557540000153
其中，Areaobj是指提取的建筑物的第obj个边界的面积、Arearect是指第rect个合并后的对象块外接矩阵的面积、Lenrect是指第rect个合并后的对象块外接矩阵的长度、Widrect是指第rect个合并后的对象块外接矩阵的宽度和Cirobj是指第obj个边界的周长；
最后将上述的提取得到的建筑物的边界的面积在其外接矩阵上的占比K、外接矩阵的长宽比W和图形的面积与周长之比C与目标库的对象的K、W和C进行对比(计算相似度δ)，选择最接近图像进行替换，从而完成边界的规则化。
Figure BDA0003751557540000154
δ表示相似度，Kobj、Wobj、Cobj分别表示建筑物的第obj个边界的面积在其外接矩阵上的占比K、外接矩阵的长宽比W和图形的面积与周长之比C，Ksam、Wsam、Csam分别表示目标库中第sam个边界的面积在其外接矩阵上的占比K、外接矩阵的长宽比W和图形的面积与周长之比C，若δ的值越接近于1，则表明建筑物对象和目标库对象越相似。
建筑物提取规则的表达式为：
pairBuilding(B，S)←boundary(B，R) (7)
←(hasRange(B，R)
Figure BDA0003751557540000161
其中，boundary(B，R)指建筑物的范围框R的建筑物的边界B、hhasRange(B，R)指推荐影像X中包含了建筑物的范围框R、isVeg(R)表示建筑物的范围框R中为植被的部分、hasFeature(R)表示在建筑物的范围框R中包含有建筑物的特征的部分，pairBuilding(B，S)表示建筑物的边界B与建筑的目标库的对象S进行匹配，即得到的最终提取的边界；
变化检测规则的具体步骤为：
基于最终提取得到的边界与对应的规划图进行对比，即根据最初输入的空间范围确定地区，与该地区的规划图进行栅格计算，将建筑物的边界与规划图栅格化为统一分辨率，利用规划图减去提取的建筑物的边界，得到建筑物的变化图斑，若变化图斑中建筑物的范围框增加，则分为“正”类，若范围减小则分为“负类”，“正”类的变化图斑标记为异常，表示可能出现违规行为。
变化检测规则的表达式为：
abnormal(B，Y)←isChange(B，Y)∧inRange(B，LL) (4)
其中，abnormal(B，Y)表示提取的建筑物的边界B在区域Y有异常，isChange(B，Y)表示提取的建筑物的边界B在区域Y中有所变化，inRange(B，LL)表示提取的建筑物的边界B在违规行为LL的范围内，←表示条件，即表示若建筑物的边界B在区域Y中有异常，且建筑物的边界B在违规行为LL的范围中，则执行变化检测方法，否则，不执行。
步骤2.22、基于规则库和双向链的推理模型构建耕地内建筑物变化检测的知识推理模型。如图3所示，双向链的推理模型包括规则执行(即规则库被激活)、规则匹配器和规则检查器。当建筑变化检测的需求提出时，规则库被激活，根据读入的数据进行规则匹配(即匹配执行哪一条规则)，在匹配到相应的规则后，利用规则检测器检验数据与模型的完备性，判断规则是否冲突，然后执行规则，执行规则获取结果后，根据结果内容判断是否满足变化检测需求，若不满足则放入规则匹配其中，判断该结果应继续实施哪一条规则，否则，停止流程。
步骤3、基于知识图谱模型向知识推理模型输入空间范围，执行知识推理模型中的规则进行耕地保护区内建筑物智能变化检测。即基于输入知识推理模型数据，知识推理模型执行规则库中的影像优选规则、建筑物识别规则、建筑物提取规则或/和变化检测规则来进行建筑物的变化检测，具体步骤为：
基于知识图谱模型向知识推理模型输入空间，知识推理模型依次执行规则库中的影像优选规则、建筑物识别规则、建筑物提取规则和变化检测规则来进行耕地保护区内建筑物智能变化检测；
基于知识图谱模型向知识推理模型输入是推荐影像，知识推理模型依次执行规则库中的建筑物识别规则、建筑物提取规则和变化检测规则来进行耕地保护区内建筑物智能变化检测；
基于知识图谱模型向知识推理模型输入包含互补后建筑物的范围框的局部光学遥感影像的编号，知识推理模型依次执行规则库中的建筑物提取规则和变化检测规则进行耕地保护区内建筑物智能变化检测；
基于知识图谱模型向知识推理模型输入最终提取得到的边界，知识推理模型执行规则库中的变化检测来进行耕地保护区内建筑物智能变化检测。
实施例
如图2所示，通过分析出的本体概念信息，即时间、空间、气候、影像、耕地、建筑物、植被，构建知识图谱的模式层，模式层中本体概念的关联关系为，<气候，处于，时间>，<政策，限制于，时间>，<政策，判断违规，建筑物>，<耕地，存在，建筑物>，<政策，保护，耕地>，<时间，限定，耕地>，<空间，限定，耕地>，<影像，拍摄于，时间>，<影像，拍摄到，空间>，<气候，位于，空间>，<耕地，存在，植被>。基于根据模式层与耕地建筑物变化检测的需求，建立数据层，其中气候数据包含晴天、阴天的分布，时间包含年/月/日、时/分/秒，政策包含违规行为，建筑物包含纹理特征、光照特征、几何特征，植被包含植被指数，空间包含经纬度、范围大小、几何形态，影响包含分辨率、波段、类型以及图像，收集数据层的内容，进行知识存储。
输入耕地内建筑物变化检测的空间范围，知识推理模型中规则匹配器匹配到影像优选规则，并执行，即读取历史气候数据，统计往年当月出现晴天的时段分布，基于拍摄时间选取对应时间段为晴天的10个光学遥感影像，对这10张光学遥感影像编号，即得到最终的推荐影像。
得到最终推荐后的影像后，知识推理模型中规则匹配器匹配到建筑物识别规则，并执行，即先根据已有场景分类器判断光学遥感影像是否为晴天场景，若不是则需寻找拍摄时间接近的SAR影像，再利用生成对抗神经网络进行云雾优化，优化后得到的影像和判断为晴天的光学遥感影像放轻量化SSD模型进行识别，每张影像将被分割为300x300的图像，在轻量化SSD模型框选出建筑物后，即得到建筑物的范围框，还原为原本的光学遥感影像，得到带范围框的光学遥感影像(即获取影像的拍摄时间以及投影坐标)，利用kmeans算法以影像的第一帧图像为基点将时间周期为一周的的各帧图像进行聚类，将聚类后得到的影像的范围框进行互补，得到互补后的范围框Bnew{x,y,w,h}。之后保存互补后得到的范围框，以及包含有互补后的范围框的光学遥感影像的编号。
得到建筑物的范围框后，知识推理模型中规则匹配器匹配建筑物提取规则，并执行，得到最终提取的边界：
得到提取的边界后，知识推理模型中规则匹配器匹配到变化检测规则，并执行，即根据最初输入的空间范围，确定地点，与该地区的规划图进行栅格计算，将建筑物对象与规划图栅格化为统一分辨率，利用规划图减去提取的建筑物对象，得到建筑物的变化图斑，若变化图斑中建筑物范围增加，则分为“正”类，若范围减小则分为“负类”，“正”类的变化图斑标记为异常，表示可能出现违规行为。
综上所述，本发明通过厘清耕地场景及其内部建筑的特征关系，梳理多源影像数据的特点，构建耕地建筑物变化检测知识图谱。基于耕地内建筑物变化检测的任务需求，建立规则库与规则执行模型，以知识图谱为驱动，结合深度学习、目标提取、多通道互补等方法完成耕地内建筑物的智能识别、边界提取以及变化检测。

Claims (10)

1.一种多云多雾耕地保护区内建筑物智能变化检测方法，其特征在于，包括如下步骤：
步骤1、基于多源时空数据构建用于耕地内建筑物变化检测的知识图谱模型；
步骤2、基于知识图谱模型和双向链的推理模型构建耕地内建筑物变化检测的知识推理模型；
步骤3、基于知识图谱模型向知识推理模型输入的数据，执行知识推理模型中的规则进行耕地保护区内建筑物智能变化检测。
2.根据权利要求1所述的一种多云多雾耕地保护区内建筑物智能变化检测方法，其特征在于，所述步骤1的具体步骤为：
步骤1.1、基于多源时空数据获取耕地内建筑物检测所需的对象，梳理各对象的属性特征和各对象之间的关联关系，其中，多源时空数据包括历史气候数据、多通道影像数据、耕地区划数据、耕地建筑物样本数据、区县耕地政策数据、时间数据、行政区划空间范围数据和植被数据，对象包括分别由历史气候数据、多通道影像数据、耕地区划数据、耕地建筑物样本数据、区县耕地政策数据、时间数据、行政区划空间范围数据和植被数据抽象得到的时间、空间、气候、影像、耕地、建筑物和植被，影像包括光学遥感影像和SAR影像；
步骤1.2、所有对象和对象间的关联关系构成模式层，属性特征构成数据层，即得到构建好的知识图谱模型，即使得模式层包含所有对象与各对象之间的语义关系，数据层包含所有对象的具体数据内容。
3.根据权利要求2所述的一种多云多雾耕地保护区内建筑物智能变化检测方法，其特征在于，所述步骤2的具体步骤为：
步骤2.1、基于知识图谱模型中的模式层和数据层，使用SPO三元组从多源时空数据中提取知识并进行存储，其中，SPO三元组存储的知识的三元组表现形式为主语、谓语和宾语，SPO三元组采用结构化数据的知识抽取方式、半结构化数据的知识抽取方式和非结构化的知识抽取方式从多源时空数据中提取知识；
步骤2.2、基于存储的知识和双向链的推理模型构建知识推理模型。
4.根据权利要求3所述的一种多云多雾耕地保护区内建筑物智能变化检测方法，其特征在于，所述步骤2.2的具体步骤为：
步骤2.21、基于存储的知识构建规则库，其中，规则库包括影像优选规则、建筑物识别规则、建筑物提取规则和变化检测规则；
步骤2.22、基于规则库和双向链的推理模型构建耕地内建筑物变化检测的知识推理模型。
5.根据权利要求4所述的一种多云多雾耕地保护区内建筑物智能变化检测方法，其特征在于，步骤2.21中的影像优选规则的具体步骤为：
若是检测历史光学遥感影像，针对所需检测的空间，依据历史气候数据的统计数据，选择所需月份中为晴天的光学遥感影像进行推荐；
若是检测当前月份的光学遥感影像，针对所需检测的空间，在月初时，依据历史气候数据的统计数据，选择历史中与当前月份相对应的月份，并将此月份中连续晴天天数从多到少进行排序，排序后获取连续晴天天数最多的时间段，再基于排序后获得的时间段选择当前月份中的时间段的光学遥感影像进行推荐；
得到推荐结果，基于知识图谱模型中的数据对推荐结果进行编号，即得到最终的推荐影像，编号格式为“空间名称-时间-影像类型”；
所述步骤2.21中的建筑物识别规则的具体步骤为：
步骤2.211、先利用场景分类器将推荐影像分为晴天场景或阴天场景，若为晴天场景，直接通过轻量化的SSD模型进行建筑物目标识别，得到建筑物的位置，即得到建筑物的范围框，再转到步骤2.213，若否，转到步骤2.212；
步骤2.212、优化处理含云雾的推荐影像，优化后通过轻量化的SSD模型进行建筑物目标识别，得到建筑物的位置，即得到建筑物的范围框，再转到步骤2.213；
优化处理含云雾的推荐影像的具体步骤为：
利用生成对抗神经网络建立SAR影像向光学遥感影像的映射模型，映射模型包括训练后得到的U-net生成网络和马尔科夫性的判别器，生成对抗神经网络的目标函数LGAN(G,D)为：
LGAN(G,D)＝En,m[logD(n,m)]+En,l[log(1-D(n,G(n,l)))] (5)
其中，n表示无雾的SAR影像，m表示无雾的光学遥感影像，G(n,l))表示生成的无雾的光学遥感影像，D(m,n)表示判定影像是否为真实样本,l表示随机噪声，En,m[logD(n,m)]表示真实数据的概率分布，En,l[log(1-D(n,G(n,l)))]表示生成数据的概率分布；
将有云雾的推荐影像输入训练后的映射模型生成光学遥感影像，即得到优化处理后的影像；
步骤2.213、基于知识图谱模型获取包含建筑物的范围框的光学遥感影像的拍摄时间以及投影坐标，利用kmeans算法以光学遥感影像的第一帧图像为基点将时间周期为一周的各帧图像进行聚类，将聚类后得到的光学遥感影像的范围框进行互补，得到互补后的范围框，互补公式为：
Figure FDA0003751557530000031
其中，Bnew{x,y,w,h}为互补后的范围框，x、y为互补后的范围框左上角的坐标，w与h为互补后的范围框的宽与长，Bi是第i个互补后的范围框，当存在范围框相交时则合并范围框，Bi{x}表示第i个互补后的范围框左上角x坐标，Bi{y}表示第i个互补后的范围框左上角y坐标,
Figure FDA0003751557530000032
表示存在，∩表示相交，max表示最大值，min表示最小值；
步骤2.214、保存互补后得到的范围框，以及包含有互补后的范围框的光学遥感影像的编号。
6.根据权利要求5所述的一种多云多雾耕地保护区内建筑物智能变化检测方法，其特征在于，所述轻量化的SSD模型是在SSD模型的基础上，将SSD模型中的全连接网络替代为两个卷积层，替代后并利用卷积通道剪枝算法对模型进行轻量化；
利用卷积通道剪枝算法对替代后的SSD模型进行轻量化的具体步骤为：
首先设置替代后的SSD模型每一卷积层不同的剪枝率，确定出替代后的SSD模型最优的剪枝率区间；
接着利用替代后的SSD模型最优的剪枝率区间，设置每一卷积层在最优的剪枝率区间内的不同剪枝率，不同剪枝率依据每一卷积层在偏大或者偏小的剪枝率下的替代后的SSD模型识别正确率确定每一卷积层的剪枝率，其中，大于最优的剪枝率区间的中位数则偏大，小于最优的剪枝率区间的中位数则偏小；
然后计算替代后的SSD模型中的每个卷积核中通道的L1范数，并基于L1范数进行排序，数值越高表示通道越重要，数值低的通道进行剪枝；
最后先将剪枝率偏大的层，统一的剪枝后进行重新训练得到替代后的SSD模型在剪枝前的精度，接着一层一层对剪枝率偏小的层进行重新训练得到替代后的SSD模型在剪枝前的精度，完成对SSD模型的轻量化，即得到轻量化的SSD模型。
7.根据权利要求6所述的一种多云多雾耕地保护区内建筑物智能变化检测方法，其特征在于，所述步骤2.21中建筑物提取规则的具体步骤为：
步骤2.21-1、首先基于步骤2.214得到的互补后的范围框，索引筛选出所有包含有建筑物的范围框的图像作为新光学遥感影像，并裁剪新光学遥感影像得到建筑物的范围框；
步骤2.21-2、依据裁剪得到的范围框搜索所有互补后的范围框，根据搜索得到的互补后的范围框获取用于目标识别的局部光学遥感影像；
步骤2.21-3、在步骤2.21-2得到的各局部光学遥感影像中提取出各帧图像所对应的范围框，再分别针对各范围框提取建筑物的边界，边界提取后再将提取的边界进行合并，即得到初步提取的建筑物的边界；
步骤2.21-4、基于初步提取的建筑物的边界，建立建筑物的目标库，并基于建筑物形态拟合方法规则化建筑物的边界，得到最终提取的边界，即得到建筑物对象的轮廓；
所述步骤2.21中变化检测规则的具体步骤为：
基于最终提取得到的边界与对应的规划图进行对比，即根据最初输入的空间确定地区，与该地区的规划图进行栅格计算，将建筑物的边界与规划图栅格化为统一分辨率，利用规划图减去提取的建筑物的边界，得到建筑物的变化图斑，若变化图斑中建筑物的范围框增加，则分为“正”类，若范围减小则分为“负类”，“正”类的变化图斑标记为异常，表示可能出现违规行为。
8.根据权利要求7所述的一种多云多雾耕地保护区内建筑物智能变化检测方法，其特征在于，所述步骤2.21-3的具体步骤为：
步骤2.21-31、在各局部光学遥感影像中提取出各帧图像所对应的范围框，基于各局部光学遥感影像中存在的波段采用对应的植被指数，并基于植被指数判断提取出来的各范围框中的各像素是否为植被，若为植被，转到下一步，其中，植被指数包括三角植被指数、土壤调节植被指数、归一化差值植被指数、增强型植被指数和归一化差值植被指数；
步骤2.21-32、将提取出的各范围框中判断为植被的像素消除；
步骤2.21-33、基于多尺度分割方法对消除植被后的范围框进行增强，增强后，通过SVM分类方法提取建筑物的边界，边界提取后再将提取的边界进行合并，即得到初步提取的建筑物的边界；
所述步骤2.21-4的具体步骤为：
构建多种建筑物的形态基元，形态基元包括方形、矩形、梯形和圆形；
将所有形态基元组成建筑物的目标库；
根据初步提取的建筑物的边界，计算建筑物的拟合度，并根据拟合度将不规则的队形块替换为目标库中规则的建筑物形态，具体为：
首先计算所提取的边界的矩形拟合因子，即提取得到的建筑物的边界的面积在其外接矩阵上的占比K：
Figure FDA0003751557530000051
其次计算外接矩阵的长宽比W：
Figure FDA0003751557530000052
接着计算图形的面积与周长之比C：
Figure FDA0003751557530000053
其中，Areaobj是指提取的建筑物的第obj个边界的面积、Arearect是指第rect个合并后的对象块外接矩阵的面积、Lenrect是指第rect个合并后的对象块外接矩阵的长度、Widrect是指第rect个合并后的对象块外接矩阵的宽度和Cirobj是指第obj个边界的周长；
最后将上述提取得到的建筑物的边界的面积在其外接矩阵上的占比K、外接矩阵的长宽比W和图形的面积与周长之比C与目标库的对象的K、W和C进行对比，选择最接近图像进行替换，从而完成边界的规则化。
9.根据权利要求8所述的一种多云多雾耕地保护区内建筑物智能变化检测方法，其特征在于：所述步骤2.21-33的具体步骤为：
基于多尺度分割方法将消除植被后的范围框中的各像素分割为对象块，通过计算相似度将相近的对象块合并，并计算得到特征变量，即得到增强后的范围框；
相似度的参数为建筑物的特征，包括形状特征、纹理特征以及颜色特征，通过赋予各特征不同权重并进行加权，得到特征变量，公式为：
F＝ω1fs+ω2ft+ω1fc (8)
其中，F表示特征变量，ω1和ω2表示为给定的权重，fs表示形状特征，ft表示纹理特征，fc表示颜色特征，形状特征用平滑度和紧致度表示，纹理特征用灰色共生矩阵中的熵值表示，颜色特征用HSV表示；
形状特征、纹理特征和颜色特征的表达方为：
Figure FDA0003751557530000061
Figure FDA0003751557530000062
fc＝ρ1H+ρ2S+ρ3V (11)
其中，α1表示权重值，C表示合并后的对象块的边界长度，L表示合并后的对象块外包矩形的周长，N表示合并后的对象块范围内所包含的像素个数，Grey(x,y)表示在像素坐标为(x,y)处的灰度值，ρ1、ρ2、ρ3表示HSV中的权重，H、S、V分别表示色调、饱和度和明度，R(x,y)、G(x,y)、B(x,y)分别表示坐标(x,y)在红色通道、绿色通道和蓝色通道的值，i、i表示合并后的对象块的像素行和列；
得到特征变量后，将特征变量输入训练好的SVM分类方法提取建筑物的边界，边界提取后再将提取的边界进行合并，得到初步提取的建筑物的边界。
10.根据权利要求9所述的一种多云多雾耕地保护区内建筑物智能变化检测方法，其特征在于，所述步骤3基于输入知识推理模型数据，知识推理模型执行规则库中的影像优选规则、建筑物识别规则、建筑物提取规则或/和变化检测规则来进行建筑物的变化检测，具体步骤为：
基于知识图谱模型向知识推理模型输入空间，知识推理模型依次执行规则库中的影像优选规则、建筑物识别规则、建筑物提取规则和变化检测规则来进行耕地保护区内建筑物智能变化检测；
基于知识图谱模型向知识推理模型输入是推荐影像，知识推理模型依次执行规则库中的建筑物识别规则、建筑物提取规则和变化检测规则来进行耕地保护区内建筑物智能变化检测；
基于知识图谱模型向知识推理模型输入包含互补后建筑物的范围框的局部光学遥感影像的编号，知识推理模型依次执行规则库中的建筑物提取规则和变化检测规则进行耕地保护区内建筑物智能变化检测；
基于知识图谱模型向知识推理模型输入最终提取得到的边界，知识推理模型执行规则库中的变化检测来进行耕地保护区内建筑物智能变化检测。
CN202210844031.XA 2022-07-18 2022-07-18 多云多雾耕地保护区内建筑物智能变化检测方法 Active CN115272848B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210844031.XA CN115272848B (zh) 2022-07-18 2022-07-18 多云多雾耕地保护区内建筑物智能变化检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210844031.XA CN115272848B (zh) 2022-07-18 2022-07-18 多云多雾耕地保护区内建筑物智能变化检测方法

Publications (2)

Publication Number Publication Date
CN115272848A true CN115272848A (zh) 2022-11-01
CN115272848B CN115272848B (zh) 2023-04-18

Family

ID=83767593

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210844031.XA Active CN115272848B (zh) 2022-07-18 2022-07-18 多云多雾耕地保护区内建筑物智能变化检测方法

Country Status (1)

Country Link
CN (1) CN115272848B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117033366A (zh) * 2023-10-09 2023-11-10 航天宏图信息技术股份有限公司 基于知识图谱的泛在时空数据交叉验证方法及装置
CN117607063A (zh) * 2024-01-24 2024-02-27 中国科学院地理科学与资源研究所 一种基于无人机的森林垂直结构参数测量***和方法
CN117993499A (zh) * 2024-04-03 2024-05-07 江西省水利科学院(江西省大坝安全管理中心、江西省水资源管理中心) 一种流域防洪四预平台的多模态知识图谱构建方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5701400A (en) * 1995-03-08 1997-12-23 Amado; Carlos Armando Method and apparatus for applying if-then-else rules to data sets in a relational data base and generating from the results of application of said rules a database of diagnostics linked to said data sets to aid executive analysis of financial data
CN103971115A (zh) * 2014-05-09 2014-08-06 中国科学院遥感与数字地球研究所 一种基于NDVI和PanTex指数的高分辨率遥感影像新增建设用地图斑自动提取方法
CN110516539A (zh) * 2019-07-17 2019-11-29 苏州中科天启遥感科技有限公司 基于对抗网络的遥感影像建筑物提取方法、***、存储介质及设备
CN112132006A (zh) * 2020-09-21 2020-12-25 西南交通大学 一种面向耕地保护的林地和建筑物智能提取方法
CN112818966A (zh) * 2021-04-16 2021-05-18 武汉光谷信息技术股份有限公司 多模态遥感影像数据检测方法及***
CN113780097A (zh) * 2021-08-17 2021-12-10 北京数慧时空信息技术有限公司 基于知识图谱和深度学习的耕地提取方法
CN113936217A (zh) * 2021-10-25 2022-01-14 华中师范大学 先验语义知识引导的高分辨率遥感影像弱监督建筑物变化检测方法
CN114117070A (zh) * 2021-11-19 2022-03-01 重庆电子工程职业学院 一种知识图谱的构建方法、***及存储介质
CN114186076A (zh) * 2021-12-15 2022-03-15 深圳市网联安瑞网络科技有限公司 知识图谱构建方法、装置、设备和计算机可读存储介质
CN114418932A (zh) * 2021-11-30 2022-04-29 广州欧科信息技术股份有限公司 一种基于数字孪生技术的历史建筑修复方法及***

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5701400A (en) * 1995-03-08 1997-12-23 Amado; Carlos Armando Method and apparatus for applying if-then-else rules to data sets in a relational data base and generating from the results of application of said rules a database of diagnostics linked to said data sets to aid executive analysis of financial data
CN103971115A (zh) * 2014-05-09 2014-08-06 中国科学院遥感与数字地球研究所 一种基于NDVI和PanTex指数的高分辨率遥感影像新增建设用地图斑自动提取方法
CN110516539A (zh) * 2019-07-17 2019-11-29 苏州中科天启遥感科技有限公司 基于对抗网络的遥感影像建筑物提取方法、***、存储介质及设备
CN112132006A (zh) * 2020-09-21 2020-12-25 西南交通大学 一种面向耕地保护的林地和建筑物智能提取方法
CN112818966A (zh) * 2021-04-16 2021-05-18 武汉光谷信息技术股份有限公司 多模态遥感影像数据检测方法及***
CN113780097A (zh) * 2021-08-17 2021-12-10 北京数慧时空信息技术有限公司 基于知识图谱和深度学习的耕地提取方法
CN113936217A (zh) * 2021-10-25 2022-01-14 华中师范大学 先验语义知识引导的高分辨率遥感影像弱监督建筑物变化检测方法
CN114117070A (zh) * 2021-11-19 2022-03-01 重庆电子工程职业学院 一种知识图谱的构建方法、***及存储介质
CN114418932A (zh) * 2021-11-30 2022-04-29 广州欧科信息技术股份有限公司 一种基于数字孪生技术的历史建筑修复方法及***
CN114186076A (zh) * 2021-12-15 2022-03-15 深圳市网联安瑞网络科技有限公司 知识图谱构建方法、装置、设备和计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
卢彻等: ""改进U-Net的高分影像建筑物提取方法"", 《测绘科学》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117033366A (zh) * 2023-10-09 2023-11-10 航天宏图信息技术股份有限公司 基于知识图谱的泛在时空数据交叉验证方法及装置
CN117033366B (zh) * 2023-10-09 2023-12-29 航天宏图信息技术股份有限公司 基于知识图谱的泛在时空数据交叉验证方法及装置
CN117607063A (zh) * 2024-01-24 2024-02-27 中国科学院地理科学与资源研究所 一种基于无人机的森林垂直结构参数测量***和方法
CN117607063B (zh) * 2024-01-24 2024-04-19 中国科学院地理科学与资源研究所 一种基于无人机的森林垂直结构参数测量***和方法
CN117993499A (zh) * 2024-04-03 2024-05-07 江西省水利科学院(江西省大坝安全管理中心、江西省水资源管理中心) 一种流域防洪四预平台的多模态知识图谱构建方法
CN117993499B (zh) * 2024-04-03 2024-06-04 江西省水利科学院(江西省大坝安全管理中心、江西省水资源管理中心) 一种流域防洪四预平台的多模态知识图谱构建方法

Also Published As

Publication number Publication date
CN115272848B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
CN115272848B (zh) 多云多雾耕地保护区内建筑物智能变化检测方法
CN113449680B (zh) 一种基于知识蒸馏的多模小目标检测方法
CN105551028B (zh) 一种基于遥感影像的地理空间数据动态更新的方法及***
KR20220000898A (ko) 다인자를 기반으로 한 해안선 변화 식별방법
CN111028255B (zh) 基于先验信息与深度学习的农田区域预筛选方法及装置
CN112101159B (zh) 多时相林业遥感影像变化监测方法
CN111709379A (zh) 基于遥感影像的丘陵区柑橘种植地块监测方法及***
Ochoa et al. A framework for the management of agricultural resources with automated aerial imagery detection
CN113963222B (zh) 一种基于多策略组合的高分辨率遥感影像变化检测方法
CN112347895A (zh) 一种基于边界优化神经网络的舰船遥感目标检测方法
CN111753682B (zh) 一种基于目标检测算法的吊装区域动态监控方法
Wang et al. Tea picking point detection and location based on Mask-RCNN
CN107038416A (zh) 一种基于二值图像改进型hog特征的行人检测方法
CN112381013A (zh) 基于高分辨率遥感影像的城市植被反演方法及***
CN110705449A (zh) 一种土地利用变化遥感监测分析方法
CN113657324A (zh) 基于遥感影像地物分类的城市功能区识别方法
WO2020093624A1 (zh) 一种基于多尺度检测算法的天线下倾角测量方法
Zheng et al. Building recognition of UAV remote sensing images by deep learning
CN115965812A (zh) 无人机影像对湿地植被物种和地物分类的评估方法
CN115272876A (zh) 一种基于深度学习的遥感图像船舶目标检测方法
CN116385902A (zh) 一种遥感大数据处理方法、***及云平台
CN115019163A (zh) 基于多源大数据的城市要素识别方法
CN112967286B (zh) 一种新增建设用地检测方法及装置
Quispe et al. Automatic building change detection on aerial images using convolutional neural networks and handcrafted features
CN110348311B (zh) 一种基于深度学习的道路交叉口识别***及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant