CN113887459B - 一种基于改进Unet++的露天矿区采场变化区域检测方法 - Google Patents

一种基于改进Unet++的露天矿区采场变化区域检测方法 Download PDF

Info

Publication number
CN113887459B
CN113887459B CN202111185384.5A CN202111185384A CN113887459B CN 113887459 B CN113887459 B CN 113887459B CN 202111185384 A CN202111185384 A CN 202111185384A CN 113887459 B CN113887459 B CN 113887459B
Authority
CN
China
Prior art keywords
stope
unet
network model
image
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111185384.5A
Other languages
English (en)
Other versions
CN113887459A (zh
Inventor
李军
李炜
杜守航
张成业
杨金中
邢江河
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Shulun Technology Co ltd
China University of Mining and Technology Beijing CUMTB
China Aero Geophysical Survey and Remote Sensing Center for Natural Resources
Original Assignee
Beijing Shulun Technology Co ltd
China University of Mining and Technology Beijing CUMTB
China Aero Geophysical Survey and Remote Sensing Center for Natural Resources
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Shulun Technology Co ltd, China University of Mining and Technology Beijing CUMTB, China Aero Geophysical Survey and Remote Sensing Center for Natural Resources filed Critical Beijing Shulun Technology Co ltd
Priority to CN202111185384.5A priority Critical patent/CN113887459B/zh
Publication of CN113887459A publication Critical patent/CN113887459A/zh
Application granted granted Critical
Publication of CN113887459B publication Critical patent/CN113887459B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/048Activation functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于改进Unet++的露天矿区采场变化区域检测方法,其方法如下:A、获取至少两个年份的采场样本数据集,采场样本数据集中的数据为露天矿区采场的高分辨率遥感影像;B、基于Pytorch设计构建改进的Unet++网络模型,Unet++网络模型以Unet++作为基础网络结构,引入可变形卷积模块和CBAM注意力机制模块,CBAM注意力机制模块包括通道注意力模块和空间注意力模块;C、Unet++网络模型训练:利用训练数据集对Unet++网络模型进行训练并得到训练后的Unet++网络模型。本发明将多尺度可变形卷积引入Unet++网络模型并用于露天矿区场景特征提取,提高了鲁棒性与识别精度;通过在可变形卷积Unet++网络中加入深度学习注意力机制,增强模型对实质性变化类特征的学习与敏感程度。

Description

一种基于改进Unet++的露天矿区采场变化区域检测方法
技术领域
本发明涉及采矿遥感数据处理及识别领域,尤其涉及一种基于改进Unet++的露天矿区采场变化区域检测方法。
背景技术
露天矿山的合理和有序开发对于矿产资源和生态环境的保护至关重要,露天矿区的动态变化监测可以掌握露天矿的开采活动、评价露天矿对环境的影响、识别露天矿的非法破坏行为,因此实现露天矿区变化区域高效和准确识别是目前亟待解决的问题之一。传统矿山监测通常依靠人工外业调查的方式,需要投入大量的人力、物力和财力,且监测不及时,效果较差。随着遥感技术和深度学习的快速发展,人们可以获取大量的高分辨率遥感影像,使得基于高分辨率遥感影像变化检测的方式逐渐替代了传统的人工方式。
传统的非深度学习变化检测方法受限于人工特征选取,变化检测精度有限。深度学习卷积神经网络的层次化结构,可以学习影像深层次、结构化的特征,相较于手工特征,具有更强的可分能力,极大地提高了影像的分类精度。语义分割是通过特定方法将图像分割成具有逐像素语义标注的分割图像,即实现像素级别的分类,在变化检测任务中,即实现变化区域和未变化区域的分割。Unet++是目前精度最高的语义分割网络之一,其在Unet原有的跳跃连接中添加密集跳跃连接,有效减小了底层信息和高层信息之间的语义鸿沟,具有捕捉影像特征细节的优势,更适合用于高分辨率遥感影像的语义分割。但是将Unet++用于露天矿区采场变化区域检测,存在以下问题:(1)露天矿区的形状和尺度存在较大异质性,而Unet++采用了传统方形卷积方法,模型的准确性和泛化能力有待提升;(2)变化检测采用的多时相/多源影像中季节、阴影等背景变化,会对变化检测结果产生干扰,需要使模型更加关注于露天矿区采场目标本身的变化;(3)相较于未变化区域,变化区域所占面积比例更小,相同的权重直接训练网络则会使网络倾向于将变化区域分类为未变化区域。因此需要对Unet++网络进行改进和优化,使其能够快速准确地应用于露天矿区采场变化区域的检测。
发明内容
针对现有技术存在的不足之处,本发明的目的在于提供一种基于改进Unet++的露天矿区采场变化区域检测方法,将多尺度可变形卷积引入Unet++网络模型并用于露天矿区场景特征提取,提高了模型对于露天矿区形状、尺度变异的鲁棒性,从而提高变化检测的识别精度;通过在可变形卷积Unet++网络中加入深度学***衡的问题,进一步验证与提高变化检测精度。
本发明的目的通过下述技术方案实现:
一种基于改进Unet++的露天矿区采场变化区域检测方法,其方法如下:
A、获取至少两个年份的采场样本数据集,采场样本数据集中的数据为露天矿区采场的高分辨率遥感影像;
A1、利用ArcGIS对不同年份的采场样本数据集中高分辨率遥感影像进行数据标注,通过对比不同年份时相数据确定变化区域,同一采场在不同年份影像中的变化区域作为学习对象,该学习对象对应配置有变化标签;
A2、将两个不同年份的3通道遥感影像数据叠加为6通道影像数据,然后将其裁剪为若干相同区域的256像素×256像素的影像块,筛选带有采场的影像块作为样本数据;
A3、通过翻转、平移、尺度变化、对比度变化和高斯噪声对样本数据进行数据增强处理;将6通道影像块连同其变化标签共同构成网络输入数据;
A4、按照7∶3的比例将采场研究区域所对应的网络输入数据随机分为训练数据集和测试数据集;
B、基于Pytorch设计构建改进的Unet++网络模型,改进的Unet++网络模型以Unet++作为基础网络结构,引入可变形卷积模块和CBAM注意力机制模块,CBAM注意力机制模块包括通道注意力模块和空间注意力模块,方法包括如下:
B1、将网络输入数据输入改进的Unet++网络模型,改进的Unet++网络模型首先进行包括下采样、上采样和跳跃连接操作处理提取露天矿区采场变化区域的多尺度特征信息;
B2、Unet++网络模型的可变形卷积模块通过一个3×3卷积的输出得到可变形卷积所需的10个偏移量,并将10个偏移量作用在卷积核上以达到可变形卷积的效果;改进的Unet++网络模型根据步骤B1的多尺度特征信息采用可变形卷积的卷积核适应性覆盖露天矿区采场变化区域并捕获深层多尺度细节特征信息A;
B3、深层多尺度细节特征信息A输入通道注意力模块并得到通道注意力权值,再将深层多尺度细节特征信息A与通道注意力权值相乘得到通道维度上加强的特征信息B;将特征信息B输入空间注意力模块并得到空间注意力权值,再将特征信息B与空间注意力权值相乘得到空间维度上加强的特征信息C,该特征信息C经卷积并形成露天矿区采场变化区域特征信息;
C、改进的Unet++网络模型训练:利用训练数据集对改进的Unet++网络模型进行训练并得到训练后的改进的Unet++网络模型。
优选地,本发明方法中步骤C还包括C1;
C1、改进的Unet++网络模型训练过程中采用交叉熵损失函数,其计算方法如下:
Figure BDA0003298975430000031
其中y表示影像中采场范围标准变化值,
Figure BDA0003298975430000032
表示模型预测变化值概率,S为影像像素数量,L为模型损失值,以此表示模型的误差大小,Unet++网络模型的误差大小为L。
优选地,本发明方法还包括如下方法:C2、通过训练后的改进的Unet++网络模型检测露天矿区采场变化区域并采用投票策略与面向对象影像分析方法相结合以提高变化检测精度,其方法包括:
C21、将测试数据集中的网络输入数据输入到训练好的Unet++网络模型中,获取露天矿区采场变化区域的检测值,其检测值为测试数据集中网络输入数据按照步骤B方法所对应的露天矿区采场变化区域;
C22、采用多尺度分割算法对测试数据集中的影像进行分割,得到影像对象分割结果,并采用ESP工具自动获得最佳分割尺度;假设影像对象oi包含N个像素,且lj是像素j的类别,像素j的类别包括变化、未变化两种,则影像对象oi的类别ci可通过下式确定:
Figure BDA0003298975430000041
Ci=argmax(di,c)
其中c∈像素j的类别,影像对象oi的类别ci由影像对象内像素j的多数确定;所有影像对象oi的类别确定后即完成测试数据集中测试影像的变化区域检测;
通过变化区域检测结果与测试数据集中数据对比确定改进的Unet++网络模型的测试精度。
优选地,本发明方法中步骤C1中交叉熵损失函数中按照像素对应加入权重来解决变化与未变化类别不平衡问题,根据变化和未变化所占的像素比分别为其设置合适的权重,计算方法为:
Figure BDA0003298975430000042
Figure BDA0003298975430000051
其中,w0是未变化像素的权重,w1是变化像素的权重,Ni0是第i幅影像中未变化像素的数量,Ni1是第i幅影像中变化像素的数量,Ni是第i幅影像中像素的总数。
优选地,本发明方法中步骤C2还包括:根据影像对象oi的类别ci修正露天矿区采场变化区域特征信息。
优选地,本发明方法中Unet++网络模型的卷积单元由3×3卷积模块、归一化层和ReLU激活函数组成。
优选地,本发明方法中的通道注意力模块包括自适应最大池化层、自适应平均池化层和共享全连接层,共享全连接层包括两层神经网络,首先将由可变形卷积模块得到的深层多尺度细节特征信息A分别输入到两个并行的自适应最大池化层与自适应平均池化层,分别得到两个特征图A1,然后将两个特征图A1分别输入共享全连接层的两层神经网络并分别输出特征图A2,再将两个特征图A2进行对应元素相加及Sigmoid激活操作并得到通道注意力权值。优选地,共享全连接层的两层神经网络由第一层神经网络和第二层神经网络组成,第一层神经网络的神经元个数为2个,其激活函数为ReLU;第二层神经网络的神经元个数为32个。
优选地,本发明方法中的空间注意力模块包括自适应最大池化层、自适应平均池化层,首先将特征信息B输入到自适应最大池化层与自适应平均池化层,然后进行通道拼接和7×7卷积得到特征图B1,接着对特征图B1进行Sigmoid激活操作并得到空间注意力权值。
优选地,步骤A中:获取两个年份的采场样本数据集。
本发明较现有技术相比,具有以下优点及有益效果:
(1)本发明将多尺度可变形卷积引入Unet++网络模型并用于露天矿区场景特征提取,提高了模型对于露天矿区形状、尺度变异的鲁棒性,从而提高变化检测的识别精度;通过在可变形卷积Unet++网络中加入深度学***衡的问题,进一步验证与提高变化检测精度。
(2)本发明利用Unet++网络模型提取多尺度特征信息,再将多尺度特征输入到可变形卷积模块中,将特征提取注意力聚焦到和露天矿区采场变化区域有关的位置上,得到深层多尺度细节特征信息;将深层多尺度细节特征信息输入到融合了空间和通道注意力机制的CBAM注意力机制模块中再对变化检测结果进行输出,以提高模型变化检测能力;本发明还根据变化与未变化区域的面积占比构建加权的交叉熵损失函数。
(3)本发明将Unet++网络变化检测结果与面向对象影像分析相结合进一步提高了变化检测精度;矿区场景具有高度异质的环境,面向对象影像分析可以将同质的像元聚合为同一对象,然后根据Unet++网络变化检测结果采用投票策略确定最终的变化区域,可以在一定程度上解决光谱异质带来的分类错误;此外,影像对象往往具有相对精确的地物边界信息,因此与面向对象结合,可以提高检测结果的边界精度。
附图说明
图1为本实施例中改进的Unet++网络模型的网络结构示意图;
图2为本实施例中可变形卷积模块的原理示意图;
图3为本实施例中CBAM注意力机制模块的原理示意图;
图4为本实施例中通道注意力模块的原理示意图;
图5为本实施例中空间注意力模块的原理示意图。
具体实施方式
下面结合实施例对本发明作进一步地详细说明:
实施例一
如图1~图5所示,一种基于改进Unet++的露天矿区采场变化区域检测方法,其方法如下:
A、获取至少两个年份的采场样本数据集(优选地,本实施例获取两个年份的采场样本数据集),采场样本数据集中的数据为露天矿区采场的高分辨率遥感影像;采场样本数据集中的数据主要包括256×256像素的露天矿区采场原始遥感影像和/或256×256像素的标准变化区域二值图像。
A1、利用ArcGIS(ArcGIS软件***)对不同年份的采场样本数据集中高分辨率遥感影像进行数据标注(ArcGIS先确定采场边界特征并利用边界特征标注出或圈画出影像中露天矿区采场区域),通过对比不同年份时相数据确定变化区域,同一采场在不同年份影像中的变化区域作为学习对象,该学习对象对应配置有变化标签;
A2、将两个不同年份的3通道遥感影像数据叠加为6通道影像数据,然后将其裁剪为若干相同区域的256像素×256像素的影像块(即256×256×6),筛选带有采场区域的影像块作为样本数据;
A3、通过翻转、平移、尺度变化、对比度变化和高斯噪声对样本数据进行数据增强处理;将6通道影像块连同其变化标签共同构成网络输入数据;
A4、按照7∶3的比例将采场研究区域所对应的网络输入数据随机分为训练数据集和测试数据集;训练数据集用来训练模型,测试数据集用来测试最终获得模型的精度与泛化能力。
B、基于Pytorch设计构建改进的Unet++网络模型,如图1所示,改进的Unet++网络模型以Unet++作为基础网络结构,引入可变形卷积模块和CBAM注意力机制模块,CBAM注意力机制模块包括通道注意力模块和空间注意力模块,方法包括如下:
B1、将网络输入数据输入改进的Unet++网络模型,改进的Unet++网络模型首先进行包括下采样、上采样和跳跃连接操作处理提取露天矿区采场变化区域的多尺度特征信息;优选地,Unet++网络模型的卷积单元由3×3卷积模块、归一化层和ReLU激活函数组成;优选地,下采样和上采样分别采用平均池化和双线性内插。
B2、参见图2所示的一种可变形卷积模块,Unet++网络模型的可变形卷积模块通过一个3×3卷积的输出得到可变形卷积所需的10个偏移量,并将10个偏移量作用在卷积核上以达到可变形卷积的效果;改进的Unet++网络模型根据步骤B1的多尺度特征信息采用可变形卷积的卷积核适应性覆盖露天矿区采场变化区域并捕获深层多尺度细节特征信息A(本实施例通过采用任意尺寸和形状的卷积核来捕获深层多尺度细节特征信息A,可以提高模型对于露天矿区形状、尺度变异的鲁棒性)。
B3、深层多尺度细节特征信息A输入通道注意力模块并得到通道注意力权值(如图3所示,CBAM注意力机制模块融合有通道注意力模块与空间注意力模块,本实施例深层多尺度细节特征信息A为特征图(256×256×32);另参见图4,将输入特征图(256×256×32)送入两个并行的自适应最大池化层和自适应平均池化层,分别得到两个1×1×32的特征图;然后将两个1×1×32的特征图分别送入一个两层的神经网络,第一层神经元个数为2,激活函数为ReLU,第二层神经元个数为32,输出两个256×256×32的特征图,并对二者进行对应元素相加和Sigmoid激活操作,最终得到通道注意力权值),再将深层多尺度细节特征信息A与通道注意力权值相乘得到通道维度上加强的特征信息B。将特征信息B输入空间注意力模块并得到空间注意力权值(参见图5,首先将输入特征图依次送入自适应最大池化层、自适应平均池化层,然后进行通道拼接和7×7卷积得到256×256×1的特征图,最后进行Sigmoid激活操作以得到空间注意力权值),再将特征信息B与空间注意力权值相乘得到空间维度上加强的特征信息C,该特征信息C经卷积(经过一个1×1的卷积得到最终特征图(256×256×2))并形成露天矿区采场变化区域特征信息;本实施例CBAM注意力机制模块是为了捕获深层特征在空间和通道维度的全局依赖关系,进一步提高捕获特征的准确性,得到最终露天矿区采场变化区域特征信息。
C、改进的Unet++网络模型训练:利用训练数据集对改进的Unet++网络模型进行训练并得到训练后的改进的Unet++网络模型。
根据本实施例的一个优选实施例,步骤C还包括C1;
C1、改进的Unet++网络模型训练过程中采用交叉熵损失函数,其计算方法如下:
Figure BDA0003298975430000091
其中y表示影像中采场范围标准变化值,
Figure BDA0003298975430000092
表示模型预测变化值概率,S为影像像素数量,L为模型损失值,以此表示模型的误差大小,Unet++网络模型的误差大小为L。设置步骤C中Unet++网络模型迭代训练次数epoch,进行多次迭代训练改进的Unet++网络模型;每一次迭代训练,利用梯度下降算法降低模型损失值(即可降低Unet++网络模型的误差大小),同时优化并更新模型的参数(模型的参数是指神经网络中层与层之间连接的权重值),进而得到训练后精度最高的改进的Unet++网络模型。。
根据本实施例的一个优选实施例,本实施例步骤C1中交叉熵损失函数中按照像素对应加入权重来解决变化与未变化类别不平衡问题,根据变化和未变化所占的像素比分别为其设置合适的权重,计算方法为:
Figure BDA0003298975430000093
Figure BDA0003298975430000094
其中,w0是未变化像素的权重,w1是变化像素的权重,Ni0是第i幅影像中未变化像素的数量,Ni1是第i幅影像中变化像素的数量,Ni是第i幅影像中像素的总数。
根据本实施例的一个优选实施例,本实施例还包括如下方法:
C2、通过训练后的改进的Unet++网络模型检测露天矿区采场变化区域并采用投票策略与面向对象影像分析方法相结合以提高变化检测精度(即改进的Unet++网络模型的变化检测精度,降低Unet++网络模型的误差大小),其方法包括:
C21、将测试数据集中的网络输入数据输入到训练好的Unet++网络模型中,获取露天矿区采场变化区域的检测值,其检测值为测试数据集中网络输入数据按照步骤B方法所对应的露天矿区采场变化区域;
C22、采用多尺度分割算法(Multi-resolution Segmentation)对测试数据集中的影像进行分割,得到影像对象分割结果,并采用ESP工具自动获得最佳分割尺度;假设影像对象oi包含N个像素,且lj是像素j的类别,像素j的类别包括变化、未变化两种,则影像对象oi的类别ci可通过下式确定:
Figure BDA0003298975430000101
Ci=argmax(di,c)
其中c∈像素j的类别,影像对象oi的类别ci由影像对象内像素j的多数确定;所有影像对象oi的类别确定后即完成测试数据集中测试影像的变化区域检测;
通过变化区域检测结果与测试数据集中数据对比确定改进的Unet++网络模型的测试精度。
根据本实施例的一个优选实施例,本实施例步骤C2还包括进行如下方法:根据影像对象oi的类别ci修正露天矿区采场变化区域特征信息。
根据本实施例的一个优选实施例,本实施例通道注意力模块包括自适应最大池化层、自适应平均池化层和共享全连接层,共享全连接层包括两层神经网络,首先将由可变形卷积模块得到的深层多尺度细节特征信息A分别输入到两个并行的自适应最大池化层与自适应平均池化层,分别得到两个特征图A1,然后将两个特征图A1分别输入共享全连接层的两层神经网络并分别输出特征图A2,再将两个特征图A2进行对应元素相加及Sigmoid激活操作并得到通道注意力权值。
根据本实施例的一个优选实施例,本实施例共享全连接层的两层神经网络由第一层神经网络和第二层神经网络组成,第一层神经网络的神经元个数为2个,其激活函数为ReLU;第二层神经网络的神经元个数为32个。
根据本实施例的一个优选实施例,本实施例空间注意力模块包括自适应最大池化层、自适应平均池化层,首先将特征信息B输入到自适应最大池化层与自适应平均池化层,然后进行通道拼接和7×7卷积得到特征图B1,接着对特征图B1进行Sigmoid激活操作并得到空间注意力权值。
实施例二
一种基于改进Unet++的露天矿区采场变化区域检测方法,如图1~图5所示,其方法如下:
A、制作神东矿区两个不同年份的采场样本数据集,采场样本数据集中的数据为露天矿区采场的高分辨率遥感影像;
以鄂尔多斯神东矿区为例,将该区域2015年和2017年的高分遥感影像制作成采场样本数据集,使得高分辨率遥感影像满足改进Unet++网络模型输入影像的规定格式,其方法如下:
A1.利用ArcGIS将该区域2015年和2017年的遥感影像中的采场变化区域进行标注,同一采场在2015年和2017年影像中的变化区域作为改进Unet++网络模型的学习对象,即变化标签。
A2.将两个年份的3通道遥感影像数据叠加为6通道影像,利用ArcGIS将2015年和2017年的神东矿区遥感影像数据裁剪为若干相同区域的256像素×256像素的影像块,筛选带有采场的影像块作为样本数据。
A3.利用深度学***移、尺度变化、对比度变化和高斯噪声,以增强模型的泛化能力。
A4.将神东矿区6通道影像块连同其变化标签作为网络输入数据。
A5.按照7∶3的比例将采场研究区域所对应的网络输入数据随机分为训练数据集和测试数据集;训练区域的影像用来训练模型,测试数据集的影像用来测试最终获得的模型的精度与泛化能力。
B、基于Pytorch设计改进的Unet++网络模型:
B1.Unet++作为基础网络结构,将采场样本数据集(256×256×6)输入网络后,首先通过Unet++进行一系列的下采样、上采样和跳跃连接操作提取露天矿区采场变化区域的多尺度特征信息。其中卷积单元由3×3卷积,归一化层和ReLU激活函数组成,下采样和上采样分别采用平均池化和双线性内插。
B2.将Unet++网络模型提取的多尺度特征信息输入到可变形卷积模块,参见图2:首先通过一个3×3卷积的输出得到可变形卷积所需的10个偏移量,然后将10个偏移量作用在卷积核上,达到可变形卷积的效果。本实施例通过采用任意尺寸和形状的卷积核来捕获深层多尺度细节特征信息,把提取的更多注意力聚焦到露天矿区采场变化区域有关的位置上,可以更好的覆盖不同尺寸和形状的露天矿区采场变化区域。
B3.将可变形卷积模块提取的深层多尺度细节特征信息输入到融合了空间(空间注意力模块)和通道注意力机制(即通道注意力模块)的CBAM注意力机制模块中,如图3所示:输入特征图(256×256×32)首先通过通道注意力模块得到通道注意力权值,再将输入特征图与通道注意力权值相乘得到通道维度上加强的特征信息,最后将其输入空间注意力模块,经过与通道注意力模块类似的操作得到最终的输出特征图(256×256×32)。其中:通道注意力模块如图4所示,首先将输入特征图(256×256×32)送入两个并行的自适应最大池化层和自适应平均池化层,分别得到两个1×1×32的特征图。然后将两个1×1×32的特征图分别送入一个两层的神经网络,第一层神经元个数为2,激活函数为Relu,第二层神经元个数为32,输出两个256×256×32的特征图,并对二者进行对应元素相加和Sigmoid激活操作,最终得到通道注意力权值。空间注意力模块如图5所示,首先将输入特征图依次送入自适应最大池化层、自适应平均池化层,然后进行通道拼接和7×7卷积得到256×256×1的特征图,再进行Sigmoid激活操作以得到空间注意力权值。将可变形卷积模块提取的深层多尺度细节特征信息输入到融合了空间和通道注意力机制的CBAM注意力机制模块是为了捕获深层特征在空间和通道维度的全局依赖关系,进一步提高捕获特征的准确性,得到最终露天矿区采场变化区域特征信息。
C、利用神东矿区数据集对改进的Unet++网络模型进行训练并得到训练后的改进的Unet++网络模型。
C1.利用制作好的神东矿区采场训练集对改进的Unet++网络模型进行训练。实验参数设置如表1所示,实验服务器性能如表2所示。
Figure BDA0003298975430000131
Figure BDA0003298975430000141
表1网络参数设置
Figure BDA0003298975430000142
表2服务器配置
实验采用Precision、Recall、Flscore三个分类评价指标检验模型精度,利用神东矿区采场训练集对改进的Unet++网络模型进行训练,利用测试集进行预测采场变化区域二值图像。多次迭代训练之后选取精度最高且视觉效果最好的模型来检测神东矿区采场变化区域。
C2.本实施例在模型训练过程采用交叉熵损失函数,其计算方法为:
Figure BDA0003298975430000143
其中y表示影像中采场范围标准变化值,
Figure BDA0003298975430000144
表示模型预测变化值,S为验证集的影像数量,L为模型损失值,以此表示模型的误差大小。
此外,在损失函数中加入权重来解决变化与未变化类别不平衡问题,具体为根据变化和未变化所占的像素比分别为其设置合适的权重,计算方法为:
Figure BDA0003298975430000145
Figure BDA0003298975430000151
其中,w0是未变化像素的权重,w1是变化像素的权重,Ni0是第i幅影像中未变化像素的数量,Ni1是第i幅影像中变化像素的数量,Ni是第i幅影像中像素的总数。
C3.设置迭代训练次数epoch,进行多次迭代训练。每一次迭代训练,利用梯度下降算法降低模型损失值,同时优化并更新模型的参数(模型的参数是指神经网络中层与层之间连接的权重值)。
D、最后通过训练后的网络模型检测神东矿区采场变化区域,并采用投票策略与面向对象影像分析方法相结合以提高变化检测精度:具体步骤包括:
D1.将测试数据集输入到利用训练数据集训练好的网络模型中,以获取神东矿区采场变化区域的检测值。
D2.采用多尺度分割算法(Multi-resolution Segmentation)对影像进行分割,得到影像对象分割结果,并采用ESP工具自动获得最佳分割尺度。
D3.假设对象oi包含N个像素,且lj是像素j的类别(变化或者未变化),则oi的类别Ci可通过下式确定:
Figure BDA0003298975430000152
Ci=argmax(di,c) (5)
其中c∈(变化,未变化),影像对象oi的类别ci由影像对象内像素j的多数确定;所有影像对象oi的类别确定后即完成测试数据集中测试影像的变化区域检测;
通过变化区域检测结果与测试数据集中数据对比确定改进的Unet++网络模型的测试精度。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于改进Unet++的露天矿区采场变化区域检测方法,其特征在于:其方法如下:
A、获取至少两个年份的采场样本数据集,采场样本数据集中的数据为露天矿区采场的高分辨率遥感影像;
A1、利用ArcGIS对不同年份的采场样本数据集中高分辨率遥感影像进行数据标注,通过对比不同年份时相数据确定变化区域,同一采场在不同年份影像中的变化区域作为学习对象,该学习对象对应配置有变化标签;
A2、将两个不同年份的3通道遥感影像数据叠加为6通道影像数据,然后将其裁剪为若干相同区域的256像素×256像素的影像块,筛选带有采场的影像块作为样本数据;
A3、通过翻转、平移、尺度变化、对比度变化和高斯噪声对样本数据进行数据增强处理;将6通道影像块连同其变化标签共同构成网络输入数据;
A4、按照7:3的比例将采场研究区域所对应的网络输入数据随机分为训练数据集和测试数据集;
B、基于Pytorch设计构建改进的Unet++网络模型,改进的Unet++网络模型以Unet++作为基础网络结构,引入可变形卷积模块和CBAM注意力机制模块,CBAM注意力机制模块包括通道注意力模块和空间注意力模块,方法包括如下:
B1、将网络输入数据输入改进的Unet++网络模型,改进的Unet++网络模型首先进行包括下采样、上采样和跳跃连接操作处理提取露天矿区采场变化区域的多尺度特征信息;
B2、Unet++网络模型的可变形卷积模块通过一个3×3卷积的输出得到可变形卷积所需的10个偏移量,并将10个偏移量作用在卷积核上以达到可变形卷积的效果;改进的Unet++网络模型根据步骤B1的多尺度特征信息采用可变形卷积的卷积核适应性覆盖露天矿区采场变化区域并捕获深层多尺度细节特征信息A;
B3、深层多尺度细节特征信息A输入通道注意力模块并得到通道注意力权值,再将深层多尺度细节特征信息A与通道注意力权值相乘得到通道维度上加强的特征信息B;将特征信息B输入空间注意力模块并得到空间注意力权值,再将特征信息B与空间注意力权值相乘得到空间维度上加强的特征信息C,该特征信息C经卷积并形成露天矿区采场变化区域特征信息;
C、改进的Unet++网络模型训练:利用训练数据集对改进的Unet++网络模型进行训练并得到训练后的改进的Unet++网络模型;通过训练后的改进的Unet++网络模型检测露天矿区采场变化区域并采用投票策略与面向对象影像分析方法相结合以提高变化检测精度,其方法包括:
C21、将测试数据集中的网络输入数据输入到训练好的Unet++网络模型中,获取露天矿区采场变化区域的检测值,其检测值为测试数据集中网络输入数据按照步骤B方法所对应的露天矿区采场变化区域;
C22、采用多尺度分割算法对测试数据集中的影像进行分割,得到影像对象分割结果,并采用ESP工具自动获得最佳分割尺度;假设影像对象oi包含N个像素,且lj是像素j的类别,像素j的类别包括变化、未变化两种,则影像对象oi的类别ci可通过下式确定:
Figure FDA0003506630820000021
Ci=argmax(di,c)
其中c∈像素j的类别,影像对象oi的类别Ci由影像对象内像素j的多数确定;所有影像对象oi的类别确定后即完成测试数据集中测试影像的变化区域检测;
通过变化区域检测结果与测试数据集中数据对比确定改进的Unet++网络模型的测试精度;根据影像对象oi的类别Ci修正露天矿区采场变化区域特征信息。
2.按照权利要求1所述的一种基于改进Unet++的露天矿区采场变化区域检测方法,其特征在于:步骤C还包括C1;
C1、改进的Unet++网络模型训练过程中采用交叉熵损失函数,其计算方法如下:
Figure FDA0003506630820000031
其中y表示影像中采场范围标准变化值,
Figure FDA0003506630820000032
表示模型预测变化值概率,S为影像像素数量,L为模型损失值,以此表示模型的误差大小,Unet++网络模型的误差大小为L。
3.按照权利要求2所述的一种基于改进Unet++的露天矿区采场变化区域检测方法,其特征在于:步骤C1中交叉熵损失函数中按照像素对应加入权重来解决变化与未变化类别不平衡问题,根据变化和未变化所占的像素比分别为其设置合适的权重,计算方法为:
Figure FDA0003506630820000033
Figure FDA0003506630820000034
其中,w0是未变化像素的权重,w1是变化像素的权重,Ni0是第i幅影像中未变化像素的数量,Ni1是第i幅影像中变化像素的数量,Ni是第i幅影像中像素的总数。
4.按照权利要求1所述的一种基于改进Unet++的露天矿区采场变化区域检测方法,其特征在于:所述Unet++网络模型的卷积单元由3×3卷积模块、归一化层和ReLU激活函数组成。
5.按照权利要求1所述的一种基于改进Unet++的露天矿区采场变化区域检测方法,其特征在于:通道注意力模块包括自适应最大池化层、自适应平均池化层和共享全连接层,共享全连接层包括两层神经网络,首先将由可变形卷积模块得到的深层多尺度细节特征信息A分别输入到两个并行的自适应最大池化层与自适应平均池化层,分别得到两个特征图A1,然后将两个特征图A1分别输入共享全连接层的两层神经网络并分别输出特征图A2,再将两个特征图A2进行对应元素相加及Sigmoid激活操作并得到通道注意力权值。
6.按照权利要求5 所述的一种基于改进Unet++的露天矿区采场变化区域检测方法,其特征在于:共享全连接层的两层神经网络由第一层神经网络和第二层神经网络组成,第一层神经网络的神经元个数为2个,其激活函数为ReLU;第二层神经网络的神经元个数为32个。
7.按照权利要求1所述的一种基于改进Unet++的露天矿区采场变化区域检测方法,其特征在于:空间注意力模块包括自适应最大池化层、自适应平均池化层,首先将特征信息B输入到自适应最大池化层与自适应平均池化层,然后进行通道拼接和7×7卷积得到特征图B1,接着对特征图B1进行Sigmoid激活操作并得到空间注意力权值。
8.按照权利要求1所述的一种基于改进Unet++的露天矿区采场变化区域检测方法,其特征在于:步骤A中:获取两个年份的采场样本数据集。
CN202111185384.5A 2021-10-12 2021-10-12 一种基于改进Unet++的露天矿区采场变化区域检测方法 Active CN113887459B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111185384.5A CN113887459B (zh) 2021-10-12 2021-10-12 一种基于改进Unet++的露天矿区采场变化区域检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111185384.5A CN113887459B (zh) 2021-10-12 2021-10-12 一种基于改进Unet++的露天矿区采场变化区域检测方法

Publications (2)

Publication Number Publication Date
CN113887459A CN113887459A (zh) 2022-01-04
CN113887459B true CN113887459B (zh) 2022-03-25

Family

ID=79006281

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111185384.5A Active CN113887459B (zh) 2021-10-12 2021-10-12 一种基于改进Unet++的露天矿区采场变化区域检测方法

Country Status (1)

Country Link
CN (1) CN113887459B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114549972B (zh) * 2022-01-17 2023-01-03 中国矿业大学(北京) 露天矿采场提取方法、装置、设备及介质
CN114494185B (zh) * 2022-01-25 2022-09-30 国网吉林省电力有限公司电力科学研究院 一种基于rgb-t多尺度特征融合的电气设备故障检测方法
CN114359120B (zh) * 2022-03-21 2022-06-21 深圳市华付信息技术有限公司 遥感影像处理方法、装置、设备及存储介质
CN114549520B (zh) * 2022-04-08 2024-05-07 北京端点医药研究开发有限公司 基于全卷积注意力增强网络的视网膜病理切片分析***
CN114937204B (zh) * 2022-04-29 2023-07-25 南京信息工程大学 一种轻量级多特征聚合的神经网络遥感变化检测方法
CN114972989B (zh) * 2022-05-18 2023-01-10 中国矿业大学(北京) 一种基于深度学习算法的单幅遥感影像高度信息估算方法
CN115456957B (zh) * 2022-08-19 2023-09-01 广州大学 一种全尺度特征聚合的遥感影像变化检测的方法
CN115482463B (zh) * 2022-09-01 2023-05-05 北京低碳清洁能源研究院 一种生成对抗网络矿区土地覆盖识别方法及***
CN116433607B (zh) * 2023-03-17 2024-03-15 四川文理学院 基于关键区域特征双重加权融合的儿童手骨x光图像骨龄评估方法及***
CN115984296B (zh) * 2023-03-21 2023-06-13 译企科技(成都)有限公司 一种应用多注意力机制的医学图像分割方法及***
CN117671437B (zh) * 2023-10-19 2024-06-18 中国矿业大学(北京) 基于多任务卷积神经网络的露天采场识别与变化检测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110610509A (zh) * 2019-09-18 2019-12-24 上海大学 可指定类别的优化抠图方法及***
CN113435411A (zh) * 2021-07-26 2021-09-24 中国矿业大学(北京) 一种基于改进DeepLabV3+的露天矿区土地利用识别方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018222755A1 (en) * 2017-05-30 2018-12-06 Arterys Inc. Automated lesion detection, segmentation, and longitudinal identification
US11645791B2 (en) * 2019-10-17 2023-05-09 Rutgers, The State University Of New Jersey Systems and methods for joint reconstruction and segmentation of organs from magnetic resonance imaging data
CN111325771B (zh) * 2020-02-17 2022-02-01 武汉大学 基于影像融合框架的高分辨率遥感影像变化检测方法
CN112270280B (zh) * 2020-11-02 2022-10-14 重庆邮电大学 一种基于深度学习的遥感图像中的露天矿场检测方法
CN112381097A (zh) * 2020-11-16 2021-02-19 西南石油大学 一种基于深度学习的场景语义分割方法
CN112598684A (zh) * 2020-12-28 2021-04-02 长光卫星技术有限公司 一种基于语义分割技术的露天矿区地物分割方法
CN112734672B (zh) * 2021-01-13 2022-09-20 大连理工大学 基于注意力形变卷积自动搜索的实时视频去雨方法
CN113034380B (zh) * 2021-02-09 2022-06-10 浙江大学 基于改进可变形卷积校正的视频时空超分辨率方法和装置
CN113420619A (zh) * 2021-06-07 2021-09-21 核工业北京地质研究院 一种遥感影像建筑物提取方法
CN113361485B (zh) * 2021-07-08 2022-05-20 齐齐哈尔大学 基于光谱空间注意力融合和可变形卷积残差网络的高光谱图像分类方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110610509A (zh) * 2019-09-18 2019-12-24 上海大学 可指定类别的优化抠图方法及***
CN113435411A (zh) * 2021-07-26 2021-09-24 中国矿业大学(北京) 一种基于改进DeepLabV3+的露天矿区土地利用识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"Automated segmentation of optic disc and optic cup for glaucoma assessment using improved Unet++ architecture";Akshat Tulsani等;《ELSEVIER》;20210630;第41卷(第2期);第819-832页 *
"基于注意力机制和可变形卷积的鸡只图像实例分割提取";方鹏等;《农业机械学报》;20210430;第52卷(第4期);第257-265页 *
基于特征金字塔网络的肺结节检测;高智勇等;《计算机应用》;20200713(第09期);第2571-2576页 *

Also Published As

Publication number Publication date
CN113887459A (zh) 2022-01-04

Similar Documents

Publication Publication Date Title
CN113887459B (zh) 一种基于改进Unet++的露天矿区采场变化区域检测方法
CN107169956B (zh) 基于卷积神经网络的色织物疵点检测方法
CN111539316B (zh) 基于双注意力孪生网络的高分遥感影像变化检测方法
CN111080629B (zh) 一种图像拼接篡改的检测方法
Gong et al. Superpixel-based difference representation learning for change detection in multispectral remote sensing images
CN112966684B (zh) 一种注意力机制下的协同学习文字识别方法
Kannojia et al. Effects of varying resolution on performance of CNN based image classification: An experimental study
CN111753828B (zh) 一种基于深度卷积神经网络的自然场景水平文字检测方法
CN107392019A (zh) 一种恶意代码家族的训练和检测方法及装置
CN110782420A (zh) 一种基于深度学习的小目标特征表示增强方法
CN113435411B (zh) 一种基于改进DeepLabV3+的露天矿区土地利用识别方法
CN104299006A (zh) 一种基于深度神经网络的车牌识别方法
CN111666842B (zh) 一种基于双流空洞卷积神经元网络的阴影检测方法
CN111257341A (zh) 基于多尺度特征与堆叠式全卷积网络的水下建筑物裂缝检测方法
CN109035300B (zh) 一种基于深度特征与平均峰值相关能量的目标跟踪方法
CN112580458B (zh) 人脸表情识别方法、装置、设备及存储介质
CN114841972A (zh) 基于显著性图和语义嵌入特征金字塔的输电线路缺陷识别方法
CN113920516B (zh) 一种基于孪生神经网络的书法字骨架匹配方法及***
CN113887472A (zh) 基于级联颜色及纹理特征注意力的遥感图像云检测方法
CN111353544A (zh) 一种基于改进的Mixed Pooling-YOLOV3目标检测方法
US20230213671A1 (en) Classifying geologic features in seismic data through image analysis
CN111833353B (zh) 一种基于图像分割的高光谱目标检测方法
CN112836614A (zh) 一种基于残差网络和迁移学习的高分遥感图像分类方法
CN112818920A (zh) 一种双时相高光谱图像空谱联合变化检测方法
CN113378642B (zh) 一种对农村违法占地建筑物进行检测的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant