CN117611996A - 基于深度特征融合的葡萄种植区遥感影像变化检测方法 - Google Patents

基于深度特征融合的葡萄种植区遥感影像变化检测方法 Download PDF

Info

Publication number
CN117611996A
CN117611996A CN202311526699.0A CN202311526699A CN117611996A CN 117611996 A CN117611996 A CN 117611996A CN 202311526699 A CN202311526699 A CN 202311526699A CN 117611996 A CN117611996 A CN 117611996A
Authority
CN
China
Prior art keywords
image
feature map
feature
remote sensing
representing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311526699.0A
Other languages
English (en)
Inventor
张宏鸣
沈寅威
李峥嵘
韩文霆
吴军虎
强建华
唐恒翱
阳光
高郑杰
张二磊
詹涛
牛当当
宋荣杰
朱珊娜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xi'an Xingshan Shitu Technology Co ltd
Northwest A&F University
Aerial Photogrammetry and Remote Sensing Co Ltd
Original Assignee
Xi'an Xingshan Shitu Technology Co ltd
Northwest A&F University
Aerial Photogrammetry and Remote Sensing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xi'an Xingshan Shitu Technology Co ltd, Northwest A&F University, Aerial Photogrammetry and Remote Sensing Co Ltd filed Critical Xi'an Xingshan Shitu Technology Co ltd
Priority to CN202311526699.0A priority Critical patent/CN117611996A/zh
Publication of CN117611996A publication Critical patent/CN117611996A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/096—Transfer learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Remote Sensing (AREA)
  • Astronomy & Astrophysics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于深度特征融合的葡萄种植区遥感影像变化检测方法，包括：步骤一，高分二号遥感影像数据处理。步骤二，构建变化检测数据集。步骤三，构建变化检测模型：步骤301，选取ResNet101作为主干网络。步骤302，构建ResCBAM模型。步骤303，设计上下文聚集模块。步骤304，设计深度特征融合模块。步骤四，模型训练与保存。步骤五，葡萄种植区遥感影像变化检测。本发明最终的交并比、召回率和F1值分别达到了77.22％、85.10％和87.15％，相较于目前主流变化检测方法分别提高了3.24、4.59、2.1个百分点。

Description

基于深度特征融合的葡萄种植区遥感影像变化检测方法
技术领域
本发明属于农业种植技术领域，涉及种植区遥感影像，具体涉及一种基于深度特征融合的葡萄种植区遥感影像变化检测方法。
背景技术
利用深度学习技术对遥感影像中葡萄种植区变化区域进行准确提取，以此获得其空间分布变化信息，可以作为管理和施政的数据基础，为区间的土地资源管理、产量估算和精细化管理等提供技术支撑。复杂的遥感解译任务一直是遥感领域以及计算机视觉的研究难点，利用深度学习技术可很大程度上解决传统实地解译费时费力的问题，已经被广泛应用于农业种植规划中。
目前常用的变化检测方法可以分为基于代数的变化检测技术、基于机器学习的变化检测技术、基于分类的变化检测技术和基于深度学习的变化检测技术。基于代数的变化检测技术判定变化区域的阈值选择十分重要，可以得到研究区域变化的规模，但阈值的选择较为困难，而基于机器学习的变化检测技术需要进行人工的特征筛选，检测具有不稳定性，同时基于分类的变化检测技术存在误差累积的问题，识别精度不足。而随着深度学习技术在特征提取方面能力的提高，其在计算机视觉领域已经取得了巨大的突破，逐渐被应用于遥感解译工作中。但目前葡萄种植区遥感影像变化检测技术还存在提取精度低，识别主体不够完整等问题，因此，急需提出一种高精度、端到端的葡萄种植区变化检测模型。目前已有的研究和技术中仍存在以下几点不足：
第一，两时期遥感影像的成像时间、条件不同，之间存在光照、颜色等偏差，异质性会影响变化区域的提取，因此融入多波段信息并加以关注可以更好的凸显不同地块之间的差异。
第二，现有变化检测方法提取的特征存在忽略上下文关系的问题，单个像素点包含的语义信息较少，难以为变化推导提供丰富的判别信息，因此需要修改网络结构，融入更多上下文信息。
第三，深度语义特征中缺乏原始影像中的细节特征，现有变化检测方法提取出的变化区域内部往往不够完整，边缘信息较差，导致准确率较低，因此需要设计一个深度特征融合模块，更好地处理深度特征以提高检测精度。
发明内容
针对现有技术存在的不足，本发明的目的在于，提供一种基于深度特征融合的葡萄种植区遥感影像变化检测方法，以解决现有技术中的检测方法识别精度较和识别主体的完整性有待进一步提升的技术问题。
为了解决上述技术问题，本发明采用如下技术方案予以实现：
一种基于深度特征融合的葡萄种植区遥感影像变化检测方法，该方法包括以下步骤：
步骤一，高分二号遥感影像数据处理。
步骤二，构建变化检测数据集。
步骤三，构建变化检测模型：
步骤301，选取ResNet101作为主干网络。
步骤302，构建ResCBAM模型。
步骤303，设计上下文聚集模块。
步骤304，设计深度特征融合模块。
步骤四，模型训练与保存：
采用步骤二中得到的变化检测数据集，对步骤三得到的ResCBAM模型进行训练与保存。
步骤五，葡萄种植区遥感影像变化检测：
将葡萄种植区的待检测区域的双时相遥感影像按照步骤一中的遥感影像数据处理方法进行预处理，对齐地理坐标系，并裁剪成相同像素大小，输入至经过步骤四训练后的ResCBAM模型中，调用预先保存好的经过步骤四训练后的ResCBAM模型中的权重，按照滑动窗口的形式进行区域预测，并将每个小块之间进行拼接，从而获得与原始影像相同像素大小的变化区域提取图像。
本发明与现有技术相比，具有如下技术效果：
(Ⅰ)本发明重新构造了Resnet模型输入层及残差结构，形成新的网络模型ResCBAM，使得处理传统自然图像的神经网络适用于包含更多光谱信息的遥感影像，在网络编码器阶段加入CBAM注意力机制，在空间和通道两个维度强调与变化相关特征，以此减少双时相遥感影像异质性对变化检测的影响，更有利于区分不同地块之间的光谱信息。
(Ⅱ)本发明在解码器阶段设计了上下文聚集模块，扩大模型感受野的同时增加像素信息的全局相关性，极大程度地避免检测中出现的误检测以及漏检测问题，从而提升模型精度。
(Ⅲ)本发明设计了深度特征融合模块，避免不同深度特征融合时出现语义差异、噪声冗余等问题，提升模型提取变化区域的完整以及边缘的平滑。
(Ⅳ)本发明最终的交并比、召回率和F1值分别达到了77.22％、85.10％和87.15％，相较于目前主流变化检测方法分别提高了3.24、4.59、2.1个百分点。
附图说明
图1是葡萄种植区双时相遥感影像示意图。
图2是变化检测网络结构图。
图3是卷积注意力模块结构图。
图4是上下文聚集模块结构图。
图5是深度特征融合模块结构图。
图6是不同对比方法预测结果图。
以下结合实施例对本发明的具体内容作进一步详细解释说明。
具体实施方式
需要说明的是，本发明中的所有的算法、软件、工具和模块，如无特殊说明，全部均采用现有技术中已知的算法、软件、工具和模块。
本发明是基于遥感技术、计算机图像处理等交叉领域的一种葡萄种植区变化检测技术，使用同一地理位置中的两个或多个图像来发现和识别地面物体的差异，以此分析特定地点的变化情况。通过修改深度学习网络模型，将适用于自然图像的分割模型用于遥感影像解译领域，使得模型读取多光谱通道，并且在模型中添加注意力机制，提升模型对变化特征的关注度，同时设计了上下文聚集模块和深度特征融合模块，克服深度学习模型中存在的感受野小以及对深度特征关注较少的缺陷。
本发明基于ResNet卷积神经网络，提出了一种适用于葡萄种植区遥感影像变化检测方法，该方法为一种高精度、端到端的变化检测方法，解决了目前变化检测方法存在识别精度较低、识别主体不完整等问题。改进深度学习模型，在融合多波段信息的同时，在解码器阶段加入注意力机制，强调变化特征，并且设计了上下文聚集模块和深度特征融合模块，减少结果中的误检测和漏检测问题。
本发明基于ResNet卷积神经网络，结合编码器解码器结构，重新构造了Resnet模型输入层及残差结构，形成新的网络模型(ResNet with ConvolutionalBlock AttentionModule，ResCBAM)，模型可以融合多波段数据，并且在每个Bottleneck中添加卷积注意力机制作为网络的特征提取模块，在空间和通道维度上对特征提取进行加权，提高模型对变化区域的关注。同时在解码器阶段设计了上下文聚集模块(CAM)和深度特征融合模块(DFFM)，在增大深度特征图的全局信息的同时，将多层深度特征进行融合，以丰富特征维度，从而提升模型精度，使得提变化区域的主体更加完整，边缘更加平滑，最终形成一种适用于高分卫星遥感影像的葡萄种植区变化检测方法。通过宁夏葡萄种植区变化数据集，与主流变化检测方法DSINF、SNUNet、A2Net、ResNet-CD进行对比。结果表明，设计的ResCBAM网络融合了更多波段数据，设计的上下文聚集模块和深度特征融合模块有效减少了误检测及漏检测，最终的交并比、召回率和F1值分别达到了77.22％、85.10％和87.15％，相较于目前主流变化检测方法分别提高了3.24、4.59、2.1个百分点。提取出的变化区域更加完整并且保留了更多的边缘细节，为背景复杂的大范围葡萄种植区变化检测提供了新的解决思路。
遵从上述技术方案，以下给出本发明的具体实施例，需要说明的是本发明并不局限于以下具体实施例，凡在本申请技术方案基础上做的等同变换均落入本发明的保护范围。
实施例：
本实施例给出一种基于深度特征融合的葡萄种植区遥感影像变化检测方法，其特征在于，该方法包括以下步骤：
步骤一，高分二号遥感影像数据处理：
将高分二号卫星拍摄所得的多光谱影像和全色影像使用ENVI软件分别进行辐射定标、大气校正、正射校正和影像配准的操作，接着使用NNDiffusion PanSharpening工具进行图像融合，使得影像更加接近地表的真实情况，得到1m空间分辨率以及红-绿-蓝-近红外4个波段的融合影像数据。
本步骤综合了丰富的空谱信息和光谱信息，为后续变化检测夯实良好的数据基础，双时相遥感影像如图1所示。
步骤二，构建变化检测数据集：
步骤201，根据卫星拍摄地点的遥感影像和当地葡萄种植区的分布，根据实际的地面调查结合目视解译，在ArcGis软件内对两时期的遥感影像进行人工的矢量化标注，生成与原图尺寸和空间分辨率相同的标签图像，之后对两时期的标签图像进行差值运算，得到变化检测的标签，变化区域像素值为255，未变化区域像素值为0，将其与前后时相影像配对后，通过0.6的重叠率滑动裁剪为512像素×512像素大小，得到最终的变化检测的影像-标签对。
步骤202，同时利用数据增强技术扩充数据集，并将部分未变化的影像-标签对剔除，共得到1254个影像标签对，接着通过数据增广技术生成丰富的差异化数据，对数据进行旋转变换和反转变换后，共得到10072个影像-标签对，将影像-标签对按照9:2:2比例划分成训练集、验证集和测试集，训练集包含7016个影像-标签对，验证集和测试集包含1528个影像-标签对，训练集用于训练模型，测试集和验证集用于验证模型的泛化能力。
步骤三，构建变化检测模型：
步骤301，选取ResNet101作为主干网络。
ResNet网络于2016年He等首次提出，由于卷积网络模型在层数不断增加的同时，会出现效果大幅下降的“退化”(Degradation)现象，该网络的出现解决了网络梯度突然消失或者***问题。ResNet结构利用了捷径连接(Shortconnection)进行恒等映射(Identitymapping)，具体流程如式1所示。
H(x)＝F(x,{Wi})+x
F(x，{Wi})＝W2σ(W1x) 式1；
式中：
H(x)表示输出特征；
F()表示学习的残差映射；
x表示输入特征；
Wi表示权重参数；
W1表示第1层网络参数；
W2表示第2层网络参数；
σ表示ReLU函数。
在计算机视觉领域中，卷积神经网络是一种常用的自动提取原始图像数据特征信息的网络结构，随着其网络层数的提升，提取的特征信息也更具有表征性，语义信息也更加丰富。目前常用的ResNet模型有ResNet18、ResNet50和ResNet101等，基于遥感图像具有丰富光谱和空间信息，更深层次的网络可以提取出语义信息丰富的特征，有助于复杂的变化检测任务。
本发明的整体网络结构如图2所示。
步骤302，构建ResCBAM模型：
本步骤中，在编码器生成的不同时相之间的特征图，由于图像时相不一致，两幅图像之间存在异质性，特征图中包含葡萄种植区变化信息的同时也会出现大量颜色、亮度的变化等其他信息。因此在网络编码器阶段融入卷积注意力模块，其包含了通道注意力模块(Channel Attention Module)和空间注意力模块(Spatial Attention Module)两个维度，模块结构如图3所示。变化检测模型使用空间-通道注意模块来强调与目标相关的特征图像素，同时抑制与目标无关的像素。
构建ResCBAM模型的详细过程如下所述：
步骤30201，获取通道注意力，对H×W×C的通道注意力图的特征图F，分别进行空间的平均池化和最大池化，得到两个1×1×C的通道全局特征图Favg和Fmax。
式中：
H表示输入图片的高度；
W表示输入图片的宽度；
C表示输入图片的通道数。
步骤30202，将全局特征图Favg和Fmax送入含有两层的ResNet网络中，得到两个特征图后经过Sigmoid函数生成最后的权重系数，用权重系数和特征图F相乘，得到新的特征图F′，所述的新的特征图F′的计算公式如式2所示。
F′＝Sigmoid(W1(W0(Favg)+W1(W0(Fmax))) 式2；
式中：
F′表示新的特征图；
Sigmoid()表示进行Sigmoid函数运算；
W1表示第1层网络参数；
W2表示第2层网络参数；
Favg表示特征图F的平均池化特征图；
Fmax表示特征图F的最大池化特征图。
步骤30203，对所述的新的特征图F′的数据，再引入空间注意力模块关注同一通道上不同位置的信息；对于新新的特征图F′，在通道维度进行平均池化F’avg和最大池化和F’max，形成关于空间注意力H×W×1的描述，拼接在一起后经过卷积层和Sigmoid激活函数，生成权重系数，与新的特征图F′相乘，得到放缩后的新特征图F″，所述的放缩后的新特征图F″的计算公式如式3所示。
F″＝Sigmoid(conv7×7([F′avg：F′max]) 式3；
式中：
F″表示放缩后的新特征图；
Sigmoid()表示进行Sigmoid函数运算；
conv7×7表示卷积核大小为7的卷积操作；
[]表示concatenate操作。
F’avg表示新的特征图F′的平均池化特征图；
F’max表示新的特征图F′的最大池化特征图；
步骤30203，最后将通道注意力和空间注意力以顺序方式组合，融入进ResNet网络中，缓解不同时相融合过程中的颜色、光线偏差带来的问题。
步骤303，设计上下文聚集模块：
本步骤中，双时相遥感影像中存在大量与葡萄种植区纹理相似的林地与荒地，并且种植区域分散，中间零散分布着房屋、道路等各类地物，图像经过特征提取后每个像素点的感受野较小，这对于变化检测推断提供的信息十分有限，往往会存在大量的误检测或者漏检测问题，难以对葡萄种植区变化信息进行有效检测。传统的下采样虽可增加感受野，但会降低空间分辨率。Deeplab系列提出于2015年，其创新性的提出了空洞空间金字塔池(Astrous Spatial Pyramid Pooling，ASPP)结构，在使用空洞卷积能够在扩大感受野的同时，保证分辨率。这十分适用于分割任务中，感受野的增大可精确定位目标。
设计上下文聚集模块(CAM)的细步骤如下：
步骤30301，采用式4至式7将孪生ResCBAM模型的两条特征提取分支上的特征图分别经过采用不同扩张率的空洞卷积和空洞空间金字塔池，获得更多的上下文信息。、F0＝conv1×1F 式4；
P4＝AvgPool(F) 式6；
Fti＝[F0：F1：F2：F3：F4]，i＝1，2 式7；
式中：
F表示特征图；
F0表示第0层特征图；
F1表示第1层特征图；
F2表示第2层特征图；
F3表示第3层特征图；
F4表示第4层特征图；
Fi表示不同层次的特征图；
Fti表示经过空洞空间金字塔的ti时相的影像特征图；
i表示第i个层次；
conv1×1表示卷积核大小为1的卷积操作；
表示卷积核为3，空洞率为12×i的空洞卷积；
AvgPool表示全局平均池化操作。
本步骤采用简单有效的结构提高了模型预测的准确度，使得特征像素点具有较大的感受野和长距离的空间依赖，包含更多变化目标的特征信息，有利于后阶段的变化区域推断。
步骤30302，将双时相遥感影像的两个时期的特征图再经过卷积操作调整通道数，经过绝对差值进行特征融合得到融合特征图F*，所述的融合特征图F*的计算公式如式8所示。
式中：
F*表示融合特征图；
表示卷积核大小为3，通道数为64的卷积操作；
表示元素减法运算；
||表示绝对值运算。
本步骤设计了一种适用于变化检测任务的上下文聚集模块，模块结构如图4所示。
步骤304，设计深度特征融合模块：
本步骤中，在深度学习处理过程中，在进行初始阶段特征提取时，生成的特征图中每个像素点对应的感受野重叠区域小，包含较多的空间细节信息；在进行深层特征提取时，感受野不断增加，此时的像素点所代表的信息为一个区域，具有丰富的语义信息，但细粒度不够，所以采用单个尺度进行种植区的特征提取，准确率很难保证。葡萄种植区遥感影像中存在较多的小面积区域，图像中的葡萄种植区随着变化检测模型变深，产生的高级抽象特征不能很好的表达种植区的边缘细节信息甚至是特征图不含有小面积种植区的信息，直接上采样会因为缺乏图像的细节信息造成变化检测的准确率较低，因此需要设计一个跨层结构进行深度特征的融合。
设计深度特征融合模块(DFFM)的详细步骤如下：
步骤30401，将ResCBAM特征提取网络中的每一层特征图都输入进深度特征融合模块中，由于特征图大小不一，需要经过上采样操作来恢复大小，计算公式如式9所示：
式中：
表示与上一层特征融合后的特征图；
Mdi表示不同深度的特征图；
up表示上采样操作；
i表示第i个层次。
步骤30402，将不同深度的拼接进一步融合深度特征，最终得到深度融合特征图Mcd，深度融合特征图Mcd的计算公式如式10所示。
本步骤既保留了底层细节边缘信息，也包含了丰富语义特征，极大提高了葡萄种植区变化检测的完整性和细节性。
本步骤设计的深度特征融合模块结构示意图如图5所示。
步骤四，模型训练与保存：
采用步骤二中得到的变化检测数据集，对步骤三得到的ResCBAM模型进行训练与保存。
步骤401，模型训练：
本步骤中，编码器部分采用迁移学***台为Intel(R)Xeon(R)Gold [email protected]，操作***为Ubuntu 20.04.4LTS，搭载两块NVIDIA GeForceRTX 3090显卡，使用Pytorch深度学习框架实现模型的构建与调试。
实验超参数设置如下：训练批次大小为8，使用双卡并行训练，训练最大轮数为150，采用Poly策略动态调整学习率，初始学习率设置为10-3，优化算法采用Adam。
损失函数采用BCE损失函数，具体计算如式11所示。
式中：
LBCE表示BCE损失函数；
Y表示真值；
表示预测值。
选取验证集中得分较高的多个模型，并在测试集上进行泛化能力的验证，得到检测精度最高，提取变化区域主体最完整，边缘细节更好的模型，将模型进行保存，可以直接应用于葡萄种植区的实际生产规划中，对农业的可持续发展提供指导性的数据支撑。
步骤402，模型保存：
选取得分较高的模型，通过测试集进行测试，筛选出鲁棒性、泛化性较好的模型，确保提取出的变化区域更加完整，边缘细节更加清晰，将模型保存为.pth权重文件，可将其部署至服务器中，通过调用模型来直接指导实际生产，精细化规划葡萄种植区。
步骤五，葡萄种植区遥感影像变化检测：
将葡萄种植区的待检测区域的双时相遥感影像按照步骤一中的遥感影像数据处理方法进行预处理，对齐地理坐标系，并裁剪成相同像素大小，输入至经过步骤四训练后的ResCBAM模型中，调用预先保存好的经过步骤四训练后的ResCBAM模型中的权重，按照滑动窗口的形式进行区域预测，并将每个小块之间进行拼接，从而获得与原始影像相同像素大小的变化区域提取图像。
应用例：
本应用例例给出一种基于上述实施例的深度特征融合的葡萄种植区遥感影像变化检测方法。
第一，实验数据：
表1高分2号卫星有效载荷参数
本应用例的实验地点位于东经105°46′～106°8′，北纬38°28′～38°44′，地处黄河上游宁夏平原中部，宁夏回族自治区银川市内。该区域属于中带干旱气候区，地形为冲积平原，海拔1010～1150m，年平均降水量203mm，日夜温差10～15℃，年平均日照数2800～3000h，气候适宜葡萄生长，种植区面积较大，由于其优越的自然条件使其成为世界优质葡萄的种植黄金地带之一。采用双时相遥感影像的两个时期的遥感影像，分别成像于2016年8月4日和2019年7月25日，每幅影像大小为14351×29124像素，影像参数如表1所示。研究区内的葡萄种植区由于空间跨度大，其中地物类型丰富，还包含小麦、玉米、枸杞和其他类型果园等作物，会存在不同地物类型表现出相似条带纹理特征的“同物异谱”问题。并且由于影像时间跨度大，同一片区域不同时相会存在亮度、颜色差异的问题，葡萄种植区的光谱特征并不固定。这些问题都会严重影响后期变化检测的结果。
对2016年和2019年遥感影像的葡萄种植区域分别进行标注，并对生成的标签图像进行差值运算，得到变化检测的标签，变化区域像素值为255，未变化区域像素值为0。将其与前后时相影像配对后，通过滑动窗口裁剪成512×512像素大小，得到最终的变化检测影像-标签对。
第二，实验方案：
本发明中编码器部分采用迁移学***台为Intel(R)Xeon(R)Gold 6226R [email protected]，操作***为Ubuntu 20.04.4LTS，搭载两块NVIDIA GeForce RTX3090显卡，使用Pytorch深度学习框架实现模型的构建与调试。实验超参数设置如下：训练批次大小为8，使用双卡并行训练，训练最大轮数为150，采用Poly策略动态调整学习率，初始学习率设置为10-3，优化算法采用Adam。
对比例1：
本对比例给出一种葡萄种植区变化检测方法，该方法与实施例和应用例的区别在仅仅在于，本对比例去掉了实施例中的步骤三中的卷积注意力模块、上下文聚集模块、深度特征融合模块，其它步骤与实施例相同。
对比例2：
本对比例给出一种葡萄种植区变化检测方法，该方法与实施例和应用例的区别在仅仅在于，本对比例去掉了实施例中的步骤三中的卷积注意力模块，其它步骤与实施例相同。
对比例3：
本对比例给出一种葡萄种植区变化检测方法，该方法与实施例和应用例的区别在仅仅在于，本对比例去掉了实施例中的步骤三中的上下文聚集模块，其它步骤与实施例相同。
对比例4：
本对比例给出一种葡萄种植区变化检测方法，该方法与实施例和应用例的区别在仅仅在于，本对比例去掉了实施例中的步骤三中的深度特征融合模块，其它步骤与实施例相同。
实验验证：
将本发明的实施例和应用例的高精度、端到端变化检测方法与主流变化检测算法对葡萄种植区变化区域的提取效果进行对比。结果如表2所示。
表2不同对比例方法的葡萄种植区变化检测结果
备注：F1表示F1-score，是权衡了Precision和Recall，使得两者都为最高。
结果分析：
在表2中展示了对比例1、对比例2、对比例3和本发明实例的实验结果，根据表2中的对比例1、对比例2和本发明实例的实验结果可以看出卷积注意力模块通过抑制与变化无关的像素，增加了表征性特征提取的能力。表明在编码器阶段增加注意力模块可以有效解决双时相影像异质性问题，可以自适应的学习地块之间的特征，并对与变化相关的特征加以关注，有助于变化检测精度的提升。根据表2中的对比例1、对比例3和本发明实例的实验结果可以看出提出的上下文聚集模块构建了密集的上下文信息，使得特征图中像素点具有较大的感受野和长距离的空间依赖，包含更多变化目标的特征信息，为解码器阶段提供了丰富推断信息。根据表2中的对比例1、对比例4和本发明实例的实验结果可以看出提出的深度特征融合模块融合高低层深度特征信息，避免语义差异的影响，其采用跨层连接把低级语义特征和高级抽象特征融合起来，完整表达葡萄种植区的变化信息，增加对面积大小不一，差异较大的葡萄种植区变化检测精度。
对比例5：
相较于目前最先进的变化检测方法(包含SNUnet、A2net、DSIFN和ResNet-CD检测方法)，将本发明基于深度特征融合的变化检测模型与它们进行对比。SNUnet方法提出了一种密集连接的孪生网络用于变化检测构建了集成通道注意力模块(ECAM)将高低层特征融合，缓解了浅层信息丢失的问题。A2net方法构建了一种轻量级变化检测网络，有效地将多级特征从高层次聚集到低层次，提高了检测的准确性。DSIFN方法构建了一种深度监督融合网络，将提取的特征输入差分判别网络提取差异特征，并与多尺度深度特征融合，准确性得到提升。ResNet-CD方法是使用基础ResNet主干网络实现了变化检测，提取出较为完整的变化区域。以上几种变化检测模型均于创建好的宁夏葡萄数据集上进行训练测试。结果如表3所示。
表3对比例5中不同对比方法的葡萄种植区变化检测结果
结果分析：
表3和图6为对比例5中不同方法的葡萄种植区变化检测结果，图6中将真正例TP利用白色表示，真负例TN利用黑色表示，假正例FP利用红色表示，假负例FN利用蓝色表示。可以看出由于双时相影像存在异质性，大量颜色、亮度差异会影响变化检测的结果，SNUNet和A2Net未能很好地检测出葡萄区主体的变化区域，并且会将研究区域中颜色发生变化的田地错误检测成变化的葡萄区，而本发明方法可以很好地避免这些影响，提取出更有表征性的变化特征，准确完整地检测出变化的葡萄种植区。并且，影像中存在许多与葡萄种植区纹理相似的田地和荒地，这些会导致检测结果中存在大量的误检测和漏检测，ResNet-CD、SNUNet、A2Net和DSIFN都将一些纹理相似的田地和田埂误检测成变化区域，并且会漏检测部分变化区域，而本发明方法由于获取了密集的上下文信息，增大了感受野，捕获的差异特征包含更多丰富的变化信息，使得检测结果更为准确。同时，ResNet-CD、SNUNet、A2Net和DSIFN在小面积葡萄区变化的检测上存在大量的漏检测，由于它们没有很好的进行深度特征的融合，缺乏底层的细节纹理信息，而本发明方法设计的深度融合模块很好的避免了这个问题，使得检测出的变化区域主题内部不含有孔洞，并且它的边缘细节也更加完善，由此可见本发明提出的葡萄种植区变化检测方法具有一定的优越性，可以运用于实际生产中，为农业发展规划提供新的解决思路。

Claims (5)

1.一种基于深度特征融合的葡萄种植区遥感影像变化检测方法，其特征在于，该方法包括以下步骤：
步骤一，高分二号遥感影像数据处理；
步骤二，构建变化检测数据集；
步骤三，构建变化检测模型：
步骤301，选取ResNet101作为主干网络；
步骤302，构建ResCBAM模型：
步骤30201，获取通道注意力，对H×W×C的通道注意力图的特征图F，分别进行空间的平均池化和最大池化，得到两个1×1×C的通道全局特征图Favg和Fmax；
式中：
H表示输入图片的高度；
W表示输入图片的宽度；
C表示输入图片的通道数；
步骤30202，将全局特征图Favg和Fmax送入含有两层的ResNet网络中，得到两个特征图后经过Sigmoid函数生成最后的权重系数，用权重系数和特征图F相乘，得到新的特征图F′，所述的新的特征图F′的计算公式如式2所示：
F′＝Sigmoid(W1(W0(Favg)+W1(W0(Fmax))) 式2；
式中：
F′表示新的特征图；
Sigmoid()表示进行Sigmoid函数运算；
W0表示第0层权重参数；
W1表示第1层权重参数；
Favg表示特征图F的平均池化特征图；
Fmax表示特征图F的最大池化特征图；
步骤30203，对所述的新的特征图F′的数据，再引入空间注意力模块关注同一通道上不同位置的信息；对于新的特征图F′，在通道维度进行平均池化F’avg和最大池化和F’max，形成关于空间注意力H×W×1的描述，拼接在一起后经过卷积层和Sigmoid激活函数，生成权重系数，与新的特征图F′相乘，得到放缩后的新特征图F″，所述的放缩后的新特征图F″的计算公式如式3所示；
F″＝Sigmoid(conv7×7([F′avg：F′max]) 式3；
式中：
F″表示放缩后的新特征图；
Sigmoid()表示进行Sigmoid函数运算；
conv7×7表示卷积核大小为7的卷积操作；
[]表示concatenate操作；
F’avg表示新的特征图F′的平均池化特征图；
F’max表示新的特征图F′的最大池化特征图；
步骤30203，最后将通道注意力和空间注意力以顺序方式组合，融入进ResNet网络中；
步骤303，设计上下文聚集模块；
步骤304，设计深度特征融合模块；
步骤四，模型训练与保存：
采用步骤二中得到的变化检测数据集，对步骤三得到的ResCBAM模型进行训练与保存；
步骤五，葡萄种植区遥感影像变化检测：
将葡萄种植区的待检测区域的双时相遥感影像按照步骤一中的遥感影像数据处理方法进行预处理，对齐地理坐标系，并裁剪成相同像素大小，输入至经过步骤四训练后的ResCBAM模型中，调用预先保存好的经过步骤四训练后的ResCBAM模型中的权重，按照滑动窗口的形式进行区域预测，并将每个小块之间进行拼接，从而获得与原始影像相同像素大小的变化区域提取图像。
2.如权利要求1所述的基于深度特征融合的葡萄种植区遥感影像变化检测方法，其特征在于，步骤一的具体过程为：
将高分二号卫星拍摄所得的多光谱影像和全色影像分别进行辐射定标、大气校正、正射校正和影像配准的操作，接着进行图像融合，得到1m空间分辨率以及红-绿-蓝-近红外4个波段的融合影像数据。
3.如权利要求1所述的基于深度特征融合的葡萄种植区遥感影像变化检测方法，其特征在于，步骤二的具体过程为：
步骤201，对双时相遥感影像的两个时期的遥感影像进行矢量化标注，生成与原图尺寸和空间分辨率相同的标签图像，之后对双时相遥感影像的两个时期的标签图像进行差值运算，得到变化检测的标签，变化区域像素值为255，未变化区域像素值为0，将标签与前后时相影像配对后，通过0.6的重叠率滑动裁剪为512像素×512像素大小，得到最终的变化检测的影像-标签对；
步骤202，同时利用数据增强技术扩充数据集，并将部分未变化的影像-标签对剔除，共得到1254个影像标签对，接着通过数据增广技术生成差异化数据，对数据进行旋转变换和反转变换后，共得到10072个影像-标签对，将影像-标签对按照9:2:2比例划分成训练集、验证集和测试集，训练集包含7016个影像-标签对，验证集和测试集包含1528个影像-标签对，训练集用于训练模型，测试集和验证集用于验证模型的泛化能力。
4.如权利要求1所述的基于深度特征融合的葡萄种植区遥感影像变化检测方法，其特征在于，步骤303的具体过程为：
步骤30301，采用式4至式7将孪生ResCBAM模型的两条特征提取分支上的特征图分别经过采用不同扩张率的空洞卷积和空洞空间金字塔池，获得更多的上下文信息；
F0＝conv1×1F 式4；
F4＝AvgPool(F) 式6；
Fti＝[F0：F1：F2：F3：F4]，i＝1，2 式7；
式中：
F表示特征图；
F0表示第0层特征图；
F1表示第1层特征图；
F2表示第2层特征图；
F3表示第3层特征图；
F4表示第4层特征图；
Fi表示不同层次的特征图；
Fti表示经过空洞空间金字塔的ti时相的影像特征图；
i表示第i个层次；
conv1×1表示卷积核大小为1的卷积操作；
表示卷积核为3，空洞率为12×i的空洞卷积；
AvgPool表示全局平均池化操作；
步骤30302，将双时相遥感影像的两个时期的特征图再经过卷积操作调整通道数，经过绝对差值进行特征融合得到融合特征图F*，所述的融合特征图F*的计算公式如式8所示；
式中：
F*表示融合特征图；
表示卷积核大小为3，通道数为64的卷积操作；
表示元素减法运算；
||表示绝对值运算。
5.如权利要求1所述的基于深度特征融合的葡萄种植区遥感影像变化检测方法，其特征在于，步骤304的具体过程为：
步骤30401，将ResCBAM特征提取网络中的每一层特征图都输入进深度特征融合模块中，由于特征图大小不一，需要经过上采样操作来恢复大小，计算公式如式9所示：
式中：
表示与上一层特征融合后的特征图；
Mdi表示不同深度的特征图；
up表示上采样操作；
i表示第i个层次；
步骤30402，将不同深度的拼接进一步融合深度特征，最终得到深度融合特征图Mcd，深度融合特征图Mcd的计算公式如式10所示；
CN202311526699.0A 2023-11-15 2023-11-15 基于深度特征融合的葡萄种植区遥感影像变化检测方法 Pending CN117611996A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311526699.0A CN117611996A (zh) 2023-11-15 2023-11-15 基于深度特征融合的葡萄种植区遥感影像变化检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311526699.0A CN117611996A (zh) 2023-11-15 2023-11-15 基于深度特征融合的葡萄种植区遥感影像变化检测方法

Publications (1)

Publication Number Publication Date
CN117611996A true CN117611996A (zh) 2024-02-27

Family

ID=89947365

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311526699.0A Pending CN117611996A (zh) 2023-11-15 2023-11-15 基于深度特征融合的葡萄种植区遥感影像变化检测方法

Country Status (1)

Country Link
CN (1) CN117611996A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117911879A (zh) * 2024-03-20 2024-04-19 湘潭大学 一种融合sam的细粒度高分遥感影像变化检测方法
CN117933309A (zh) * 2024-03-13 2024-04-26 西安理工大学 一种用于双时相遥感图像变化发现的三路神经网络及方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117933309A (zh) * 2024-03-13 2024-04-26 西安理工大学 一种用于双时相遥感图像变化发现的三路神经网络及方法
CN117911879A (zh) * 2024-03-20 2024-04-19 湘潭大学 一种融合sam的细粒度高分遥感影像变化检测方法
CN117911879B (zh) * 2024-03-20 2024-06-07 湘潭大学 一种融合sam的细粒度高分遥感影像变化检测方法

Similar Documents

Publication Publication Date Title
CN111986099B (zh) 基于融合残差修正的卷积神经网络的耕地监测方法及***
CN105069746B (zh) 基于局部仿射和颜色迁移技术的视频实时人脸替换方法及其***
CN117611996A (zh) 基于深度特征融合的葡萄种植区遥感影像变化检测方法
CN113065558A (zh) 一种结合注意力机制的轻量级小目标检测方法
CN108710863A (zh) 基于深度学习的无人机航拍场景语义分割方法及***
CN110263705A (zh) 面向遥感技术领域两期高分辨率遥感影像变化检测方法
CN107918776B (zh) 一种基于机器视觉的用地规划方法、***及电子设备
Li et al. Breaking the resolution barrier: A low-to-high network for large-scale high-resolution land-cover mapping using low-resolution labels
González-Yebra et al. Methodological proposal to assess plastic greenhouses land cover change from the combination of archival aerial orthoimages and Landsat data
CN113609889B (zh) 基于敏感特征聚焦感知的高分辨遥感影像植被提取方法
CN109740485B (zh) 基于光谱分析和深度卷积神经网络的水库或塘坝识别方法
CN113160062B (zh) 一种红外图像目标检测方法、装置、设备及存储介质
CN114494821B (zh) 基于特征多尺度感知与自适应聚合的遥感影像云检测方法
CN106373088A (zh) 大倾斜低重叠率航空图像的快速拼接方法
CN107247927B (zh) 一种基于缨帽变换的遥感图像海岸线信息提取方法及***
CN113657326A (zh) 一种基于多尺度融合模块和特征增强的杂草检测方法
CN115527123B (zh) 一种基于多源特征融合的土地覆被遥感监测方法
Baeta et al. Learning deep features on multiple scales for coffee crop recognition
Xu et al. Feature-based constraint deep CNN method for mapping rainfall-induced landslides in remote regions with mountainous terrain: An application to Brazil
CN116258976A (zh) 一种分层次Transformer的高分辨率遥感图像语义分割方法及***
CN114863099A (zh) 一种基于多分支非对称卷积模块和多尺度特征融合的地基云图分割网络
Li et al. An object-oriented CNN model based on improved superpixel segmentation for high-resolution remote sensing image classification
CN116433545A (zh) 基于雨条纹引导的多尺度融合单幅图像去雨方法
Lin et al. A novel convolutional neural network architecture of multispectral remote sensing images for automatic material classification
Tan et al. In-field rice panicles detection and growth stages recognition based on RiceRes2Net

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination