CN113705463B - 一种基于多尺度门控密集连接的工厂足迹提取方法及*** - Google Patents

一种基于多尺度门控密集连接的工厂足迹提取方法及*** Download PDF

Info

Publication number
CN113705463B
CN113705463B CN202111003067.7A CN202111003067A CN113705463B CN 113705463 B CN113705463 B CN 113705463B CN 202111003067 A CN202111003067 A CN 202111003067A CN 113705463 B CN113705463 B CN 113705463B
Authority
CN
China
Prior art keywords
feature
decoding
features
factory
coding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111003067.7A
Other languages
English (en)
Other versions
CN113705463A (zh
Inventor
李成龙
李文杰
罗斌
汤进
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui University
Original Assignee
Anhui University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui University filed Critical Anhui University
Priority to CN202111003067.7A priority Critical patent/CN113705463B/zh
Publication of CN113705463A publication Critical patent/CN113705463A/zh
Application granted granted Critical
Publication of CN113705463B publication Critical patent/CN113705463B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

一种基于多尺度门控密集连接的工厂足迹提取方法及***，属于图像处理技术领域，解决如何通过引入引导模块以及密集连接来处理工厂的多尺度的问题，通过设计引导模块来缓解编码特征和解码特征之间的差异性影响，结合编码器和解码器特征的优势去引导编码特征的信息选择，弥补不同层级特征之间的差异性，将密集连接作用在编码器和解码器上，结合了不同尺度的低层细节信息和高层语义信息，进而获得多尺度的特征表示能力，更好的利用了低层特征的细节信息和高层特征的语义信息，同时使用自适应融合获取最终的解码特征，提升了遥感工厂足迹提取的精度。

Description

一种基于多尺度门控密集连接的工厂足迹提取方法及***
技术领域
本发明属于图像处理技术，具体涉及一种基于多尺度门控密集连接的工厂足迹提取方法及***。
背景技术
遥感工厂足迹提取是计算机视觉领域中的一个重要课题，该任务需要对遥感图片中的每一个像素进行分类，判断其是否属于工厂。工厂足迹提取在城市规划和管理、违章建筑、土地利用等方面有广泛的应用。一方面，工厂作为人造物体，通常是用不同的材料和不同的结构建造的，这样就造成了颜色、大小、形状和纹理等各个方面的多样性。另一方面，工厂和其他类别的物体有相似的光谱特征，例如：水泥工厂房顶和水泥道路。由于上述原因，遥感工厂足迹提取将是遥感领域中的一个长期挑战。
现有的遥感足迹提取方法可以分为两大类：一类是基于传统的遥感足迹提取方法，另一类是基于深度学习的遥感足迹提取方法。传统的遥感足迹提取方法通过手工提取的颜色、纹理、方向等特征完成足迹提取，过度依赖于人工选取的特征，对场景的泛化能力不强，同时无法建模高级上下文特征。近年来，随着深度学习的发展，尤其是卷积神经网络的出现，极大的促进了遥感足迹提取的发展。全卷积神经网络(FCN)通过堆叠多个卷积层和池化层逐渐增加网络的感受野(Receptive Field)来提取高层次的语义信息。但是，由于卷积神经网络的金字塔结构，低层特征通常具有大的空间尺寸和更多的细节信息，高层特征具有更多的语义信息，而丢弃了一些不相关的细节信息。所以，高层特征有利于目标的粗略定位，低层特征保留了细节信息有利于细化边界。由于不同层次特征之间的差异，现有基于全卷积神经网络的方法简单的对不同层次特征的融合，没有考虑多个层次特征对遥感工厂足迹提取任务的不同贡献。Unet及其变体由于利用多级信息重建高分辨率特征图在遥感足迹提取中被广泛认可。许多先进的遥感足迹提取网络采用U型的编码解码结构。因为解码器预测的特征依赖于编码器提供的有效特征，直接使用跳跃连接将解码器的高级语义特征和相对应编码器的低层细节特征融合起来，没有考虑不同层级特征之间的差异性。不仅会给解码器特征带来误导性的上下文信息，同时无法充分利用编码器的有效特征。
现有方式存在着如下缺点：1)现有的方法为了弥补连续的卷积和池化操作带来的信息损失，直接把相同层的编码特征融合到解码块中。但是，这些方法没有考虑不同层的编码特征之间的信息互补。同时没有充分利用低分辨率解码特征的定位能力和全局语义信息。2)解码特征和编码特征存在差异性，直接将编码特征融入到解码器中，会对解码特征带来误导性的上下文信息，影响解码特征的质量。
公开号为CN109657717A，公开日期为2019年04月19日的中国发明专利申请《一种基于多尺度密集结构特征提取的异源图像匹配方法》公开了如下步骤：(1)对异源图像的每个像素计算结构张量，得到第一张量图；(2)对第一张量图进行多尺度张量投票，得到多个尺度投票产生的第二张量图；(3)根据张量一致性融合多个尺度的第二张量图得到融合后的第三张量图；(4)对第三张量图进行归一化得到归一化张量图；(5)计算归一化张量图之间的相似性；(6)根据步骤(5)计算得到的相似性，输出相似性最大的窗口位置作为异源图像匹配结果。但是该文献并未解决上述问题，因此,针对于以上问题，亟需提出一种新的解决方法。
发明内容
本发明所要解决的技术问题在于如何通过引入引导模块以及密集连接来解决工厂的多尺度问题，从而实现多级特征的有效融合。
本发明是通过以下技术方案解决上述技术问题的：
一种基于多尺度门控密集连接的工厂足迹提取方法，包括以下步骤：
S1、使用编码器网络获得遥感工厂图片的多级编码特征，并将每一个编码块特征标记为E1～E6；
S2、将编码器得到的高层特征E6输入到金字塔池化模块PPM中增加感受野，获取具有全局感受野的全局特征E_D6；
S3、使用解码器网络将编码特征E1～E5和全局特征E_D6解码为解码特征D1～D5；在解码器网络前使用引导模块对编码特征E1～E5和全局特征E_D6进行信息选择，弥补编码特征和解码特征之间的差异；同时使用密集连接获取多尺度特征，最后将解码特征D1～D5通过自适应融合模块得到融合的解码特征D；
S4、将步骤S3中得到的解码特征D1～D5和D通过工厂预测头获得工厂得分图S1～S6，其中S6为最终预测结果，每一个工厂得分图对应有一个真值标签监督；
S5、将步骤S4中的工厂得分图S1～S6及其真值标签输入到二元交叉熵BCE损失函数中，通过二元交叉熵BCE损失函数计算梯度，并利用梯度的反向传播更新网络的参数，达到训练网络的目的。
本发明的技术方案通过设计引导模块来缓解编码特征和解码特征的差异性，结合编码器和解码器特征的优势去引导编码特征的信息选择，弥补不同层级特征之间的差异性，将密集连接作用在编码器和解码器上，结合了不同尺度的低层细节信息和高层语义信息，进而获得多尺度的特征表示能力，更好的利用了低层特征的细节信息和高层特征的语义信息，同时使用自适应融合获取最终的解码特征，提升了遥感工厂足迹提取的精度。
作为本发明技术方案的进一步改进，步骤S1中所述的使用编码器网络获得遥感工厂图片的多级编码特征中每个编码块采用的是U型网络结构。
作为本发明技术方案的进一步改进，步骤S2中所述的金字塔池化模块PPM由4个池化层组成，每层的池化核大小分别为1×1，2×2，3×3，6×6，通过金字塔池化模块PPM获取全局特征E_D6，公式为：E_D6＝PPM(E6)。
作为本发明技术方案的进一步改进，步骤S3中所述的使用解码器网络将编码特征E1～E5和全局特征E_D6解码为解码特征D1～D5；在解码器网络前使用引导模块对编码特征E1～E5和全局特征E_D6进行信息选择，弥补编码特征和解码特征之间的差异；同时使用密集连接获取多尺度特征，将解码特征D1～D5通过自适应融合模块得到融合的解码特征D的具体工作流程为：
S31、对于第i层引导模块GCBi，利用输入的编码特征E1～Ei和解码特征Di+1生成第i层编码特征信息选择图EFSMi，E1～Ei通过通道融合获得第i层的编码融合特征Fi，EFSMi和Fi使用点乘操作对编码融合特征Fi信息选择，信息选择后的编码特征为GE1～GEi，其公式如下：
Fi＝Concate(E1～Ei)，i＝1,2,3,4,5
EFSMi＝GCB(Fi,Di+1)，i＝1,2,3,4,5
GEi＝EFSMi*Fi，i＝1,2,3,4,5
其中，D6为全局特征E_D6，F1为E1，*表示点乘操作；
S32、使用解码器网络每一层解码块解码对应的信息选择后的编码特征GE1～GE5以及前几层解码块产生的解码特征，解码特征D1～D5和编码特征GE1～GE5通过密集连接融合输入到解码器网络，对应层解码块使用Decoder1～Decoder5表示为：
Di＝Decoderi(Concate(GEi,Di+1～D6))，i＝1,2,3,4,5；
其中，Concate是通道级融合；
S33、使用Concate把解码特征D1～D6融合在一起生成最终的解码特征D。
作为本发明技术方案的进一步改进，步骤S4中所述的工厂预测头包括多个单输出通道的卷积层和sigmoid激活函数。其中卷积核大小为3*3，步长为1，填充为1。
作为本发明技术方案的进一步改进，步骤S5中所述的二元交叉熵BCE损失函数为：
其中，Si＝{Sit|i＝{1,…,6}}，t＝{1，...，T}，Y＝{Yi|i＝{1，...，T}}，Si是第i个工厂得分图，Y是真值标签，T是总共的像素数。
作为本发明技术方案的进一步改进，包括：编码特征获取模块、全局特征获取模块、解码特征获取模块、工厂得分图获取模块；
所述的编码特征获取模块使用编码器网络获得遥感工厂图片的多级编码特征，并将每一个编码块对应的特征标记为E1～E6；
所述的全局特征获取模块将编码器得到的高层特征E6输入到金字塔池化模块PPM中增加感受野，获取具有全局感受野的全局特征E_D6；
所述的解码特征获取模块使用解码器网络将编码特征E1～E5和全局特征E_D6解码为解码特征D1～D5；在解码器网络前使用引导模块对编码特征E1～E5和全局特征E_D6进行信息选择，弥补编码特征和解码特征之间的差异；同时使用密集连接获取多尺度特征，将解码特征D1～D5通过自适应融合模块得到融合的解码特征D；
所述的工厂得分图获取模块将解码特征获取模块中得到的解码特征D1～D5和D通过工厂预测头获得工厂得分图S1～S6，其中S6为最终预测结果，每一个工厂得分图对应有一个真值标签监督；
训练阶段将工厂得分图获取模块中的工厂得分图S1～S6及其真值标签输入到二元交叉熵BCE损失函数中，通过二元交叉熵BCE损失函数计算梯度，并利用梯度的反向传播更新网络的参数，达到训练网络的目的。
作为本发明技术方案的进一步改进，编码特征获取模块中所述的使用编码器网络获得遥感工厂图片的多级编码特征中每个编码块采用的是U型网络结构；全局特征获取模块中所述的金字塔池化模块PPM由4个池化层组成，池化核大小分别为1×1，2×2，3×3，6×6，通过金字塔池化模块PPM获取全局特征E_D6，公式为：E_D6＝PPM(E6)。
作为本发明技术方案的进一步改进，解码特征获取模块中所述的使用解码器网络将编码特征E1～E5和全局特征E_D6解码为解码特征D1～D5；在解码器网络前使用引导模块对编码特征E1～E5和全局特征E_D6进行信息选择，弥补编码特征和解码特征之间的差异；同时使用密集连接获取多尺度特征，最后将解码特征D1～D5通过自适应融合模块得到融合的解码特征D的具体工作流程为：
对于第i层引导模块GCBi，利用输入的编码特征E1～Ei和解码特征Di+1生成第i层编码特征信息选择图EFSMi，E1～Ei通过通道融合获得第i层的编码融合特征Fi，EFSMi和Fi使用点乘操作对编码融合特征Fi信息选择，信息选择后的编码特征为GE1～GEi，其公式如下：
Fi＝Concate(E1～Ei)，i＝1,2,3,4,5
EFSMi＝GCB(Fi,Di+1)，i＝1,2,3,4,5
GEi＝EFSMi*Fi，i＝1,2,3,4,5
其中，D6为全局特征E_D6，F1为E1，*表示点乘操作；
使用解码器网络每一层解码块解码对应的信息选择后的编码特征GE1～GE5以及前几层解码块产生的解码特征，解码特征D1～D5和编码特征GE1～GE5通过密集连接融合输入到解码器网络，对应层解码块使用Decoder1～Decoder5表示为：
Di＝Decoderi(Concate(GEi,Di+1～D6))，i＝1,2,3,4,5；
其中，Concate是通道级融合；
使用Concate把解码特征D1～D6融合在一起生成最终的解码特征D。
作为本发明技术方案的进一步改进，工厂得分图获取模块中所述的工厂预测头包括多个单输出通道的卷积层和sigmoid激活函数。其中卷积核大小为3*3，步长为1，填充为1；网络训练过程中使用的二元交叉熵BCE损失函数为：
其中，Si＝{Sit|i＝{1,…,6}}，t＝{1，...，T}，Y＝{Yi|i＝{1，...，T}}，Si是第i个工厂得分图，Y是真值标签，T是总共的像素数。
本发明的优点在于：
本发明的技术方案通过设计引导模块作用在编码器和解码器之间来缓解编码特征和解码特征的差异性，结合编码器和解码器特征的优势去引导编码特征的信息选择，弥补不同层级特征之间的差异性，对于复杂背景，利用解码特征的语义信息辅助编码特征中目标的定位，一定程度上抑制了干扰物体的响应，同时把编码特征的底层信息引入到解码器中，对后续目标的提取提供了底层的细节信息，有助于目标边界的细化。将密集连接作用在编码器和解码器上，结合了不同尺度的低层细节信息和高层语义信息，进而获得多尺度的特征表示能力，由于遥感下的工厂具有多尺度的问题，不同尺度的工厂在不同层次的特征上响应不同，所以密集连接将多个不同尺度的特征结合起来有助于网络对不同尺度工厂的提取，相比其他方法，本发明方法对工厂的多尺度问题的泛化能力更强。最后使用自适应融合让网络自己去学习不同的权重获取最终的解码特征，提升了遥感工厂足迹提取的精度。
附图说明
图1是本发明实施例的基于多尺度门控密集连接的工厂足迹提取方法的整体流程示意图；
图2为本发明实施例的基于多尺度门控密集连接的工厂足迹提取方法的网络模型结构示意图；
图3为本发明实施例的基于多尺度门控密集连接的工厂足迹提取方法及***的实验结果展示图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合说明书附图以及具体的实施例对本发明的技术方案作进一步描述：
实施例一
针对遥感工厂足迹提取任务，在Google Earth上筛选工厂图片和对应的路网图。利用路网图的指导，手工标记工厂足迹真值(二值图)。工厂图片和工厂足迹图的大小被统一调整为512*512。本实施例中的数据集具有训练集3350对图片，测试集1000对图片。
对每一张待提取图片进行旋转、平移，随机裁剪为288*288大小的图片块进行数据增强。把增强后的图片输入到编码器网络。
编码器网络由6个不同规模的编码块组成，每个编码块采用U型网络结构。由于池化和反卷积的使用，使得每个编码块的输入和输出的分辨率大小相同，同时每个编码块中均使用横向连接。对于整个编码网络，不仅可以提取高层信息，还可以充分利用浅层的细节信息。每个编码块都输出一个编码特征，整个编码网络的输出特征标记为E1～E6。
如图1和图2所示，编码网络输出6个不同层次的编码特征E1～E6，其中最高层特征E6被输入到金字塔池化模块PPM中，PPM由4个池化层组成，池化核大小分别为1×1，2×2，3×3，6×6。通过PPM获取全局特征E_D6。对于第五层解码块，将得到的编码特征E1～E5按照通道融合在一起获得编码融合特征F5，同时将F5和全局特征E_D6通道融合输入到引导模块GCB5中，使用sigmoid函数获取第五层解码块的编码特征信息选择图EFSM5，EFSM5和F5通过点乘操作对编码融合特征F5信息选择得到选择后的特征GE5，将GE5和全局特征E_D6一起输入到解码块Decoder5中得到第5层解码特征D5。
对于第四层解码块，编码特征E1～E4按照通道融合获得编码融合特征F4，把F4和解码特征D5通道融合之后输入到GCB4中，使用sigmoid函数获取第四层解码块的编码特征信息选择图EFSM4，EFSM4和F4通过点乘操作对编码融合特征F4信息选择得到选择后的特征GE4，将GE4、E_D6和D5一起输入到解码块Decoder4中得到第4层解码特征D4。
对于第三层解码块，同样需先把编码特征E1～E3按通道融合获取编码融合特征F3，将F3和解码特征D4一起输入到GCB3中结合sigmoid函数获取第三层解码块的编码特征信息选择图EFSM3，对EFSM3和F3使用点乘操作得到选择后的特征GE3，将GE3、E_D6、D5和D4一起输入到解码块Decoder3中得到第3层解码特征D3。
对于第二层解码块，编码特征E1～E2按通道融合获取编码融合特征F2，将F2和解码特征D3一起输入到GCB2中结合sigmoid函数获取第二层解码块的编码特征信息选择图EFSM2，同时对EFSM2和F2使用点乘操作获取选择后的特征GE2，将GE2、E_D6、D5、D4和D3输入到解码块Decoder2中得到第2层解码特征D2。
对于第一层解码块，将E1和解码特征D2输入到GCB1中结合sigmoid函数获取第一层解码块的编码特征信息选择图EFSM1，EFSM1和E1通过点乘操作对编码特征E1信息选择并获取选择后的特征GE1。将GE1、E_D6、D5、D4、D3和D2输入到解码块Decoder1中得到第1层解码特征D1。
最终，我们使用5个1*1卷积获取5个解码特征的权重，和对应的解码特征D1～D5点乘之后再相加获取最终的自适应融合解码特征D。
将解码特征D2～D5双线性上采样获取和D1相同的分辨率，然后采用工厂预测头来预测解码特征D1～D6。工厂预测头由6个单输出通道的3*3卷积层组成，分别对应于6个解码特征。使用sigmoid激活函数将卷积层得到的得分约束到0～1范围内，最终获得6个工厂得分图标记为S1～S6。S6是最终的工厂分割图。
在训练阶段每一个得分图都有真值进行监督，通过二元交叉熵BCE损失函数计算梯度，并利用梯度的反向传播更新网络的参数，达到训练网络的目的。在测试阶段，固定网络模型参数获取工厂得分图S6，即为最终网络获取的工厂足迹提取结果。
给定工厂得分图Si＝{Sit|i＝{1,…,6}}，t＝{1，...，T}和手工标记的真值Y＝{Yii|i＝{1，...，T}}，Si是第i个工厂得分图，Y是真值标签，T是总共的像素数；二元交叉熵BCE损失函数为：
在网络训练的过程中，我们只使用BCE损失函数进行监督6个得分图，其权重均为1。
本实施例的网络在一个Titan Xp GPU上以批大小为6训练了150轮。采用随机梯度下降优化方法训练，学***均值，表示为其中β2＝0.3。
如图3所示，第一列为6个具有不同挑战性的RGB图像，第二列为对应的手工标注的工厂足迹真值图GT，第三列为本发明实施例处理的效果图，第四至第十一列分别为采用U2Net、LEDNet、PSPNet、ICNet、FCN、DenseASPP、U2Net、DANet、BiSeNet的处理效果图，进行最终的结果比较可以发现，本发明的方法对工厂足迹分割结果更加准确，尤其在复杂背景和边缘模糊的情况下，如图第三行和第五行，本发明对于复杂背景和工厂边缘的处理明显优于其他网络。对比的方法在编解码特征融合时，虽然一定程度的应对了信息的丢失问题，但是直接融合编码器特征会干扰解码特征，降低了解码特征的质量。本发明的方法通过特征引导模块，可以抑制编码特征对于解码特征的干扰，同时弥补缺失的信息。另外，使用密集连接，充分的利用了不同层之间的特征信息互补。对于工厂的多尺度问题有很好的作用。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于多尺度门控密集连接的工厂足迹提取方法，其特征在于，包括以下步骤：
S1、使用编码器网络获得遥感工厂图片的多级编码特征，并将每个编码块对应的特征标记为E1～E6；
S2、将编码器得到的高层特征E6输入到金字塔池化模块PPM中增加感受野，获取具有全局感受野的全局特征E_D6；
S3、使用解码器网络将编码特征E1～E5和全局特征E_D6解码为解码特征D1～D5；在解码器网络前使用引导模块对编码特征E1～E5和全局特征E_D6进行信息选择，弥补编码特征和解码特征之间的差异；同时使用密集连接获取多尺度特征，将解码特征D1～D5通过自适应融合模块得到融合的解码特征D；
S4、将步骤S3中得到的解码特征D1～D5和D通过工厂预测头获得工厂得分图S1～S6，其中S6为最终预测结果，每一个工厂得分图对应有一个真值标签监督；
S5、将步骤S4中的工厂得分图S1～S6及其真值标签输入到二元交叉熵BCE损失函数中，通过二元交叉熵BCE损失函数计算梯度，并利用梯度的反向传播更新网络的参数，达到训练网络的目的。
2.根据权利要求1所述的基于多尺度门控密集连接的工厂足迹提取方法，其特征在于，步骤S1中所述的使用编码器网络获得遥感工厂图片的多级编码特征中每个编码块采用的是U型网络结构。
3.根据权利要求2所述的基于多尺度门控密集连接的工厂足迹提取方法，其特征在于，步骤S2中所述的金字塔池化模块PPM由4个池化层组成，池化核大小分别为1×1，2×2，3×3，6×6，通过金字塔池化模块PPM获取全局特征E_D6，公式为：E_D6＝PPM(E6)。
4.根据权利要求3所述的基于多尺度门控密集连接的工厂足迹提取方法，其特征在于，步骤S3中所述的使用解码器网络将编码特征E1～E5和全局特征E_D6解码为解码特征D1～D5；在解码器网络前使用引导模块对编码特征E1～E5和全局特征E_D6进行信息选择，弥补编码特征和解码特征之间的差异；同时使用密集连接获取多尺度特征，将解码特征D1～D5通过自适应融合模块得到融合的解码特征D的具体工作流程为：
S31、对于第i层引导模块GCBi，利用输入的编码特征E1～Ei和解码特征Di+1生成第i层编码特征信息选择图EFSMi，E1～Ei通过通道融合获得第i层的编码融合特征Fi，EFSMi和Fi使用点乘操作对编码融合特征Fi信息选择，信息选择后的编码特征为GE1～GEi，其公式如下：
Fi＝Concate(E1～Ei)，i＝1，2，3，4，5
EFSMi＝GCB(Fi，Di+1)，i＝1，2，3，4，5
GEi＝EFSMi*Fi，i＝1，2，3，4，5
其中，D6为全局特征E_D6，F1为E1，*表示点乘操作；
S32、使用解码器网络每一层解码块解码对应的信息选择后的编码特征GE1～GE5以及前几层解码块产生的解码特征，解码特征D1～D5和编码特征GE1～GE5通过密集连接融合输入到解码器网络，解码块使用Decoder1～Decoder5表示，其公式为：
Di＝Decoderi(Concate(GEi，Di+1～D6))，i＝1，2，3，4，5；
其中，Concate是通道级融合；
S33、使用Concate把解码特征D1～D6融合在一起生成最终的解码特征D。
5.根据权利要求4所述的基于多尺度门控密集连接的工厂足迹提取方法，其特征在于，步骤S4中所述的工厂预测头包括多个单输出通道的卷积层和sigmoid激活函数，其中卷积核大小为3，步长为1，填充为1。
6.根据权利要求5所述的基于多尺度门控密集连接的工厂足迹提取方法，其特征在于，步骤S5中所述的二元交叉熵BCE损失函数为：
其中，Si＝{Sit|i＝{1，…，6}}，t＝{1，…，T}，Y＝{Yi|i＝{1，…，T}}，Si是第i个工厂得分图，Y是真值标签，T是总共的像素数。
7.一种基于多尺度门控密集连接的工厂足迹提取***，其特征在于，包括：编码特征获取模块、全局特征获取模块、解码特征获取模块、工厂得分图获取模块；
所述的编码特征获取模块使用编码器网络获得遥感工厂图片的多级编码特征，并将每个编码块对应的特征标记为E1～E6；
所述的全局特征获取模块将编码器得到的高层特征E6输入到金字塔池化模块PPM中增加感受野，获取具有全局感受野的全局特征E_D6；
所述的解码特征获取模块使用解码器网络将编码特征E1～E5和全局特征E_D6解码为解码特征D1～D5；在解码器网络前使用引导模块对编码特征E1～E5和全局特征E_D6进行信息选择，弥补编码特征和解码特征之间的差异；同时使用密集连接获取多尺度特征，将解码特征D1～D5通过自适应融合模块得到融合的解码特征D；
所述的工厂得分图获取模块将解码特征获取模块中得到的解码特征D1～D5和D通过工厂预测头获得工厂得分图S1～S6，其中S6为最终预测结果；
网络训练过程中，每一个工厂得分图对应有一个真值标签监督，将工厂得分图S1～S6及其真值标签输入到二元交叉熵BCE损失函数中，通过二元交叉熵BCE损失函数计算梯度，并利用梯度的反向传播更新网络的参数，达到训练网络的目的。
8.根据权利要求7所述的基于多尺度门控密集连接的工厂足迹提取***，其特征在于，编码特征获取模块中所述的使用编码器网络获得遥感工厂图片的多级编码特征中每个编码块采用的是U型网络结构；全局特征获取模块中所述的金字塔池化模块PPM由4个池化层组成，池化核大小分别为1×1，2×2，3×3，6×6，通过金字塔池化模块PPM获取全局特征E_D6，公式为：E_D6＝PPM(E6)。
9.根据权利要求8所述的基于多尺度门控密集连接的工厂足迹提取***，其特征在于，解码特征获取模块中所述的使用解码器网络将编码特征E1～E5和全局特征E_D6解码为解码特征D1～D5；在解码器网络前使用引导模块对编码特征E1～E5和全局特征E_D6进行信息选择，弥补编码特征和解码特征之间的差异；同时使用密集连接获取多尺度特征，将解码特征D1～D5通过自适应融合模块得到融合的解码特征D的具体工作流程为：
对于第i层引导模块GCBi，利用输入的编码特征E1～Ei和解码特征Di+1生成第i层编码特征信息选择图EFSMi，E1～Ei通过通道融合获得第i层的编码融合特征Fi，EFSMi和Fi使用点乘操作对编码融合特征Fi信息选择，信息选择后的编码特征为GE1～GEi，其公式如下：
Fi＝Concate(E1～Ei)，i＝1，2，3，4，5
EFSMi＝GCB(Fi，Di+1)，i＝1，2，3，4，5
GEi＝EFSMi*Fi，i＝1，2，3，4，5
其中，D6为全局特征E_D6，F1为E1，*表示点乘操作；
使用解码器网络每一层解码块解码对应的信息选择后的编码特征GE1～GE5以及前几层解码块产生的解码特征，解码特征D1～D5和编码特征GE1～GE5通过密集连接融合输入到解码器网络，解码块使用Decoder1～Decoder5表示，其公式为：
Di＝Decoderi(Concate(GEi，Di+1～D6))，i＝1，2，3，4，5；
其中，Concate是通道级融合；
使用Concate把解码特征D1～D6融合在一起生成最终的解码特征D。
10.根据权利要求9所述的基于多尺度门控密集连接的工厂足迹提取***，其特征在于，工厂得分图获取模块中所述的工厂预测头包括多个单输出通道的卷积层和sigmoid激活函数，其中卷积核大小为3，步长为1，填充为1；网络训练过程中使用的二元交叉熵BCE损失函数为：
其中，Si＝{Sit|i＝{1，…，6}}，t＝{1，…，T}，Y＝{Yt|i＝{1，…，T}}，Si是第i个工厂得分图，Y是真值标签，T是总共的像素数。
CN202111003067.7A 2021-08-30 2021-08-30 一种基于多尺度门控密集连接的工厂足迹提取方法及*** Active CN113705463B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111003067.7A CN113705463B (zh) 2021-08-30 2021-08-30 一种基于多尺度门控密集连接的工厂足迹提取方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111003067.7A CN113705463B (zh) 2021-08-30 2021-08-30 一种基于多尺度门控密集连接的工厂足迹提取方法及***

Publications (2)

Publication Number Publication Date
CN113705463A CN113705463A (zh) 2021-11-26
CN113705463B true CN113705463B (zh) 2024-02-20

Family

ID=78656677

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111003067.7A Active CN113705463B (zh) 2021-08-30 2021-08-30 一种基于多尺度门控密集连接的工厂足迹提取方法及***

Country Status (1)

Country Link
CN (1) CN113705463B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114626989B (zh) * 2022-03-30 2024-07-02 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 基于域对抗转换的盲图像超分辨方法及***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102217231A (zh) * 2008-09-03 2011-10-12 西门子工业公司 用于建筑的无线建筑管理***及方法
WO2018086761A1 (en) * 2016-11-10 2018-05-17 Rowanalytics Ltd Control apparatus and method for processing data inputs in computing devices therefore
CN112906706A (zh) * 2021-03-31 2021-06-04 西南科技大学 一种改进的基于编解码器的图像语义分割方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11270447B2 (en) * 2020-02-10 2022-03-08 Hong Kong Applied Science And Technology Institute Company Limited Method for image segmentation using CNN

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102217231A (zh) * 2008-09-03 2011-10-12 西门子工业公司 用于建筑的无线建筑管理***及方法
WO2018086761A1 (en) * 2016-11-10 2018-05-17 Rowanalytics Ltd Control apparatus and method for processing data inputs in computing devices therefore
CN112906706A (zh) * 2021-03-31 2021-06-04 西南科技大学 一种改进的基于编解码器的图像语义分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
韩慧慧 ; 李帷韬 ; *** ; 焦点 ; 孙百顺 ; .编码―解码结构的语义分割.中国图象图形学报.2020,(第02期),全文. *

Also Published As

Publication number Publication date
CN113705463A (zh) 2021-11-26

Similar Documents

Publication Publication Date Title
Guo et al. Scene-driven multitask parallel attention network for building extraction in high-resolution remote sensing images
CN111047551B (zh) 一种基于U-net改进算法的遥感影像变化检测方法及***
CN113780296B (zh) 基于多尺度信息融合的遥感图像语义分割方法及***
CN112634296B (zh) 门机制引导边缘信息蒸馏的rgb-d图像语义分割方法及终端
Hui et al. Effective building extraction from high-resolution remote sensing images with multitask driven deep neural network
CN109035267B (zh) 一种基于深度学习的图像目标抠取方法
CN113780149A (zh) 一种基于注意力机制的遥感图像建筑物目标高效提取方法
CN110349087B (zh) 基于适应性卷积的rgb-d图像高质量网格生成方法
CN114187450A (zh) 一种基于深度学习的遥感图像语义分割方法
CN113378897A (zh) 基于神经网络的遥感图像分类方法、计算设备及存储介质
CN116416342A (zh) 图像处理方法、装置、计算机设备和计算机可读存储介质
CN116740422A (zh) 基于多模态注意力融合技术的遥感图像分类方法及装置
CN110633706B (zh) 一种基于金字塔网络的语义分割方法
CN116485867A (zh) 一种面向自动驾驶的结构化场景深度估计方法
CN113705463B (zh) 一种基于多尺度门控密集连接的工厂足迹提取方法及***
CN111985372A (zh) 一种深度学习的遥感影像水体提取***
CN116402851A (zh) 一种复杂背景下的红外弱小目标跟踪方法
Zhang et al. Dense haze removal based on dynamic collaborative inference learning for remote sensing images
Wang et al. Unsupervised deep exemplar colorization via pyramid dual non-local attention
CN112686830B (zh) 基于图像分解的单一深度图的超分辨率方法
CN117237623B (zh) 一种无人机遥感图像语义分割方法及***
CN117727046A (zh) 新型山洪前端仪器仪表读数自动识别方法及***
CN115984714B (zh) 一种基于双分支网络模型的云检测方法
CN117115563A (zh) 基于区域语义感知的遥感土地覆盖分类方法及***
CN117058367A (zh) 高分辨率遥感影像建筑物语义分割方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant