CN113554656A - 基于图神经网络的光学遥感图像实例分割方法及装置 - Google Patents
基于图神经网络的光学遥感图像实例分割方法及装置 Download PDFInfo
- Publication number
- CN113554656A CN113554656A CN202110790134.8A CN202110790134A CN113554656A CN 113554656 A CN113554656 A CN 113554656A CN 202110790134 A CN202110790134 A CN 202110790134A CN 113554656 A CN113554656 A CN 113554656A
- Authority
- CN
- China
- Prior art keywords
- network
- interest
- example segmentation
- image
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于图神经网络的光学遥感图像实例分割方法及装置,涉及图像处理技术领域。该方法包括:建立基于图神经网络的实例分割模型,实例分割模型包括4个依次连接的多尺度特征提取网络、基于特征重要性的感兴趣区推荐网络、感兴趣区关系网络和分割网络;对实例分割模型进行训练;将待分割图像输入到训练后的实例分割模型中,依次通过4个子神经网络对待分割图像进行处理,得到待分割图像的实例分割结果。本发明适用于复杂场景及目标遮挡情况下的光学遥感图像实例分割,能够充分利用场景上下文和目标间关系信息,可提高对光学遥感图像在复杂场景及目标遮挡情况下的实例分割能力和实例分割精度。
Description
技术领域
本发明涉及图像处理技术领域,尤其涉及一种基于图神经网络的光学遥感图像实例分割方法及装置。
背景技术
基于光学遥感图像的目标实例分割一直是计算机视觉、空间科学、测绘学等领域的研究热点。现代遥感技术的快速发展使得光学遥感图像分辨率不断提高,信息量也随之急剧增大。然而,高空间分辨率的光学遥感图像引入了更多的背景干扰如阴影、光照等;此外,光学遥感图像中目标间的相互遮挡造成目标信息的严重缺失,这给光学遥感图像的目标实例分割带来了巨大挑战。
目前,深度学习方法已广泛应用于图像实例分割,比如Mask R-CNN、MS R-CNN、PANet等,然而面对复杂场景及目标遮挡情况下的光学遥感图像,容易导致实例分割精度较低。
发明内容
本发明所要解决的技术问题是针对现有技术的不足,提供一种基于图神经网络的光学遥感图像实例分割方法、一种基于图神经网络的光学遥感图像实例分割方法装置以及一种存储介质。
本发明解决上述技术问题的技术方案如下:
一种基于图神经网络的光学遥感图像实例分割方法,包括:
建立基于图神经网络的实例分割模型,所述实例分割模型包括4个依次连接的子神经网络,依次为多尺度特征提取网络、基于特征重要性的感兴趣区推荐网络、感兴趣区关系网络和分割网络,所述多尺度特征提取网络还与所述感兴趣区关系网络连接;
对所述实例分割模型进行训练;
将待分割图像输入到训练后的所述实例分割模型中,依次通过4个所述子神经网络对所述待分割图像进行处理,得到所述待分割图像的实例分割结果。
本发明解决上述技术问题的另一种技术方案如下:
一种基于图神经网络的光学遥感图像实例分割装置,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序,实现如上述技术方案所述的基于图神经网络的光学遥感图像实例分割方法。
本发明解决上述技术问题的另一种技术方案如下:
一种存储介质,所述存储介质中存储有指令,当计算机读取所述指令时,使所述计算机执行如上述技术方案所述的基于图神经网络的光学遥感图像实例分割方法。
本发明的有益效果是:本发明提供的光学遥感图像实例分割方法及装置适用于复杂场景及目标遮挡情况下的光学遥感图像实例分割,依次通过多尺度特征提取网络、基于特征重要性的感兴趣区推荐网络、感兴趣区关系网络和分割网络对待分割图像进行处理,能够充分利用场景上下文和目标间关系信息,可分别具有提取多尺度特征的特点、基于特征重要性推荐感兴趣区的特点、跨特征图融合感兴趣区关系的特点以及预测形心中心性和分割得分图的特点,从而可提高对光学遥感图像在复杂场景及目标遮挡情况下的实例分割能力和实例分割精度。
本发明附加的方面的优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明实践了解到。
附图说明
图1为本发明光学遥感图像实例分割方法的实施例提供的流程示意图;
图2为本发明光学遥感图像实例分割方法的其他实施例提供的实例分割模型示意图;
图3为本发明光学遥感图像实例分割方法的其他实施例提供的另一实例分割模型示意图;
图4为本发明光学遥感图像实例分割装置的实施例提供的结构框架示意图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述,所举实施例只用于解释本发明,并非用于限定本发明的范围。
如图1所示,为本发明光学遥感图像实例分割方法的实施例提供的流程示意图,该光学遥感图像实例分割方法基于图神经网络实现,如图2所示,给出了一种示例性的实例分割模型示意图,该方法包括:
S1,建立基于图神经网络的实例分割模型,实例分割模型包括4个依次连接的子神经网络,依次为多尺度特征提取网络N1、基于特征重要性的感兴趣区推荐网络N2、感兴趣区关系网络N3和分割网络N4,多尺度特征提取网络N1还与感兴趣区关系网络N3连接;
应理解,这些子神经网络可以包括卷积层、采样层、全连接层等结构,这些子神经网络的具体结构可以根据实际需求设置。
其中,多尺度特征提取网络N1能够提取具有丰富细节和语义信息的多尺度特征,有效抑制复杂场景的干扰;基于特征重要性的感兴趣区推荐网络N2能够基于特征的重要性提取感兴趣区,有效识别出包含目标的图像块;感兴趣区关系网络N3能够充分利用场景上下文和感兴趣区之间关系信息,提高严重遮挡情况下感兴趣区特征的有效性;分割网络N4并行实现感兴趣区的类别、边框、形心中心性预测以及像素级分割,提升分割精度。结合各种子网络的优点,使得基于图神经网络的光学遥感图像实例分割方法能够同时实现复杂场景及目标遮挡情况下的有效实例分割。
下面给出一种可能的实例分割模型的结构。
对于多尺度特征提取网络N1,可以包括卷积层{Ci 1}(i∈{1,…,nc 1},nc 1≥3),下采样层{Di 1}(i∈{1,…,nd 1},nd 1≥1),上采样层{Ui 1}(i∈{1,…,nu 1},nu 1≥1),相加层{Ai 1}(i∈{1,…,na 1},na 1≥1)。其中,i为变量,nc 1表示卷积层的层数,nd 1表示下采样层的层数,nu 1表示上采样层的层数,na 1表示相加层的层数。
对于基于特征重要性的感兴趣区推荐网络N2,可以包括卷积层{Ci 2或Bi 2}(i∈{1,…,nc 2},nc 2≥4),全连接层{FCi 2}(i∈{1,…,nfc 2},nfc 2≥4)。其中,i为变量,nc 2表示卷积层的层数,nfc 2表示全连接层的层数。
对于感兴趣区关系网络N3,可以包括卷积层{Ci 3}(i∈{1,…,nc 3},nc 3≥1),上采样层{Ui 3}(i∈{1,…,nu 3},nu 3≥1),融合层{Mi 3}(i∈{1,…,nm 3},nm 3≥1),池化层{Pi 3}(i∈{1,…,np 3},np 3≥1),图神经网络{Gi 3}(i∈{1,…,ng 3},ng 3≥2)。其中,i为变量,nc 3表示卷积层的层数,nu 3表示上采样层的层数,nm 3表示融合层的层数,np 3表示池化层的层数,ng 3表示图神经网络(也即特征图)的个数。
其中,对应于特征图k的图神经网络还可表示为图G=(V,E),其中:V={Ri}(i∈{1,…,nr},nr≥2为感兴趣区个数)为节点,代表不同的感兴趣区;E={eij k}∪{ei kq}(i,j∈{1,…,nr},nr≥2,i≠j;k,q∈{1,…,ng 3},k≠q)为节点间的边,eij k为特征图k内不同感兴趣区之间的边,ei kq为特征图k和q中同一感兴趣区之间的边。
对于节点Ri k,将感兴趣区i在特征图k内的特征及其与场景上下文的融合结果作为节点初始特征xi k(0);对于边eij k,将节点Ri k和Rj k间的关系作为初始特征,包含距离关系dij k以及视觉特征关系uij k两部分。其中,dij k=WdVij,Vij=[wi,hi,si,wj,hj,sj,2|xi-xj|/(wi+wj),2|yi-yj|/(hi+hj)]((xi,yi)为感兴趣区i的中心坐标,si、wi和hi分别为感兴趣区i的面积、宽和高),Wd为可学习的权重矩阵;uij k=Wufij k,其中fij k为节点Ri k和Rj k融合后的特征,Wu为可学习的权重矩阵;对于边ei kq,将节点Ri k和Ri q间的视觉关系Wkqfi kq作为初始特征,其中fi kq为节点Ri k和Ri q融合后的特征,Wkq为可学习的权重矩阵。
节点特征的更新采用门控循环单元或长短期记忆单元,节点Ri k的初始隐藏状态hi k(0)设为0,第t次更新迭代的公式为xi k(t)=xi k(t-1)+∑j,j≠iwij k(t-1)xj k(t-1)+∑q,q≠kwi kq(t-1)xi q (t-1)(t∈{1,…,T},T≥1为节点更新迭代次数),其中wij k(t-1)=eij k(t-1)/∑j,j≠ieij k(t-1),wi kq (t-1)=ei kq(t-1)/∑q,q≠kei kq(t-1)。即节点特征xi k的更新来自两个方面:同一特征图内其他感兴趣区的特征xj k和不同特征图内同一感兴趣区的特征xi q,更新权重wij k和wi kq由感兴趣区之间的关系所决定。
对于分割网络N4,可以包括融合层{Mi 4}(i∈{1,…,nm 4},nm 4≥1),卷积层{Ci 4}(i∈{1,…,nc 4},nc 4≥5),全连接层{FCi 4}(i∈{1,…,nfc 4},nfc 4≥2),上采样层{Ui 4}(i∈{1,…,nu 4},nu 4≥2)。其中,i为变量,nm 4表示融合层的层数,nc 4表示卷积层的层数,nfc 4表示全连接层的层数,nu 4表示上采样层的层数。
例如,图2的实例分割模型示意图中,多尺度特征提取网络N1包括依次设置的至少三个卷积层C1 1、C7 1、C14 1,一个下采样层D3 1,一个上采样层U3 1,一个相加层A3 1;基于特征重要性的感兴趣区推荐网络N2包括依次设置的至少四个卷积层B1 2、B4 2、C1 2、C10 2,四个全连接层FC1 2、FC2 2、FC7 2、FC8 2;感兴趣区关系网络N3中包括依次设置的至少一个卷积层C1 3,一个上采样层U1 3,一个融合层M1 3,一个池化层P1 3,两个图神经网络G1 3、G4 3;分割网络N4包括依次设置的至少一个融合层M1 4,五个卷积层C1 4、C4 4、C8 4、C9 4、C13 4,两个全连接层FC1 4、FC2 4,两个上采样层U1 4、U2 4。
S2,对实例分割模型进行训练;
可选地,可以预先采集多张光学遥感图像作为整个网络的训练图像,对训练图像进行标注处理后,采用反向传播算法对实例分割模型进行训练。
例如,以识别植物为例,可以采集1000张包含植物的图像,将其中800张作为训练集,200张作为验证集,通过训练集对实例分割模型进行训练,通过验证集对实例分割模型进行验证。
可以根据分割目的预先对训练集的图像进行标注,标注完成后,可以通过预设的训练方法对实例分割模型进行训练,再使用验证集进行验证。
例如,可以采用反向传播算法对对实例分割模型进行训练。
S3,将待分割图像输入到训练后的实例分割模型中,依次通过4个子神经网络对待分割图像进行处理,得到待分割图像的实例分割结果。
例如,可以由多尺度特征提取网络N1将待处理图像逐层处理获得多尺度特征;由基于特征重要性的感兴趣区推荐网络N2获取多尺度特征的重要性,进而基于重要特征获得一系列候选感兴趣区;由感兴趣区关系网络N3将候选感兴趣区作为节点、感兴趣区间关系作为边构建跨特征图的感兴趣区关系网络N3,通过在同一特征图内不同感兴趣区之间和不同特征图下同一感兴趣区之间进行信息传递和结构推理,将极大提高感兴趣区特征的有效性,提高严重遮挡情况下的实例分割精度;由分割网络N4处理感兴趣区特征,得到感兴趣区所属类别、位置坐标、形心中心性图及像素级分割得分图;基于类别和像素级分割得分图,得到最终实例分割结果。所有感兴趣区的实例分割结果综合起来即为待处理图像的实例分割结果。
本实施例提供的光学遥感图像实例分割方法适用于复杂场景及目标遮挡情况下的光学遥感图像实例分割,依次通过多尺度特征提取网络N1、基于特征重要性的感兴趣区推荐网络N2、感兴趣区关系网络N3和分割网络N4对待分割图像进行处理,能够充分利用场景上下文和目标间关系信息,可分别具有提取多尺度特征的特点、基于特征重要性推荐感兴趣区的特点、跨特征图融合感兴趣区关系的特点以及预测形心中心性和分割得分图的特点,从而可提高对光学遥感图像在复杂场景及目标遮挡情况下的实例分割能力和实例分割精度。
可选地,在一些可能的实施方式中,对实例分割模型进行训练,具体包括:
获取至少一张光学遥感图像作为训练图像,分别对每张训练图像进行预处理:
将预处理后的全部训练图像输入到实例分割模型中,采用反向传播算法对实例分割模型进行训练。
可选地,在一些可能的实施方式中,对每张训练图像进行预处理,具体包括:
基于第一训练图像标注出所有目标的分割图,且将不同目标标注为不同类别,相同类别的不同个体标注为不同编号;
计算出第一训练图像中的每个目标的形心中心性图;
其中,第一训练图像为全部训练图像中的任意一个训练图像。
例如,可以对图像中的植物和背景进行区分,将植物识别出来,然后将植物标注为不同的类别,如植物A、植物B和植物C等,假设对于同样的植物A,在图像中有多个,那么可以使用不同的编号进行标注以区分,例如,可以标注为植物A1、植物A2和植物A3等,同时计算出每个植物的形心中心性图。
可选地,在一些可能的实施方式中,计算出第一训练图像中的每个目标的形心中心性图,具体包括:
根据第一目标中所有像素坐标位置的平均值确定第一目标的形心;
根据第一目标中每个像素与第一目标的形心的距离得到第一目标的形心中心性图;
其中,第一目标为第一训练图像中的任意一个目标。
应理解,每个目标的形心表示为一个目标中所有像素坐标位置的平均值,形心中心性图表示为该目标中每个像素与形心的距离度量,距离形心越近的像素其形心中心性值越高,表明该像素与目标的关联性更强。
通过预测形心中心性,能够提高对光学遥感图像在复杂场景及目标遮挡情况下的实例分割能力。
可选地,在一些可能的实施方式中,将待分割图像输入到训练后的实例分割模型中,依次通过4个子神经网络对待分割图像进行处理,得到待分割图像的实例分割结果,具体包括:
将待分割图像输入到训练后的实例分割模型中,通过多尺度特征提取网络N1对待分割图像进行逐层处理,得到多尺度特征;
通过基于特征重要性的感兴趣区推荐网络N2获取多尺度特征的重要性,基于重要性获得至少一个候选感兴趣区;
通过感兴趣区关系网络N3将每个候选感兴趣区作为节点,将候选感兴趣区之间的关系作为边,构建跨特征图的感兴趣区关系网络N3,根据感兴趣区关系网络N3得到感兴趣区及感兴趣区特征;
通过分割网络N4对感兴趣区特征进行处理,得到对应的感兴趣区的类别、位置坐标、形心中心性图和像素级分割得分图;
根据全部感兴趣区的类别和像素级分割得分图,得到最终的实例分割结果。
其中,多尺度特征提取网络N1能够提取具有丰富细节和语义信息的多尺度特征,有效抑制复杂场景的干扰;基于特征重要性的感兴趣区推荐网络N2能够基于特征的重要性提取感兴趣区,有效识别出包含目标的图像块;感兴趣区关系网络N3能够充分利用场景上下文和感兴趣区之间关系信息,通过在同一特征图内不同感兴趣区之间和不同特征图下同一感兴趣区之间进行信息传递和结构推理,将极大提高感兴趣区特征的有效性,提高严重遮挡情况下的实例分割精度;分割网络N4处理感兴趣区特征,实现感兴趣区的类别、边框、形心中心性预测以及像素级分割,提升分割精度。结合各种子网络的优点,使得基于图神经网络的光学遥感图像实例分割方法能够同时实现复杂场景及目标遮挡情况下的有效实例分割。
需要说明的是,像素级指的是分割得分图是像素尺度上的分割得分图,单位可以为像素。
可选地,在一些可能的实施方式中,根据全部感兴趣区的类别和像素级分割得分图,得到最终的实例分割结果,具体包括:
判断第一感兴趣区的类别是否为背景,如果是,则忽略第一感兴趣区;否则,保留第一感兴趣区对应的像素级分割得分图;
对全部感兴趣区判断完成后,将保留的全部像素级分割得分图综合,得到最终的实例分割结果;
其中,第一感兴趣区为全部感兴趣区中的任意一个感兴趣区。
可选地,在一些可能的实施方式中,通过基于特征重要性的感兴趣区推荐网络N2获取多尺度特征的重要性,基于重要性获得至少一个候选感兴趣区,具体包括:
通过基于特征重要性的感兴趣区推荐网络N2对多尺度特征进行卷积运算,得到特征重要性图,以重要性高于预设值的像素为中心,确定预设大小的特征块是否包含目标的得分,以及目标的位置坐标,根据得分和位置坐标确定候选感兴趣区。
应理解,预设值可以根据实际需求设置,可以根据是否包含目标的得分确定是否包含目标,例如,可以设置一个阈值,当是否包含目标的得分高于这个阈值时,可以认为对应的特征块包含目标,否则不包含。
预设大小可以根据实际需求设置,例如,可以为n×n的小特征块,n为像素值,且n≥3。
例如,以图3所示的实例分割模型为例,可以通过卷积层B1 2、卷积层B2 2、卷积层B3 2和卷积层B4 2对多尺度特征提取网络N1输出的多个不同尺度特征分别进行卷积运算,得到特征重要性图,以其中一个为例,将得到的特征重要性图以重要性较高的像素为中心,将n×n的小特征块通过卷积层C1 2、卷积层C2 2、卷积层C3 2、全连接层FC1 2和全连接层FC2 2进行处理,输出该特征块是否包含目标的得分以及目标的位置坐标,得到候选感兴趣区。
可选地,在一些可能的实施方式中,通过感兴趣区关系网络N3将每个候选感兴趣区作为节点,将候选感兴趣区之间的关系作为边,构建跨特征图的感兴趣区关系网络N3,根据感兴趣区关系网络N3得到感兴趣区及感兴趣区特征,具体包括:
通过感兴趣区关系网络N3将多尺度特征进行上采样运算,得到大小相同的特征图,将全部候选感兴趣区分别输入到每个特征图中,在每个特征图中构建跨特征图的感兴趣区关系网络N3,根据感兴趣区关系网络N3得到感兴趣区及感兴趣区特征,其中,跨特征图的感兴趣区关系网络N3通过在同一特征图内不同感兴趣区之间和不同特征图下同一感兴趣区之间进行信息传递和结构推理。
例如,以图3所示的实例分割模型为例,可以通过上采样层U1 3、上采样层U2 3、上采样层U3 3和卷积层C1 3对多尺度特征进行上采样或卷积运算,得到多个大小相同的特征图,再通过融合层M1 3和池化层P1 3将多个大小相同的特征图进行融合和池化,得到场景上下文特征,场景上下文特征用于与每个感兴趣区特征进行融合,提高感兴趣区的全局场景信息。然后再将全部候选感兴趣区分别输入到每个特征图中,在每个特征图中构建感兴趣区关系网络N3,得到图神经网络G1 3、图神经网络G2 3、图神经网络G3 3和图神经网络G4 3,这些图神经网络输出感兴趣区及感兴趣区特征。对于每个感兴趣区及感兴趣区特征,将不同图神经网络的输出结果输出到分割网络N4的融合层M1 4中进行融合。
下面结合图3,给出一种较为优选的实例分割模型示意图。
如图3所示,为本发明光学遥感图像实例分割方法的其他实施例提供的另一实例分割模型示意图,多尺度特征提取网络N1包括依次设置的卷积层C1 1、卷积层C2 1、下采样层D1 1、卷积层C3 1、卷积层C4 1、下采样层D2 1、卷积层C5 1、卷积层C6 1、下采样层D3 1、卷积层C7 1、卷积层C8 1、卷积层C9 1、上采样层U1 1、相加层A1 1、卷积层C10 1、卷积层C11 1、上采样层U2 1、相加层A2 1、卷积层C12 1、卷积层C13 1、上采样层U3 1、相加层A3 1、卷积层C14 1和卷积层C15 1。
也就是说,在多尺度特征提取网络N1中,共包括nc 1=15个卷积层,nd 1=3个下采样层,nu 1=3个上采样层,na 1=3个相加层。
基于特征重要性的感兴趣区推荐网络N2包括依次设置的卷积层B1 2、卷积层C1 2、卷积层C2 2、卷积层C3 2、全连接层FC1 2、全连接层FC2 2、卷积层B2 2、卷积层C4 2、卷积层C5 2、卷积层C6 2、全连接层FC3 2、全连接层FC4 2、卷积层B3 2、卷积层C7 2、卷积层C8 2、卷积层C9 2、全连接层FC5 2、全连接层FC6 2、卷积层B4 2、卷积层C10 2、卷积层C11 2、卷积层C12 2、全连接层FC7 2和全连接层FC8 2。
也就是说,在基于特征重要性的感兴趣区推荐网络N2中,共包括nc 2=16个卷积层,nfc 2=8个全连接层。
感兴趣区关系网络N3包括依次设置的上采样层U1 3、上采样层U2 3、上采样层U3 3、卷积层C1 3、融合层M1 3、池化层P1 3、图神经网络G1 3、图神经网络G2 3、图神经网络G3 3和图神经网络G4 3。
以图神经网络G1 3为例,可以表示为G1 3=(V1 3,E1 3),V1 3={R1 1,R2 1,R3 1,R4 1},表示节点,代表不同的感兴趣区,E1 3表示节点的边,图中以各个节点之间的箭头表示。
也就是说,在感兴趣区关系网络N3中,共包括nu 3=3个上采样层,nc 3=1个卷积层,nm 3=1个融合层,np 3=1个池化层,ng 3=4个图神经网络。
分割网络N4包括依次设置的融合层M1 4、卷积层C1 4、卷积层C2 4、卷积层C3 4、全连接层FC1 4、全连接层FC2 4、卷积层C4 4、卷积层C5 4、卷积层C6 4、上采样层U1 4、卷积层C7 4、卷积层C8 4、卷积层C9 4、卷积层C10 4、卷积层C11 4、上采样层U2 4、卷积层C12 4和卷积层C13 4。
也就是说,在分割网络N4中,共包括nm 4=1个融合层,nc 4=13个卷积层,nfc 4=2个全连接层,nu 4=2个上采样层。
其中,下采样层可以利用池化操作或带有步进大于1的卷积操作实现,对特征进行降维。
上采样层可以利用转置卷积操作或双线性插值操作或上池化操作实现,对特征进行升维。融合层可以利用加法操作或串接操作或均值操作实现,对多个特征进行信息融合。
需要说明的是,C代表卷积核为3*3的卷积层,B代表卷积核为1*1的卷积层。
多尺度特征提取网络N1中卷积层用于提取图像特征,下采样层用于对图像特征进行降维,上采样层用于对图像特征进行升维。该网络通过自底向上的特征降维可以得到语义信息丰富的顶层特征,进而通过自顶向上的特征升维将丰富的语义信息加至底层特征,使得不同层次的特征均包含丰富的细节和语义信息,从而有效抑制复杂场景的干扰。
基于特征重要性的感兴趣区推荐网络N2中卷积层用于提取图像特征或计算特征重要性,全连接层用于计算特征块是否包含目标的得分以及位置坐标。该网络基于多尺度特征提取网络N1输出的多个不同尺度特征,可以有效识别出不同尺度的感兴趣区。
感兴趣区关系网络N3中卷积层用于细化图像特征,上采样层用于对图像特征进行升维,融合层用于融合多个特征图,并通过池化层得到场景上下文信息。图神经网络用于充分利用多个感兴趣区之间的关系信息和场景上下文信息,通过在同一特征图内不同感兴趣区之间和不同特征图下同一感兴趣区之间进行信息传递和结构推理,极大改善感兴趣区特征的有效性,提高严重遮挡情况下的实例分割精度。
分割网络N4中卷积层用于细化融合后的感兴趣区特征,全连接层用于计算感兴趣区的类别得分和位置坐标。该网络通过并行实现感兴趣区的类别、边框、形心中心性预测以及像素级分割,提升分割效率和精度。
通过级联各种子网络,使得基于图神经网络的光学遥感图像实例分割方法能够同时实现复杂场景及目标遮挡情况下的有效实例分割。
可以理解,在一些实施例中,可以包含如上述各实施方式中的部分或全部。
如图4所示,为本发明光学遥感图像实例分割装置的实施例提供的结构框架示意图,该光学遥感图像实例分割装置基于图神经网络实现,包括:
存储器10,用于存储计算机程序;
处理器20,用于执行计算机程序,实现如上述任意实施方式公开的基于图神经网络的光学遥感图像实例分割方法。
需要说明的是,本实施例是与上述各方法实施例对应的产品实施例,对于本实施例中各结构及可选实施方式的说明可以参考上述各方法实施例中的对应说明,在此不再赘述。
在本发明的其他实施例中,还提供一种存储介质,存储介质中存储有指令,当计算机读取指令时,使计算机执行如上述任意实施方式公开的基于图神经网络的光学遥感图像实例分割方法。
读者应理解,在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的方法实施例仅仅是示意性的,例如,步骤的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个步骤可以结合或者可以集成到另一个步骤,或一些特征可以忽略,或不执行。
上述方法如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分,或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种基于图神经网络的光学遥感图像实例分割方法,其特征在于,包括:
建立基于图神经网络的实例分割模型,所述实例分割模型包括4个依次连接的子神经网络,依次为多尺度特征提取网络、基于特征重要性的感兴趣区推荐网络、感兴趣区关系网络和分割网络,所述多尺度特征提取网络还与所述感兴趣区关系网络连接;
对所述实例分割模型进行训练;
将待分割图像输入到训练后的所述实例分割模型中,依次通过4个所述子神经网络对所述待分割图像进行处理,得到所述待分割图像的实例分割结果。
2.根据权利要求1所述的基于图神经网络的光学遥感图像实例分割方法,其特征在于,对所述实例分割模型进行训练,具体包括:
获取至少一张光学遥感图像作为训练图像,分别对每张所述训练图像进行预处理:
将预处理后的全部所述训练图像输入到所述实例分割模型中,采用反向传播算法对所述实例分割模型进行训练。
3.根据权利要求2所述的基于图神经网络的光学遥感图像实例分割方法,其特征在于,对每张所述训练图像进行预处理,具体包括:
基于第一训练图像标注出所有目标的分割图,且将不同目标标注为不同类别,相同类别的不同个体标注为不同编号;
计算出所述第一训练图像中的每个目标的形心中心性图;
其中,所述第一训练图像为全部训练图像中的任意一个训练图像。
4.根据权利要求3所述的基于图神经网络的光学遥感图像实例分割方法,其特征在于,计算出所述第一训练图像中的每个目标的形心中心性图,具体包括:
根据第一目标中所有像素坐标位置的平均值确定所述第一目标的形心;
根据所述第一目标中每个像素与所述第一目标的形心的距离得到所述第一目标的形心中心性图;
其中,所述第一目标为所述第一训练图像中的任意一个目标。
5.根据权利要求1至4中任一项所述的基于图神经网络的光学遥感图像实例分割方法,其特征在于,将待分割图像输入到训练后的所述实例分割模型中,依次通过4个所述子神经网络对所述待分割图像进行处理,得到所述待分割图像的实例分割结果,具体包括:
将待分割图像输入到训练后的所述实例分割模型中,通过所述多尺度特征提取网络对所述待分割图像进行逐层处理,得到多尺度特征;
通过所述基于特征重要性的感兴趣区推荐网络获取所述多尺度特征的重要性,基于所述重要性获得至少一个候选感兴趣区;
通过所述感兴趣区关系网络将每个所述候选感兴趣区作为节点,将所述候选感兴趣区之间的关系作为边,构建跨特征图的感兴趣区关系网络,根据所述感兴趣区关系网络得到感兴趣区及感兴趣区特征;
通过所述分割网络对所述感兴趣区特征进行处理,得到对应的感兴趣区的类别、位置坐标、形心中心性图和像素级分割得分图;
根据全部感兴趣区的类别和像素级分割得分图,得到最终的实例分割结果。
6.根据权利要求5所述的基于图神经网络的光学遥感图像实例分割方法,其特征在于,根据全部感兴趣区的类别和像素级分割得分图,得到最终的实例分割结果,具体包括:
判断第一感兴趣区的类别是否为背景,如果是,则忽略所述第一感兴趣区;否则,保留所述第一感兴趣区对应的像素级分割得分图;
对全部感兴趣区判断完成后,将保留的全部像素级分割得分图综合,得到最终的实例分割结果;
其中,所述第一感兴趣区为全部感兴趣区中的任意一个感兴趣区。
7.根据权利要求5所述的基于图神经网络的光学遥感图像实例分割方法,其特征在于,通过所述基于特征重要性的感兴趣区推荐网络获取所述多尺度特征的重要性,基于所述重要性获得至少一个候选感兴趣区,具体包括:
通过所述基于特征重要性的感兴趣区推荐网络对所述多尺度特征进行卷积运算,得到特征重要性图,以重要性高于预设值的像素为中心,确定预设大小的特征块是否包含目标的得分,以及目标的位置坐标,根据所述得分和所述位置坐标确定候选感兴趣区。
8.根据权利要求5所述的基于图神经网络的光学遥感图像实例分割方法,其特征在于,通过所述感兴趣区关系网络将每个所述候选感兴趣区作为节点,将所述候选感兴趣区之间的关系作为边,构建跨特征图的感兴趣区关系网络,根据所述感兴趣区关系网络得到感兴趣区及感兴趣区特征,具体包括:
通过所述感兴趣区关系网络将所述多尺度特征进行上采样运算,得到大小相同的特征图,将全部所述候选感兴趣区分别输入到每个所述特征图中,在每个所述特征图中构建跨特征图的感兴趣区关系网络,根据所述感兴趣区关系网络得到感兴趣区及感兴趣区特征,其中,所述跨特征图的感兴趣区关系网络通过在同一特征图内不同感兴趣区之间和不同特征图下同一感兴趣区之间进行信息传递和结构推理。
9.一种基于图神经网络的光学遥感图像实例分割装置,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序,实现如权利要求1至8中任一项所述的基于图神经网络的光学遥感图像实例分割方法。
10.一种存储介质,其特征在于,所述存储介质中存储有指令,当计算机读取所述指令时,使所述计算机执行如权利要求1至8中任一项所述的基于图神经网络的光学遥感图像实例分割方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110790134.8A CN113554656B (zh) | 2021-07-13 | 2021-07-13 | 基于图神经网络的光学遥感图像实例分割方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110790134.8A CN113554656B (zh) | 2021-07-13 | 2021-07-13 | 基于图神经网络的光学遥感图像实例分割方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113554656A true CN113554656A (zh) | 2021-10-26 |
CN113554656B CN113554656B (zh) | 2022-02-11 |
Family
ID=78103028
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110790134.8A Active CN113554656B (zh) | 2021-07-13 | 2021-07-13 | 基于图神经网络的光学遥感图像实例分割方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113554656B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114638841A (zh) * | 2022-02-25 | 2022-06-17 | 河南中原动力智能制造有限公司 | 一种图像分割方法、装置、移动终端及存储介质 |
CN115861938A (zh) * | 2023-02-06 | 2023-03-28 | 北京中超伟业信息安全技术股份有限公司 | 一种基于无人机识别的无人机反制方法及*** |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106951830A (zh) * | 2017-02-23 | 2017-07-14 | 北京联合大学 | 一种基于先验条件约束的图像场景多对象标记方法 |
CN109635812A (zh) * | 2018-11-29 | 2019-04-16 | 中国科学院空间应用工程与技术中心 | 图像的实例分割方法及装置 |
CN112184714A (zh) * | 2020-11-10 | 2021-01-05 | 平安科技(深圳)有限公司 | 图像分割方法、装置、电子设备及介质 |
CN112233128A (zh) * | 2020-10-15 | 2021-01-15 | 推想医疗科技股份有限公司 | 图像分割方法及模型的训练方法、装置、介质、电子设备 |
CN113011427A (zh) * | 2021-03-17 | 2021-06-22 | 中南大学 | 基于自监督对比学习的遥感图像语义分割方法 |
-
2021
- 2021-07-13 CN CN202110790134.8A patent/CN113554656B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106951830A (zh) * | 2017-02-23 | 2017-07-14 | 北京联合大学 | 一种基于先验条件约束的图像场景多对象标记方法 |
CN109635812A (zh) * | 2018-11-29 | 2019-04-16 | 中国科学院空间应用工程与技术中心 | 图像的实例分割方法及装置 |
CN112233128A (zh) * | 2020-10-15 | 2021-01-15 | 推想医疗科技股份有限公司 | 图像分割方法及模型的训练方法、装置、介质、电子设备 |
CN112184714A (zh) * | 2020-11-10 | 2021-01-05 | 平安科技(深圳)有限公司 | 图像分割方法、装置、电子设备及介质 |
CN113011427A (zh) * | 2021-03-17 | 2021-06-22 | 中南大学 | 基于自监督对比学习的遥感图像语义分割方法 |
Non-Patent Citations (1)
Title |
---|
KANG ZHAO ET AL.: "BOUNDARY REGULARIZED BUILDING FOOTPRINT EXTRACTION FROM SATELLITE IMAGES USING DEEP NEURAL NETWORKS", 《ARXIV》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114638841A (zh) * | 2022-02-25 | 2022-06-17 | 河南中原动力智能制造有限公司 | 一种图像分割方法、装置、移动终端及存储介质 |
CN115861938A (zh) * | 2023-02-06 | 2023-03-28 | 北京中超伟业信息安全技术股份有限公司 | 一种基于无人机识别的无人机反制方法及*** |
CN115861938B (zh) * | 2023-02-06 | 2023-05-26 | 北京中超伟业信息安全技术股份有限公司 | 一种基于无人机识别的无人机反制方法及*** |
Also Published As
Publication number | Publication date |
---|---|
CN113554656B (zh) | 2022-02-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Gecer et al. | Detection and classification of cancer in whole slide breast histopathology images using deep convolutional networks | |
Zhang et al. | A late fusion cnn for digital matting | |
US7724256B2 (en) | Fast graph cuts: a weak shape assumption provides a fast exact method for graph cuts segmentation | |
WO2021218786A1 (zh) | 一种数据处理***、物体检测方法及其装置 | |
US20210326638A1 (en) | Video panoptic segmentation | |
CN111612008A (zh) | 基于卷积网络的图像分割方法 | |
CN113554656B (zh) | 基于图神经网络的光学遥感图像实例分割方法及装置 | |
CN114266794B (zh) | 基于全卷积神经网络的病理切片图像癌症区域分割*** | |
CN112634296A (zh) | 门机制引导边缘信息蒸馏的rgb-d图像语义分割方法及终端 | |
An et al. | Medical image segmentation algorithm based on multilayer boundary perception-self attention deep learning model | |
CN111667459B (zh) | 一种基于3d可变卷积和时序特征融合的医学征象检测方法、***、终端及存储介质 | |
CN116645592B (zh) | 一种基于图像处理的裂缝检测方法和存储介质 | |
CN112836625A (zh) | 人脸活体检测方法、装置、电子设备 | |
CN107871321A (zh) | 图像分割方法及装置 | |
CN116977674A (zh) | 图像匹配方法、相关设备、存储介质及程序产品 | |
CN116310688A (zh) | 基于级联融合的目标检测模型及其构建方法、装置及应用 | |
Wang et al. | Salient object detection by robust foreground and background seed selection | |
CN113158970B (zh) | 一种基于快慢双流图卷积神经网络的动作识别方法与*** | |
CN117710760A (zh) | 残差的注意神经网络用于胸部x线病灶检测的方法 | |
CN114037678A (zh) | 一种基于深度学习的尿液有形成分检测方法及装置 | |
CN111914809B (zh) | 目标对象定位方法、图像处理方法、装置和计算机设备 | |
CN113762251A (zh) | 一种基于注意力机制的目标分类方法及*** | |
CN112488996A (zh) | 非齐次三维食管癌能谱ct弱监督自动标注方法与*** | |
Beaini et al. | Deep green function convolution for improving saliency in convolutional neural networks | |
CN116468702A (zh) | 黄褐斑评估方法、装置、电子设备及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |