CN113222998B - 基于自监督低秩网络的半监督图像语义分割方法及装置 - Google Patents
基于自监督低秩网络的半监督图像语义分割方法及装置 Download PDFInfo
- Publication number
- CN113222998B CN113222998B CN202110396330.7A CN202110396330A CN113222998B CN 113222998 B CN113222998 B CN 113222998B CN 202110396330 A CN202110396330 A CN 202110396330A CN 113222998 B CN113222998 B CN 113222998B
- Authority
- CN
- China
- Prior art keywords
- module
- low
- rank
- supervised
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 230000011218 segmentation Effects 0.000 title claims abstract description 57
- 238000005457 optimization Methods 0.000 claims abstract description 29
- 239000011159 matrix material Substances 0.000 claims abstract description 25
- 230000009466 transformation Effects 0.000 claims abstract description 23
- 230000008569 process Effects 0.000 claims abstract description 19
- 230000004913 activation Effects 0.000 claims abstract description 18
- 230000004931 aggregating effect Effects 0.000 claims abstract description 9
- 239000010749 BS 2869 Class C1 Substances 0.000 claims abstract description 5
- 238000010276 construction Methods 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 19
- 238000003860 storage Methods 0.000 claims description 10
- 238000012544 monitoring process Methods 0.000 claims description 9
- 230000007246 mechanism Effects 0.000 claims description 8
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 claims 1
- 238000012549 training Methods 0.000 description 28
- 230000000694 effects Effects 0.000 description 14
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000002474 experimental method Methods 0.000 description 7
- 230000006872 improvement Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 238000000844 transformation Methods 0.000 description 4
- 230000003416 augmentation Effects 0.000 description 3
- 239000002131 composite material Substances 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000010200 validation analysis Methods 0.000 description 3
- 238000012648 alternating copolymerization Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000013329 compounding Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000001881 scanning electron acoustic microscopy Methods 0.000 description 2
- 241000518994 Conta Species 0.000 description 1
- 108091026922 FnrS RNA Proteins 0.000 description 1
- 238000002679 ablation Methods 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于自监督低秩网络的半监督图像语义分割方法及装置,方法包括:构建自监督低秩网络,将来自两个分支的掩码分别进行逆几何变换,利用优化模块产生伪掩码输入到LR低秩模块;在每次迭代中,通过softmax归一化注意力和温度系数来计算赋值矩阵P;通过聚合输入特征X来更新最优基μ,获取类别为C的softmax规范化的类激活图A和深特征X1后,通过加权平均值计算第k个初始化基;在基初始化过程中使用由分类损失和伪掩码分割损失构成的目标函数进行监督,对LR低秩模块的输出结果进行解码和优化,根据损失对自监督低秩网络进行更新。装置包括:构建模块、优化模块、LR低秩模块、更新模块、预测模块、监督模块、输出模块。
Description
技术领域
本发明涉及图像语义分割领域,尤其涉及一种基于自监督低秩网络的半监督图像语义分割方法及装置。
背景技术
最近,基于深度学习的语义分割模型通过大规模像素级标签训练,取得了重大进展。然而,这种有监督的方法需要大量的人工标注,这既耗时又昂贵。为了减少标注像素级标签的工作量,大量研究开发了具有低成本标注的弱监督语义分割方法(WSSS),例如:边界框、涂鸦、点和图像级标签。
大多数流行的图像级WSSS方法都需要经过多个训练和优化阶段来获得更精确的伪标签。这些方法通常从弱监督定位开始,例如:类激活图(CAM),它突出了图像中最具辨别力的区域。多样化的增强CAM生成网络和CAM优化程序旨在将突出显示区域扩展到整个对象或消除误差的突出显示区域。虽然这些多阶段方法可以产生更精确的伪标签,但它们存在着大量的超参数和复杂的训练过程。相比之下,单阶段WSSS方法由于分割精度较低而受到较少关注。
最近,现有技术中又提出了一个简单的单级WSSS模型,该模型在线生成像素级伪标签作为自监督。然而,它的性能仍然不如比较先进的多级模型。单级模型性能不佳的原因是:在线不准确伪标签监督导致的误差复合效应。
与多级优化相比,在线自训练有望在训练过程中逐步提高语义的保真度和完整性。然而,这也增加了误差被模仿和累积的风险,并且会出现梯度流从顶层反向传播到下层的现象。
发明内容
本发明提供了一种基于自监督低秩网络的半监督图像语义分割方法及装置,本发明克服了由自监督错误引起的符合效应,在复杂性和准确性方面均优于当前的单极和多级WSSS方法(弱监督语义分割方法),详见下文描述:
第一方面,一种基于自监督低秩网络的半监督图像语义分割方法,所述方法包括:
构建自监督低秩网络,将来自两个分支的掩码分别进行逆几何变换,利用优化模块产生伪掩码输入到LR低秩模块;
输入N个特征X与K个初始化基μ,采用迭代注意机制寻找一组最优基μ和赋值矩阵P,在每次迭代中,通过softmax归一化注意力和温度系数来计算赋值矩阵P;
通过聚合输入特征X来更新最优基μ,在V次迭代之后,收敛的赋值矩阵P和最新的最优基用于重建输入特征X;
添加了由两个卷积层组成的辅助解码器来预测粗类激活图,获取类别为C的softmax 规范化的类激活图A和深特征X1后,通过加权平均值计算第k个初始化基;
在基初始化过程中使用由分类损失和伪掩码分割损失构成的目标函数进行监督,对LR 低秩模块的输出结果进行解码和优化,根据损失对自监督低秩网络进行更新。
在一种实现方式中,所述自监督低秩网络为:将已建立的编码器-解码器分段网络扩展为共享权重的孪生神经网络结构;
将来自某一图像的两个增强视图作为输入,编码器网络处理视图并生成特征映射,该特征映射作为LR低秩模块的输入,重新估计特征映射后,将具有LR特性的特征分别反馈给解码器网络,来预测掩码。
第二方面,一种基于自监督低秩网络的半监督图像语义分割装置,所述装置包括:
构建模块,用于构建自监督低秩网络;
优化模块,用于将来自两个分支的掩码分别进行逆几何变换,产生伪掩码;
LR低秩模块,用于接收伪掩码,且输入N个特征X与K个初始化基μ,采用迭代注意机制寻找一组最优基μ和赋值矩阵P,在每次迭代中,通过softmax归一化注意力和温度系数来计算赋值矩阵P;
更新模块,用于通过聚合输入特征X来更新最优基μ,在V次迭代之后,收敛的赋值矩阵P和最新的最优基用于重建输入特征X;
预测模块,用于添加了由两个卷积层组成的辅助解码器来预测粗类激活图,获取类别为C的softmax规范化的类激活图A和深特征X1后,通过加权平均值计算第k个初始化基;
监督模块,用于在基初始化过程中使用由分类损失和伪掩码分割损失构成的目标函数进行监督;
输出模块,用于对LR低秩模块的输出结果进行解码和优化,根据损失对自监督低秩网络进行更新。
第三方面,一种基于自监督低秩网络的半监督图像语义分割装置,所述装置包括:处理器和存储器,所述存储器中存储有程序指令,所述处理器调用存储器中存储的程序指令以使装置执行第一方面的任一项所述的方法步骤。
第四方面,一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令被处理器执行时使所述处理器执行第一方面的任一项所述的方法步骤。
本发明提供的技术方案的有益效果是:
1、本发明提出了一个交叉视图自我监督框架,通过各种增强视图的补充信息,以缓解单级WSSS模型自监督误差导致的复合效应,增强预测的一致性;
2、本发明提出了一个即插即用的LR(低秩)表示学习模块,通过在线共聚类在特征空间上找到一组紧凑的共享基,并利用共享基得到重构的表示;通过最优基,可以细化和放大来自不同视图地相关特征,以解决模糊性或错误预测问题,可以很容易地嵌入到任何孪生神经网络中进行端到端的训练;
3、本发明建立了一种特定的基初始化方式,利用CAMs(类激活图)聚合最具代表性的特征,来收集初始基;
4、在PASCALVOC 2012数据集(本领域技术人员所公知)上的实验表明,本发明设计的SLRNet(自监督低秩网络)显著优于单级和多级方法,为具有图像级标签的半监督语义分割(WSSS)任务提出了一种新的技术。
附图说明
图1为整体网络结构示意图;
其中,(a)为SLRNet(自监督低秩网络)结构;(b)为LR(低秩)模块结构。
图2为基于自监督低秩网络的半监督图像语义分割的流程图;
图3为基初始化过程示意图;
图4为在Pascal VOC数据集上的WSSS定性结果示意图;
其中,(a)为不同交叉视图监督强度下的性能变化;(b)为不同低秩模块迭代次数下的性能变化。
图5为Pascal Voc验证集上的定性结果;
其中,(a)为基准数据;(b)为SLRNet(自监督低秩网络)模型的结果;(c)为使用CRF(条件随机场)的模型运行结果。
图6为一种基于自监督低秩网络的半监督图像语义分割装置的结构示意图;
图7为一种基于自监督低秩网络的半监督图像语义分割装置的另一结构示意图。
具体实施方式
表1为不同数据增广组合的效果评价;
表2为伪标签在Pascal VOC数据集上的质量对比;
表3为在Pascal VOC数据集上的WSSS结果比较。
为使本发明的目的、技术方案和优点更加清楚,下面对本发明实施方式作进一步地详细描述。
第一方面,本发明实施例提供了一种基于自监督低秩网络的半监督图像语义分割方法,参见图1-图3,该方法包括以下步骤:
1、确定数据集
为了评估SLRNet网络的有效性,在Pascal VOC 2012数据集上进行了广泛的实验,这是一个广泛使用的WSSS评价基准。此外通过添加标注来构建增强的训练集。数据集中共有10582张图像用于训练,1449张图像用于验证。
2、交叉视图监督框架
在确定数据集后,使用了交叉视图监督框架SLRNet进行训练。SLRNet使用在线生成的像素级伪标签作为自监督,基于在线自学习的方案有望逐步提高语义的保真度和完备性。 SLRNet将已建立的编码器(Enc)-解码器(Dec)分段网络扩展为共享权重的孪生神经网络结构。SLRNet将来自图像I的两个增强视图I1和I2作为输入。编码器网络(Enc)处理这些视图并生成特征映射和其中,N1=H1×W1,N2=H2×W2, D为通道数,H1为I1的高度,W1为I1的宽度,H2为I2的高度,W2为I2的宽度,为实数域。编码器产生的特征映射作为LR低秩模块的输入,重新估计特征映射后,将具有LR 特性的特征分别反馈给SLRNet的解码器(Dec),来预测分割掩码M1和M2。
SLRNet网络根据LR模块的输出特征,使用多视图掩码优化技术来产生更准确的伪标签。下面详细介绍该技术以及核心模块LR低秩模块:
一、多视图掩码优化:
为了产生更精确的伪标签,提出了多视图掩码优化的解决方法。如图2(左)所示,掩码优化模块使用两个视图的输出的掩码来生成伪标签。本发明实施例将这两个视图的逆几何变换表示为和来自两个分支的掩码M1和M2分别通过和变换,然后利用优化模块产生伪掩码(即改进后的掩码):
由于经典的优化算法,如dense CRF(全连接条件随机场),会减慢训练过程,采用了像素自适应的掩码优化算法,利用卷积来优化粗糙掩码的外观亲和力。多视图掩码修正产生的伪标签利用了两个视图的互补信息。
二、LR低秩模块
LR低秩模块是SLRNet的核心区域。LR低秩模块的本质在于去除特征变化的噪声,减少对自监督误差的过度拟合。LR低秩模块采用交替共聚类优化方法,可以作为EM(期望最大值)算法的一个实例。
如图2(右)所示,给定N个输入特征,D为通道数,与 K个初始化基,X为输入特征,xN为第N个输入特征,μ为初始化基,μk为第K个初始化基,K和N的取值范围为正整数,根据实际应用中的需要进行设定。T为转置。
Pn,k的计算公式为:
其中,Kn,k为第n个特征和第k个初始化基之间的相似性,Kn,j为第n个特征和第j个初始化基之间的相似性,τ为温度系数,j为第j个初始化基的序号,k为第k个初始化基的序号。
然后通过聚合输入特征X来更新初始化基μ,其中第k个初始化基(μk)的更新公式为:
其中,ωn,k为xn到μk的赋值权重,Pn,k为xn到μk的赋值,Pm,k为xm到μk的赋值。
注意,如果设置τ→0,那么[Pn,1,...Pn,k]将成为一个独热编码(one-hotencoding),整个过程将类似于K-均值聚类。LR低秩模块交替使用上述公式(3)和公式(4)。在V次迭代之后,收敛的P和μ被用来重建输入特征X。
重构特征具有LR性质,因为它是由一组紧凑的基构成的。
三、基初始化
与现有的基于EM的聚类算法类似,在搭建的SLRNet中,LR低秩模块的基初始化是关键的。CAMs提供了最具代表性的区域,因此使用CAMs来聚合最具代表性的特征作为初始化基。
四、详细模块设计
LR低秩模块基于迭代注意机制,可以与CNN(卷积神经网络)结合进行端到端训练。使用可学习线性变换将输入和初始化基映射到公共空间,使用另一个线性变换将LR低秩模块的输出映射到输入空间。此外,采用残差连接产生LR增强表示。
1、半监督图像级损失:解码器分别为两个视图(即softmax归一化前的特征)生成类
2、自监督像素级损失:
此外,本发明实施例还为LR低秩模块引入了另一种交叉视图正则化,以加强两个视图的赋值P1和P2之间的一致性。
最终的交叉视图正则化损失定义为:
此外,在基初始化过程中使用到的辅助解码器由分类损失和伪掩码分割损失进行监督。
最后,计算了SLRNet的总损失,其中λseg、λreg和λaux是控制不同损耗比例的超参数。
训练结束后,输入原始图像,将经过变换增强后的图像输入到LR低秩模块中,对LR低秩模块的输出结果进行解码和优化后,根据损失对SLRNet网络进行更新。
实施例1
为了评估SLRNet的有效性,在Pascal VOC 2012数据集上进行了广泛的实验,这是一个广泛使用的WSSS评价基准。此外通过添加标注来构建增强的训练集。数据集中共有10582张图像用于训练,1449张图像用于验证。
一、模型的选取和使用
1、交叉视图自监督框架
提出了一个交叉视图自监督框架,并通过结合LR低秩模块,有效缓解了由单级WSSS 模型自监督误差引起的复合效应。SLRNet同时为一幅图像的多个增强视图预测多个分割模板,然后合并生成精确的伪标签,作为交叉视图的自监督。交叉视图的监督有助于利用来自各种增强视图的补充信息,以加强预测的一致性。
2、低秩网络
LR低秩模块的本质在于去除特征变化的噪声,减少对自监督误差的过度拟合。LR低秩模块采用交替共聚类优化方法,可以作为EM算法的一个实例。提出了一个即插即用的LR表示学习模块,基于其有效的基初始化方式,可以很容易地嵌入到任何Siamese网络中进行端到端的训练。
为了缓解自监督误差引起的复合效应,SLRNet引入了低秩(LR)模型,通过在线共聚类在特征空间上找到一组紧凑的共享基础,并以此得到重构的表示。从而使得解码器的输入特征抑制了噪声信息,这可以有效地防止网络对伪标签的过度拟合。通过共享基础,可以优化和放大来自不同视图的相关特征,以解决模糊性或误差预测问题。此外,还建立了一种特定的基初始化方式,利用CAMs来收集初始基。大量实验表明,交叉视图监控和 LR模块有助于提高语义的保真度和完整性。
二、模型训练
1、交叉视图自监督框架
SLRNet使用在线生成的像素级伪标签作为自监督。在线自学习方案有望逐步提高语义的保真度和完备性。然而,随着网络变得越来越深,误差可能被模仿和累积,梯度流从顶层反向传播到下层。
2、多视角掩码优化
为了产生更精确的伪标签,提出了多视图掩码优化的解决方法。如图2(左)所示,优化模块使用两个视图的输出来生成伪标签。将这两个视图的逆几何变换表示为和来自两个分支的掩码M1和M2分别通过和变换,然后利用优化模块产生伪掩码上述公式(1)。
由于经典的优化算法,如dense CRF,会减慢训练过程,采用了像素自适应的掩码优化算法,利用卷积来优化粗糙掩码的外观亲和力。多视图掩码修正产生的伪标签利用了两个视图的互补信息。改进后的掩码进一步用于自监督训练,隐式地增强了不同视图预测之间的一致性。为了明确实现交叉视图监督,还设计了如下交叉视图掩码正则化上述公式(2)。
2、损失函数:
1)半监督图像级损失函数:
解码器分别为两个视图(即softmax归一化前的特征)生成类感知激活映射 和然后,应用标准化的全局加权池和焦点掩码惩罚来获得类评分和最后,使用多标签软边际损失(MLSM)作为分类损失,参见上述公式(7)。
2)自监督像素级损失函数:
果,
使用像素级交叉熵(CE)作为自监督的分割损失,参见上述公式(8)。
此外,还为LR模引入了另一种交叉视图正则化,以加强两个视图的赋值π1和π2之间的一致性。最终的交叉视图正则化损失,参见上述公式(9)。
此外,辅助解码器由分类损失和伪掩码分割损失监督。为了简单起见,只在第一个分支上使用辅助解码器,而不对其应用正则化损失。最后,计算了SLRNet的总损失,参见上述公式(10)。
二、模型的使用细节(训练与测试)
训练:为了公平比较,使用了一个预先训练好的WideResNet-38和Atrous SpatialPyramid Pooling(ASPP)来构成编码器。解码器由3个卷积层和随机深度网络组成。用SGD(随机梯度下降)优化器训练了对模型训练了20个迭代周期,使用权重衰减值为5×10-4。随机初始化参数的学习率为5×10-3,预训练参数的学习率为5×10-4。温度系数τ设为||μk||2。在前5次迭代中,损失函数的因子设置为λseg=0、λreg=4和λaux=0.4,随后这些的默认值取λseg=1、λreg=4和λaux=0.4为默认值。
实施例2
为了验证方法的优越性,验证各模块的有效性,本发明实施例进行了大量消融实验,详见下文描述:
为了理解个体数据增强对弱监督分割的影响,考虑了几种几何和外观增强方式。此外,更关注可逆和可微的几何变换,如缩放和翻转等。
首先,将图像的随机裁剪为321×321的尺寸大小。然后,将目标转换应用于不同的分支。研究了三种变换的组成:固定速率的重缩放、随机水平翻转和随机颜色失真(如亮度、对比度、饱和度和色调)。在监督设置下,较强的颜色失真不能改善甚至损害性能。因此,针对亮度、对比度和饱和度,将颜色失真的最大强度设置为0.3,将色调分量设置为0.1。
表3给出了不同变换组合下Pascal-VOC-val集的计算结果。从表中观察到,三种不同的增广组合的性能最好(64.07%)。在使用更多的增广内容时,交叉视图监督将拥有更好的效果。还注意到,与其他增广方式相比,重缩放有明显更好的效果改进。在不重缩放的情况下,mIoU(平均交并比,语义分割评估指标)会出现显著下降(2.54%)。相反,对不同的视图使用相同的颜色失真和翻转会导致轻微的mIoU下降(0.08%)。与单视图相比,不同颜色失真和翻转的组合只获得了较小的改善(0.65%)。此外,值得指出的是,尽管添加更多的视图具有更高的复杂性,但这并不能提高WSSS的性能,这表明简单的多尺度训练不能提高WSSS的性能,但是交叉视图监控和LR表示会显著提升语义分割效果。实验结果见表1所示:
表1
为了演示SLRNet的改进方向,分别用平均错误发现率(mFDR)和平均错误否定率(mFNR)来表示语义的保真度和完备性。
其中,TPc,FPc和FNc分别表示预测类别c的真阳性、假阳性、假阴性的数量。交叉视图监督旨在缓解自训练过程中误差引起的复合效应。通过调整损失系数λreg来控制交叉视图监督的力度,以验证交叉视图监督的作用。
如图4(左)所示,观察到交叉视图监督主要通过减少mFDR来提高分割质量,即防止自监督中的假阳性累积以提高语义保真度。在实验中,当λreg=4时,会取得改进效果的最大化。值得注意的是,更高的交叉视图监督强度增加了mFNR。此外,还注意到,在没有的情况下,多视图模型的mIoU(60.73%)甚至不如单视图(60.88%)好,这表明适当的交叉视图监督强度比多视图训练更重要。
为了研究LR低秩模块的效果,在不同的迭代次数T下进行了实验,设计了LR低秩模块来消除特征变化,减少对自监督误差的过拟合。如图4(右)所示,观察到LR低秩模块主要通过减少mFNR来提高分割质量,即提高语义完整性。没有LR低秩模块(T=0), mIoU会显著下降(2.58%)。LR低秩模块在捕获和传播来自不同视图的准确、稳定的语义的同时,抑制了输入特征的噪声,从而提高了完整性。值得注意的是,由于特殊的初始化方式,更多的迭代并不能提高性能。随着训练(外循环)的进行,交替优化(内循环)可以更快地收敛。
随后,分别对伪掩码质量和语义分割效果进行检验。首先评估自监督质量,将伪掩码质量与以前的技术水平进行了比较。与改进的CAM生成方法、多级CAM优化方法和单级CAM优化方法相比,本方法具有更好的性能。对比的模型包括CAM、SCE、SEAM、 CAM+RW、SCE+RW、1-stage等。实验结果见表2:
表2
此外,为了评估提出的模型的语义分割效果,将本方法与其他baseline模型进行了比较。在图5中,展示了图像语义分割的定性结果。
同时,在表3中将SLRNet与各种领先的单级和多级WSSS方法进行了比较。其中,单级SLRNet在训练集(67.2%)和测试集(67.6%)上的性能最好。与MCIS相比,SLRNet 在测试集上提高了1.0%。与SEAM+CONTA相比,SLRNet实现了1.1%的mIoU改进。
表3
注意,没有显著性检测的多阶段方法至少经过了三级训练,以显著增加模型复杂度为代价提高了性能。SLRNet通过简单的交叉视图监督和轻量级LR模块得到的语义分割结果显著优于以前的单级模型。
第二方面,本发明实施例提供了一种基于自监督低秩网络的半监督图像语义分割装置,参见图6,该装置包括:
构建模块1,用于构建自监督低秩网络;
优化模块2,用于将来自两个分支的掩码分别进行逆几何变换,产生伪掩码;
LR低秩模块3,用于接收伪掩码,且输入N个特征X与K个初始化基,采用迭代注意机制寻找一组最优基μ和赋值矩阵P,在每次迭代中,通过softmax归一化注意力和温度系数来计算赋值矩阵P;
更新模块4,用于通过聚合输入特征X来更新最优基μ,在V次迭代之后,收敛的赋值矩阵P和最新的最优基用于重建输入特征X;
预测模块5,用于添加了由两个卷积层组成的辅助解码器来预测粗类激活图,获取类别为C的softmax规范化的类激活图A和深特征X1后,通过加权平均值计算第k个初始化基;
监督模块6,用于在基初始化过程中使用由分类损失和伪掩码分割损失构成的目标函数进行监督;
输出模块7,用于对LR低秩模块的输出结果进行解码和优化,根据损失对自监督低秩网络进行更新。
其中,该构建模块1包括:
扩展子模块,用于将已建立的编码器-解码器分段网络扩展为共享权重的孪生神经网络结构;
预测子模块,用于将来自某一图像的两个增强视图作为输入,编码器网络处理视图并生成特征映射,该特征映射作为LR低秩模块的输入,重新估计特征映射后,将具有LR特性的特征分别反馈给解码器网络,来预测掩码。
这里需要指出的是,以上实施例中的装置描述是与上述方法实施例描述相对应的,本发明实施例在此不做赘述。
上述各个模块、单元的执行主体可以是计算机、单片机、微控制器等具有计算功能的器件,具体实现时,本发明实施例对执行主体不做限制,根据实际应用中的需要进行选择。
基于同一发明构思,本发明实施例还提供了一种基于自监督低秩网络的半监督图像语义分割装置,参见图7,该装置包括:处理器8和存储器9,存储器9中存储有程序指令,处理器8调用存储器9中存储的程序指令以使装置执行实施例中的以下方法步骤:
构建自监督低秩网络,将来自两个分支的掩码分别进行逆几何变换,利用优化模块产生伪掩码输入到LR低秩模块;
输入N个特征X与K个初始化基μ,采用迭代注意机制寻找一组最优基μ和赋值矩阵P,在每次迭代中,通过softmax归一化注意力和温度系数来计算赋值矩阵P;
通过聚合输入特征X来更新最优基μ,在V次迭代之后,收敛的赋值矩阵P和最新的最优基用于重建输入特征X;
添加了由两个卷积层组成的辅助解码器来预测粗类激活图,获取类别为C的softmax 规范化的类激活图A和深特征X1后,通过加权平均值计算第k个初始化基;
在基初始化过程中使用由分类损失和伪掩码分割损失构成的目标函数进行监督,对LR 低秩模块的输出结果进行解码和优化,根据损失对自监督低秩网络进行更新。
在一种实现方式中,该自监督低秩网络为:将已建立的编码器-解码器分段网络扩展为共享权重的孪生神经网络结构;
将来自某一图像的两个增强视图作为输入,编码器网络处理视图并生成特征映射,该特征映射作为LR低秩模块的输入,重新估计特征映射后,将具有LR特性的特征分别反馈给解码器网络,来预测掩码。
在一种实现方式中,该方法还包括:对两个分支的掩码分别进行交叉视图掩码正则化处理。
在一种实现方式中,该方法还包括:对LR低秩模块引入交叉视图正则化,用于加强两个视图的赋值矩阵之间的一致性。
这里需要指出的是,以上实施例中的装置描述是与实施例中的方法描述相对应的,本发明实施例在此不做赘述。
上述的处理器8和存储器9的执行主体可以是计算机、单片机、微控制器等具有计算功能的器件,具体实现时,本发明实施例对执行主体不做限制,根据实际应用中的需要进行选择。
存储器9和处理器8之间通过总线10传输数据信号,本发明实施例对此不做赘述。
基于同一发明构思,本发明实施例还提供了一种计算机可读存储介质,存储介质包括存储的程序,在程序运行时控制存储介质所在的设备执行上述实施例中的方法步骤。
该计算机可读存储介质包括但不限于快闪存储器、硬盘、固态硬盘等。
这里需要指出的是,以上实施例中的可读存储介质描述是与实施例中的方法描述相对应的,本发明实施例在此不做赘述。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例的流程或功能。
计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中,或者通过计算机可读存储介质进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质或者半导体介质等。
参考文献
[1]NikitaAraslanov and Stefan Roth.Single-stage semantic segmentationfrom image labels.In CVPR,pages 4252–4261,2020.
本发明实施例对各器件的型号除做特殊说明的以外,其他器件的型号不做限制,只要能完成上述功能的器件均可。
本领域技术人员可以理解附图只是一个优选实施例的示意图,上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于自监督低秩网络的半监督图像语义分割方法,其特征在于,所述方法包括:
构建自监督低秩网络,将来自两个分支的掩码分别进行逆几何变换,利用优化模块产生伪掩码输入到LR低秩模块;
输入N个特征X与K个初始化基,采用迭代注意机制寻找一组最优基μ和赋值矩阵P,在每次迭代中,通过softmax归一化注意力和温度系数来计算赋值矩阵P;
通过聚合输入特征X来更新最优基μ,在V次迭代之后,收敛的赋值矩阵P和最新的最优基用于重建输入特征X;
添加了由两个卷积层组成的辅助解码器来预测粗类激活图,获取类别为C的softmax规范化的类激活图A和深特征X1后,通过加权平均值计算第k个初始化基;
在基初始化过程中使用由分类损失和伪掩码分割损失构成的目标函数进行监督,对LR低秩模块的输出结果进行解码和优化,根据损失对自监督低秩网络进行更新;
其中,所述自监督低秩网络为:
将已建立的编码器-解码器分段网络扩展为共享权重的孪生神经网络结构;
将来自某一图像的两个增强视图作为输入,编码器网络处理视图并生成特征映射,该特征映射作为LR低秩模块的输入,重新估计特征映射后,将具有LR特性的特征分别反馈给解码器网络,来预测掩码。
2.根据权利要求1所述的一种基于自监督低秩网络的半监督图像语义分割方法,其特征在于,所述方法包括:对两个分支的掩码分别进行交叉视图掩码正则化处理。
5.根据权利要求1所述的一种基于自监督低秩网络的半监督图像语义分割方法,其特征在于,所述方法还包括:对所述LR低秩模块引入交叉视图正则化,用于加强两个视图的赋值矩阵之间的一致性。
6.一种基于自监督低秩网络的半监督图像语义分割装置,其特征在于,所述装置包括:
构建模块,用于构建自监督低秩网络;
优化模块,用于将来自两个分支的掩码分别进行逆几何变换,产生伪掩码;
LR低秩模块,用于接收伪掩码,且输入N个特征X与K个初始化基,采用迭代注意机制寻找一组最优基μ和赋值矩阵P,在每次迭代中,通过softmax归一化注意力和温度系数来计算赋值矩阵P;
更新模块,用于通过聚合输入特征X来更新最优基μ,在V次迭代之后,收敛的赋值矩阵P和最新的最优基用于重建输入特征X;
预测模块,用于添加了由两个卷积层组成的辅助解码器来预测粗类激活图,获取类别为C的softmax规范化的类激活图A和深特征X1后,通过加权平均值计算第k个初始化基;
监督模块,用于在基初始化过程中使用由分类损失和伪掩码分割损失构成的目标函数进行监督;
输出模块,用于对LR低秩模块的输出结果进行解码和优化,根据损失对自监督低秩网络进行更新;
其中,所述构建模块包括:
扩展子模块,用于将已建立的编码器-解码器分段网络扩展为共享权重的孪生神经网络结构;
预测子模块,用于将来自某一图像的两个增强视图作为输入,编码器网络处理视图并生成特征映射,该特征映射作为LR低秩模块的输入,重新估计特征映射后,将具有LR特性的特征分别反馈给解码器网络,来预测掩码。
7.一种基于自监督低秩网络的半监督图像语义分割装置,其特征在于,所述装置包括:处理器和存储器,所述存储器中存储有程序指令,所述处理器调用存储器中存储的程序指令以使装置执行权利要求1-5中的任一项所述的方法步骤。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令被处理器执行时使所述处理器执行权利要求1-5中的任一项所述的方法步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110396330.7A CN113222998B (zh) | 2021-04-13 | 2021-04-13 | 基于自监督低秩网络的半监督图像语义分割方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110396330.7A CN113222998B (zh) | 2021-04-13 | 2021-04-13 | 基于自监督低秩网络的半监督图像语义分割方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113222998A CN113222998A (zh) | 2021-08-06 |
CN113222998B true CN113222998B (zh) | 2022-05-31 |
Family
ID=77087016
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110396330.7A Active CN113222998B (zh) | 2021-04-13 | 2021-04-13 | 基于自监督低秩网络的半监督图像语义分割方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113222998B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113962951B (zh) * | 2021-10-15 | 2022-05-17 | 杭州研极微电子有限公司 | 检测分割模型的训练方法及装置、目标检测方法及装置 |
CN114240968A (zh) * | 2021-12-17 | 2022-03-25 | 联通(上海)产业互联网有限公司 | 一种分割图像中异常区域的自监督深度学习算法 |
CN115512169B (zh) * | 2022-11-09 | 2023-07-25 | 之江实验室 | 基于梯度和区域亲和力优化的弱监督语义分割方法及装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2012258421A1 (en) * | 2012-11-30 | 2014-06-19 | Canon Kabushiki Kaisha | Superpixel-based refinement of low-resolution foreground segmentation |
CN108345831A (zh) * | 2017-12-28 | 2018-07-31 | 新智数字科技有限公司 | 基于点云数据的道路图像分割的方法、装置以及电子设备 |
US10482603B1 (en) * | 2019-06-25 | 2019-11-19 | Artificial Intelligence, Ltd. | Medical image segmentation using an integrated edge guidance module and object segmentation network |
CN111652236A (zh) * | 2020-04-21 | 2020-09-11 | 东南大学 | 弱监督场景下跨层特征交互的轻量级细粒度图像识别方法 |
CN112164067A (zh) * | 2020-10-12 | 2021-01-01 | 西南科技大学 | 一种基于多模态子空间聚类的医学图像分割方法及装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107437252B (zh) * | 2017-08-04 | 2020-05-29 | 山东师范大学 | 用于黄斑病变区域分割的分类模型构建方法和设备 |
CN108256486B (zh) * | 2018-01-18 | 2022-02-22 | 河南科技大学 | 一种基于非负低秩和半监督学习的图像识别方法及装置 |
CN109886946B (zh) * | 2019-02-18 | 2023-05-23 | 广州视源电子科技股份有限公司 | 基于深度学习的早期老年性黄斑病变弱监督分类方法 |
-
2021
- 2021-04-13 CN CN202110396330.7A patent/CN113222998B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2012258421A1 (en) * | 2012-11-30 | 2014-06-19 | Canon Kabushiki Kaisha | Superpixel-based refinement of low-resolution foreground segmentation |
CN108345831A (zh) * | 2017-12-28 | 2018-07-31 | 新智数字科技有限公司 | 基于点云数据的道路图像分割的方法、装置以及电子设备 |
US10482603B1 (en) * | 2019-06-25 | 2019-11-19 | Artificial Intelligence, Ltd. | Medical image segmentation using an integrated edge guidance module and object segmentation network |
CN111652236A (zh) * | 2020-04-21 | 2020-09-11 | 东南大学 | 弱监督场景下跨层特征交互的轻量级细粒度图像识别方法 |
CN112164067A (zh) * | 2020-10-12 | 2021-01-01 | 西南科技大学 | 一种基于多模态子空间聚类的医学图像分割方法及装置 |
Non-Patent Citations (2)
Title |
---|
"Self-Supervised Model Adaptation for Multimodal Semantic Segmentation";Abhinav Valada 等;《International Journal of Computer Vision》;20190208;第1239-1285页 * |
"图像/视频目标分割技术研究";肖华欣;《中国优秀博硕士学位论文全文数据库(博士)信息科技辑》;20210115(第1期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN113222998A (zh) | 2021-08-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Pang et al. | Hierarchical dynamic filtering network for RGB-D salient object detection | |
CN113222998B (zh) | 基于自监督低秩网络的半监督图像语义分割方法及装置 | |
Drenkow et al. | A systematic review of robustness in deep learning for computer vision: Mind the gap? | |
CN113673307B (zh) | 一种轻量型的视频动作识别方法 | |
Wang et al. | Multi-scale dilated convolution of convolutional neural network for image denoising | |
CN111882040A (zh) | 基于通道数量搜索的卷积神经网络压缩方法 | |
Gendy et al. | Lightweight image super-resolution based on deep learning: State-of-the-art and future directions | |
WO2021042857A1 (zh) | 图像分割模型的处理方法和处理装置 | |
CN115222998B (zh) | 一种图像分类方法 | |
CN111899203B (zh) | 基于标注图在无监督训练下的真实图像生成方法及存储介质 | |
CN113723295A (zh) | 一种基于图像域频域双流网络的人脸伪造检测方法 | |
Gao et al. | Temporal-attentive covariance pooling networks for video recognition | |
Han et al. | L-Net: lightweight and fast object detector-based ShuffleNetV2 | |
Xu et al. | AutoSegNet: An automated neural network for image segmentation | |
CN115546060A (zh) | 一种可逆的水下图像增强方法 | |
CN112988548A (zh) | 一种基于降噪算法的改进Elman神经网络的预测方法 | |
Fang et al. | GroupTransNet: Group transformer network for RGB-D salient object detection | |
Zhang et al. | Graph-PBN: Graph-based parallel branch network for efficient point cloud learning | |
Jiang et al. | Lightweight semi-supervised network for single image rain removal | |
Wu et al. | Dcanet: Dual convolutional neural network with attention for image blind denoising | |
Yu et al. | A multi-scale generative adversarial network for real-world image denoising | |
Su et al. | Lightweight pixel difference networks for efficient visual representation learning | |
CN117237621A (zh) | 基于像素级语义关联的小样本语义分割算法 | |
Guo et al. | Efficient convolutional networks learning through irregular convolutional kernels | |
CN116597154A (zh) | 一种图像去噪模型的训练方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |