CN114565770A - 基于边缘辅助计算和掩模注意力的图像分割方法及*** - Google Patents
基于边缘辅助计算和掩模注意力的图像分割方法及*** Download PDFInfo
- Publication number
- CN114565770A CN114565770A CN202210288277.3A CN202210288277A CN114565770A CN 114565770 A CN114565770 A CN 114565770A CN 202210288277 A CN202210288277 A CN 202210288277A CN 114565770 A CN114565770 A CN 114565770A
- Authority
- CN
- China
- Prior art keywords
- feature
- image
- prediction
- edge
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000003709 image segmentation Methods 0.000 title claims abstract description 27
- 238000004364 calculation method Methods 0.000 title description 8
- 230000011218 segmentation Effects 0.000 claims abstract description 51
- 230000000694 effects Effects 0.000 claims abstract description 20
- 230000009467 reduction Effects 0.000 claims abstract description 13
- 230000006870 function Effects 0.000 claims description 27
- 230000002776 aggregation Effects 0.000 claims description 17
- 238000004220 aggregation Methods 0.000 claims description 17
- 238000010586 diagram Methods 0.000 claims description 16
- 230000004927 fusion Effects 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 4
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 3
- 230000008447 perception Effects 0.000 claims description 3
- 238000012512 characterization method Methods 0.000 abstract description 2
- 238000005457 optimization Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于边缘辅助计算和掩模注意力的图像分割方法及***，建立由多阶级联的残差模块构建的特征编码器，通过融合三个浅层特征图得到边缘特征图，特征降维后获得边缘预测图像，增强前三层特征编码器的表征能力，最后一阶残差模块依次经过多个特征解码器与掩模注意力模块，利用掩模注意力模块提高每个层级特征解码器对局部区域的重点关注力度，并在每个层级输出对应尺度预测的分割结果图像，融合特征解码器的输出特征图与前三阶残差模块的边缘特征图，经过特征降维预测最终的分割结果图像。相比于现有的图像分割方法，本发明能够提供更精准的分割边缘预测，适用于各种复杂场景下的图像分割，泛化性能更强，分割效果更好。
Description
技术领域
本发明属于计算机视觉领域，涉及一种基于边缘辅助计算和掩模注意力的图像分割方法及***。
背景技术
目前基于深度学习的图像分割技术是计算机视觉领域中一个重要的研究方向，已经获得了广泛的应用，现有的图像分割方法是使用深度学习模型对图像中的每个像素进行分类，最后得到每个像素的语义类别。然而现有的方法依然存在以下几个问题，模型对图像中目标的边缘分割不准确，无法充分利用多尺度的上下文信息，在预测过程中存在过多的信息损耗，模型优化的目标损失函数过于单一，无法有效进行建模，以上问题最终影响模型的分割效果。
名词解释：
BatchNorm层：深度神经网络训练过程中使得每一层神经网络的输入保持相同分布的方法。首先计算输入数据的整体均值和方差，然后进行归一化操作，最后根据设定的缩放因子和平移因子进行缩放和平移。
ReLu层：起到线性整流的作用，作为神经网络中的激活函数，对于输入向量x，使用ReLu层后输出为0和x的较大值。
MaxPool层：将整个特征图不重叠的分割为多个相同大小的块，每个块中只保留最大的参数，舍弃其他参数。在本专利中提及的MaxPool层大小为2*2，步长为2，输出特征图对应的宽、高均为输入特征图的一半。
Conv Block：为简化说明，接下来的描述不包含BatchNorm层和ReLu层。输入有以下两条分支：(1)依次经过1*1卷积层、3*3卷积层和1*1卷积层；(2)经过1*1卷积层改变特征图通道数。接下来，两条分支输出的特征图通过相加操作进行融合得到输出。
Identity Block：为简化说明，接下来的描述不包含BatchNorm层和ReLu层。输入有以下两条分支：(1)依次经过1*1卷积层、3*3卷积层和1*1卷积层；(2)跳跃连接，输出等于输入。接下来，两条分支输出的特征图通过相加操作进行融合得到输出。
发明内容
为解决上述技术问题，本发明公开了一种基于边缘辅助计算和掩模注意力的图像分割方法及***，本发明提高了图像的分割效果以及分割准确性。
本发明解决其技术问题所采用的技术方案是：
一种基于边界感知注意的图像分割***，包括n级级联的残差模块conv构建的特征编码器，对应每一级残差模块设置有特征解码器decoder block，对应每一级特征解码器decoder block设置有掩模注意力模块；其中第a级的残差模块输出的特征图为第a+1级残差模块的输入；第a级残差模块输出的特征图输入第a级的的特征解码器decoder block，第a级特征解码器decoder block输出的输出特征图输入第a级的掩模注意力模块mask_attention block；第a级掩模注意力模块mask_attention block输出的增强的特征图输入第a-1级特征解码器decoder；
对前3级残差模块的输出分别进行降维和上采样得到三个浅层特征图，融合三个浅层特征图得到最终的边缘特征图efeature，最终的边缘特征图efeature特征降维获得边缘预测图像edge_predic；最终的边缘特征图efeature与第一级掩模注意力模块输出的最后一个增强的特征图last_feature拼接融合得到最终预测分割图像predict_512；n≥3。
进一步的改进，n＝5；其中，第一级残差模块conv1包含卷积核为7*7的卷积层、BatchNorm层、ReLu层以及MaxPool层；其余的残差模块包含Conv Block和Identity Block；Conv Block输入和输出的维度不同，用于改变网络的维度；Identity Bloc的k输入维度和输出维度相同，用于加深网络；输入图像经过五个残差模块分别得到特征图feature_1、特征图feature_3、特征图feature_3、特征图feature_4、特征图feature_5，取特征图feature_1、feature_2和feature_3，分别经过卷积核为1*1的卷积层进行通道降维，再经过卷积核为3*3的卷积层进行特征提取，再分别进行因子为2、4、8的线性插值上采样操作，得到尺度相同的三个边缘特征图efeature_1、efeature_2和efeature_3；将三个边缘特征图efeature_1、efeature_2和efeature_3以拼接的方式进行特征融合，获得最终的边缘特征图efeature，采用卷积核为1*1的卷积层对边缘特征图efeature进行通道降维，得到边缘预测图像edge_predict。
进一步的改进，所述第a级残差模块输出的特征图和第a+1级掩模注意力模块mask_attention block输出的增强的特征图输入第a级特征解码器decoder block；在第a级特征解码器decoder block中，增强的特征图首先经过因子为2的线性插值上采样，然后与特征图通过拼接操作完成特征融合，再经过两个卷积核为3*3的卷积层输出得到输出特征图；
第a级特征解码器decoder block的输出特征图输入第a级掩模注意力模块mask_attention block；输出特征图首先经过卷积核为3*3以及卷积核为1*1的卷积层得到对应尺度的预测分割图像，预测分割图像作为掩模注意力图谱mask_attention与输出特征图进行相乘得到注意力特征图att_feature，注意力特征图att_feature与输出特征图直接进行相加，得到增强的特征图；第五级至第二级的掩模注意力模块分别输出尺度大小分别为32*32、64*64、128*128、256*256的预测分割图像predict_x，x＝2、3、4、5。
进一步的改进，第一级掩模注意力模块输出的最后一个增强的特征图last_feature与最终的边缘特征图efeature进行拼接操作，然后经过卷积核为1*1的卷积层，将卷积操作的结果输入Sigmoid激活函数，获得最终预测分割图像predict_512；
对边缘预测图像edge_predict、多尺度预测分割图像predict_x以及最终预测分割图像predict_512分别计算聚合损失函数Loss：
Loss＝BCELoss+DiceLoss+JaccardLoss
其中，BCELoss是在单标签二分类场景下计算二分类交叉熵损失，一个输入样本图片对应于一个输出分割图片，对于包含N个样本图片的Batch数据集D(p,y)，其中p为预测结果，取值范围在0～1，y为标签信息，取值为0或1；BCELoss计算公式如下:
其中，pi表示第i个样本图片的预测结果，yi表示第i个样本图片的标签信息；
其中DiceLoss＝1-Dice(P，Y)
其中，Dice(P，Y)表示Dice系数，P为预测结果，取值范围在0～1，Y为标签信息，取值为0或1；
JaccardLoss＝1-Jaccard(P，Y)；
其中，Jaccard(P，Y)表示Jaccard系数；
获得边缘预测图像edge_predict、多尺度预测分割图像predict_x以及最终预测分割图像predict_512的总聚合损失函数Loss_sum：
Loss_sum＝Loss(32)+Loss(64)+Loss(128)+Loss(256)+Loss(512)+Loss(edge)其
中，Loss(32)、Loss(64)、Loss(128)、Loss(256)分别为第五级至第二级的掩模注意力模块输出的预测分割图像的聚合损失函数；Loss(512)为最终预测分割图像predict_512的聚合损失函数；Loss(edge)为边缘预测图像edge_predict的聚合损失函数；
优化总聚合损失函数Loss-sum，是的Loss-sum最小，得到优化后的图像分割***。
进一步的改进，采用Adam梯度下降算法优化总聚合损失函数Loss-sum。
一种基于边界感知注意的图像分割方法，将初始图像输入上述基于边界感知注意的图像分割***，得到最终的边缘特征图efeature和最终预测分割图像predict_512。
本发明的优点：
1.针对现有技术中存在的模型对图像中目标的边缘分割不准确的问题，本发明提出边缘辅助计算，该结构以深度残差模块的级联作为特征编码路径，逐层传递语义信息，通过融合浅层低维高细粒度的细节特征，增强前三层特征编码器的表征能力以及特征提取能力，通过边缘损失函数辅助模型参数的优化过程，并且在特征解码路径中为图像分割提供指导，使得分割目标的边缘更准确清晰。
2.针对现有技术中存在的无法充分利用多尺度的上下文信息以及模型优化的目标损失函数过于单一的问题，本发明提出掩模注意力结构以及多尺度聚合损失函数，该结构以双卷积层加掩模注意力模块作为特征解码路径，关注特征空间中蕴含重要信息的位置，逐层补充细节局部特征。针对多尺度的分割预测图像进行强监督学习，各尺度之间逐层融合，不断丰富和完善分割所需的全局以及细节局部特征，提高特征图的空间分辨率，进而提高图像中目标分割的准确性以及效果。
附图说明
图1为本发明实施例图像分割算法的网络模型结构框图；(专利体不能有颜色和灰度，里面的图请将背景颜色去除并用黑色的边框，里面的英文最好给出中文注释)
图2为本发明实施例编码器路径结构框图；
图3为本发明实施例掩模注意力模块结构框图。
具体实施方式
以下结合实施例对本发明作进一步说明。
实施例1
一种基于边缘辅助计算和掩模注意力的图像分割方法，该方法的框架图如附图1所示，包括以下步骤：
S1、建立由多阶级联的残差模块构建的特征编码器，对前三阶残差模块的输出分别进行降维和上采样，融合三个浅层特征图得到边缘特征图，特征降维后获得边缘预测图像，增强前三层特征编码器的表征能力，具体实施方法为：
特征编码器由conv1、conv2_x、conv3_x、conv4_x和conv5_x共五个层级构成，conv1层包含卷积核为7*7的卷积层、BatchNorm层、ReLu层以及MaxPool层，除conv1层之外的所有层级为级联残差块，残差块主要包含Conv Block和Identity Block，其中ConvBlock输入和输出的维度是不一样的，它的作用是改变网络的维度，Identity Block输入维度和输出维度相同，可以串联，用于加深网络的。输入图像经过特征编码器的五个层级分别得到特征图feature_1、特征图feature_3、特征图feature_3、特征图feature_4、特征图feature_5，取出前三个层级对应的特征图feature_1、feature_2和feature_3，分别经过卷积核为1*1的卷积层进行通道降维，再经过卷积核为3*3的卷积层进行特征提取，再分别进行因子为2、4、8的线性插值上采样操作，得到尺度相同的三个边缘特征图efeature_1、efeature_2和efeature_3。将三个边缘特征图以拼接的方式进行特征融合，获得最终的边缘特征图efeature，采用卷积核为1*1的卷积层对边缘特征图efeature进行通道降维，得到边缘预测图像edge_predict。该步骤可以融合浅层低维高细粒度的细节特征，增强前三层特征编码器的表征能力以及特征提取能力，通过边缘损失函数辅助模型参数的优化过程，并且在特征解码路径中为图像分割提供指导，使得分割目标的边缘更准确清晰。
S2、最后一阶残差模块依次经过多个负责上采样和跳跃连接的特征解码器与掩模注意力模块，利用掩模注意力模块提高每个层级特征解码器对局部区域的重点关注力度，并在每个层级输出对应尺度预测的分割结果图像，具体实施方法为：
掩模注意力模块的输入首先经过卷积核为3*3以及卷积核为1*1的卷积层得到对应尺度的预测分割图像，该预测分割图像作为掩模注意力图谱mask_attention与输入进行相乘得到注意力特征图att_feature，通过跳跃连接与输入直接进行相加，得到增强的特征图。特征解码器由两个卷积核为3*3的卷积层构成，输入为对应层级特征编码器的特征图与上一级掩模注意力模块的特征图，其中上一级掩模注意力模块的特征图需要进行因子为2的线性插值上采样，在特征图尺度相同的条件下利用拼接操作完成这两种特征图的特征融合。在此过程中产生四种不同尺度的预测分割图像predict_x，尺度大小分别为32*32、64*64、128*128、256*256。该步骤可以根据图像上空间位置信息的重要性不同训练得到掩模注意力图谱，也就是在多尺度解码器模块的信息路径上提取掩模注意力矩阵指导目标语义信息的分割，明确需要重点关注的空间位置，最终提升目标的整体分割效果。
S3、融合特征解码器的输出特征图与前三阶残差模块的边缘特征图，旨在引入边缘的高细粒度信息，提高分割结果中的边缘预测准确性，经过特征降维预测最终的分割结果图像，对模型输出的6种预测结果图计算聚合损失函数用于模型参数优化，具体实施方法为：
利用拼接操作融合最后一个特征解码器的输出特征图last_feature与前三阶残差模块计算的边缘特征图efeature，再经过卷积核为1*1的卷积层，将卷积操作的结果输入Sigmoid激活函数，获得最终预测分割图像predict_512。根据边缘预测图像edge_predict、多尺度预测分割图像predict_x以及最终预测分割图像predict_512，对各个预测结果计算聚合损失函数，聚合损失函数为BCELoss、DiceLoss和JaccardLoss相加，模型训练时总的损失函数为边缘预测图像edge_predict、多尺度预测分割图像predict_x和最终预测分割图像predict_512的聚合损失函数相加。Adam梯度下降算法通过计算梯度的一阶矩估计和二阶矩估计而为不同的参数设计独立的自适应性学习率，在非稳态和在线问题上有很有优秀的性能，利用Adam梯度下降算法进行模型参数优化。该步骤可以对解码器路径的多尺度输出结果进行强监督学习，在多个优化目标的约束下对模型参数更快更好的优化，在分割问题中表现出优秀的性能，并且在此过程中能够更有效的聚合多尺度信息，为最终的图像分割提供帮助。
本发明实施例还提供了一种基于边缘辅助计算和掩模注意力的图像分割***，其包括计算机设备；所述计算机设备被配置或编程为用于执行上述实施例方法的步骤。
本发明中，计算机设备可以是微处理器、上位机等设备。
我们的方法在Montgomery公开CXR数据集上进行了测试，并且对比了近5年发表论文中使用了该数据集的实验结果(由于论文中采用的评价指标不同，存在部分评价指标结果缺失的情况)，经过对比后发现，我们所提出的方法在acc、dice和jaccard这三个指标上都具备明显优势。
最后应当说明的是，以上实施例仅用于说明本发明的技术方案而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细说明，本领域的普通技术人员应当了解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。
Claims (7)
1.一种基于边界感知注意的图像分割***，其特征在于，包括n级级联的残差模块conv构建的特征编码器，对应每一级残差模块设置有特征解码器decoder block，对应每一级特征解码器decoder block设置有掩模注意力模块；其中第a级的残差模块输出的特征图为第a+1级残差模块的输入；第a级残差模块输出的特征图输入第a级的的特征解码器decoderblock，第a级特征解码器decoder block输出的输出特征图输入第a级的掩模注意力模块mask_attention block；第a级掩模注意力模块mask_attention block输出的增强的特征图输入第a-1级特征解码器decoder；
对前3级残差模块的输出分别进行降维和上采样得到三个浅层特征图，融合三个浅层特征图得到最终的边缘特征图efeature，最终的边缘特征图efeature特征降维获得边缘预测图像edge_predic；最终的边缘特征图efeature与第一级掩模注意力模块输出的最后一个增强的特征图last_feature拼接融合得到最终预测分割图像predict_512；n≥3。
2.如权利要求1所述的基于边界感知注意的图像分割***，其特征在于，n＝5；其中，第一级残差模块conv1包含卷积核为7*7的卷积层、BatchNorm层、ReLu层以及MaxPool层；其余的残差模块包含Conv Block和Identity Block；Conv Block输入和输出的维度不同，用于改变网络的维度；Identity Bloc的k输入维度和输出维度相同，用于加深网络；输入图像经过五个残差模块分别得到特征图feature_1、特征图feature_3、特征图feature_3、特征图feature_4、特征图feature_5，取特征图feature_1、feature_2和feature_3，分别经过卷积核为1*1的卷积层进行通道降维，再经过卷积核为3*3的卷积层进行特征提取，再分别进行因子为2、4、8的线性插值上采样操作，得到尺度相同的三个边缘特征图efeature_1、efeature_2和efeature_3；将三个边缘特征图efeature_1、efeature_2和efeature_3以拼接的方式进行特征融合，获得最终的边缘特征图efeature，采用卷积核为1*1的卷积层对边缘特征图efeature进行通道降维，得到边缘预测图像edge_predict。
3.如权利要求2所述的基于边界感知注意的图像分割***，其特征在于，所述第a级残差模块输出的特征图和第a+1级掩模注意力模块mask_attention block输出的增强的特征图输入第a级特征解码器decoder block；在第a级特征解码器decoder block中，增强的特征图首先经过因子为2的线性插值上采样，然后与特征图通过拼接操作完成特征融合，再经过两个卷积核为3*3的卷积层输出得到输出特征图；
第a级特征解码器decoder block的输出特征图输入第a级掩模注意力模块mask_attention block；输出特征图首先经过卷积核为3*3以及卷积核为1*1的卷积层得到对应尺度的预测分割图像，预测分割图像作为掩模注意力图谱mask_attention与输出特征图进行相乘得到注意力特征图att_feature，注意力特征图att_feature与输出特征图直接进行相加，得到增强的特征图；第五级至第二级的掩模注意力模块分别输出尺度大小分别为32*32、64*64、128*128、256*256的预测分割图像predict_x，x＝2、3、4、5。
4.如权利要求3所述的基于边界感知注意的图像分割***，其特征在于，第一级掩模注意力模块输出的最后一个增强的特征图last_feature与最终的边缘特征图efeature进行拼接操作，然后经过卷积核为1*1的卷积层，将卷积操作的结果输入Sigmoid激活函数，获得最终预测分割图像predict_512；
对边缘预测图像edge_predict、多尺度预测分割图像predict_x以及最终预测分割图像predict_512分别计算聚合损失函数Loss：
Loss＝BCELoss+DiceLoss+JaccardLoss
其中，BCELoss是在单标签二分类场景下计算二分类交叉熵损失，一个输入样本图片对应于一个输出分割图片，对于包含N个样本图片的Batch数据集D(p,y)，其中p为预测结果，取值范围在0～1，y为标签信息，取值为0或1；BCELoss计算公式如下:
其中，pi表示第i个样本图片的预测结果，yi表示第i个样本图片的标签信息；
其中DiceLoss＝1-Dice(P,Y)
其中，Dice(P，Y)表示Dice系数，P为预测结果，取值范围在0～1，Y为标签信息，取值为0或1；
JaccardLoss＝1-Jaccard(P,Y)；
其中，Jaccard(P，Y)表示Jaccard系数；
获得边缘预测图像edge_predict、多尺度预测分割图像predict_x以及最终预测分割图像predict_512的总聚合损失函数Loss_sum：
Loss_sum＝Loss(32)+Loss(64)+Loss(128)+Loss(256)+Loss(512)+Loss(edge)其中，Loss(32)、Loss(64)、Loss(128)、Loss(256)分别为第五级至第二级的掩模注意力模块输出的预测分割图像的聚合损失函数；Loss(512)为最终预测分割图像predict_512的聚合损失函数；Loss(edge)为边缘预测图像edge_predict的聚合损失函数；
优化总聚合损失函数Loss_sum，是的Loss_sum最小，得到优化后的图像分割***。
5.如权利要求4所述的基于边界感知注意的图像分割***，其特征在于，采用Adam梯度下降算法优化总聚合损失函数Loss_sum。
6.一种基于边界感知注意的图像分割方法，其特征在于，将初始图像输入权利要求1-5任意所述基于边界感知注意的图像分割***，得到最终的边缘特征图efeature和最终预测分割图像predict_512。
7.如权利要求6所述的基于边界感知注意的图像分割方法，其特征在于，将初始图像输入权利要求4或5所述的优化后的图像分割***，得到最终的边缘特征图efeature和最终预测分割图像predict_512。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210288277.3A CN114565770B (zh) | 2022-03-23 | 2022-03-23 | 基于边缘辅助计算和掩模注意力的图像分割方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210288277.3A CN114565770B (zh) | 2022-03-23 | 2022-03-23 | 基于边缘辅助计算和掩模注意力的图像分割方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114565770A true CN114565770A (zh) | 2022-05-31 |
| CN114565770B CN114565770B (zh) | 2022-09-13 |
Family
ID=81719920
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210288277.3A Active CN114565770B (zh) | 2022-03-23 | 2022-03-23 | 基于边缘辅助计算和掩模注意力的图像分割方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114565770B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115760810A (zh) * | 2022-11-24 | 2023-03-07 | 江南大学 | 医学图像分割装置、方法及计算机可读存储介质 |
| CN115984293A (zh) * | 2023-02-09 | 2023-04-18 | 中国科学院空天信息创新研究院 | 基于边缘感知注意力机制的空间目标分割网络及方法 |
| CN116188501A (zh) * | 2023-03-02 | 2023-05-30 | 江南大学 | 基于多尺度交叉注意力的医学图像分割方法 |
| CN116703950A (zh) * | 2023-08-07 | 2023-09-05 | 中南大学 | 一种基于多层次特征融合的伪装目标图像分割方法和*** |
| CN116721351A (zh) * | 2023-07-06 | 2023-09-08 | 内蒙古电力(集团)有限责任公司内蒙古超高压供电分公司 | 一种架空线路通道内道路环境特征遥感智能提取方法 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109584246A (zh) * | 2018-11-16 | 2019-04-05 | 成都信息工程大学 | 基于多尺度特征金字塔的dcm心肌诊疗放射影像分割方法 |
| US10430946B1 (en) * | 2019-03-14 | 2019-10-01 | Inception Institute of Artificial Intelligence, Ltd. | Medical image segmentation and severity grading using neural network architectures with semi-supervised learning techniques |
| CN111462126A (zh) * | 2020-04-08 | 2020-07-28 | 武汉大学 | 一种基于边缘增强的语义图像分割方法及*** |
| CN111539435A (zh) * | 2020-04-15 | 2020-08-14 | 创新奇智(合肥)科技有限公司 | 语义分割模型构建方法及图像分割方法、设备、存储介质 |
| CN111583285A (zh) * | 2020-05-12 | 2020-08-25 | 武汉科技大学 | 一种基于边缘关注策略的肝脏影像语义分割方法 |
| CN111986181A (zh) * | 2020-08-24 | 2020-11-24 | 中国科学院自动化研究所 | 基于双注意力机制的血管内支架图像分割方法和*** |
| CN112967300A (zh) * | 2021-02-23 | 2021-06-15 | 艾瑞迈迪医疗科技（北京）有限公司 | 基于多尺度融合网络的三维超声甲状腺分割方法及装置 |
| CN113379771A (zh) * | 2021-07-02 | 2021-09-10 | 西安电子科技大学 | 带有边缘约束的层次化人体解析语义分割方法 |
| CN114004811A (zh) * | 2021-11-01 | 2022-02-01 | 西安交通大学医学院第二附属医院 | 一种基于多尺度残差编解码网络的图像分割方法及*** |
| CN114048822A (zh) * | 2021-11-19 | 2022-02-15 | 辽宁工程技术大学 | 一种图像的注意力机制特征融合分割方法 |
-
2022
- 2022-03-23 CN CN202210288277.3A patent/CN114565770B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109584246A (zh) * | 2018-11-16 | 2019-04-05 | 成都信息工程大学 | 基于多尺度特征金字塔的dcm心肌诊疗放射影像分割方法 |
| US10430946B1 (en) * | 2019-03-14 | 2019-10-01 | Inception Institute of Artificial Intelligence, Ltd. | Medical image segmentation and severity grading using neural network architectures with semi-supervised learning techniques |
| CN111462126A (zh) * | 2020-04-08 | 2020-07-28 | 武汉大学 | 一种基于边缘增强的语义图像分割方法及*** |
| CN111539435A (zh) * | 2020-04-15 | 2020-08-14 | 创新奇智(合肥)科技有限公司 | 语义分割模型构建方法及图像分割方法、设备、存储介质 |
| CN111583285A (zh) * | 2020-05-12 | 2020-08-25 | 武汉科技大学 | 一种基于边缘关注策略的肝脏影像语义分割方法 |
| CN111986181A (zh) * | 2020-08-24 | 2020-11-24 | 中国科学院自动化研究所 | 基于双注意力机制的血管内支架图像分割方法和*** |
| CN112967300A (zh) * | 2021-02-23 | 2021-06-15 | 艾瑞迈迪医疗科技（北京）有限公司 | 基于多尺度融合网络的三维超声甲状腺分割方法及装置 |
| CN113379771A (zh) * | 2021-07-02 | 2021-09-10 | 西安电子科技大学 | 带有边缘约束的层次化人体解析语义分割方法 |
| CN114004811A (zh) * | 2021-11-01 | 2022-02-01 | 西安交通大学医学院第二附属医院 | 一种基于多尺度残差编解码网络的图像分割方法及*** |
| CN114048822A (zh) * | 2021-11-19 | 2022-02-15 | 辽宁工程技术大学 | 一种图像的注意力机制特征融合分割方法 |
Non-Patent Citations (5)
| Title |
|---|
| SHASHA LIU ET AL.: "Shape-aware Multi-task Learning for Semi-supervised 3D Medical Image Segmentation", 《2021 IEEE INTERNATIONAL CONFERENCE ON BIOINFORMATICS AND BIOMEDICINE (BIBM)》 * |
| ZHANG Z ET AL.: "ET-Net: A generic edge-attention guidance network for medical image segmentation", 《INTERNATIONAL CONFERENCE ON MEDICAL IMAGE COMPUTING AND COMPUTER ASSISTED INTERVENTION-MICCAI 2019》 * |
| 余帅等: "基于多级通道注意力的遥感图像分割方法", 《激光与光电子学进展》 * |
| 赵楠等: "一种糖尿病足溃疡智能测量模型的构建与验证", 《中南大学学报(医学版)》 * |
| 郭元晨等: "基于空间注意力下边缘图融合的草图图像检索", 《计算机辅助设计与图形学学报》 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115760810A (zh) * | 2022-11-24 | 2023-03-07 | 江南大学 | 医学图像分割装置、方法及计算机可读存储介质 |
| CN115760810B (zh) * | 2022-11-24 | 2024-04-12 | 江南大学 | 医学图像分割装置、方法及计算机可读存储介质 |
| CN115984293A (zh) * | 2023-02-09 | 2023-04-18 | 中国科学院空天信息创新研究院 | 基于边缘感知注意力机制的空间目标分割网络及方法 |
| CN115984293B (zh) * | 2023-02-09 | 2023-11-07 | 中国科学院空天信息创新研究院 | 基于边缘感知注意力机制的空间目标分割网络及方法 |
| CN116188501A (zh) * | 2023-03-02 | 2023-05-30 | 江南大学 | 基于多尺度交叉注意力的医学图像分割方法 |
| CN116188501B (zh) * | 2023-03-02 | 2024-02-13 | 江南大学 | 基于多尺度交叉注意力的医学图像分割方法 |
| CN116721351A (zh) * | 2023-07-06 | 2023-09-08 | 内蒙古电力(集团)有限责任公司内蒙古超高压供电分公司 | 一种架空线路通道内道路环境特征遥感智能提取方法 |
| CN116703950A (zh) * | 2023-08-07 | 2023-09-05 | 中南大学 | 一种基于多层次特征融合的伪装目标图像分割方法和*** |
| CN116703950B (zh) * | 2023-08-07 | 2023-10-20 | 中南大学 | 一种基于多层次特征融合的伪装目标图像分割方法和*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114565770B (zh) | 2022-09-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114565770B (zh) | 基于边缘辅助计算和掩模注意力的图像分割方法及*** | |
| CN110276765B (zh) | 基于多任务学习深度神经网络的图像全景分割方法 | |
| US20210383231A1 (en) | Target cross-domain detection and understanding method, system and equipment and storage medium | |
| CN110910391B (zh) | 一种双模块神经网络结构视频对象分割方法 | |
| CN111062395B (zh) | 一种实时的视频语义分割方法 | |
| US20240029272A1 (en) | Matting network training method and matting method | |
| CN111612008A (zh) | 基于卷积网络的图像分割方法 | |
| CN113673338B (zh) | 自然场景文本图像字符像素弱监督自动标注方法、***及介质 | |
| CN114187311A (zh) | 一种图像语义分割方法、装置、设备及存储介质 | |
| CN114266794B (zh) | 基于全卷积神经网络的病理切片图像癌症区域分割*** | |
| CN111882620A (zh) | 一种基于多尺度信息道路可行驶区域分割方法 | |
| CN114820579A (zh) | 一种基于语义分割的图像复合缺陷的检测方法及*** | |
| CN115620010A (zh) | 一种rgb-t双模态特征融合的语义分割方法 | |
| US11948078B2 (en) | Joint representation learning from images and text | |
| CN111739037B (zh) | 一种针对室内场景rgb-d图像的语义分割方法 | |
| CN110852199A (zh) | 一种基于双帧编码解码模型的前景提取方法 | |
| CN117037119A (zh) | 基于改进YOLOv8的道路目标检测方法及*** | |
| CN113139969A (zh) | 一种基于注意力机制的弱监督图像语义分割方法及*** | |
| CN111179272B (zh) | 一种面向道路场景的快速语义分割方法 | |
| CN116630932A (zh) | 一种基于改进yolov5的道路遮挡目标检测方法 | |
| CN116596966A (zh) | 一种基于注意力和特征融合的分割与跟踪方法 | |
| CN114639101A (zh) | 一种乳状液液滴识别***、方法、计算机设备及存储介质 | |
| CN111753714B (zh) | 基于字符分割的多方向自然场景文本检测方法 | |
| CN110942463B (zh) | 一种基于生成对抗网络的视频目标分割方法 | |
| Wang et al. | Feature enhancement: predict more detailed and crisper edges |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |