CN114842029A - 一种融合通道和空间注意力的卷积神经网络息肉分割方法 - Google Patents
一种融合通道和空间注意力的卷积神经网络息肉分割方法 Download PDFInfo
- Publication number
- CN114842029A CN114842029A CN202210496738.6A CN202210496738A CN114842029A CN 114842029 A CN114842029 A CN 114842029A CN 202210496738 A CN202210496738 A CN 202210496738A CN 114842029 A CN114842029 A CN 114842029A
- Authority
- CN
- China
- Prior art keywords
- channel
- polyp
- module
- cvc
- attention
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 35
- 238000000034 method Methods 0.000 title claims abstract description 27
- 208000037062 Polyps Diseases 0.000 title claims abstract description 24
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 11
- 238000012549 training Methods 0.000 claims abstract description 22
- 230000005284 excitation Effects 0.000 claims abstract description 17
- 238000001125 extrusion Methods 0.000 claims abstract description 14
- 238000000605 extraction Methods 0.000 claims abstract description 8
- 230000008569 process Effects 0.000 claims abstract description 8
- 230000004927 fusion Effects 0.000 claims abstract description 7
- 238000010586 diagram Methods 0.000 claims description 28
- 230000006870 function Effects 0.000 claims description 18
- 238000012360 testing method Methods 0.000 claims description 16
- 239000011159 matrix material Substances 0.000 claims description 15
- 238000010606 normalization Methods 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 6
- 230000002708 enhancing effect Effects 0.000 claims description 5
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 4
- 230000009977 dual effect Effects 0.000 claims description 3
- 230000008034 disappearance Effects 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 abstract 1
- 238000004880 explosion Methods 0.000 abstract 1
- 238000007781 pre-processing Methods 0.000 abstract 1
- 238000005070 sampling Methods 0.000 abstract 1
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 10
- 206010009944 Colon cancer Diseases 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 5
- 238000003709 image segmentation Methods 0.000 description 5
- 208000001333 Colorectal Neoplasms Diseases 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 3
- 208000035984 Colonic Polyps Diseases 0.000 description 2
- 150000001875 compounds Chemical class 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 244000141353 Prunus domestica Species 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 208000029742 colonic neoplasm Diseases 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000010827 pathological analysis Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30028—Colon; Small intestine
- G06T2207/30032—Colon polyp
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种融合通道和空间注意力的卷积神经网络息肉分割方法，包括：数据预处理，用于对息肉图像的分辨率进行调整以及数据增强；编码器阶段，使用残差模块对息肉图像进行多尺度特征提取；瓶颈层阶段，利用改进的挤压激励模块，增强对息肉图像高级特征的提取；解码器阶段，使用通道和空间组合注意力模块，提高分割精度；同时对于瓶颈层和解码器的输出使用跨层融合；并在上采样过程中使用深监督技术，减轻在训练时的梯度消失或***现象，加速模型的收敛。本发明解决了息肉与周围组织边界模糊不清以及小的息肉区域难以分割的问题，同时深监督机制的引入优化了网络模型的梯度，加快了网络模型的收敛，缩短了网络模型的训练时间。
Description
技术领域
本发明涉及医学图像分割和人工智能技术领域，具体涉及一种融合通道和空间注意力的卷积神经网络息肉分割方法。
背景技术
结直肠癌(CRC)是临床医学中最常见的诊断癌症之一，而结肠息肉往往是病变的最初表现形式。早期的息肉大多为良性，但如果不能够得到及时的治疗，随着时间的推移，部分结肠息肉会发展为结肠癌。息肉分割是对结肠镜采集的视频或者图像进行分割，辅助医生进行诊断和病理分析，以达到提高诊断效率和减少误诊率的作用，在结直肠癌的筛查和诊疗过程中扮演者不可或缺的角色。但由于息肉的形态差异大、边界模糊，使得息肉很难被精确的分割，导致漏检、误检的情况时有发生。由此可见，精确的息肉分割是一项具有挑战性的医学图像分析任务，对临床预防结直肠癌有着重要的意义。
传统的息肉分割方法主要基于颜色，纹理，形状等浅层特征或者通过组合这些特征来进行处理。这类方法不仅费时费力，分割效果往往较差，难以真正应用于临床实践。自全卷积网络(FCN)被Long提出以来，神经网络在图像分割领域取得了巨大的成功。FCN是首个用于语义分割的网络模型，将卷积神经网络开创性地引入到了语义分割领域，并且在图像分割中取得了不错的结果。Akbari等将改进的FCN应用到息肉分割中，相较于FCN提高了分割的准确性。进一步地，U-Net在FCN的基础上，使用对称的编码器-解码器结构，在医学分割领域取得了不错的成绩。在U-Net的基础上，发展了很多改进算法，并且都在医学图像分割领域取得了良好的效果。UNet++通过将不同深度的U-Net嵌入到同一个网络中，增强了编码器特征与解码器的特征之间的语义匹配程度，并且使用深监督策略对网络进行剪枝，提高了推理的速度。Double U-Net使用两个U-Net网络进行图像分割，利用迁移学习从第一个U-Net中学习特征然后逐级传递到第二个U-Net中，并利用第二个U-Net捕获更多的语义信息。ResUNet++在U-Net的基础上将残差单元、空间金字塔和SE引入到网络之中，提高了对语义的准确预测。这些U-Net变体尽管取得了不错的分割效果，但都十分依赖内存，需要较高的内存才能使用。
发明内容
发明目的：本发明的目的在于解决U-Net网络层数不够深，训练时容易出现过拟合，而且对前景像素的敏感度不足，难以获得足够的全局信息和局部语义信息的问题，提出一种融合通道和空间注意力的卷积神经网络息肉分割方法，即CSCA U-Net。
技术方案：一种融合通道和空间注意力的卷积神经网络息肉分割方法，包括以下步骤：
(1)准备数据集，分为训练和测试数据集；
(2)利用残差模块(Residual Block,RB)作为编码器提取图像的特征；
(3)利用双重挤压激励模块(Double Squeeze and Excited,DSE)增强瓶颈层对高级特征的提取能力；
(4)在解码器使用通道和空间组合的注意力模块(Channel and Space Compound,CSCA)，从通道和空间两个层面上关注关键区域，从提取到的特征选择最相关的特征，抑制不相关的特征，提高分割精度；此外使用跨层融合(Cross-Layer Fusion)的方式，捕获上下文信息，细化分割的边界，通过解码器，最终生成全局预测图Sg；
所述通道和空间组合的注意力模块，通过并联和嵌套两种方式将通道注意力和空间注意力融合使用；整个模块分为a,b,c三路，在通路a中，首先将输入的特征通过一个双重挤压激励模块模块进行特征增强，生成特征图Mc，然后将Mc进行两次3×3的卷积实现非线性变换，再次使用双重挤压激励模块模块进行特征增强，得到权重矩阵Mv；在通路b中，特征图进行一次1×1的卷积操作，其通道数降为原来的一半，然后再进行批归一化和一个1×1的卷积操作，通道数降为1，最后由Sigmoid函数得到空间权重Mq；在通路c中，特征图经过两次3×3的卷积操作后，通道数减半，然后再经过一个双重挤压激励模块模块处理，生成特征图Mk，通过点乘的方式，将通路b中得到的特征权重Mq与通路c中得到的特征图Mk相乘，为Mk的每个通道中各个像素分配权重，生成特征图Ms，再利用矩阵乘法，将Ms与通路a中得到的特征图Mv结合起来，生成新的特征Matt，然后，选用Matt作为权重矩阵，通过点乘的方式与Mc相乘，得到Mr，最后通过特征融合的方式，将Mc与Mr结合起来，形成该层的分割结果Mfinal，用公式可以表示为：
Mfinal＝concat(Mr,Mc) (1)
其中，Mc和Mr分别表示为：
Mc＝d(x) (2)
Mr＝Mc·Matt (3)
Matt又可以表示为：
Matt＝(Mq·Mk)×Mv (4)
其中M表示特征图，concat(·,·)表示连接操作，d(·)表示DSE操作，·表示矩阵内积，×表示矩阵外积；
(5)在瓶颈层和解码器部分，通过深监督对网络输出进行监督，在每层生成预测结果S2～S6；
(6)进行网络模型训练。
所述步骤(1)具体为，准备数据集Kvasir-SEG和CVC-ClinicDB，并且按照9:1的比例将Kvasir-SEG和CVC-ClinicDB随机分为训练和测试数据集；准备数据集CVC-ColonDB,ETIS-LARIBPOLYPDB和CVC-T，作为测试数据集。
所述步骤(2)中残差模块，首先使用一个1×1的卷积对输入特征进行通道变换，得到特征图M1，然后对M1进行两次3×3的卷积操作，得到特征图M2，每一次卷积操作之后均经过批归一化和ReLU激活函数，最后将M1与M2相加，得到最终的特征图MRB。
所述步骤(3)中双重挤压激励模块，分为两个阶段：在第一个阶段中，使用全局平均池化，生成权重向量
再使用一个1×1的卷积对
进行非线性变换，其中每一个卷积之后都进行了批归一化和ReLU激活函数处理，用sigmoid函数对权重进行归一化处理，以点乘的方式对输入特征进行加权，得到特征图Mavg；在第二个阶段，对上一个阶段产生的Mavg进行全局最大池化，生成权重向量
然后通过一个1×1的卷积和Sigmoid函数，进行再次加权，得到新的特征Mmax，抑制无效信息的提取。
所述步骤(6)中网络模型的训练过程如下：
(6.1)首先准备数据集Kvasir-SEG和CVC-ClinicDB，并且按9:1划分为训练集和测试集；准备数据集CVC-ColonDB,ETIS-LARIBPOLYPDB,CVC-T，作为测试数据集；
(6.2)对数据集中的数据进行增强，并设置输入的图像尺寸为352×352；
(6.3)使用Adam方法作为优化器，并设置初始学习率为1e-4，在60个epoch后，将学习率降为1e-5；
(6.4)使用结合了加权交并比(Intersection Over Union,IoU)损失和二进制交叉熵损失作为损失函数，表示为：
在训练过程中，对于步骤(4)中生成的全局预测图Sg和步骤(5)中的局部预测图S2～S6，计算总体损失：
然后将其反向传播来更新网络参数。
有益效果：本发明在编码器部分，采用残差模块的形式，避免梯度消散和减少网络的退化，能够将提高编码器特征提取的能力；瓶颈层部分，采用双重挤压激励模块，聚焦包含更多信息的通道；解码器部分使用通道和空间注意力组合(CSCA)聚焦更关键的部分，细化息肉区域的边界，提高分割精度；再使用跨层融合，将相邻的解码器的输出进行相加，捕获更多的上下文信息；利用深监督策略对网络进行监督，提高收敛的速度。
附图说明
图1为本发明的流程图；
图2为CSCA U-Net的结构图；
图3为残差模块RB的结构图；
图4为通道和空间组合注意力模块CSCA的结构图；
图5为双重挤压激励模块DSE的结构图；
图6为本发明与不同网络的分割结果对比图。
具体实施方式
下面结合附图对本发明的技术方案作进一步说明。
如图1所示，本发明提供一种技术方案：一种融合通道和空间注意力的卷积神经网络息肉分割方法，包括以下步骤：
(1)准备数据集，分为训练和测试数据集；
(2)利用残差模块(Residual Block,RB)作为编码器提取图像的特征，图3为残差模块RB的结构图；
(3)利用双重挤压激励模块(Double Squeeze and Excited,DSE)增强瓶颈层对高级特征的提取能力，图5为双重挤压激励模块DSE的结构图；
(4)在解码器使用通道和空间组合的注意力模块(Channel and Space Compound,CSCA)，从通道和空间两个层面上关注关键区域，从提取到的特征选择最相关的特征，抑制不相关的特征，提高分割精度；此外使用跨层融合(Cross-Layer Fusion)的方式，捕获上下文信息，细化分割的边界，通过解码器，最终生成全局预测图Sg，图4为通道和空间组合注意力模块CSCA的结构图；
所述通道和空间组合的注意力模块，通过并联和嵌套两种方式将通道注意力和空间注意力融合使用；整个模块分为a,b,c三路，在通路a中，首先将输入的特征通过一个双重挤压激励模块模块进行特征增强，生成特征图Mc，然后将Mc进行两次3×3的卷积实现非线性变换，再次使用双重挤压激励模块模块进行特征增强，得到权重矩阵Mv；在通路b中，特征图进行一次1×1的卷积操作，其通道数降为原来的一半，然后再进行批归一化和一个1×1的卷积操作，通道数降为1，最后由Sigmoid函数得到空间权重Mq；在通路c中，特征图经过两次3×3的卷积操作后，通道数减半，然后再经过一个双重挤压激励模块模块处理，生成特征图Mk，通过点乘的方式，将通路b中得到的特征权重Mq与通路c中得到的特征图Mk相乘，为Mk的每个通道中各个像素分配权重，生成特征图Ms，再利用矩阵乘法，将Ms与通路a中得到的特征图Mv结合起来，生成新的特征Matt，然后，选用Matt作为权重矩阵，通过点乘的方式与Mc相乘，得到Mr，最后通过特征融合的方式，将Mc与Mr结合起来，形成该层的分割结果Mfinal，用公式可以表示为：
Mfinal＝concat(Mr,Mc) (1)
其中，Mc和Mr分别表示为：
Mc＝d(x) (2)
Mr＝Mc·Matt (3)
Matt又可以表示为：
Matt＝(Mq·Mk)×Mv (4)
其中M表示特征图，concat(·,·)表示连接操作，d(·)表示DSE操作，·表示矩阵内积，×表示矩阵外积；
(5)在瓶颈层和解码器部分，通过深监督对网络输出进行监督，在每层生成预测结果S2～S6；
(6)进行网络模型训练。
所述步骤(1)具体为，准备数据集Kvasir-SEG和CVC-ClinicDB，并且按照9:1的比例将Kvasir-SEG和CVC-ClinicDB随机分为训练和测试数据集；准备数据集CVC-ColonDB,ETIS-LARIBPOLYPDB和CVC-T，作为测试数据集。
所述步骤(2)中残差模块，首先使用一个1×1的卷积对输入特征进行通道变换，得到特征图M1，然后对M1进行两次3×3的卷积操作，得到特征图M2，每一次卷积操作之后均经过批归一化和ReLU激活函数，最后将M1与M2相加，得到最终的特征图MRB。
所述步骤(3)中双重挤压激励模块，分为两个阶段：在第一个阶段中，使用全局平均池化，生成权重向量
再使用一个1×1的卷积对
进行非线性变换，其中每一个卷积之后都进行了批归一化和ReLU激活函数处理，用sigmoid函数对权重进行归一化处理，以点乘的方式对输入特征进行加权，得到特征图Mavg；在第二个阶段，对上一个阶段产生的Mavg进行全局最大池化，生成权重向量
然后通过一个1×1的卷积和Sigmoid函数，进行再次加权，得到新的特征Mmax，抑制无效信息的提取。
所述步骤(6)中网络模型的训练过程如下：
(6.1)首先准备数据集Kvasir-SEG和CVC-ClinicDB，并且按9:1划分为训练集和测试集；准备数据集CVC-ColonDB,ETIS-LARIBPOLYPDB,CVC-T，作为测试数据集；
(6.2)对数据集中的数据进行增强，并设置输入的图像尺寸为352×352；
(6.3)使用Adam方法作为优化器，并设置初始学习率为1e-4，在60个epoch后，将学习率降为1e-5；
(6.4)使用结合了加权交并比(Intersection Over Union,IOU)损失和二进制交叉熵损失作为损失函数，表示为：
在训练过程中，对于步骤(4)中生成的全局预测图Sg和步骤(5)中的局部预测图S2～S6，计算总体损失：
然后将其反向传播来更新网络参数。图2为CSCA U-Net的结构图。
本发明下的效果可通过以下实验进一步说明。
1)实验条件
本发明在pytorch框架下实现，实验所用处理器为AMD 5900x处理器，内存64GB，显卡NVIDIA GeForce RTX 3090。
在息肉分割中，我们将输入图像的尺寸统一设置为352×352，batch size设置为16，并通过随机垂直翻转(p＝0.5)、随机水平翻转(p＝0.5)、随机旋转(90°)三种方式来进行数据增强以及采用多尺度策略{0.75，1，1.25}，训练周期设置为120，在实验中，使用Adam优化器，初始学习率设置为1e-4，在epoch>60后，学习率调至1e-5。
2)实验结果
在对模型的评估上，我们使用了平均Dice、平均IoU、MAE、
Sα六个指标。Dice表示预测图像与真值图之间的相似度，IoU指预测目标区域与真实目标区域的交集和并集的比值，MAE度量用于评估精度，增强对齐度量
用于评估相似度。加权Dice度量
针对Dice中的“同等重要的缺陷”问题。Sα可以弥补上述方法在目标结构相似性方面不足的问题，用来评估预测与真值图之间的相似性。
本发明算法与U-Net，U-Net++，ResUNet-mod，ResUNet++，SFA以及PraNet进行比较。综合表1，本发明的模型在两个“看过”的数据集Kvasir-SEG和CVC-ClinicDB上有着更好的息肉分割效果。综合表2，本发明的模型在三个“未看过”的数据集CVC-ColonDB,ETIS-LARIBPOLYPDB和CVC-T上展现出有竞争力的结果。
表1
表2
图6显示了各个模型在五个数据集上的分割结果，从上到下依次从测试集Kvasir-SEG、CVC-ClinicDB、CVC-ColonDB、ETIS-LARIBPOLYPDB和CVC-T中选取一张有代表性的图片。可以看到，本发明有着更加精细的分割结果，也进一步说明了本发明相对其他基准模型的优越性。
Claims (5)
1.一种融合通道和空间注意力的卷积神经网络息肉分割方法，其特征在于，包括以下步骤：
(1)准备数据集，分为训练和测试数据集；
(2)利用残差模块作为编码器提取图像的特征；
(3)利用双重挤压激励模块增强瓶颈层对高级特征的提取能力；
(4)在解码器使用通道和空间组合的注意力模块，从通道和空间两个层面上关注关键区域，从提取到的特征选择最相关的特征，抑制不相关的特征，提高分割精度；此外使用跨层融合的方式，捕获上下文信息，细化分割的边界，通过解码器，最终生成全局预测图Sg；
所述通道和空间组合的注意力模块，通过并联和嵌套两种方式将通道注意力和空间注意力融合使用；整个模块分为a,b,c三路，在通路a中，首先将输入的特征通过一个双重挤压激励模块模块进行特征增强，生成特征图Mc，然后将Mc进行两次3×3的卷积实现非线性变换，再次使用双重挤压激励模块模块进行特征增强，得到权重矩阵Mv；在通路b中，特征图进行一次1×1的卷积操作，其通道数降为原来的一半，然后再进行批归一化和一个1×1的卷积操作，通道数降为1，最后由Sigmoid函数得到空间权重Mq；在通路c中，特征图经过两次3×3的卷积操作后，通道数减半，然后再经过一个双重挤压激励模块模块处理，生成特征图Mk，通过点乘的方式，将通路b中得到的特征权重Mq与通路c中得到的特征图Mk相乘，为Mk的每个通道中各个像素分配权重，生成特征图Ms，再利用矩阵乘法，将Ms与通路a中得到的特征图Mv结合起来，生成新的特征Matt，然后，选用Matt作为权重矩阵，通过点乘的方式与Mc相乘，得到Mr，最后通过特征融合的方式，将Mc与Mr结合起来，形成该层的分割结果Mfinal，用公式可以表示为：
Mfinal＝concat(Mr,Mc) (1)
其中，Mc和Mr分别表示为：
Mc＝d(x) (2)
Mr＝Mc·Matt (3)
Matt又可以表示为：
Matt＝(Mq·Mk)×Mv (4)
其中M表示特征图，concat(·,·)表示连接操作，d(·)表示DSE操作，·表示矩阵内积，×表示矩阵外积；
(5)在瓶颈层和解码器部分，通过深监督对网络输出进行监督，在每层生成预测结果S2～S6；
(6)进行网络模型训练。
2.根据权利要求1所述的一种融合通道和空间注意力的卷积神经网络息肉分割方法，其特征在于，所述步骤(1)具体为，准备数据集Kvasir-SEG和CVC-ClinicDB，并且按照9:1的比例将Kvasir-SEG和CVC-ClinicDB随机分为训练和测试数据集；准备数据集CVC-ColonDB,ETIS-LARIBPOLYPDB和CVC-T，作为测试数据集。
3.根据权利要求1所述的一种融合通道和空间注意力的卷积神经网络息肉分割方法，其特征在于，所述步骤(2)中残差模块，首先使用一个1×1的卷积对输入特征进行通道变换，得到特征图M1，然后对M1进行两次3×3的卷积操作，得到特征图M2，每一次卷积操作之后均经过批归一化和ReLU激活函数，最后将M1与M2相加，得到最终的特征图MRB。
4.根据权利要求1所述的一种融合通道和空间注意力的卷积神经网络息肉分割方法，其特征在于，所述步骤(3)中双重挤压激励模块，分为两个阶段：在第一个阶段中，使用全局平均池化，生成权重向量
再使用一个1×1的卷积对
进行非线性变换，其中每一个卷积之后都进行了批归一化和ReLU激活函数处理，用sigmoid函数对权重进行归一化处理，以点乘的方式对输入特征进行加权，得到特征图Mavg；在第二个阶段，对上一个阶段产生的Mavg进行全局最大池化，生成权重向量
然后通过一个1×1的卷积和Sigmoid函数，进行再次加权，得到新的特征Mmax，抑制无效信息的提取。
5.根据权利要求1所述的一种融合通道和空间注意力的卷积神经网络息肉分割方法，其特征在于，所述步骤(6)中网络模型的训练过程如下：
(6.1)首先准备数据集Kvasir-SEG和CVC-ClinicDB，并且按9:1划分为训练集和测试集；准备数据集CVC-ColonDB,ETIS-LARIBPOLYPDB,CVC-T，作为测试数据集；
(6.2)对数据集中的数据进行增强，并设置输入的图像尺寸为352×352；
(6.3)使用Adam方法作为优化器，并设置初始学习率为1e-4，在60个epoch后，将学习率降为1e-5；
(6.4)使用结合了加权交并比损失和二进制交叉熵损失作为损失函数，表示为：
在训练过程中，对于步骤(4)中生成的全局预测图Sg和步骤(5)中的局部预测图S2～S6，计算总体损失：
然后将其反向传播来更新网络参数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210496738.6A CN114842029B (zh) | 2022-05-09 | 2022-05-09 | 一种融合通道和空间注意力的卷积神经网络息肉分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210496738.6A CN114842029B (zh) | 2022-05-09 | 2022-05-09 | 一种融合通道和空间注意力的卷积神经网络息肉分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114842029A true CN114842029A (zh) | 2022-08-02 |
| CN114842029B CN114842029B (zh) | 2024-06-18 |
Family
ID=82567799
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210496738.6A Active CN114842029B (zh) | 2022-05-09 | 2022-05-09 | 一种融合通道和空间注意力的卷积神经网络息肉分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114842029B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116958535A (zh) * | 2023-04-14 | 2023-10-27 | 三峡大学 | 一种基于多尺度残差推理的息肉分割***及方法 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2455088A1 (en) * | 2003-02-28 | 2004-08-28 | Eastman Kodak Company | Method and system for enhancing portrait images that are processed in a batch mode |
| WO2020108366A1 (zh) * | 2018-11-27 | 2020-06-04 | 腾讯科技（深圳）有限公司 | 图像分割方法、装置、计算机设备及存储介质 |
| CN112330681A (zh) * | 2020-11-06 | 2021-02-05 | 北京工业大学 | 一种基于注意力机制的轻量级网络实时语义分割方法 |
| AU2020103905A4 (en) * | 2020-12-04 | 2021-02-11 | Chongqing Normal University | Unsupervised cross-domain self-adaptive medical image segmentation method based on deep adversarial learning |
| CN112489061A (zh) * | 2020-12-09 | 2021-03-12 | 浙江工业大学 | 一种基于多尺度信息与并行注意力机制的深度学习肠道息肉分割方法 |
| WO2021104056A1 (zh) * | 2019-11-27 | 2021-06-03 | 中国科学院深圳先进技术研究院 | 一种肿瘤自动分割***、方法及电子设备 |
| CN113222124A (zh) * | 2021-06-28 | 2021-08-06 | 重庆理工大学 | 用于图像语义分割的SAUNet++网络与图像语义分割方法 |
| US20210248761A1 (en) * | 2020-02-10 | 2021-08-12 | Hong Kong Applied Science and Technology Research Institute Company Limited | Method for image segmentation using cnn |
| CN113658201A (zh) * | 2021-08-02 | 2021-11-16 | 天津大学 | 基于增强型多尺度特征的深度学习结直肠癌息肉分割装置 |
| US20210390723A1 (en) * | 2020-06-15 | 2021-12-16 | Dalian University Of Technology | Monocular unsupervised depth estimation method based on contextual attention mechanism |
| US20210390338A1 (en) * | 2020-06-15 | 2021-12-16 | Dalian University Of Technology | Deep network lung texture recogniton method combined with multi-scale attention |
| US11222217B1 (en) * | 2020-08-14 | 2022-01-11 | Tsinghua University | Detection method using fusion network based on attention mechanism, and terminal device |
| CN113989301A (zh) * | 2021-10-29 | 2022-01-28 | 浙江工业大学 | 一种融合多种注意力机制神经网络的结直肠息肉分割方法 |
-
2022
- 2022-05-09 CN CN202210496738.6A patent/CN114842029B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2455088A1 (en) * | 2003-02-28 | 2004-08-28 | Eastman Kodak Company | Method and system for enhancing portrait images that are processed in a batch mode |
| WO2020108366A1 (zh) * | 2018-11-27 | 2020-06-04 | 腾讯科技（深圳）有限公司 | 图像分割方法、装置、计算机设备及存储介质 |
| WO2021104056A1 (zh) * | 2019-11-27 | 2021-06-03 | 中国科学院深圳先进技术研究院 | 一种肿瘤自动分割***、方法及电子设备 |
| US20210248761A1 (en) * | 2020-02-10 | 2021-08-12 | Hong Kong Applied Science and Technology Research Institute Company Limited | Method for image segmentation using cnn |
| US20210390723A1 (en) * | 2020-06-15 | 2021-12-16 | Dalian University Of Technology | Monocular unsupervised depth estimation method based on contextual attention mechanism |
| US20210390338A1 (en) * | 2020-06-15 | 2021-12-16 | Dalian University Of Technology | Deep network lung texture recogniton method combined with multi-scale attention |
| US11222217B1 (en) * | 2020-08-14 | 2022-01-11 | Tsinghua University | Detection method using fusion network based on attention mechanism, and terminal device |
| CN112330681A (zh) * | 2020-11-06 | 2021-02-05 | 北京工业大学 | 一种基于注意力机制的轻量级网络实时语义分割方法 |
| AU2020103905A4 (en) * | 2020-12-04 | 2021-02-11 | Chongqing Normal University | Unsupervised cross-domain self-adaptive medical image segmentation method based on deep adversarial learning |
| CN112489061A (zh) * | 2020-12-09 | 2021-03-12 | 浙江工业大学 | 一种基于多尺度信息与并行注意力机制的深度学习肠道息肉分割方法 |
| CN113222124A (zh) * | 2021-06-28 | 2021-08-06 | 重庆理工大学 | 用于图像语义分割的SAUNet++网络与图像语义分割方法 |
| CN113658201A (zh) * | 2021-08-02 | 2021-11-16 | 天津大学 | 基于增强型多尺度特征的深度学习结直肠癌息肉分割装置 |
| CN113989301A (zh) * | 2021-10-29 | 2022-01-28 | 浙江工业大学 | 一种融合多种注意力机制神经网络的结直肠息肉分割方法 |
Non-Patent Citations (2)
| Title |
|---|
| S. K. ADHIKARI ET AL: "Conditional spatial fuzzy C-means thresholding algorithm for medical image segmentation", 《PERSPECTIVE TECHNOLOGIES AND METHODS IN MEMS DESIGN, IEEE》, 31 December 2015 (2015-12-31) * |
| 江新姿等: "基于K-均值与蚁群混合聚类的图像分割", 《计算机与数字工程》, vol. 39, no. 06, 31 December 2011 (2011-12-31) * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116958535A (zh) * | 2023-04-14 | 2023-10-27 | 三峡大学 | 一种基于多尺度残差推理的息肉分割***及方法 |
| CN116958535B (zh) * | 2023-04-14 | 2024-04-16 | 三峡大学 | 一种基于多尺度残差推理的息肉分割***及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114842029B (zh) | 2024-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Guo et al. | Sa-unet: Spatial attention u-net for retinal vessel segmentation | |
| Cai et al. | A review of the application of deep learning in medical image classification and segmentation | |
| Ribeiro et al. | Colonic polyp classification with convolutional neural networks | |
| Pacal et al. | A robust real-time deep learning based automatic polyp detection system | |
| Lin et al. | Automatic retinal vessel segmentation via deeply supervised and smoothly regularized network | |
| Iqbal et al. | BTS-ST: Swin transformer network for segmentation and classification of multimodality breast cancer images | |
| CN113256561B (zh) | 一种基于无归一化深度残差与注意力机制的肠道病灶辅助诊断方法 | |
| CN113658201B (zh) | 基于增强型多尺度特征的深度学习结直肠癌息肉分割装置 | |
| Khan et al. | Gastrointestinal diseases recognition: a framework of deep neural network and improved moth-crow optimization with dcca fusion | |
| Shi et al. | A stacked generalization U-shape network based on zoom strategy and its application in biomedical image segmentation | |
| Yamanakkanavar et al. | MF2-Net: A multipath feature fusion network for medical image segmentation | |
| Kaur et al. | A dilated convolutional approach for inflammatory lesion detection using multi-scale input feature fusion (workshop paper) | |
| CN117152433A (zh) | 一种基于多尺度跨层注意力融合网络的医学图像分割方法 | |
| Fu et al. | DEAU-Net: Attention networks based on dual encoder for Medical Image Segmentation | |
| Wen et al. | Pulmonary nodule detection based on convolutional block attention module | |
| CN114842029B (zh) | 一种融合通道和空间注意力的卷积神经网络息肉分割方法 | |
| WO2020219968A1 (en) | Detecting avascular and signal reduction areas in retinas using neural networks | |
| CN114842104A (zh) | 一种基于多尺度残差的胶囊内窥镜图像超分辨率重建方法 | |
| Guo et al. | CAFR-CNN: coarse-to-fine adaptive faster R-CNN for cross-domain joint optic disc and cup segmentation | |
| Ahmed et al. | COMA-Net: Towards generalized medical image segmentation using complementary attention guided bipolar refinement modules | |
| Sun et al. | Channel separation-based network for the automatic anatomical site recognition using endoscopic images | |
| Li et al. | MFA-Net: Multiple Feature Association Network for medical image segmentation | |
| Iqbal et al. | LDMRes-Net: Enabling real-time disease monitoring through efficient image segmentation | |
| Garcia-Peraza-Herrera et al. | Interpretable fully convolutional classification of intrapapillary capillary loops for real-time detection of early squamous neoplasia | |
| CN116563536A (zh) | 不确定性增强上下文注意力网络的息肉图像分割*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |