CN116542921A - 一种结肠息肉分割方法、装置及存储介质 - Google Patents
一种结肠息肉分割方法、装置及存储介质 Download PDFInfo
- Publication number
- CN116542921A CN116542921A CN202310481889.9A CN202310481889A CN116542921A CN 116542921 A CN116542921 A CN 116542921A CN 202310481889 A CN202310481889 A CN 202310481889A CN 116542921 A CN116542921 A CN 116542921A
- Authority
- CN
- China
- Prior art keywords
- features
- boundary
- attention
- feature
- level
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 51
- 208000014081 polyp of colon Diseases 0.000 title claims abstract description 42
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000002457 bidirectional effect Effects 0.000 claims abstract description 32
- 230000007246 mechanism Effects 0.000 claims description 25
- 208000037062 Polyps Diseases 0.000 claims description 19
- 238000011176 pooling Methods 0.000 claims description 16
- 230000004927 fusion Effects 0.000 claims description 15
- 239000011800 void material Substances 0.000 claims description 12
- 238000010586 diagram Methods 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 230000002708 enhancing effect Effects 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 3
- 230000000153 supplemental effect Effects 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims description 2
- 239000013589 supplement Substances 0.000 claims 2
- 238000013461 design Methods 0.000 abstract description 3
- 238000012549 training Methods 0.000 description 8
- 206010009944 Colon cancer Diseases 0.000 description 5
- 208000029742 colonic neoplasm Diseases 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 208000035984 Colonic Polyps Diseases 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000010339 dilation Effects 0.000 description 3
- 230000001965 increasing effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 201000011510 cancer Diseases 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 210000001072 colon Anatomy 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000037361 pathway Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 206010051589 Large intestine polyp Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000002052 colonoscopy Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000004400 mucous membrane Anatomy 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种结肠息肉分割方法、装置及存储介质，包括：将结肠镜影像图片输入特征编码器，得到多层级的编码特征；针对编码特征，通过上下文丰富模块得到各层级的增强特征；同时，本发明设计了一个边界提取器，通过多层级的编码特征来生成边界注意力图；增强特征通过一系列的边界引导双向注意力残差模块按照从高层至低层的准则进行动态融合，同时对边界进行增强，得到最终结肠息肉分割预测结果。本发明构建了基于边界引导双向注意力残差网络的结肠息肉分割模型，利用边界引导双向注意力残差模块和上下文丰富模块，在很多有挑战性的场景下都能取得准确的分割结果。
Description
技术领域
本发明涉及到计算机辅助医疗领域，具体为一种基于边界引导双向注意力残差网络的结肠息肉分割方法、装置及存储介质。
背景技术
当前，结肠癌已成为世界范围内的第三大癌症，同时也是致死率第二高的癌症。超过90％的结肠癌病例是由结肠息肉演变而来的，息肉形成于结肠内壁，是小而非癌性的良性细胞团块，随着时间推移，存在转变为结肠癌的风险。因此，防治结肠癌最有效的办法便是在结肠息肉转变为结肠癌前对其进行检测和切除。目前，结肠镜是检测结肠息肉最常用的方法，但是这一过程需要大量昂贵的人工劳动力，同时存在较高的误诊率。因此，自动且准确的息肉分割方法具有重要的实用价值与广阔的应用前景。
传统的息肉分割方法主要依赖于手动选取特征，例如颜色、纹理、形状等。尽管这些方法对息肉分割有一定的效果，但是由于它们缺乏对高级语义信息的表达能力，往往导致很高的漏判和误判概率。近年来，随着深度学习技术在医学图像分析领域的广泛应用，出现了许多基于深度学习的息肉分割方法。早期的方法通常在FCN的基础上增加模块来提高结肠息肉分割的精度，但由于FCN过于依赖高层特征，而忽略了低层特征所包含的丰富的细节特征，导致分割的结果比较粗糙。随着U-Net在生物医学图像领域取得巨大成功，更多的方法采用了U-Net的设计思想，即使用深度卷积神经网络作为编码器来提取多层级的特征，然后按照自上而下的准则设计解码器来融合多层级特征并预测最终的分割结果。
虽然这些方法取得了很大的进步，但是针对结肠息肉的分割依然是一项具有挑战性的任务，主要原因有以下两点：
首先，结肠息肉的颜色和纹理与周围的粘膜组织十分相近，边界十分模糊，导致结肠息肉具有很高的伪装性，很难被识别出来；第二，结肠息肉的尺寸、形状、位置等差异很大，使得模型很难完整地分割出所有不同形态的息肉。由于以上两个问题的存在，结肠息肉分割方法的准确率仍然有待提升。因此，本发明旨在解决以上两个结肠息肉分割任务中的难题。
发明内容
针对结肠息肉与周围粘膜组织的高相似度导致的伪装性和边界模糊问题，本发明提供了一种基于边界引导双向注意力残差网络的结肠息肉分割方法、装置及存储介质，使用双向注意力机制同步地增强前景区域并且抑制背景中的高相似度噪声，从而增大前景与背景的对比度，同时引入边界引导模块增强边界区域。此外，本发明还提出了一个上下文丰富模块，通过自适应地提取全局信息、局部信息、多尺度信息，从而提高初始编码特征的表达能力，进而提高对不同形态和尺寸的息肉的检测能力，最终实现了不同场景下高质量的结肠息肉分割。
为此，本发明提供了以下技术方案：
本发明提供了一种基于边界引导双向注意力残差网络的结肠息肉分割方法，包括如下步骤：
A、将结肠镜影像图片输入特征编码器，得到多层级的编码特征(Fi，i＝2，3，4，5)，在特征编码器的最后一层之后串联一个平均池化层得到顶级特征F6；
B、将步骤A中所得特征输入上下文丰富模块得到更加丰富的特征表示(Bi，i＝2，3，4，5，6)，包括：
B1、针对各层级特征(Fi，i＝2，3，4，5)，分别采用全局-局部特征提取器来同步地提取全局特征和局部特征并进行融合得到(Bi，i＝2，3，4，5)，从而提高对息肉的定位能力和细节刻画能力；
B2、针对顶层特征F6，采用U形膨胀卷积空间金字塔池化模块来提取多尺度特征B6，从而提高对多尺寸息肉的检测能力；
C、同时，将步骤A中所得到的多层级编码特征(Fi，i＝2，3，4，5)输入一个设计好的边界提取器，用于生成边界注意力图E，受边界真值的监督；
D、通过一系列边界引导双向注意力残差模块对步骤B中所得的更加丰富的特征表示按照从高到低的准则逐步进行特征解码得到融合特征(Ri，i＝2，3，4，5)，将融合特征和B6分别通过预测层得到多阶段预测图(Si，i＝2，3，4，5，6)并用真值进行监督，选择S2作为最终的分割结果，其中边界引导双向注意力残差模块包括：
D1、采用双向注意力机制对相邻两层的特征进行互补增强，使其中高层特征的前景区域更加完整，并尽可能地抑制低层特征背景区域中的噪声干扰。
D2、对经过双向注意力机制处理后的相邻特征首先通过多尺度通道注意力模块处理进行动态区域加权，之后分别输入边界增强模块，利用步骤C中收集到的边界线索对其进行边界区域的增强，最后将两路特征融合得到当前阶段的融合特征。
D3、将融合特征通过一个洗牌注意力模块进行通道和空间上的权重再分配，之后通过残差结构加上高层特征即为当前边界引导双向注意力残差模块的输出。
进一步地，步骤A包括：
所述特征编码器为Res2Net架构，并丢弃最后两层以保留空间结构；所述特征编码器针对每一张图像生成4个具有不同空间分辨率和通道数的特征图(Fi，i＝2，3，4，5)。
进一步地，所述Res2Net架构为Res2Net-50架构，使用Res2Net-50在ImageNet上的预训练权重初始化编码器，在删除最后的全连接层的同时在最后一个卷积层后新增一个池化核为3×3，步长为2的平均池化层，将F5下采样得顶级特征F6。
进一步地，步骤B1包括：
将多层级编码特征(Fi，i＝2，3，4，5)通过一个transformer支路以获取全局特征同时，将多层级编码特征(Fi，i＝2，3，4，5)通过一个全局引导的CNN支路以获取局部特征。最后，全局特征与局部特征通过通道叠加和3×3卷积层融合生成增强特征(Bi，i＝2，3，4，5)。
进一步地，步骤B2包括：
U形膨胀卷积空间金字塔池化引入了从小感受野到大感受野的补充路径和从大感受野到小感受野的引导路径。前者使顶级特征F6在经过某一特定空洞率的膨胀卷积层时，都会先叠加空洞率小一级的膨胀卷积层的输出结果；后者使经过不同空洞率膨胀卷积层处理得到的特征在融合前，受到空洞率大一级的膨胀卷积层输出结果的引导，引导方式为通道叠加与空间注意力机制的结合。
进一步地，膨胀卷积层的空洞率d分别取1，2，3，4。
进一步地，步骤C包括：
对每一个层级的编码特征(Fi，i＝2，3，4，5)采用1×1卷积层与上采样操作变换到相同的空间分辨率，然后在通道方向进行叠加，之后采用3×3卷积层进行融合，最后通过1×1卷积层得到边界注意力图。
进一步地，步骤D1包括：
首先将相邻两层增强特征通过3×3卷积层进行融合，然后通过1×1卷积层和sigmoid激活函数生成前景注意力图，然后用1逐像素减去前景注意力图得到背景注意力图，分别使用前景注意力图和背景注意力图来增强高级特征的前景和滤除低级特征的背景噪声。
进一步地，步骤D2中的边界引导机制为：利用边界注意力图对待增强特征进行加权，之后与原未加权特征进行逐像素相加，并通过一个3×3卷积层得到最终的边界增强特征。
本发明提供的上述技术方案具有以下有益效果：
本发明提出了一种基于边界引导双向注意力残差网络的结肠息肉分割方法，该方法考虑了结肠息肉分割任务中结肠息肉的伪装性与多样性。首先将结肠镜影像图片输入特征编码器，得到多层级的编码特征；紧接着，针对编码特征，通过上下文丰富模块得到更加丰富的特征表示以适应不同尺寸、形状、位置的息肉分割场景，其中针对顶层特征，采用U形膨胀卷积空间金字塔池化模块来提取多尺度特征，从而提高对多尺寸息肉的检测能力，针对各层级特征，分别采用全局-局部特征提取器来同步地提取全局特征和局部特征并进行融合，从而提高对息肉的定位能力和细节刻画能力；同时，本发明设计了一个边界提取器，通过多层级的编码特征来生成边界用于之后边界引导双向注意力残差模块中的边界增强；接下来，经过上下文丰富模块得到的增强特征通过一系列的边界引导双向注意力残差模块按照从高层至低层的准则进行动态融合，同时对边界进行增强，从而增强对伪装息肉的捕获能力，同时提升对边界区域的分割精度。实验结果表明，本发明提出的基于边界引导双向注意力残差网络的结肠息肉分割方法在很多有挑战性的息肉分割场景下都能取得准确的分割结果。
基于上述理由本发明可在计算机辅助医疗领域广泛推广。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是息肉分割场景示意图；
图2是本发明实施例一种基于边界引导双向注意力残差网络的结肠息肉分割方法的流程图；
图3是本发明实施例中全局-局部特征提取器的结构示意图。
图4是本发明实施例中U形膨胀卷积空间金字塔池化模块的结构示意图。
图5是本发明实施例中边界引导双向注意力残差模块的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图2，其示出了本发明实施例中一种基于边界引导双向注意力残差网络的结肠息肉分割方法的流程图，该方法包括如下步骤：
A、将结肠镜影像图片输入特征编码器，得到多层级的编码特征(Fi，i＝2，3，4，5)，在特征编码器的最后一层之后串联一个平均池化层得到顶级特征F6；
输入的结肠镜影像图片如图1所示。
B、将步骤A中所得特征输入上下文丰富模块得到更加丰富的特征表示(Bi，i＝2，3，4，5，6)。
在具体实施中，步骤B包括：
B1、针对各层级特征(Fi，i＝2，3，4，5)，分别采用全局-局部特征提取器来同步地提取全局特征和局部特征并进行融合得到(Bi，i＝2，3，4，5)，从而提高对息肉的定位能力和细节刻画能力，具体如图3所示：
将多层级编码特征(Fi，i＝2，3，4，5)通过一个transformer支路以获取全局特征，表示如下：
其中MHSA(·)代表多头自注意力机制，LN(·)代表层归一化，MLP(·)代表多层感知机。同时，将多层级编码特征(Fi，i＝2，3，4，5)通过一个全局引导的CNN支路以获取局部特征，表示如下：
其中GSC(·)代表组归一化、SiLU激活函数、3×3卷积层，是全局注意力图，由经过1×1卷积层和sigmoid激活函数获得。最后，全局特征与局部特征通过通道叠加和3×3卷积层融合生成增强特征(Bi，i＝2，3，4，5)。
B2、针对顶层特征F6，采用U形膨胀卷积空间金字塔池化模块来提取多尺度特征B6，从而提高对多尺寸息肉的检测能力，具体如图4所示：
U形膨胀卷积空间金字塔池化在经典的膨胀卷积空间金字塔池化方法的基础上引入了两条路径：从小感受野到大感受野的补充路径和从大感受野到小感受野的引导路径。前者使顶级特征F6在经过某一特定空洞率的膨胀卷积层时，都会先叠加空洞率小一级的膨胀卷积层的输出结果，可表示为：
其中代表膨胀率为d的3×3膨胀卷积，C1(·)代表1×1卷积，t代表支路的索引。后者使经过不同空洞率膨胀卷积层处理得到的特征f′t在融合前，受到空洞率大一级的膨胀卷积层输出结果的引导，引导方式为通道叠加与空间注意力机制的结合，可表示为：
其中，Cat(·)代表通道维度上的级联，SA(·)代表空间注意力机制，ft代表通过引导生成的多支路特征。最后，多尺度特征Bb通过以下步骤生成：
B6＝C1(Cat(f1，f2，f3，f4，f5))+C1(F6)；
C、将步骤A中所得到的多层级编码特征(Fi，i＝2，3，4，5)输入一个设计好的边界提取器，用于生成边界注意力图E，受边界真值的监督。
在具体实施中，步骤C包括：
对每一个层级的编码特征(Fi，i＝2，3，4，5)采用1×1卷积层与上采样操作变换到相同的空间分辨率，然后在通道方向进行叠加，之后采用3×3卷积层进行融合，最后通过1×1卷积层得到边界注意力图，可表示为：
其中，Up(·)代表上采样，σ(·)代表Sigmoid激活函数。
D、通过一系列边界引导双向注意力残差模块对步骤B中所得的更加丰富的特征表示按照从高到低的准则逐步进行特征解码得到融合特征(Ri，i＝2，3，4，5)，将融合特征和B6分别通过预测层得到多阶段预测图(Si，i＝2，3，4，5，6)并用真值进行监督，选择S2作为最终的分割结果。
其中边界引导双向注意力残差模块包括：
D1、采用双向注意力机制对相邻两层的特征进行互补增强，使其中高层特征的前景区域更加完整，并尽可能地抑制低层特征背景区域中的噪声干扰，具体如图5所示。
首先将相邻两层增强特征(Ri+1和Bi，其中Ri+1为上一个边界引导双向注意力残差模块的输出)通过3×3卷积层进行融合得到融合特征然后通过1×1卷积层和Sigmoid激活函数生成前景注意力图/>并用1逐像素减去前景注意力图得到背景注意力图/>过程可表示为：
接着，分别使用前景注意力图和背景注意力图来增强高级特征Ri+1的前景和滤除低级特征Bi的背景噪声，过程可表示为：
D2、对经过双向注意力机制处理后的相邻特征与/>首先通过多尺度通道注意力模块处理进行动态区域加权，之后分别输入边界增强模块，利用步骤C中收集到的边界线索E对其进行边界区域的增强。
其中EGi(·)代表边界引导机制，具体如下：
D3、将边界引导之后的特征和/>融合并通过一个洗牌注意力模块(SHA)进行通道和空间上的加权调整，之后通过残差结构加上高层特征即为当前边界引导双向注意力残差模块的输出Ri，过程可表示为：
E、边界引导双向注意力残差网络的训练及优化：
本方法整体可分为训练和推理两个阶段，在训练时以训练集的张量作为输入，得到训练好的网络参数；在推理阶段使用训练阶段保存的参数进行测试，得到最终的结肠息肉分割结果。
本发明实施例在Pytorch框架下实现，其中训练阶段时使用Adam优化器，学习率为5e-5，β1＝0.9，β2＝0.999，并且批处理大小8。在训练期间，图像的空间分辨率为352×352，且模型在测试时也必须以352×352的分辨率输入。
本发明实施例提出的基于边界引导双向注意力残差网络的结肠息肉分割方法，使用双向注意力机制同步地增强前景区域并且抑制背景中的高相似度噪声，从而增大前景与背景的对比度，同时引入边界引导模块增强边界区域。此外，本发明还提出了一个上下文丰富模块，通过自适应地提取全局信息、局部信息、多尺度信息，从而提高初始编码特征的表达能力，进而提高对不同形态和尺寸的息肉的检测能力。实验结果表明，本发明提出的基于边界引导双向注意力残差网络的结肠息肉分割方法对于很多具有挑战性的结肠息肉分割场景都能取得准确的预测结果。
对应于上述实施例中的一种基于边界引导双向注意力残差网络的结肠息肉分割方法，本发明实施例中还提供了一种基于边界引导双向注意力残差网络的结肠息肉分割装置，包括：
编码单元，用于将结肠镜影像图片输入特征编码器，得到多层级的编码特征，在特征编码器的最后一层之后串联一个平均池化层得到顶级特征；
特征增强单元，用于将编码单元得到的多层级的编码特征和顶级特征进行上下文特征增强，得到丰富特征表示和多尺度特征；
边界提取单元，用于将编码单元得到的多层级的编码特征输入边界提取器，生成受边界真值的监督的边界注意力图；
预测单元，用于通过一系列边界引导双向注意力残差模块对特征增强单元得到的丰富特征表示按照从高到低的准则逐步进行特征解码，得到融合特征，将融合特征和多尺度特征分别通过预测层得到多阶段预测图，并用真值进行监督，选择第二层预测图作为结肠息肉分割结果；
其中，边界引导双向注意力残差模块包括：采用双向注意力机制对相邻两层的特征进行互补增强；对经过双向注意力机制处理后的相邻特征通过多尺度通道注意力机制进行动态区域加权，之后利用边界提取单元得到的边界注意力图进行边界区域的增强，最后将两路特征融合得到当前阶段的融合特征；将融合特征通过洗牌注意力机制进行通道和空间上的权重再分配，之后通过残差结构加上高层特征，即为当前边界引导双向注意力残差模块的输出。
对于本发明实施例的基于边界引导双向注意力残差网络的结肠息肉分割装置而言，由于其与上面实施例中的基于边界引导双向注意力残差网络的结肠息肉分割方法相对应，所以描述的比较简单，相关相似之处请参见上面实施例中基于边界引导双向注意力残差网络的结肠息肉分割方法部分的说明即可，此处不再详述。
本发明实施例中还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，计算机指令用于使计算机执行如上述基于边界引导双向注意力残差网络的结肠息肉分割方法。最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种基于边界引导双向注意力残差网络的结肠息肉分割方法，其特征在于，包括如下步骤：
将结肠镜影像图片输入特征编码器，得到多层级的编码特征，在特征编码器的最后一层之后串联一个平均池化层得到顶级特征；
将所述多层级的编码特征和所述顶级特征进行上下文特征增强，得到更加丰富的特征表示，从而提高对多尺寸息肉的定位能力和细节刻画能力；
将所述多层级的编码特征输入边界提取器，生成受边界真值的监督的边界注意力图；
通过一系列边界引导双向注意力残差模块对所述丰富特征表示按照从高到低的准则逐步进行特征解码，得到融合特征，将所述融合特征和所述多尺度特征分别通过预测层得到多阶段预测图，并用真值进行监督，选择第二层预测图作为结肠息肉分割结果；
其中，所述边界引导双向注意力残差模块包括：
采用双向注意力机制对相邻两层的特征进行互补增强；
对经过双向注意力机制处理后的相邻特征通过多尺度通道注意力机制进行动态区域加权，之后利用所述边界注意力图进行边界区域的增强，最后将两路特征融合得到当前阶段的融合特征；
将融合特征通过洗牌注意力机制进行通道和空间上的权重再分配，之后通过残差结构加上高层特征，即为当前边界引导双向注意力残差模块的输出。
2.根据权利要求1所述的基于边界引导双向注意力残差网络的结肠息肉分割方法，其特征在于，将所述多层级的编码特征和所述顶级特征输入上下文丰富模块，得到丰富特征表示和多尺度特征，包括：
针对所述多层级的编码特征，分别采用全局-局部特征提取器同步提取全局特征和局部特征，并对所述全局特征和所述局部特征进行融合，得到各层级的编码特征对应的丰富特征；
针对所述顶层特征，采用U形膨胀卷积空间金字塔池化模块提取多尺度特征。
3.根据权利要求1所述的基于边界引导双向注意力残差网络的结肠息肉分割方法，其特征在于，所述特征编码器为Res2Net架构，并丢弃最后两层以保留空间结构；所述特征编码器针对每一张图像生成4个具有不同空间分辨率和通道数的特征图。
4.根据权利要求2所述的基于边界引导双向注意力残差网络的结肠息肉分割方法，其特征在于，所述全局-局部特征提取器包括：多层级的编码特征通过一个transformer支路，以获取全局特征；
多层级的编码特征通过一个全局引导的CNN支路，以获取局部特征；
全局特征与局部特征通过通道叠加和3×3卷积层融合生成增强特征。
5.根据权利要求2所述的基于边界引导双向注意力残差网络的结肠息肉分割方法，其特征在于，所述U形膨胀卷积空间金字塔池化模块中，引入了从小感受野到大感受野的补充路径和从大感受野到小感受野的引导路径，包括：
前者使不同空洞率膨胀卷积层在提取特征时，接收低一级的膨胀卷积层输出结果的补充，补充方式为像素级加；
后者使经过不同空洞率膨胀卷积层处理得到的特征在融合前，受到空洞率高一级的膨胀卷积层输出结果的引导，引导方式为通道叠加与空间注意力机制的结合。
6.根据权利要求1所述的基于边界引导双向注意力残差网络的结肠息肉分割方法，其特征在于，所述边界提取器生成受边界真值的监督的边界注意力图，包括：
对每一个层级的编码特征采用1×1卷积层与上采样操作变换到相同的空间分辨率，然后在通道方向进行叠加，之后采用3×3卷积层进行融合，最后通过1×1卷积层得到边界注意力图。
7.根据权利要求1所述的基于边界引导双向注意力残差网络的结肠息肉分割方法，其特征在于，采用双向注意力机制对相邻两层的特征进行互补增强，包括：
首先将相邻两层增强特征通过3×3卷积层进行融合，然后通过1 1卷积层和sigmoid激活函数生成前景注意力图，然后用1逐像素减去前景注意力图得到背景注意力图，分别使用前景注意力图和背景注意力图来增强高级特征的前景和滤除低级特征的背景噪声。
8.根据权利要求1所述的基于边界引导双向注意力残差网络的结肠息肉分割方法，其特征在于，利用所述边界注意力图进行边界区域的增强，包括：利用边界注意力图对待增强特征进行加权，之后与原特征进行逐像素相加，并通过一个3×3卷积层得到最终的边界增强特征。
9.一种基于边界引导双向注意力残差网络的结肠息肉分割装置，其特征在于，包括：
编码单元，用于将结肠镜影像图片输入特征编码器，得到多层级的编码特征，在特征编码器的最后一层之后串联一个平均池化层得到顶级特征；
特征增强单元，用于将所述编码单元得到的所述多层级的编码特征和所述顶级特征进行上下文特征增强，得到丰富特征表示和多尺度特征；
边界提取单元，用于将所述编码单元得到的所述多层级的编码特征输入边界提取器，生成受边界真值的监督的边界注意力图；
预测单元，用于通过一系列边界引导双向注意力残差模块对所述特征增强单元得到的丰富特征表示按照从高到低的准则逐步进行特征解码，得到融合特征，将所述融合特征和所述多尺度特征分别通过预测层得到多阶段预测图，并用真值进行监督，选择第二层预测图作为结肠息肉分割结果；
其中，所述边界引导双向注意力残差模块包括：采用双向注意力机制对相邻两层的特征进行互补增强；对经过双向注意力机制处理后的相邻特征通过多尺度通道注意力机制进行动态区域加权，之后利用所述边界提取单元得到的所述边界注意力图进行边界区域的增强，最后将两路特征融合得到当前阶段的融合特征；将融合特征通过洗牌注意力机制进行通道和空间上的权重再分配，之后通过残差结构加上高层特征，即为当前边界引导双向注意力残差模块的输出。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使计算机执行如权利要求1-8任意一项所述的基于边界引导双向注意力残差网络的结肠息肉分割方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310481889.9A CN116542921A (zh) | 2023-04-28 | 2023-04-28 | 一种结肠息肉分割方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310481889.9A CN116542921A (zh) | 2023-04-28 | 2023-04-28 | 一种结肠息肉分割方法、装置及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116542921A true CN116542921A (zh) | 2023-08-04 |
Family
ID=87451702
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310481889.9A Pending CN116542921A (zh) | 2023-04-28 | 2023-04-28 | 一种结肠息肉分割方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116542921A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117036714A (zh) * | 2023-10-09 | 2023-11-10 | 安徽大学 | 融合混合注意力机制的肠息肉分割方法、***及介质 |
| CN117935060A (zh) * | 2024-03-21 | 2024-04-26 | 成都信息工程大学 | 基于深度学习的洪水区域检测方法 |
-
2023
- 2023-04-28 CN CN202310481889.9A patent/CN116542921A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117036714A (zh) * | 2023-10-09 | 2023-11-10 | 安徽大学 | 融合混合注意力机制的肠息肉分割方法、***及介质 |
| CN117036714B (zh) * | 2023-10-09 | 2024-02-09 | 安徽大学 | 融合混合注意力机制的肠息肉分割方法、***及介质 |
| CN117935060A (zh) * | 2024-03-21 | 2024-04-26 | 成都信息工程大学 | 基于深度学习的洪水区域检测方法 |
| CN117935060B (zh) * | 2024-03-21 | 2024-05-28 | 成都信息工程大学 | 基于深度学习的洪水区域检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116542921A (zh) | 一种结肠息肉分割方法、装置及存储介质 | |
| CN109583340B (zh) | 一种基于深度学习的视频目标检测方法 | |
| CN111783705A (zh) | 一种基于注意力机制的文字识别方法及*** | |
| CN112258488A (zh) | 一种医疗影像病灶分割方法 | |
| CN112712528B (zh) | 一种多尺度u型残差编码器与整体反向注意机制结合的肠道病灶分割方法 | |
| CN113392711B (zh) | 一种基于高层语义与噪声抑制的烟雾语义分割方法及*** | |
| CN115661144A (zh) | 基于可变形U-Net的自适应医学图像分割方法 | |
| CN114266794B (zh) | 基于全卷积神经网络的病理切片图像癌症区域分割*** | |
| CN113034505A (zh) | 一种基于边缘感知网络的腺体细胞图像分割方法及装置 | |
| CN112270366B (zh) | 基于自适应多特征融合的微小目标检测方法 | |
| CN115375711A (zh) | 基于多尺度融合的全局上下文关注网络的图像分割方法 | |
| CN114140651A (zh) | 胃部病灶识别模型训练方法、胃部病灶识别方法 | |
| CN114511502A (zh) | 一种基于人工智能的胃肠道内窥镜图像息肉检测***、终端及存储介质 | |
| Liao et al. | HarDNet-DFUS: An enhanced harmonically-connected network for diabetic foot ulcer image segmentation and colonoscopy polyp segmentation | |
| CN113642581B (zh) | 基于编码多路径语义交叉网络的图像语义分割方法及*** | |
| CN113870286A (zh) | 一种基于多级特征和掩码融合的前景分割方法 | |
| CN116630763A (zh) | 一种基于多尺度上下文感知的多聚焦图像融合方法 | |
| CN116091458A (zh) | 一种基于互补注意力的胰腺图像分割方法 | |
| CN116188352A (zh) | 一种基于增强边缘特征的肺结节分割方法 | |
| CN116091885A (zh) | 一种基于rau-gan的肺结节数据增强方法 | |
| CN112164078B (zh) | 基于编码器-解码器的rgb-d多尺度语义分割方法 | |
| CN116797611B (zh) | 一种息肉病灶分割方法、设备及存储介质 | |
| CN116645399B (zh) | 基于注意力机制的残差网络目标跟踪方法及*** | |
| CN116309601B (zh) | 基于Lite-EDNet的皮革缺陷实时检测方法 | |
| CN118072001B (zh) | 基于尺度特征感知和广泛感知卷积的伪装目标检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |