CN118037756A - 一种基于边界-目标增强的结肠镜息肉分割方法 - Google Patents
一种基于边界-目标增强的结肠镜息肉分割方法 Download PDFInfo
- Publication number
- CN118037756A CN118037756A CN202410435134.XA CN202410435134A CN118037756A CN 118037756 A CN118037756 A CN 118037756A CN 202410435134 A CN202410435134 A CN 202410435134A CN 118037756 A CN118037756 A CN 118037756A
- Authority
- CN
- China
- Prior art keywords
- boundary
- features
- feature
- module
- segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 64
- 208000037062 Polyps Diseases 0.000 title claims abstract description 54
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000012549 training Methods 0.000 claims abstract description 33
- 230000004927 fusion Effects 0.000 claims abstract description 21
- 238000012545 processing Methods 0.000 claims abstract description 14
- 238000004519 manufacturing process Methods 0.000 claims abstract description 7
- 230000002776 aggregation Effects 0.000 claims description 20
- 238000004220 aggregation Methods 0.000 claims description 20
- 230000007246 mechanism Effects 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 7
- 230000002708 enhancing effect Effects 0.000 claims description 5
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 13
- 238000001514 detection method Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 208000022131 polyp of large intestine Diseases 0.000 description 2
- 206010009944 Colon cancer Diseases 0.000 description 1
- 208000015634 Rectal Neoplasms Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000002052 colonoscopy Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 206010038038 rectal cancer Diseases 0.000 description 1
- 201000001275 rectum cancer Diseases 0.000 description 1
- 231100000444 skin lesion Toxicity 0.000 description 1
- 206010040882 skin lesion Diseases 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明属于医学图像技术领域，公开了一种基于边界‑目标增强的结肠镜息肉分割方法，包括下列步骤：步骤一、构建边界‑目标增强网络；边界‑目标增强网络包括主干网络、由粗到细特征增强模块和多尺度融合模块，步骤二、采集一定数量的结肠镜图像制作训练集，利用训练集对边界‑目标增强网络进行训练；步骤三、利用训练后的边界‑目标增强网络对结肠镜图像进行息肉分割。本发明使用边界特征和全局特征来改进相应尺度的主干特征，将其细化为精细边界特征，解决了图像中息肉边界模糊对模型的影响；还通过对不同尺度的特征分别进行处理，很好地分割大小尺寸不同的息肉。
Description
技术领域
本发明属于医学图像技术领域，具体涉及一种基于边界-目标增强的结肠镜息肉分割方法。
背景技术
由于相当一部分直肠癌（CRC）是由结直肠息肉演化而来的，因此，准确分割息肉对临床治疗至关重要，有助于在早期发现其是否有癌变可能。然而，在结肠镜检查图像中，密集的手动标记息肉是耗时和劳力密集的。因此，息肉的自动分割能有效提高诊疗效率。
目前，针对结直肠息肉的自动分割方法大致可以分为两大类：传统方法和基于深度学习的方法。对于传统的息肉分割方法，首先提取纹理和几何特征等手工特征，然后训练分类器使用这些手工特征来区分息肉和非息肉区域。然而，传统的方法往往不能产生令人满意的分割和泛化性能，主要是由于手工制作的特征容量的限制。
随着深度学习的快速发展，卷积神经网络（Convolutional Neural Network,CNN）在医学图像分割领域得到了广泛的应用，息肉的分割也取得了显著的进展。然而，当这些基于深度学习的方法应用于一些边界模糊或形状大小变化较大的实际场景时，其性能会出现显著下降。模糊的边界可能由运动模糊、不均匀照明、结肠镜检查图像收集阶段期间的反射表面问题或与周围组织相似的息肉引起。现有技术引入边界特征，并将其与全局特征相结合试图解决边界模糊的问题，如设计边界损失函数、利用注意机制、开发专属边界模块等，但是现有技术仍未能充分利用深层特征，导致边界捕获仍存在不准确的缺陷。现有技术中的一种方法在模型BDGNet中设计有边界分布生成模块，该模块属于专属边界模块；现有技术的另一种方法在模型PraNet中设计有反向注意模块，即试图利用注意力机制解决边界模糊问题。然而，这两种方法在应用中均存在过分割问题和欠分割问题。
同时，在BDGNet和PraNet中，他们试图通过装备现有的即插即用（PnP）模块，如在对象检测任务中设计的接收域块（RFB），来解决息肉大小的变化问题。但是，直接使用这些PnP模块并不能很有效地解决息肉大小变化大的问题，实际使用中仍然不能准确分割结肠镜图像，特别是对于小息肉的检测准确性明显不足，结合尚未被有效解决的边界模糊问题，导致现有技术在对可能存在边界模糊的医学影像难以得到准确的图像分割结果，特别是难以准确地分割出较小的息肉。
发明内容
本发明的目的是提供一种基于边界-目标增强的结肠镜息肉分割方法，用于解决现有技术中由于医学影像中可能存在边界模糊，且作为检测目标的息肉存在大小不同，导致无法准确有效地分割出检测结果的技术问题。
所述的一种基于边界-目标增强的结肠镜息肉分割方法，包括下列步骤。
步骤一、构建边界-目标增强网络。
边界-目标增强网络包括主干网络、由粗到细特征增强模块和多尺度融合模块，由粗到细特征增强模块包括边界捕获模块、全连接注意力模块和边界语义选择模块，多尺度融合模块包括特征增强模块。
其中，主干网络用于在多个尺度上产生相应的主干特征，特征边界捕捉模块用于捕捉边界特征，全连接注意力模块用于捕捉全局特征，边界语义选择模块用于动态地使用边界特征和全局特征来改进主干特征，得到多尺度的精细边界特征，特征增强模块进一步增强多尺度的精细边界特征并将增强结果融合形成分割特征，多尺度融合模块对分割特征进行1×1卷积后输出分割预测结果。
步骤二、采集一定数量的结肠镜图像制作训练集，利用训练集对边界-目标增强网络进行训练。
步骤三、利用训练后的边界-目标增强网络对结肠镜图像进行息肉分割。
所述步骤二包括下列步骤。
S2.1、采集一定数量的结肠镜图像制作训练集。
S2.2、利用主干网络从输入的训练图像中提取骨干特征。
S2.3、由粗到细特征增强模块使用边界特征和全局特征来改进主干特征，得到对应尺度的精细边界特征。
S2.4、使用多尺度融合模块对精细边界特征进行增强和融合，输出分割预测结果。
S2.5、使用分割损失和边界损失来监督边界-目标增强网络的训练，优化边界-目标增强网络。
优选的，所述步骤S2.2中，多个尺度上的主干特征包括最大尺度的最低级骨干特征、最小尺度的最高级骨干特征和中间特征，中间特征的尺度在最低级骨干特征和最高级骨干特征之间，中间特征和最高级骨干特征分别通过接收域块处理后被输入到由粗到细特征增强模块。
优选的，所述步骤S2.3包括下列步骤。
S2.3.1、将中间特征输入到边界捕获模块以捕获每个息肉的边界特征。
S2.3.2、最高级骨干特征被输入到全连接注意模块中以增强全局特征，同时对中间特征进行处理得到处理后的主干特征。
S2.3.3、边界语义选择模块动态地使用边界特征和全局特征来改进相应尺度的主干特征，获得高质量的精细边界特征。
优选的，所述步骤S2.3.1中，只用中间特征来捕捉边界特征，将中间特征经接收域块处理得到的改进特征通过聚合块进行聚合，中间特征中按尺度由小到大逐步进行聚合，尺度最小的两个改进特征输入聚合块聚合为新的输出特征，该输出特征再与尺度较大的下一个改进特征通过聚合块进一步聚合为新的输出特征，按此将所有改进特征聚合为最终的边界特征。
输入到聚合块的特征中，高级特征和低级特征/>分别通过两个并行流输入到所述聚合块中，捕捉两个输入特征相应的边界位置特征/>和/>的计算式如下：
，
，
其中，β是一个缩放因子，且β∈[0,1]，和/>表示在两个密集连接的残差块中生成的中间特征，CLR i (·)表示核大小为i×i的CLR操作，对于高级特征/>使用的核大小为5×5，对于低级特征/>使用的核大小为3×3，©表示连接操作，⊕表示逐元素加法操作，而新的输出特征f A的计算式如下：
，
其中，Conv(·)表示核大小为1×1的卷积操作，Up(·)表示通过双线性插值进行的上采样操作，©表示连接操作。
优选的，所述步骤S2.3.2中，最高级骨干特征f 5经全连接注意模块中处理后得到全局特征f g，对中间特征的处理方法如下：
，
，
，
其中，f' 3 、f' 4 和f' 5 表示相应尺度的精细边界特征，Upsample(·)表示上采样操作，RFB(·)表示应用接收域块处理，⊕表示逐元素加法操作。
优选的，所述步骤S2.3.3中，最边界语义选择模块分别将边界特征f b和全局特征f g注入到处理后的主干特征中来增强相应特征x l ，得到了带有额外边界信息的特征x lb 和带有额外全局信息的特征x lg ，之后，边界语义选择模块使用门控机制自适应地选择带有额外边界信息的特征x lb 和带有额外全局信息的特征x lg ；具体而言，通过对特征x lb 和x lg 执行逐元素相加的操作，得到增强的特征/>；然后根据边界特征的重要性分数S b 和全局特征的重要性分数S g 自适应地选择适合每个特征x l 的边界先验知识和全局特征，从而得到增强的边界特征/>和全局特征/>；通过对边界特征/>和全局特征/>执行逐元素相加操作得到相应尺度的精细边界特征f' l 。
优选的，所述步骤S2.4中，利用特征增强模块对输入的精细边界特征进行处理，对最高级的精细边界特征f' 5 进行平均池化处理，对底层的精细边界特征f' 2 进行最大池化处理，对于剩下两个中间层的精细边界特征f' 3 和f' 4 ，特征增强模块利用多个感受野和通道注意力机制进一步增强这些精细边界特征；最后将经过上述处理得到的特征f" 2 、f" 3 、f" 4 和f" 5 融合形成高质量的分割特征f，分割特征f的融合公式如下：
，
其中，w 1、w 2、w 3、w 4为与特征f" 2 、f" 3 、f" 4 和f" 5 依次对应的权值，均是可学习的参数。
优选的，所述步骤S2.1中，训练集中包括结肠镜图像和相应的分割掩码，制作训练集时，对训练集中的图像应用LevelSet算法来获得息肉边界的真实标注。
所述步骤S2.5中，分割损失由加权二进制交叉熵损失和加权交并比损失组成，基于分割预测结果优化整个模型；边界损失用于监督边界捕获模块以准确捕捉息肉的边界特征，边界损失的损失函数为：
，
其中i，j表示图像中像素的坐标，y ij ∈{0,1}是像素的真实边界标签，y ij 来自息肉边界的真实标注；p ij 是像素的边界预测结果，由边界特征经过1×1卷积操作得到的图像中获取，边界-目标增强网络的总体损失为上述分割损失和边界损失的加权组合。
本发明具有以下优点：
1、本发明设计了一种由粗到细特征增强模块，利用边界捕获模块提取边界特征，又通过边界语义选择模块动态地使用边界特征和全局特征来改进相应尺度的主干特征，从而将粗糙的主干特征细化为精细边界特征，有效全面地解决了图像中息肉边界模糊对模型的影响。
2、本方法提供了一种多尺度融合模块，将精细边界特征进行特征增强和融合，以克服大尺寸变化对息肉分割的影响；该模块通过对不同尺度的特征分别进行处理，可以很好地分割大小尺寸不同的息肉。由此本方法相比现有技术，在对边界模糊的图像中能对大小不同的息肉都获得较高的分割准确率。
3、本方法相比现有技术具有更好的学习能力和泛化性能，还能够进一步应用于其他相关医学图像的分割任务，如皮肤病变。
附图说明
图1为本发明一种基于边界-目标增强的结肠镜息肉分割方法的流程图。
图2为本发明中边界捕捉模块的流程图。
图3为本发明中边界捕捉模块中聚合块的流程图。
图4为本发明中边界语义选择模块的流程图。
图5为本发明中特征增强模块的流程图。
具体实施方式
下面对照附图，通过对实施例的描述，对本发明具体实施方式作进一步详细的说明，以帮助本领域的技术人员对本发明的发明构思、技术方案有更完整、准确和伸入的理解。
如图1-图5所示，本发明提供了一种基于边界-目标增强的结肠镜息肉分割方法，包括下列步骤。
步骤一、构建边界-目标增强网络。
边界-目标增强网络(Boundary-Target Enhancement Net,BTENet)包括主干网络、由粗到细特征增强模块(Coarse-to-fineFeature Enhancement Module,CFFEM)和多尺度融合模块(Multi Scale Fusion Module,MSFM)。其中，由粗到细特征增强模块包括边界捕获模块(Boundary Capture Module,BCM)、全连接注意力模块(Fully ConnectedAttention Module,FCAM)和边界语义选择模块(Boundary Semantic selection Module,BSSM)。多尺度融合模块包括特征增强模块(Feature Enhancement Module,FEM)。
其中，主干网络用于在五个不同尺度上产生相应的主干特征，所述主干网络为EfficientNet-B5网络，从输入的结肠镜图像中粗略提取主干特征。
特征边界捕捉模块用于捕捉边界特征，全连接注意力模块用于捕捉全局特征，边界语义选择模块用于动态地使用边界特征和全局特征来改进主干特征，由此，粗到细的特征增强模块利用边界特征和全局特征实现对主干特征的细化，从而得到多尺度的精细边界特征。特征增强模块进一步增强多尺度的精细边界特征并将增强结果融合形成分割特征，1×1卷积模块用于处理所述分割特征并输出分割预测结果，由此，所述多尺度融合模块对多尺度的精细边界特征进行了增强融合并最终输出分割预测结果。
步骤二、采集一定数量的结肠镜图像制作训练集，利用训练集对边界-目标增强网络进行训练。
训练过程包括如下步骤。
S2.1、采集一定数量的结肠镜图像制作训练集。
使用Kvasir-SEG数据集、CVC-ClinicDB数据集、CVC-ColonDB数据集等数据集制作训练集，训练集中包括结肠镜图像和相应的分割掩码（即分割结果）。制作训练集时，对训练集中的图像应用LevelSet算法来获得息肉边界的真实标注M b ，用于监督边界捕获模块生成的边界特征。
S2.2、利用主干网络从输入的训练图像中提取骨干特征。
将训练集中的结肠镜图像输入边界-目标增强网络，主干网络首先对结肠镜图像处理在五个不同尺度上产生骨干特征，其中/>，/>表示空间，表示空间/>的维度。骨干特征f 1至f 5依次表示尺度由大到小的骨干特征，即f 1表示具有最大尺度的最低级骨干特征，而f 5表示具有最小尺度的最高级骨干特征，在二者之间的骨干特征/>则属于中间特征。上述五个尺度的骨干特征中除了最低级骨干特征f 1外，其他骨干特征/>通过接收域块(receiver Field Block,RFB)处理后被输入到由粗到细特征增强模块。接收域块能有效地探索多尺度特征，对粗糙的骨干特征应用接收域块实现对其的深入挖掘并同时保持了特征的分辨率。
S2.3、由粗到细特征增强模块使用边界特征和全局特征来改进主干特征，得到对应尺度的精细边界特征。
在由粗到细特征增强模块中，边界语义选择模块与中间特征一一对应，中间特征/>被输入到边界捕获模块以捕获每个息肉的边界特征，所得边界特征对应各个尺度的中间特征，最高级骨干特征f 5被输入到全连接注意模块中以增强全局特征。被捕获的各个边界特征对应输入到相应尺度的边界语义选择模块，而全连接注意模块输出的全局特征则被输入到各个边界语义选择模块，边界语义选择模块动态地使用边界特征和全局特征来改进相应尺度的主干特征，获得高质量的精细边界特征，即三个不同尺度的精细边界特征/>，其中，/>。
而最高级骨干特征f 5通过接收域块将自身通道减少到32就形成了最高级的精细边界特征f' 5，精细边界特征f' 5再与其他不同尺度的精细边界特征一同输入到多尺度融合模块。
步骤S2.3又具体包括下列步骤。
S2.3.1、将中间特征输入到边界捕获模块以捕获每个息肉的边界特征。
基于对现有技术中提取五层主干特征后所得可视化结果的启发，能够观察到主干特征中最浅层和最深层的特征对生成边界信息的贡献较小。因此，本方法的边界捕获模块只使用三个中间特征来捕捉边界特征。上一步中，三个中间特征/>应用接收域块处理后得到改进特征/>、/>和/>。如图2所示，在边界捕获模块中，这些改进特征再通过聚合块进行聚合。而所述边界捕获模块采用了两个基于多尺度密集残差连接的聚合块，第一个聚合块将改进特征/>和/>聚合为新的输出特征f A，第二个聚合块将改进特征/>和新的输出特征f A聚合为最终的边界特征f b。
对于聚合块，如图3所示，在输入到聚合块的特征中，高级特征和低级特征/>分别通过两个并行流输入到所述聚合块中，然后，两个特征经过包含CLR操作的残差块串联连接在一起，其中CLR操作表示卷积操作后跟着LeakyReLU激活函数。本方法使用LeakyReLU函数作为激活函数的优点就是在反向传播过程中也可以计算输入小于零部分的梯度，如果采用ReLU激活函数则对于输入小于零部分的计算得到的梯度值为0，因此本方法就避免了梯度方向锯齿问题。对于高级特征/>，聚合块使用了较大的核大小（5×5的卷积核），以使聚合块在高级特征上拥有较大的感受野，这样能定位到准确的边界位置，并且可以很好地捕捉相应的边界位置特征/>。相反，对于低级特征/>聚合块使用了较小的核大小（3×3的卷积核），以捕捉相应的边界位置特征/>。边界位置特征/>和/>的计算式如下：
，
，
其中，β是一个缩放因子，且β∈[0,1]，实施例中设定为0.5，和/>表示在两个密集连接的残差块中生成的中间特征，CLR i (·)表示核大小为i×i的CLR操作，本实施例中分别为CLR 3和CLR 5，©表示连接操作，⊕表示逐元素加法操作。而后，聚合块再将上述边界位置特征/>和/>聚合形成输出。
对于第一个聚合块，新的输出特征f A的计算式如下：
，
其中，Conv(·)表示核大小为1×1的卷积操作，Up(·)表示通过双线性插值进行的上采样操作，©表示连接操作。按上述类似方式，就能通过第二个聚合块完成改进特征和新的输出特征f A之间的聚合，得到边界特征f b。
S2.3.2、最高级骨干特征被输入到全连接注意模块中以增强全局特征，同时对中间特征进行处理得到处理后的主干特征。
最高级骨干特征f 5经全连接注意模块中处理后得到全局特征f g，中间特征则经过一系列处理得到处理后的主干特征/>。对中间特征/>的处理方法如下：
，
，
，
其中，f' 3 、f' 4 和f' 5 表示相应尺度的精细边界特征，Upsample(·)表示上采样操作，RFB(·)表示应用接收域块处理，⊕表示逐元素加法操作。
S2.3.3、边界语义选择模块动态地使用边界特征和全局特征来改进相应尺度的主干特征，获得高质量的精细边界特征。
如图4所示，边界语义选择模块分别将边界特征f b和全局特征f g注入到处理后的主干特征中来增强相应特征x l ，得到了带有额外边界信息的特征x lb 和带有额外全局信息的特征x lg ，二者的算式如下：
，/>，
其中，⊕表示逐元素加法操作，⊙表示逐元素相乘操作。
之后，边界语义选择模块使用门控机制自适应地选择带有额外边界信息的特征x lb 和带有额外全局信息的特征x lg 。具体而言，通过对特征x lb 和x lg 执行逐元素相加的操作，得到增强的特征；然后根据边界特征的重要性分数S b 和全局特征的重要性分数S g 自适应地选择适合每个特征x l 的边界先验知识和全局特征，从而得到增强的边界特征/>和全局特征/>。边界特征的重要性分数S b 和全局特征的重要性分数S g 的计算式如下：
，/>，
其中w b 和w g 是可学***均池化操作，/>是用具有ReLU函数和批归一化操作的简单全连接层(fc)进行处理。增强的边界特征/>和全局特征/>二者的计算式分别为：/>，，通过对边界特征/>和全局特征/>执行逐元素相加操作得到相应尺度的精细边界特征f' l ，即/>。经上述操作，边界语义选择模块输出高质量的解码特征，即多尺度的精细边界特征/>。
S2.4、使用多尺度融合模块对精细边界特征进行增强和融合，输出分割预测结果。
如图5所示，在多尺度融合模块中，利用特征增强模块对输入的精细边界特征f' 2 、f' 3 、f' 4 和f' 5 进行处理。最高级的精细边界特征f' 5 包含由大物体表示的大量特征和较少的噪声，因此特征增强模块对最高级的精细边界特征f' 5 仅进行平均池化处理，以保留和增强表示大型息肉的特征；相反，特征增强模块对底层的精细边界特征f' 2 进行最大池化处理，以增强并提取表示小型息肉的特征；对于剩下两个中间层的精细边界特征f' 3 和f' 4 ，特征增强模块利用多个感受野和通道注意力机制进一步增强这些精细边界特征。最后将经过上述处理得到的特征f" 2 、f" 3 、f" 4 和f" 5 融合形成高质量的分割特征f。分割特征f的融合公式如下：
，
其中，w 1、w 2、w 3、w 4为与特征f" 2 、f" 3 、f" 4 和f" 5 对应的权值，均是可学习的参数。该模块中注意力机制采用挤压和激励网络(Squeeze-and-Excitation Networks，SE)模块，其作用是在保留原始特征的基础上，通过学习不同通道之间的关系，提高模型的表现能力。最后对分割特征f进行1×1卷积生成准确的分割预测结果。
S2.5、使用分割损失和边界损失来监督边界-目标增强网络的训练，优化边界-目标增强网络。
本方法使用分割损失和边界损失来监督模型，优化边界-目标增强网络，具体如下。
分割损失()由加权二进制交叉熵损失(/>)和加权交并比损失(/>)组成，基于分割预测结果优化整个模型。其中，加权二进制交叉熵损失的损失函数如下：
，
其中，i，j表示图像中像素的坐标，w ij 是像素的权重系数，z ij 是像素的真实标签，m ij 是像素的预测结果。加权交并比损失的损失函数如下：
，
其中，i，j表示图像中像素的坐标，w ij 是像素的权重系数，z ij 是像素的真实标签，m ij 是像素的预测结果。分割损失的损失函数为：。
边界损失()用于监督边界捕获模块以准确捕捉息肉的边界特征，即基于捕捉的边界特征进行优化。边界损失(/>)的损失函数为：
，
其中i，j表示图像中像素的坐标，y ij ∈{0,1}是像素的真实边界标签，y ij 来自息肉边界的真实标注M b ，即理想边界；p ij 是像素的边界预测结果，由边界特征f b经过核大小为1×1的卷积操作得到的图像中获取。
而边界-目标增强网络的总体损失()为上述分割损失(/>)和边界损失(/>)的加权组合，具体算式如下：/>，其中，λ和β是用于平衡两个损失函数贡献的超参数。在本文中，经验上将λ设置为1，β设置为0.5。
步骤三、利用训练后的边界-目标增强网络对结肠镜图像进行息肉分割。
上面结合附图对本发明进行了示例性描述，显然本发明具体实现并不受上述方式的限制，只要采用了本发明的发明构思和技术方案进行的各种非实质性的改进，或未经改进将本发明构思和技术方案直接应用于其它场合的，均在本发明保护范围之内。
Claims (8)
1.一种基于边界-目标增强的结肠镜息肉分割方法，其特征在于：包括下列步骤：
步骤一、构建边界-目标增强网络；
边界-目标增强网络包括主干网络、由粗到细特征增强模块和多尺度融合模块，由粗到细特征增强模块包括边界捕获模块、全连接注意力模块和边界语义选择模块，多尺度融合模块包括特征增强模块；
其中，主干网络用于在多个尺度上产生相应的主干特征，特征边界捕捉模块用于捕捉边界特征，全连接注意力模块用于捕捉全局特征，边界语义选择模块用于动态地使用边界特征和全局特征来改进主干特征，得到多尺度的精细边界特征，特征增强模块进一步增强多尺度的精细边界特征并将增强结果融合形成分割特征，多尺度融合模块对分割特征进行1×1卷积后输出分割预测结果；
步骤二、采集一定数量的结肠镜图像制作训练集，利用训练集对边界-目标增强网络进行训练；
步骤三、利用训练后的边界-目标增强网络对结肠镜图像进行息肉分割；
所述步骤二包括下列步骤：
S2.1、采集一定数量的结肠镜图像制作训练集；
S2.2、利用主干网络从输入的训练图像中提取骨干特征；
S2.3、由粗到细特征增强模块使用边界特征和全局特征来改进主干特征，得到对应尺度的精细边界特征；
S2.4、使用多尺度融合模块对精细边界特征进行增强和融合，输出分割预测结果；
S2.5、使用分割损失和边界损失来监督边界-目标增强网络的训练，优化边界-目标增强网络。
2.根据权利要求1所述的一种基于边界-目标增强的结肠镜息肉分割方法，其特征在于：所述步骤S2.2中，多个尺度上的主干特征包括最大尺度的最低级骨干特征、最小尺度的最高级骨干特征和中间特征，中间特征的尺度在最低级骨干特征和最高级骨干特征之间，中间特征和最高级骨干特征分别通过接收域块处理后被输入到由粗到细特征增强模块。
3.根据权利要求2所述的一种基于边界-目标增强的结肠镜息肉分割方法，其特征在于：所述步骤S2.3包括下列步骤：
S2.3.1、将中间特征输入到边界捕获模块以捕获每个息肉的边界特征；
S2.3.2、最高级骨干特征被输入到全连接注意模块中以增强全局特征，同时对中间特征进行处理得到处理后的主干特征；
S2.3.3、边界语义选择模块动态地使用边界特征和全局特征来改进相应尺度的主干特征，获得高质量的精细边界特征。
4.根据权利要求3所述的一种基于边界-目标增强的结肠镜息肉分割方法，其特征在于：所述步骤S2.3.1中，只用中间特征来捕捉边界特征，将中间特征经接收域块处理得到的改进特征通过聚合块进行聚合，中间特征中按尺度由小到大逐步进行聚合，尺度最小的两个改进特征输入聚合块聚合为新的输出特征，该输出特征再与尺度较大的下一个改进特征通过聚合块进一步聚合为新的输出特征，按此将所有改进特征聚合为最终的边界特征；
输入到聚合块的特征中，高级特征和低级特征/>分别通过两个并行流输入到所述聚合块中，捕捉两个输入特征相应的边界位置特征/>和/>的计算式如下：
，
，
其中，β是一个缩放因子，且β∈[0,1]，和/>表示在两个密集连接的残差块中生成的中间特征，CLR i (·)表示核大小为i×i的CLR操作，对于高级特征/>使用的核大小为5×5，对于低级特征/>使用的核大小为3×3，©表示连接操作，⊕表示逐元素加法操作，而新的输出特征f A的计算式如下：
，
其中，Conv(·)表示核大小为1×1的卷积操作，Up(·)表示通过双线性插值进行的上采样操作，©表示连接操作。
5.根据权利要求4所述的一种基于边界-目标增强的结肠镜息肉分割方法，其特征在于：所述步骤S2.3.2中，最高级骨干特征f 5经全连接注意模块中处理后得到全局特征f g，对中间特征的处理方法如下：
，
，
，
其中，f' 3 、f' 4 和f' 5 表示相应尺度的精细边界特征，Upsample(·)表示上采样操作，RFB(·)表示应用接收域块处理，⊕表示逐元素加法操作。
6.根据权利要求5所述的一种基于边界-目标增强的结肠镜息肉分割方法，其特征在于：所述步骤S2.3.3中，最边界语义选择模块分别将边界特征f b和全局特征f g注入到处理后的主干特征中来增强相应特征x l ，得到了带有额外边界信息的特征x lb 和带有额外全局信息的特征x lg ，之后，边界语义选择模块使用门控机制自适应地选择带有额外边界信息的特征x lb 和带有额外全局信息的特征x lg ；具体而言，通过对特征x lb 和x lg 执行逐元素相加的操作，得到增强的特征/>；然后根据边界特征的重要性分数S b 和全局特征的重要性分数S g 自适应地选择适合每个特征x l 的边界先验知识和全局特征，从而得到增强的边界特征和全局特征/>；通过对边界特征/>和全局特征/>执行逐元素相加操作得到相应尺度的精细边界特征f' l 。
7.根据权利要求6所述的一种基于边界-目标增强的结肠镜息肉分割方法，其特征在于：所述步骤S2.4中，利用特征增强模块对输入的精细边界特征进行处理，对最高级的精细边界特征f' 5 进行平均池化处理，对底层的精细边界特征f' 2 进行最大池化处理，对于剩下两个中间层的精细边界特征f' 3 和f' 4 ，特征增强模块利用多个感受野和通道注意力机制进一步增强这些精细边界特征；最后将经过上述处理得到的特征f" 2 、f" 3 、f" 4 和f" 5 融合形成高质量的分割特征f，分割特征f的融合公式如下：
，
其中，w 1、w 2、w 3、w 4为与特征f" 2 、f" 3 、f" 4 和f" 5 依次对应的权值，均是可学习的参数。
8.根据权利要求1所述的一种基于边界-目标增强的结肠镜息肉分割方法，其特征在于：所述步骤S2.1中，训练集中包括结肠镜图像和相应的分割掩码，制作训练集时，对训练集中的图像应用LevelSet算法来获得息肉边界的真实标注；
所述步骤S2.5中，分割损失由加权二进制交叉熵损失和加权交并比损失组成，基于分割预测结果优化整个模型；边界损失用于监督边界捕获模块以准确捕捉息肉的边界特征，边界损失的损失函数为：
，
其中i，j表示图像中像素的坐标，y ij ∈{0,1}是像素的真实边界标签，y ij 来自息肉边界的真实标注；p ij 是像素的边界预测结果，由边界特征经过1×1卷积操作得到的图像中获取，边界-目标增强网络的总体损失为上述分割损失和边界损失的加权组合。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410435134.XA CN118037756B (zh) | 2024-04-11 | 2024-04-11 | 一种基于边界-目标增强的结肠镜息肉分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410435134.XA CN118037756B (zh) | 2024-04-11 | 2024-04-11 | 一种基于边界-目标增强的结肠镜息肉分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN118037756A true CN118037756A (zh) | 2024-05-14 |
| CN118037756B CN118037756B (zh) | 2024-06-25 |
Family
ID=90991656
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410435134.XA Active CN118037756B (zh) | 2024-04-11 | 2024-04-11 | 一种基于边界-目标增强的结肠镜息肉分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118037756B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102332088B1 (ko) * | 2021-01-13 | 2021-12-01 | 가천대학교 산학협력단 | 세부 업샘플링 인코더-디코더 네트워크를 이용한 대장 내시경 이미지에서의 폴립 바운더리 인식을 통한 폴립 세그먼테이션 장치 및 그 방법 |
| CN115841495A (zh) * | 2022-12-19 | 2023-03-24 | 安徽大学 | 基于双重边界引导注意力探索的息肉分割方法及*** |
| WO2023077816A1 (zh) * | 2021-11-03 | 2023-05-11 | 中国华能集团清洁能源技术研究院有限公司 | 边界优化的遥感图像语义分割方法、装置、设备及介质 |
| CN117036714A (zh) * | 2023-10-09 | 2023-11-10 | 安徽大学 | 融合混合注意力机制的肠息肉分割方法、***及介质 |
| CN117197470A (zh) * | 2023-09-27 | 2023-12-08 | 上海理工大学 | 一种基于结肠镜图像的息肉分割方法、设备及介质 |
| CN117351487A (zh) * | 2023-10-23 | 2024-01-05 | 安徽大学 | 一种邻近区域与边缘信息融合的医学图像分割方法、*** |
| CN117726602A (zh) * | 2023-12-22 | 2024-03-19 | 西安邮电大学 | 基于带状池化的息肉分割方法及*** |
-
2024
- 2024-04-11 CN CN202410435134.XA patent/CN118037756B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102332088B1 (ko) * | 2021-01-13 | 2021-12-01 | 가천대학교 산학협력단 | 세부 업샘플링 인코더-디코더 네트워크를 이용한 대장 내시경 이미지에서의 폴립 바운더리 인식을 통한 폴립 세그먼테이션 장치 및 그 방법 |
| WO2023077816A1 (zh) * | 2021-11-03 | 2023-05-11 | 中国华能集团清洁能源技术研究院有限公司 | 边界优化的遥感图像语义分割方法、装置、设备及介质 |
| CN115841495A (zh) * | 2022-12-19 | 2023-03-24 | 安徽大学 | 基于双重边界引导注意力探索的息肉分割方法及*** |
| CN117197470A (zh) * | 2023-09-27 | 2023-12-08 | 上海理工大学 | 一种基于结肠镜图像的息肉分割方法、设备及介质 |
| CN117036714A (zh) * | 2023-10-09 | 2023-11-10 | 安徽大学 | 融合混合注意力机制的肠息肉分割方法、***及介质 |
| CN117351487A (zh) * | 2023-10-23 | 2024-01-05 | 安徽大学 | 一种邻近区域与边缘信息融合的医学图像分割方法、*** |
| CN117726602A (zh) * | 2023-12-22 | 2024-03-19 | 西安邮电大学 | 基于带状池化的息肉分割方法及*** |
Non-Patent Citations (2)
| Title |
|---|
| 和超;张印辉;何自芬;: "多尺度特征融合工件目标语义分割", 中国图象图形学报, no. 03, 16 March 2020 (2020-03-16) * |
| 张文钰: "基于深度学习的医学图像分割算法研究", CNKI, 15 February 2024 (2024-02-15) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN118037756B (zh) | 2024-06-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111627019B (zh) | 一种基于卷积神经网络的肝脏肿瘤分割方法及*** | |
| CN106940816B (zh) | 基于3d全卷积神经网络的ct图像肺结节检测*** | |
| CN112489061A (zh) | 一种基于多尺度信息与并行注意力机制的深度学习肠道息肉分割方法 | |
| CN111091575B (zh) | 一种基于强化学习方法的医学图像分割方法 | |
| Huang et al. | One-stage pulmonary nodule detection using 3-D DCNN with feature fusion and attention mechanism in CT image | |
| CN112329871B (zh) | 一种基于自校正卷积与通道注意力机制的肺结节检测方法 | |
| CN113781489B (zh) | 一种息肉影像语义分割方法及装置 | |
| CN115620010A (zh) | 一种rgb-t双模态特征融合的语义分割方法 | |
| Yamanakkanavar et al. | MF2-Net: A multipath feature fusion network for medical image segmentation | |
| Zhou et al. | Attention transfer network for nature image matting | |
| CN112017161A (zh) | 一种基于中心点回归的肺结节检测方法和检测装置 | |
| Bilal et al. | Lung nodules detection using grey wolf optimization by weighted filters and classification using CNN | |
| CN112001895A (zh) | 一种甲状腺钙化检测装置 | |
| CN114758137A (zh) | 超声图像分割方法、装置及计算机可读存储介质 | |
| Fang et al. | GroupTransNet: Group transformer network for RGB-D salient object detection | |
| Zhang et al. | MFFE: multi-scale feature fusion enhanced net for image dehazing | |
| CN117437423A (zh) | 基于sam协同学习和跨层特征聚合增强的弱监督医学图像分割方法及装置 | |
| CN118037756B (zh) | 一种基于边界-目标增强的结肠镜息肉分割方法 | |
| CN117152179A (zh) | 基于U-Net和SENet实现直肠癌CT图像的分割与分类方法 | |
| CN114445426B (zh) | 内窥镜图像中息肉区域的分割方法、装置及相关组件 | |
| CN116229074A (zh) | 一种递进式边界区域优化的医学图像小样本分割方法 | |
| CN116468887A (zh) | 一种具有普适性的结肠息肉分割方法 | |
| Shaharabany et al. | End-to-end segmentation of medical images via patch-wise polygons prediction | |
| CN114693698B (zh) | 一种基于神经网络的计算机辅助肺气道分割方法 | |
| CN114913164A (zh) | 基于超像素的两阶段弱监督新冠病灶分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |