CN117237641A - 一种基于双分支特征融合网络的息肉分割方法及*** - Google Patents
一种基于双分支特征融合网络的息肉分割方法及*** Download PDFInfo
- Publication number
- CN117237641A CN117237641A CN202311315813.5A CN202311315813A CN117237641A CN 117237641 A CN117237641 A CN 117237641A CN 202311315813 A CN202311315813 A CN 202311315813A CN 117237641 A CN117237641 A CN 117237641A
- Authority
- CN
- China
- Prior art keywords
- segmentation
- module
- branch
- tcbformer
- polyp
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 135
- 230000004927 fusion Effects 0.000 title claims abstract description 85
- 208000037062 Polyps Diseases 0.000 title claims abstract description 67
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000012549 training Methods 0.000 claims abstract description 42
- 230000000750 progressive effect Effects 0.000 claims abstract description 23
- 238000005070 sampling Methods 0.000 claims abstract description 20
- 239000000284 extract Substances 0.000 claims abstract description 14
- 230000006870 function Effects 0.000 claims description 59
- 238000012360 testing method Methods 0.000 claims description 13
- 238000012795 verification Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 12
- 238000010586 diagram Methods 0.000 claims description 10
- 238000007781 pre-processing Methods 0.000 claims description 7
- 230000007246 mechanism Effects 0.000 claims description 6
- 238000013480 data collection Methods 0.000 claims description 4
- 238000003709 image segmentation Methods 0.000 claims description 4
- 230000009977 dual effect Effects 0.000 claims 1
- 206010009944 Colon cancer Diseases 0.000 description 4
- 208000001333 Colorectal Neoplasms Diseases 0.000 description 4
- 230000003993 interaction Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 208000004804 Adenomatous Polyps Diseases 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 210000001072 colon Anatomy 0.000 description 1
- 238000002052 colonoscopy Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000001035 gastrointestinal tract Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 210000004877 mucosa Anatomy 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000005381 potential energy Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000008467 tissue growth Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于双分支特征融合网络的息肉分割方法及***，方法包括：获取结肠镜息肉分割数据集，采用空间独占粘贴技术进行数据增强预处理；将数据集输入TCBFormer分割网络模型，采用深监督策略，在双加权特征损失函数下进行语义分割训练；其中，TCBFormer分割网络模型中，Transformer分支提取全局语义信息，CNN分支提取局部精细特征，BiFusion特征融合模块进行特征融合，SFA局部渐进上采样模块对融合特征进行级联上采样；将所要分割的结肠镜图像输入至训练完成的TCBFormer分割网络模型中，得到息肉分割结果。通过本发明的技术方案，消除了语义差距、降低了特征损失，具有很强的泛化能力，大大提升了对图像中息肉的分割精度。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于双分支特征融合网络的息肉分割方法以及一种基于双分支特征融合网络的息肉分割***。
背景技术
结直肠癌(CRC)是女性中第二常见，男性中第三常见的癌症类型。到2023年，大约有153020人被诊断患有结直肠癌，52550人将死于该疾病，其中19550例病例和3750例死亡病例年龄在50岁以下。息肉是胃肠道内部粘膜的异常组织生长，有时可能癌变。此外，研究表明，腺瘤息肉是结直肠癌的主要原因。因此，息肉的早期诊断至关重要。
随着机器学习，特别是深度学习的发展，人们提出了一系列基于深度学习的解决方案来实现结肠镜检查图像的自动分割。这些模型大致可以分为两派：以U-Net为代表的基于CNN的模型，以及以VisionTransformer为代表的基于Transformer的模型。
然而，这两种类型的模型都有一定的局限性：基于CNN的模型在通过训练端到端的网络来构建层次化的网络模型，在提取图像的精细局部特征方面非常强大。但由于感受野的限制，它缺乏捕获全局上下文信息的能力。要克服这个问题，需要不断深化网络，但带来了新的问题，例如梯度消失。基于Transformer的模型，最近在语义分割中变得流行，并且比基于CNN的模型表现出更加优越的性能，它通过patch向量之间的点积获得所有patch对的相似性，从而自适应地提取和融合所有patch之间的特征，这使得Transformer具有更高效的全局感受野和更好的泛化能力。第一个纯粹基于Transformer的图像识别模型是VisionTransformer，它将图像转换为一系列补丁以实现序列化，并获得当时最先进的(SOTA)结果。但单纯基于Trans-former的分割网络由于在局部信息建模中能力不足，并且需要基于大量数据进行训练，并不能得到令人满意的性能。
发明内容
针对上述问题，本发明提供了一种基于双分支特征融合网络的息肉分割方法及***，针对Kvasir-SEG数据集样本数量少且前背景难以区分的特点，使用空间独占粘贴的数据预处理方式进行数据增强，使用双分支并行的网络架构，通过CNN分支提取图像的局部精细特征，而通过Transformer分支提取图像的全局特征，并设计了BiFusion特征融合模块将两个分支提取到的特征进行融合以减小语义差距，再通过SFA局部渐进上采样模块进行级联上采样以减少上采样过程中的特征损失，同时，使用深监督策略来验证每个模块对于最终分割结果的贡献程度，设计双加权特征损失函数来加快收敛速度，最终得到精细的语义分割结果。
为实现上述目的，本发明提供了一种基于双分支特征融合网络的息肉分割方法，包括：
获取结肠镜息肉分割数据集，并按照预设比例划分为训练集、验证集和测试集；
采用空间独占粘贴技术对所述结肠镜息肉分割数据集进行数据增强预处理；
将预处理后的所述训练集、所述验证集和所述测试集输入至TCBFormer分割网络模型，采用深监督策略，在基于加权的IoU损失函数和二进制交叉熵损失函数下，对所述TCBFormer分割网络模型进行语义分割训练；其中，所述TCBFormer分割网络模型包括Transformer分支、CNN分支、BiFusion特征融合模块和SFA局部渐进上采样模块，所述Transformer分支提取所述图像数据的全局语义信息，所述CNN分支提取所述图像数据的局部精细特征，所述BiFusion特征融合模块对所述图像数据的全局语义信息和局部精细特征进行有效结合得到融合特征，所述SFA局部渐进上采样模块对所述融合特征进行级联上采样；
将所要分割的结肠镜图像输入至训练完成的所述TCBFormer分割网络模型中，得到息肉分割结果。
在上述技术方案中，优选地，所述采用空间独占粘贴技术对所述结肠镜息肉分割数据集进行数据增强预处理的具体过程包括：
通过潜在地图生成模块利用潜在值初始化每个坐标；
通过粘贴模块将图像以空间独占的方式粘贴至相同的图像背景中；
通过潜在地图更新模块对图像背景的每个坐标的潜在值进行更新，并利用卷积运算将每个坐标的潜在值扩展至周围区域；
对所述粘贴模块和所述潜在地图更新模块进行预设次数的迭代，得到组合数量的新图像，以对原图像进行数据增强。
在上述技术方案中，优选地，所述TCBFormer分割网络中，所述Transformer分支采用堆叠的Swin-V2 Block对输入图像进行编码，以提取图像的全局语义信息；
所述CNN分支基于ResNet-101网络，使用4个Conv块将原始大小为H×W的图像下采样至H/32×W/32大小。
在上述技术方案中，优选地，所述TCBFormer分割网络中，所述BiFusion特征融合模块结合自注意力和多模态融合机制，采用SE-Block对所述Transformer分支所提取的特征实现通道注意力，采用CBAM-Block对所述CNN分支所提取的特征实现空间注意力，对所述Transformer分支的特征和所述CNN分支的特征进行哈德曼积运算，所述SE-Block、所述CBAM-Block和哈德曼积运算结果之间通过残差连接生成所述融合特征；
所述SFA局部渐进上采样模块为基于注意力门的级联上采样结构。
在上述技术方案中，优选地，所述采用深监督策略，在基于加权的IoU损失函数和二进制交叉熵损失函数下，对所述TCBFormer分割网络模型进行语义分割训练的具体方式为：
基于加权的IoU损失函数和二进制交叉熵损失函数相结合的双加权特征损失函数为其中，/>表示加权Iou损失，/>表示加权二进制交叉熵损失；
在深监督策略下，由各个深监督分支的损失函数加权求和得到最终损失函数Ltotal＝αLT+βLF+γLf；
其中，Ltotal表示最终损失，LT、LF、Lf分别代表Tranformer分支、特征融合模块和最终输出特征图的深监督损失，α、β、γ为加权系数，且满足α+β+γ＝1；
以最终损失函数对所述TCBFormer分割网络模型进行端到端训练。
本发明还提出一种基于双分支特征融合网络的息肉分割***，应用如上述技术方案中任一项公开的基于双分支特征融合网络的息肉分割方法，包括：
数据收集模块，用于获取结肠镜息肉分割数据集，并按照预设比例划分为训练集、验证集和测试集；
数据增强模块，用于采用空间独占粘贴技术对所述结肠镜息肉分割数据集进行数据增强预处理；
模型训练模块，用于将预处理后的所述训练集、所述验证集和所述测试集输入至TCBFormer分割网络模型，采用深监督策略，在基于加权的IoU损失函数和二进制交叉熵损失函数下，对所述TCBFormer分割网络模型进行语义分割训练；其中，所述TCBFormer分割网络模型包括Transformer分支、CNN分支、BiFusion特征融合模块和SFA局部渐进上采样模块，所述Transformer分支提取所述图像数据的全局语义信息，所述CNN分支提取所述图像数据的局部精细特征，所述BiFusion特征融合模块对所述图像数据的全局语义信息和局部精细特征进行有效结合得到融合特征，所述SFA局部渐进上采样模块对所述融合特征进行级联上采样；
图像分割模块，用于将所要分割的结肠镜图像输入至训练完成的所述TCBFormer分割网络模型中，得到息肉分割结果。
在上述技术方案中，优选地，所述数据增强模块具体用于：
通过潜在地图生成模块利用潜在值初始化每个坐标；
通过粘贴模块将图像以空间独占的方式粘贴至相同的图像背景中；
通过潜在地图更新模块对图像背景的每个坐标的潜在值进行更新，并利用卷积运算将每个坐标的潜在值扩展至周围区域；
对所述粘贴模块和所述潜在地图更新模块进行预设次数的迭代，得到组合数量的新图像，以对原图像进行数据增强。
在上述技术方案中，优选地，所述TCBFormer分割网络中，所述Transformer分支采用堆叠的Swin-V2 Block对输入图像进行编码，以提取图像的全局语义信息；
所述CNN分支基于ResNet-101网络，使用4个Conv块将原始大小为H×W的图像下采样至H/32×W/32大小。
在上述技术方案中，优选地，所述TCBFormer分割网络中，所述BiFusion特征融合模块结合自注意力和多模态融合机制，采用SE-Block对所述Transformer分支所提取的特征实现通道注意力，采用CBAM-Block对所述CNN分支所提取的特征实现空间注意力，对所述Transformer分支的特征和所述CNN分支的特征进行哈德曼积运算，所述SE-Block、所述CBAM-Block和哈德曼积运算结果之间通过残差连接生成所述融合特征；
所述SFA局部渐进上采样模块为基于注意力门的级联上采样结构。
在上述技术方案中，优选地，所述模型训练模块对所述TCBFormer分割网络模型进行语义分割训练的具体方式包括：
基于加权的IoU损失函数和二进制交叉熵损失函数相结合的双加权特征损失函数为其中，/>表示加权Iou损失，/>表示加权二进制交叉熵损失；
在深监督策略下，由各个深监督分支的损失函数加权求和得到最终损失函数Ltotal＝αLT+βLF+γLf；
其中，Ltotal表示最终损失，LT、LF、Lf分别代表Tranformer分支、特征融合模块和最终输出特征图的深监督损失，α、β、γ为加权系数，且满足α+β+γ＝1；
以最终损失函数对所述TCBFormer分割网络模型进行端到端训练。
与现有技术相比，本发明的有益效果为：针对Kvasir-SEG数据集样本数量少且前背景难以区分的特点，使用空间独占粘贴的数据预处理方式进行数据增强，使用双分支并行的网络架构，通过CNN分支提取图像的局部精细特征，而通过Transformer分支提取图像的全局特征，并设计了BiFusion特征融合模块将两个分支提取到的特征进行融合以减小语义差距，再通过SFA局部渐进上采样模块进行级联上采样以减少上采样过程中的特征损失，同时，使用深监督策略来验证每个模块对于最终分割结果的贡献程度，设计双加权特征损失函数来加快收敛速度，最终得到精细的语义分割结果，消除了语义差距、降低了特征损失，具有很强的泛化能力，大大提升了对图像中息肉的分割精度。
附图说明
图1为本发明一种实施例公开的基于双分支特征融合网络的息肉分割方法的流程示意图；
图2为本发明一种实施例公开的空间独占粘贴的实现流程示意图；
图3为本发明一种实施例公开的TCBFormer分割网络模型的整体架构示意图；
图4为本发明一种实施例公开的Swin-V2 Block的架构示意图；
图5为本发明一种实施例公开的BiFusion特征融合模块的架构示意图；
图6为本发明一种实施例公开的基于双分支特征融合网络的息肉分割***的模块示意图。
图中，各组件与附图标记之间的对应关系为：
1.数据收集模块，2.数据增强模块，3.模型训练模块，4.图像分割模块。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图对本发明做进一步的详细描述：
如图1所示，根据本发明提供的一种基于双分支特征融合网络的息肉分割方法，包括：
获取结肠镜息肉分割数据集，并按照预设比例划分为训练集、验证集和测试集；
采用空间独占粘贴技术对结肠镜息肉分割数据集进行数据增强预处理；
将预处理后的训练集、验证集和测试集输入至TCBFormer分割网络模型，采用深监督策略，在基于加权的IoU损失函数和二进制交叉熵损失函数下，对TCBFormer分割网络模型进行语义分割训练；其中，TCBFormer分割网络模型包括Transformer分支、CNN分支、BiFusion特征融合模块和SFA局部渐进上采样模块，Transformer分支提取图像数据的全局语义信息，CNN分支提取图像数据的局部精细特征，BiFusion特征融合模块对图像数据的全局语义信息和局部精细特征进行有效结合得到融合特征，SFA局部渐进上采样模块对融合特征进行级联上采样；
将所要分割的结肠镜图像输入至训练完成的TCBFormer分割网络模型中，得到息肉分割结果。
在该实施方式中，针对Kvasir-SEG数据集样本数量少且前背景难以区分的特点，使用空间独占粘贴的数据预处理方式进行数据增强，使用双分支并行的网络架构，通过CNN分支提取图像的局部精细特征，而通过Transformer分支提取图像的全局特征，并设计了BiFusion特征融合模块将两个分支提取到的特征进行融合以减小语义差距，再通过SFA局部渐进上采样模块进行级联上采样以减少上采样过程中的特征损失，同时，使用深监督策略来验证每个模块对于最终分割结果的贡献程度，设计双加权特征损失函数来加快收敛速度，最终得到精细的语义分割结果，消除了语义差距、降低了特征损失，具有很强的泛化能力，大大提升了对图像中息肉的分割精度。
具体地，在实施过程中，使用开源结肠镜息肉分割数据集Kvasir-SEG作为实验数据集，包含880张结肠镜息肉成像及其对应的真实标签，并按照8:1:1的比例对训练集、验证集、测试集进行划分。
如图2所示，在上述实施方式中，优选地，采用空间独占粘贴技术对结肠镜息肉分割数据集进行数据增强预处理的具体过程包括：
通过潜在地图生成模块利用潜在值初始化每个坐标；
通过粘贴模块将图像以空间独占的方式粘贴至相同的图像背景中；
通过潜在地图更新模块对图像背景的每个坐标的潜在值进行更新，并利用卷积运算将每个坐标的潜在值扩展至周围区域；
对粘贴模块和潜在地图更新模块进行预设次数的迭代，得到组合数量的新图像，以对原图像进行数据增强。
在实施过程中，空间独占粘贴技术包括以下流程：
步骤1：生成模块随机初始化与输入图像大小相同的图像M。具有最低电势值的坐标将被提升为粘贴的基准位置。手动将响应前景的位置r设置为一个大值T，因此前景区域的电势值不会升高。
步骤2：将裁剪后的前景粘贴到画布区域。如果待粘贴前景和粘贴位置之间有重叠，取消粘贴，并将该粘贴位置的电位值提高到大值T。如果没有重叠，用以下凸组合替换候选区域：
I[c]＝α×I[c]+(1-α)×If
L[c]＝α×L[c]+(1-α)×Lf
步骤3：在尝试粘贴之后，一些潜在值将被更改为大值T，这意味着它们永远不会被选为候选值。基于一个合理的假设，即附近的坐标具有相似的避免被重复粘贴可能性，我们通过以下卷积运算将每个坐标的势能值扩展到其邻居：M＝Conv(M,w)
其中，w是一个均值滤波器。
步骤4：粘贴模块和潜在映射更新模块重复迭代10次。前景区域可能出现在多个位置，利用所获得的组合数量前景的图片，对原图进行数据增强。
如图3所示，在上述实施方式中，优选地，TCBFormer分割网络中，Transformer分支采用堆叠的Swin-V2 Block对输入图像进行编码，以提取图像的全局语义信息；
CNN分支基于ResNet-101网络，使用4个Conv块将原始大小为H×W的图像下采样至H/32×W/32大小。
如图4所示，其中，Swin-V2 Block对原始Swin-Transformer Block进行了多项调整：
1)使用res-post-norm取代之前的pre-norm配置；
2)使用缩放余弦注意力来替换原使的点积注意力；
3)使用对数间隔的相对位置偏差取代了之前的参数化方法。
其中，1)和2)使模型更容易扩展，3)使模型的迁移量更大。
其中，CNN分支使用ResNet-101来实现，考虑到如果使用5个Conv块将H×W大小的原始图像映射成H/64×W/64大小，会相应加深Transformer分支的网络深度，导致模型参数量太大，耗费大量计算资源。幸运的是，Transformer分支优秀的全局特征提取能力使得CNN分支并不需要过深的网络深度来获得更大的感受野，因此只使用4个Conv块将图像下采样到H/32×W/32大小。
如图5所示，在上述实施方式中，优选地，TCBFormer分割网络中，BiFusion特征融合模块结合自注意力和多模态融合机制，采用SE-Block对Transformer分支所提取的特征实现通道注意力，以促进来自Transformer分支的全局信息，采用CBAM-Block对CNN分支所提取的特征实现空间注意力，以增强局部细节并抑制不相关区域，对Transformer分支的特征和CNN分支的特征进行哈德曼积运算，对两个分支的特征之间的细粒度交互进行建模，得到交互特征b ^i，SE-Block和CBAM-Block得到的参与特征^ ti和g ^i以及交互特征b ^i之间通过残差连接生成融合特征fi。
在该实施方式中，特征融合的表示方式为：
其中，表示来自Transformer分支的特征图，/>代表来自CNN分支的特征图。⊙是Hadamard乘积(哈德曼积)，Conv是3×3卷积层。
为了减少上采样过程中的特征损失以及缩短来自不同层的特征图之间的语句差距，SFA局部渐进上采样模块为基于注意力门的级联上采样结构，具体实现方式为：
其中，代表来自第i层的特征图，/>代表来自第i+1层的特征图，/>代表融合之后的特征图，AG即注意力门，使用普通卷积操作实现。
在上述实施方式中，优选地，采用深监督策略，在基于加权的IoU损失函数和二进制交叉熵损失函数下，对TCBFormer分割网络模型进行语义分割训练的具体方式为：
基于加权的IoU损失函数和二进制交叉熵损失函数相结合的双加权特征损失函数为
为了监督不同模块对于最终分割结果的贡献，采用深监督策略，由各个深监督分支的损失函数进行加权求和，得到最终损失函数Ltotal＝αLT+βLF+γLf；
以最终损失函数对TCBFormer分割网络模型进行端到端训练，分割结果由一个简单的分割头生成，它直接将输入特征图调整为原始分辨率。
根据上述实施方式公开的基于双分支特征融合网络的息肉分割方法，在实施过程中，为了验证模型性能，首先评估TCBFormer在息肉分割方面相对于各种SOTA方法的性能，包括mDice和mIoU。
表1 TCBFormer相对于各种SOTA方法性能对比
如表1所示，可以看到，在相同的实验条件下，TCBFormer的mDice和mIoU两种指标均取得了最好的表现效果。而在ISIC-2018数据集上，TCBFormer也得到了最高的mDice，而mIou仅次于MSRF-Net。
如图6所示，本发明还提出一种基于双分支特征融合网络的息肉分割***，应用如上述实施方式中任一项公开的基于双分支特征融合网络的息肉分割方法，包括：
数据收集模块1，用于获取结肠镜息肉分割数据集，并按照预设比例划分为训练集、验证集和测试集；
数据增强模块2，用于采用空间独占粘贴技术对结肠镜息肉分割数据集进行数据增强预处理；
模型训练模块3，用于将预处理后的训练集、验证集和测试集输入至TCBFormer分割网络模型，采用深监督策略，在基于加权的IoU损失函数和二进制交叉熵损失函数下，对TCBFormer分割网络模型进行语义分割训练；其中，TCBFormer分割网络模型包括Transformer分支、CNN分支、BiFusion特征融合模块和SFA局部渐进上采样模块，Transformer分支提取图像数据的全局语义信息，CNN分支提取图像数据的局部精细特征，BiFusion特征融合模块对图像数据的全局语义信息和局部精细特征进行有效结合得到融合特征，SFA局部渐进上采样模块对融合特征进行级联上采样；
图像分割模块4，用于将所要分割的结肠镜图像输入至训练完成的TCBFormer分割网络模型中，得到息肉分割结果。
在上述实施方式中，针对Kvasir-SEG数据集样本数量少且前背景难以区分的特点，使用空间独占粘贴的数据预处理方式进行数据增强，使用双分支并行的网络架构，通过CNN分支提取图像的局部精细特征，而通过Transformer分支提取图像的全局特征，并设计了BiFusion特征融合模块将两个分支提取到的特征进行融合以减小语义差距，再通过SFA局部渐进上采样模块进行级联上采样以减少上采样过程中的特征损失，同时，使用深监督策略来验证每个模块对于最终分割结果的贡献程度，设计双加权特征损失函数来加快收敛速度，最终得到精细的语义分割结果，消除了语义差距、降低了特征损失，具有很强的泛化能力，大大提升了对图像中息肉的分割精度。
在上述实施方式中，优选地，数据增强模块2具体用于：
通过潜在地图生成模块利用潜在值初始化每个坐标；
通过粘贴模块将图像以空间独占的方式粘贴至相同的图像背景中；
通过潜在地图更新模块对图像背景的每个坐标的潜在值进行更新，并利用卷积运算将每个坐标的潜在值扩展至周围区域；
对粘贴模块和潜在地图更新模块进行预设次数的迭代，得到组合数量的新图像，以对原图像进行数据增强。
在上述实施方式中，优选地，TCBFormer分割网络中，Transformer分支采用堆叠的Swin-V2 Block对输入图像进行编码，以提取图像的全局语义信息；
CNN分支基于ResNet-101网络，使用4个Conv块将原始大小为H×W的图像下采样至H/32×W/32大小。
在上述实施方式中，优选地，TCBFormer分割网络中，BiFusion特征融合模块结合自注意力和多模态融合机制，采用SE-Block对Transformer分支所提取的特征实现通道注意力，采用CBAM-Block对CNN分支所提取的特征实现空间注意力，对Transformer分支的特征和CNN分支的特征进行哈德曼积运算，SE-Block、CBAM-Block和哈德曼积运算结果之间通过残差连接生成融合特征；
SFA局部渐进上采样模块为基于注意力门的级联上采样结构。
在上述实施方式中，优选地，模型训练模块3对TCBFormer分割网络模型进行语义分割训练的具体方式包括：
基于加权的IoU损失函数和二进制交叉熵损失函数相结合的双加权特征损失函数为其中，/>表示加权Iou损失，/>表示加权二进制交叉熵损失；
在深监督策略下，由各个深监督分支的损失函数加权求和得到最终损失函数Ltotal＝αLT+βLF+γLf；
其中，Ltotal表示最终损失，LT、LF、Lf分别代表Tranformer分支、特征融合模块和最终输出特征图的深监督损失，α、β、γ为加权系数，且满足α+β+γ＝1；
以最终损失函数对TCBFormer分割网络模型进行端到端训练。
根据上述实施方式公开的基于双分支特征融合网络的息肉分割***，其各模块所要实现的功能与上述实施方式中公开的基于双分支特征融合网络的息肉分割方法中的各步骤分别对应一致，在实施过程中，参照上述实施方式中的具体方法进行实施，在此不再赘述。
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于双分支特征融合网络的息肉分割方法，其特征在于，包括：
获取结肠镜息肉分割数据集，并按照预设比例划分为训练集、验证集和测试集；
采用空间独占粘贴技术对所述结肠镜息肉分割数据集进行数据增强预处理；
将预处理后的所述训练集、所述验证集和所述测试集输入至TCBFormer分割网络模型，采用深监督策略，在基于加权的IoU损失函数和二进制交叉熵损失函数下，对所述TCBFormer分割网络模型进行语义分割训练；其中，所述TCBFormer分割网络模型包括Transformer分支、CNN分支、BiFusion特征融合模块和SFA局部渐进上采样模块，所述Transformer分支提取所述图像数据的全局语义信息，所述CNN分支提取所述图像数据的局部精细特征，所述BiFusion特征融合模块对所述图像数据的全局语义信息和局部精细特征进行有效结合得到融合特征，所述SFA局部渐进上采样模块对所述融合特征进行级联上采样；
将所要分割的结肠镜图像输入至训练完成的所述TCBFormer分割网络模型中，得到息肉分割结果。
2.根据权利要求1所述的基于双分支特征融合网络的息肉分割方法，其特征在于，所述采用空间独占粘贴技术对所述结肠镜息肉分割数据集进行数据增强预处理的具体过程包括：
通过潜在地图生成模块利用潜在值初始化每个坐标；
通过粘贴模块将图像以空间独占的方式粘贴至相同的图像背景中；
通过潜在地图更新模块对图像背景的每个坐标的潜在值进行更新，并利用卷积运算将每个坐标的潜在值扩展至周围区域；
对所述粘贴模块和所述潜在地图更新模块进行预设次数的迭代，得到组合数量的新图像，以对原图像进行数据增强。
3.根据权利要求1所述的基于双分支特征融合网络的息肉分割方法，其特征在于，所述TCBFormer分割网络中，所述Transformer分支采用堆叠的Swin-V2 Block对输入图像进行编码，以提取图像的全局语义信息；
所述CNN分支基于ResNet-101网络，使用4个Conv块将原始大小为H×W的图像下采样至H/32×W/32大小。
4.根据权利要求3所述的基于双分支特征融合网络的息肉分割方法，其特征在于，所述TCBFormer分割网络中，所述BiFusion特征融合模块结合自注意力和多模态融合机制，采用SE-Block对所述Transformer分支所提取的特征实现通道注意力，采用CBAM-Block对所述CNN分支所提取的特征实现空间注意力，对所述Transformer分支的特征和所述CNN分支的特征进行哈德曼积运算，所述SE-Block、所述CBAM-Block和哈德曼积运算结果之间通过残差连接生成所述融合特征；
所述SFA局部渐进上采样模块为基于注意力门的级联上采样结构。
5.根据权利要求4所述的基于双分支特征融合网络的息肉分割方法，其特征在于，所述采用深监督策略，在基于加权的IoU损失函数和二进制交叉熵损失函数下，对所述TCBFormer分割网络模型进行语义分割训练的具体方式为：
基于加权的IoU损失函数和二进制交叉熵损失函数相结合的双加权特征损失函数为L＝LI w ou+Lb w ce，其中，LI w ou表示加权Iou损失，Lb w ce表示加权二进制交叉熵损失；
在深监督策略下，由各个深监督分支的损失函数加权求和得到最终损失函数Ltotal＝αLT+βLF+γLf；
其中，Ltotal表示最终损失，LT、LF、Lf分别代表Tranformer分支、特征融合模块和最终输出特征图的深监督损失，α、β、γ为加权系数，且满足α+β+γ＝1；
以最终损失函数对所述TCBFormer分割网络模型进行端到端训练。
6.一种基于双分支特征融合网络的息肉分割***，其特征在于，应用如权利要求1至5中任一项所述的基于双分支特征融合网络的息肉分割方法，包括：
数据收集模块，用于获取结肠镜息肉分割数据集，并按照预设比例划分为训练集、验证集和测试集；
数据增强模块，用于采用空间独占粘贴技术对所述结肠镜息肉分割数据集进行数据增强预处理；
模型训练模块，用于将预处理后的所述训练集、所述验证集和所述测试集输入至TCBFormer分割网络模型，采用深监督策略，在基于加权的IoU损失函数和二进制交叉熵损失函数下，对所述TCBFormer分割网络模型进行语义分割训练；其中，所述TCBFormer分割网络模型包括Transformer分支、CNN分支、BiFusion特征融合模块和SFA局部渐进上采样模块，所述Transformer分支提取所述图像数据的全局语义信息，所述CNN分支提取所述图像数据的局部精细特征，所述BiFusion特征融合模块对所述图像数据的全局语义信息和局部精细特征进行有效结合得到融合特征，所述SFA局部渐进上采样模块对所述融合特征进行级联上采样；
图像分割模块，用于将所要分割的结肠镜图像输入至训练完成的所述TCBFormer分割网络模型中，得到息肉分割结果。
7.根据权利要求6所述的基于双分支特征融合网络的息肉分割***，其特征在于，所述数据增强模块具体用于：
通过潜在地图生成模块利用潜在值初始化每个坐标；
通过粘贴模块将图像以空间独占的方式粘贴至相同的图像背景中；
通过潜在地图更新模块对图像背景的每个坐标的潜在值进行更新，并利用卷积运算将每个坐标的潜在值扩展至周围区域；
对所述粘贴模块和所述潜在地图更新模块进行预设次数的迭代，得到组合数量的新图像，以对原图像进行数据增强。
8.根据权利要求7所述的基于双分支特征融合网络的息肉分割***，其特征在于，所述TCBFormer分割网络中，所述Transformer分支采用堆叠的Swin-V2 Block对输入图像进行编码，以提取图像的全局语义信息；
所述CNN分支基于ResNet-101网络，使用4个Conv块将原始大小为H×W的图像下采样至H/32×W/32大小。
9.根据权利要求8所述的基于双分支特征融合网络的息肉分割***，其特征在于，所述TCBFormer分割网络中，所述BiFusion特征融合模块结合自注意力和多模态融合机制，采用SE-Block对所述Transformer分支所提取的特征实现通道注意力，采用CBAM-Block对所述CNN分支所提取的特征实现空间注意力，对所述Transformer分支的特征和所述CNN分支的特征进行哈德曼积运算，所述SE-Block、所述CBAM-Block和哈德曼积运算结果之间通过残差连接生成所述融合特征；
所述SFA局部渐进上采样模块为基于注意力门的级联上采样结构。
10.根据权利要求9所述的基于双分支特征融合网络的息肉分割***，其特征在于，所述模型训练模块对所述TCBFormer分割网络模型进行语义分割训练的具体方式包括：
基于加权的IoU损失函数和二进制交叉熵损失函数相结合的双加权特征损失函数为L＝LI w ou+Lb w ce，其中，LI w ou表示加权Iou损失，Lb w ce表示加权二进制交叉熵损失；
在深监督策略下，由各个深监督分支的损失函数加权求和得到最终损失函数Ltotal＝αLT+βLF+γLf；
其中，Ltotal表示最终损失，LT、LF、Lf分别代表Tranformer分支、特征融合模块和最终输出特征图的深监督损失，α、β、γ为加权系数，且满足α+β+γ＝1；
以最终损失函数对所述TCBFormer分割网络模型进行端到端训练。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311315813.5A CN117237641A (zh) | 2023-10-11 | 2023-10-11 | 一种基于双分支特征融合网络的息肉分割方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311315813.5A CN117237641A (zh) | 2023-10-11 | 2023-10-11 | 一种基于双分支特征融合网络的息肉分割方法及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117237641A true CN117237641A (zh) | 2023-12-15 |
Family
ID=89091041
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311315813.5A Pending CN117237641A (zh) | 2023-10-11 | 2023-10-11 | 一种基于双分支特征融合网络的息肉分割方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117237641A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117883103A (zh) * | 2024-01-02 | 2024-04-16 | 北京长木谷医疗科技股份有限公司 | 基于深度学习算法的骨密度测量方法、装置、设备及介质 |
-
2023
- 2023-10-11 CN CN202311315813.5A patent/CN117237641A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117883103A (zh) * | 2024-01-02 | 2024-04-16 | 北京长木谷医疗科技股份有限公司 | 基于深度学习算法的骨密度测量方法、装置、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111325751B (zh) | 基于注意力卷积神经网络的ct图像分割*** | |
| CN111242288B (zh) | 一种用于病变图像分割的多尺度并行深度神经网络模型构建方法 | |
| CN111325165B (zh) | 考虑空间关系信息的城市遥感影像场景分类方法 | |
| CN110889852A (zh) | 基于残差-注意力深度神经网络的肝脏分割方法 | |
| CN113706545B (zh) | 一种基于双分支神经判别降维的半监督图像分割方法 | |
| CN110363068B (zh) | 一种基于多尺度循环生成式对抗网络的高分辨行人图像生成方法 | |
| CN113034505B (zh) | 一种基于边缘感知网络的腺体细胞图像分割方法及装置 | |
| CN111369565A (zh) | 一种基于图卷积网络的数字病理图像的分割与分类方法 | |
| CN111583285A (zh) | 一种基于边缘关注策略的肝脏影像语义分割方法 | |
| CN113344933B (zh) | 一种基于多层次特征融合网络的腺体细胞分割方法 | |
| CN116309648A (zh) | 一种基于多注意力融合的医学图像分割模型构建方法 | |
| CN106157249A (zh) | 基于光流法和稀疏邻域嵌入的单图像超分辨率重建算法 | |
| CN114548265B (zh) | 一种作物叶片病害图像生成模型训练方法、作物叶片病害识别方法、电子设备及存储介质 | |
| CN117237641A (zh) | 一种基于双分支特征融合网络的息肉分割方法及*** | |
| CN115620010A (zh) | 一种rgb-t双模态特征融合的语义分割方法 | |
| CN113392711A (zh) | 一种基于高层语义与噪声抑制的烟雾语义分割方法及*** | |
| CN116128898A (zh) | 一种基于Transformer双分支模型的皮肤病变图像分割方法 | |
| CN117078941A (zh) | 一种基于上下文级联注意力的心脏mri分割方法 | |
| CN114332122B (zh) | 基于注意力机制分割并回归的细胞计数方法 | |
| CN116363149A (zh) | 一种基于U-Net改进的医学图像分割方法 | |
| CN116935044A (zh) | 一种多尺度引导和多层次监督的内镜息肉分割方法 | |
| Gao | A method for face image inpainting based on generative adversarial networks | |
| CN116977651B (zh) | 一种基于双分支和多尺度特征提取的图像去噪方法 | |
| CN113436198A (zh) | 一种协同图像超分辨率重建的遥感图像语义分割方法 | |
| CN114066883A (zh) | 一种基于特征选择与残差融合的肝肿瘤分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |