CN114912575A - 基于连接Swin Transformer通路的医学图像分割模型及方法 - Google Patents
基于连接Swin Transformer通路的医学图像分割模型及方法 Download PDFInfo
- Publication number
- CN114912575A CN114912575A CN202210356824.7A CN202210356824A CN114912575A CN 114912575 A CN114912575 A CN 114912575A CN 202210356824 A CN202210356824 A CN 202210356824A CN 114912575 A CN114912575 A CN 114912575A
- Authority
- CN
- China
- Prior art keywords
- layer
- swin
- msa
- dstb
- medical image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000003709 image segmentation Methods 0.000 title claims abstract description 24
- 230000011218 segmentation Effects 0.000 claims abstract description 31
- 230000004927 fusion Effects 0.000 claims description 14
- 230000007246 mechanism Effects 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 238000006073 displacement reaction Methods 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 abstract description 2
- 230000005540 biological transmission Effects 0.000 abstract description 2
- 230000007423 decrease Effects 0.000 abstract description 2
- 238000010606 normalization Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 4
- 210000000056 organ Anatomy 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 210000000225 synapse Anatomy 0.000 description 3
- 230000000747 cardiac effect Effects 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明公开了基于连接Swin Transformer通路的医学图像分割模型及方法,属于神经网络领域。发明提出的基于连接Swin Transformer通路的医学图像分割模型及方法,利用基于高效密集连接Swin Transformer通路,提高图像的分割结果。本发明的DSTUNet,是一个包含DSTB模块的UNet网络,以密集连接的Swin Transformer块作为有效通路来改善医学图像分割的多尺度长距离依赖性。其次,通过Swin Transformer层之间的密集连接,DSTUNet可以更好地利用特征信息,加强信息流的传递,以减少信息衰退。
Description
技术领域
本发明属于神经网络领域,尤其是基于连接Swin Transformer通路的医学图像分割模型及方法。
背景技术
U型网络的成功应用,使得自动医学分割方法表现出优越的性能。带有跳过连接的U型网络遵循并拓宽了全卷积网络(FCN)的边界。带有跳过连接的U型网络是由一系列卷积、池化和上采样组成的对称编码器、解码器构建的。更重要的是,能够通过跳过连接进行特征融合,以补偿下采样过程中的信息损失。尽管在许多分割任务中表现出色,U型结构网络仍受信息衰退的限制。特别是,U型网络很难有效地建立明确的长距离特征依赖关系,也很难捕捉到全局性的背景信息。
现有的改进一般从两方面进行,如TransUnet和SwinUnet,将Transformer与医学图像分割相结合,利用多头自我关注机制来提高性能。然而,TransUnet只能通过在最底层加入ViT来增强单一规模上的长距离依赖性。SwinUnet利用Swin Transformer作为编码器和解码器,但在信息衰退方面缺乏有效的跳转连接。此外,上述两种方法主要关注的是自动编码器的结构,而忽略了编码器和解码器之间的通路。
发明内容
本发明的目的在于克服上述现有技术的缺点,提供基于连接Swin Transformer通路的医学图像分割模型及方法。
为达到上述目的,本发明采用以下技术方案予以实现:
一种基于连接Swin Transformer通路的医学图像分割模型,包括编码器和解码器构成的分割网络框架,编码器和解码器对应层的通路上均设有DSTB模块;
所述DSTB模块包括若干个Swin Transformer模块,Swin Transformer模块之间均连接有融合模块和卷积层;
所述Swin Transformer模块包括交替设置的窗口多头自注意力层W-MSA和偏移的窗口多头自注意力层SW-MSA,窗口多头自注意力层W-MSA和偏移的窗口多头自注意力层之后分别连接有多层感知器MLP,窗口多头自注意力层W-MSA及偏移的窗口多头自注意力层与多层感知器MLP之间通过GELU函数连接;窗口多头自注意力层W-MSA及偏移的窗口多头自注意力层W-MSA之前均设有标准化层,通过标准化层之前的特征和通过窗口多头自注意力层W-MSA或偏移的窗口多头自注意力层W-MSA的特征通过残差相连接;多层感知器MLP之前设有标准化层,通过标准化层之前的特征与通过多层感知器MLP之后的特征通过残差连接;
当编码器的第i层特征Fi进入到对应层的DSTB模块中时,依次通过每个SwinTransformer结构,得到每个Swin Transformer的输出特征;对第t个transformer,输出特征记为输入为对进行融合后的特征;
进一步的,DSTB模块中,输入特征前向运算的表达式如下:
X=W-MSA(LN(X))+X或X=SW-MSA(LN(X))
X=MLP(LN(X))+X
其中,X输入特征,W-MSA为窗口多头自注意力层,SW-MSA为有位移的窗口多头自注意力层,LN为标准化层,MLP为多层感知器。
进一步的:
其中,PST为Swin Transfomer,PFF为特征融合操作。
进一步的,所述编码器采用ResNet34作为主干结构,保留每层输出的特征图像。
进一步的,所述解码器采用U-net网络,使用卷积进行上采样。
一种本发明所述的基于连接Swin Transformer通路的医学图像分割模型的分割方法,包括以下步骤:
(1)输入待分割的医学图像,编码器得到每一层特征,每一层特征分别进入到对应的DSTB模块内;
(2)每层DSTB模块均进行输出特征;
(3)将每层DSTB模块输出特征和对应的解码器上采样的结果进行融合,从而得到最终输出的分割结果。
进一步的,步骤(2)中的具体流程为:
其中,PST为Swin Transfomer,PFF为特征融合操作;
进一步的,还包括步骤(4):利用损失函数进行训练,约束模型在所选数据集上取得机制目前最优的分割结果。
与现有技术相比,本发明具有以下有益效果:
发明提出的基于连接Swin Transformer通路的医学图像分割模型及方法,利用基于高效密集连接Swin Transformer通路,提高图像的分割结果。本发明的DSTUNet,是一个包含DSTB模块的UNet网络,以密集连接的Swin Transformer块作为有效通路来改善医学图像分割的多尺度长距离依赖性。其次,通过Swin Transformer层之间的密集连接,DSTUNet可以更好地利用特征信息,加强信息流的传递,以减少信息衰退。
附图说明
图1为本发明的网络架构图,其中,图1(a)为Swin Transformer的网络架构图,图1(b)为本发明的医学图像分割模型的网络架构图;
图2为本发明的网络在Synapse multi-organ CT数据集上的一张图像上与其他方法的分割结果对比,其中,图2(a)为各个器官分割的真实标签,图2(b)为Unet分割的结果,图2(c)为TransUnet的分割结果,图2(d)为SwinUnet的分割结果,图2(e)为本发明的DSTUnet的分割结果。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
下面结合附图对本发明做进一步详细描述:
参见图1,图1(a)为Swin Transformer的网络架构图,图1(b)为本发明的医学图像分割模型的网络架构图,基于连接Swin Transformer通路的医学图像分割模型。原始图像输入到DSTUnet网络中,通过编码器获得分层特征,将这些特征输入对应层的DSTB模块中,得到每层DSTB模块的输出,将每层DSTB模块的输出与解码器中对应层的输出特征融合,作为解码器下一层的输入,直到获得最终的分割结果。
基于连接Swin Transformer通路的医学图像分割方法,包括以下步骤:
步骤1:设计一个基于编码器和解码器的分割网络框架。编码器的部分采用ResNet34作为主干结构,保留每层输出的特征图像,解码器的部分参考经典的U-net网络,使用卷积进行上采样。
步骤2:引入包含Swin Transformer的模块,在此处记作DSTB模块(Dense SwinTransformer Block)。参见图1(a),一个DSTB模块由4组Swin Transformer模块组成。一组Swin Transfomer模块包含一个基于窗口的多头自注意力模块和其后的一个2层多层感知器(MLP)组成,它们之间用GELU函数进行非线性激活。若Swin Tranforrmer结构处在奇数位置,则其中的多头自注意力模块为普通的窗口多头自注意力模块(W-MSA);反之,如果其处在偶数位置,则其中的多头自注意力模块为带位移的窗口多头自注意力模块(SW-MSA)。在多头自注意力模块和多层感知器之前还分别有一个标准化层(LN)。通过标准化层之前的特征和通过某个模块后的特征通过残差连接,表达式如下:
X=W-MSA(LN(X))+X或X=SW-MSA(LN(X))
X=MLP(LN(X))+X
其中,X输入特征,W-MSA为窗口多头自注意力层,SW-MSA为有位移的窗口多头自注意力层,LN为标准化层,MLP为多层感知器。
步骤3:将步骤1中的存下的每一层特征通过DSTB模块,得到每一层通过DSTB模块后的输出。具体地,对由编码器得到的第i层特征Fi,在经过DSTB模块中第t个SwinTransformer后的输出如下:
其中,PST为Swin Transfomer,PFF为特征融合操作。参见图1(b)特征融合操作是将需要融合的特征进行拼接后,使用一个3x3的卷积调整维度。在得到了每一个SwinTransformer的输出之后,将初始特征和每一个Swin Transformer的输出进行特征融合,并与初始特征进行残差连接,从而得到这一层特征通过整个DSTB模块的输出。其表达式如下:
步骤4:将每层DSTB模块输出的特征和对应的解码器上采样的结果进行融合,从而得到最终输出的分割结果。
步骤5:利用损失函数进行训练,约束模型在所选数据集上取得机制目前最优的分割结果。
实施例
在两个公开数据集上验证了本发明的有效性。使用戴斯相似性系数(Dice-similarity Coefficient,简写为DSC)豪斯多夫距离(Hausdorff Distance,简写为HD)。DSC值越高,HD越低说明分割效果越好。参见表1,在Synapse multi-organ segmentation数据集上,DSTUnet与已有方法对比,整体的DSC值最高,HD值最低。针对具体器官而言,DSTUnet在多数器官上也有最好的分割表现。参见表2,DSTUnet在Automated cardiacdiagnosis challenge数据集上也有最高的DSC值。除此之外,我们还验证了部分超参数对算法表现的影响,并选取了最合适的超参数,参见表3,4。
参见图2,图2(a)为各个器官分割的真实标签,图2(b)为Unet分割的结果,图2(c)为TransUnet的分割结果,图2(d)为SwinUnet的分割结果,图2(e)为本发明的DSTUnet的分割结果,由此可以发现,本发明的DSTUnet方法具有最好的分割效果。
表1本发明方法提出的算法与其他方法在Synapse multi-organ segmentation数据集上的对比实验
表2本发明方法提出的算法与其他方法在Automated cardiac diagnosischallenge数据集上的对比实验
Method | DSC | RV | Myo | LV |
R50 | 81.19 | 72.51 | 83.43 | 87.62 |
TransUnet | 82.90 | 74.32 | 83.98 | 87.41 |
SwinUnet | 80.71 | 76.00 | 79.44 | 86.69 |
DSTUnet(Ours) | 83.50 | 80.36 | 81.7 | 88.34 |
表3是否进行稠密连接对实验结果的影响
表4ST模块数对实验结果的影响
Cascade Number | DSC | HD |
2 | 79.74 | 24.69 |
4 | 82.44 | 17.83 |
6 | 82.07 | 17.63 |
由此可以看出,提出的网络与其他现有的方法相比,表现出了更好的生成结果,其中DSC达到82.44,HD达到17.83。
上内容仅为说明本发明的技术思想,不能以此限定本发明的保护范围,凡是按照本发明提出的技术思想,在技术方案基础上所做的任何改动,均落入本发明权利要求书的保护范围之内。
Claims (9)
1.一种基于连接Swin Transformer通路的医学图像分割模型,其特征在于,包括编码器和解码器构成的分割网络框架,编码器和解码器对应层的通路上均设有DSTB模块;
所述DSTB模块包括若干个Swin Transformer模块,Swin Transformer模块之间均连接有融合模块和卷积层;
所述Swin Transformer模块包括交替设置的窗口多头自注意力层W-MSA和偏移的窗口多头自注意力层SW-MSA,窗口多头自注意力层W-MSA和偏移的窗口多头自注意力层SW-MSA之后分别连接有多层感知器MLP,窗口多头自注意力层W-MSA及偏移的窗口多头自注意力层SW-MSA与多层感知器MLP之间通过GELU函数连接;窗口多头自注意力层W-MSA及偏移的窗口多头自注意力层W-MSA之前均设有标准化层,通过标准化层之前的特征和通过窗口多头自注意力层W-MSA或偏移的窗口多头自注意力层W-MSA的特征通过残差相连接;多层感知器MLP之前设有标准化层,通过标准化层之前的特征与通过多层感知器MLP之后的特征通过残差连接;
当编码器的第i层特征Fi进入到对应层的DSTB模块中时,依次通过每个SwinTransformer模块,得到每个Swin Transformer模块的输出特征;对第t个transformer,输出特征记为输入为对进行融合后的特征;
2.根据权利要求1所述的基于连接Swin Transformer通路的医学图像分割模型,其特征在于,DSTB模块中,输入特征前向运算的表达式如下:
X=W-MSA(LN(X))+X或X=SW-MSA(LN(X))
X=MLP(LN(X))+X
其中,X输入特征,W-MSA为窗口多头自注意力层,SW-MSA为有位移的窗口多头自注意力层,LN为标准化层,MLP为多层感知器。
5.根据权利要求1所述的基于连接Swin Transformer通路的医学图像分割模型,其特征在于,所述编码器采用ResNet34作为主干结构,保留每层输出的特征图像。
6.根据权利要求1所述的基于连接Swin Transformer通路的医学图像分割模型,其特征在于,所述解码器采用U-net网络,使用卷积进行上采样。
7.一种根据权利要求1-6任一项所述的基于连接Swin Transformer通路的医学图像分割模型的分割方法,其特征在于,包括以下步骤:
(1)输入待分割的医学图像,编码器得到每一层特征,每一层特征分别进入到对应的DSTB模块内;
(2)每层DSTB模块均进行输出特征;
(3)将每层DSTB模块输出特征和对应的解码器上采样的结果进行融合,从而得到最终输出的分割结果。
9.根据权利要求6所述的基于连接Swin Transformer通路的医学图像分割模型的分割方法,其特征在于,还包括步骤(4):利用损失函数进行训练,约束模型在所选数据集上取得机制目前最优的分割结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210356824.7A CN114912575B (zh) | 2022-04-06 | 2022-04-06 | 基于连接Swin Transformer通路的医学图像分割模型及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210356824.7A CN114912575B (zh) | 2022-04-06 | 2022-04-06 | 基于连接Swin Transformer通路的医学图像分割模型及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114912575A true CN114912575A (zh) | 2022-08-16 |
CN114912575B CN114912575B (zh) | 2024-04-09 |
Family
ID=82763100
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210356824.7A Active CN114912575B (zh) | 2022-04-06 | 2022-04-06 | 基于连接Swin Transformer通路的医学图像分割模型及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114912575B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115330898A (zh) * | 2022-08-24 | 2022-11-11 | 晋城市大锐金马工程设计咨询有限公司 | 一种基于改进Swin Transformer的杂志、书刊广告嵌入方法 |
CN115578406A (zh) * | 2022-12-13 | 2023-01-06 | 四川大学 | 基于上下文融合机制的cbct颌骨区域分割方法及*** |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021104056A1 (zh) * | 2019-11-27 | 2021-06-03 | 中国科学院深圳先进技术研究院 | 一种肿瘤自动分割***、方法及电子设备 |
WO2021179205A1 (zh) * | 2020-03-11 | 2021-09-16 | 深圳先进技术研究院 | 医学图像分割方法、医学图像分割装置及终端设备 |
CN113674253A (zh) * | 2021-08-25 | 2021-11-19 | 浙江财经大学 | 基于U-Transformer的直肠癌CT影像自动分割方法 |
CN114066902A (zh) * | 2021-11-22 | 2022-02-18 | 安徽大学 | 一种基于卷积和transformer融合的医学图像分割方法、***、装置 |
-
2022
- 2022-04-06 CN CN202210356824.7A patent/CN114912575B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021104056A1 (zh) * | 2019-11-27 | 2021-06-03 | 中国科学院深圳先进技术研究院 | 一种肿瘤自动分割***、方法及电子设备 |
WO2021179205A1 (zh) * | 2020-03-11 | 2021-09-16 | 深圳先进技术研究院 | 医学图像分割方法、医学图像分割装置及终端设备 |
CN113674253A (zh) * | 2021-08-25 | 2021-11-19 | 浙江财经大学 | 基于U-Transformer的直肠癌CT影像自动分割方法 |
CN114066902A (zh) * | 2021-11-22 | 2022-02-18 | 安徽大学 | 一种基于卷积和transformer融合的医学图像分割方法、***、装置 |
Non-Patent Citations (2)
Title |
---|
吴宣言;缑新科;朱子重;魏域林;王凯;: "深层聚合残差密集网络的超声图像左心室分割", 中国图象图形学报, no. 09, 16 September 2020 (2020-09-16) * |
梅旭璋;江红;孙军;: "基于密集注意力网络的视网膜血管图像分割", 计算机工程, no. 03, 15 March 2020 (2020-03-15) * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115330898A (zh) * | 2022-08-24 | 2022-11-11 | 晋城市大锐金马工程设计咨询有限公司 | 一种基于改进Swin Transformer的杂志、书刊广告嵌入方法 |
CN115578406A (zh) * | 2022-12-13 | 2023-01-06 | 四川大学 | 基于上下文融合机制的cbct颌骨区域分割方法及*** |
Also Published As
Publication number | Publication date |
---|---|
CN114912575B (zh) | 2024-04-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114912575A (zh) | 基于连接Swin Transformer通路的医学图像分割模型及方法 | |
CN110782462A (zh) | 一种基于双流特征融合的语义分割方法 | |
CN112733768B (zh) | 基于双向特征语言模型的自然场景文本识别方法及装置 | |
CN112784801A (zh) | 基于文本和图片的双模态胃部疾病分类方法及装置 | |
CN110533623B (zh) | 一种基于监督学习的全卷积神经网络多聚焦图像融合方法 | |
CN113012172A (zh) | 一种基于AS-UNet的医学图像分割方法及*** | |
CN111259904B (zh) | 一种基于深度学习和聚类的语义图像分割方法及*** | |
CN113240683B (zh) | 基于注意力机制的轻量化语义分割模型构建方法 | |
CN114972746B (zh) | 一种基于多分辨率重叠注意力机制的医学影像分割方法 | |
CN113743269A (zh) | 一种轻量化识别视频人体姿态的方法 | |
WO2024040973A1 (zh) | 一种基于堆叠沙漏网络的多尺度融合去雾方法 | |
CN112819705B (zh) | 一种基于网状结构与长距离相关性的真实图像去噪方法 | |
CN111768354A (zh) | 基于多尺度人脸部位特征字典的人脸图像复原*** | |
CN116469100A (zh) | 一种基于Transformer的双波段图像语义分割方法 | |
CN115456927A (zh) | 一种脑部医学图像合成方法、***、电子设备及存储介质 | |
CN115496919A (zh) | 基于窗口掩码策略的混合卷积-变压器架构及自监督方法 | |
CN117058160A (zh) | 基于自适应特征融合网络的三维医学图像分割方法及*** | |
CN112734645B (zh) | 一种基于特征蒸馏复用的轻量化图像超分辨率重建方法 | |
CN113850182A (zh) | 基于DAMR_3DNet的动作识别方法 | |
US20240062347A1 (en) | Multi-scale fusion defogging method based on stacked hourglass network | |
CN109711454B (zh) | 一种基于卷积神经网络的特征匹配方法 | |
CN115578574A (zh) | 一种基于深度学习和拓扑感知的三维点云补全方法 | |
CN115311488A (zh) | 结合蒸馏学习和元学习的目标检测增量学习方法 | |
CN115080699A (zh) | 基于模态特异自适应缩放与注意力网络的跨模态检索方法 | |
CN114022719A (zh) | 一种多特征融合的显著性检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |