CN112258526B - 一种基于对偶注意力机制的ct肾脏区域级联分割方法 - Google Patents
一种基于对偶注意力机制的ct肾脏区域级联分割方法 Download PDFInfo
- Publication number
- CN112258526B CN112258526B CN202011199922.1A CN202011199922A CN112258526B CN 112258526 B CN112258526 B CN 112258526B CN 202011199922 A CN202011199922 A CN 202011199922A CN 112258526 B CN112258526 B CN 112258526B
- Authority
- CN
- China
- Prior art keywords
- segmentation
- network
- feature
- cascade
- dimensional dual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 110
- 230000009977 dual effect Effects 0.000 title claims abstract description 64
- 210000003734 kidney Anatomy 0.000 title claims abstract description 35
- 238000000034 method Methods 0.000 title claims abstract description 35
- 230000007246 mechanism Effects 0.000 title claims abstract description 24
- 230000006870 function Effects 0.000 claims abstract description 29
- 238000012549 training Methods 0.000 claims abstract description 21
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 208000008839 Kidney Neoplasms Diseases 0.000 claims description 22
- 238000012545 processing Methods 0.000 claims description 16
- 230000004913 activation Effects 0.000 claims description 9
- 230000000295 complement effect Effects 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims description 7
- 230000004927 fusion Effects 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 2
- 238000011176 pooling Methods 0.000 claims description 2
- 238000001514 detection method Methods 0.000 claims 1
- 238000005070 sampling Methods 0.000 abstract description 5
- 238000002474 experimental method Methods 0.000 description 13
- 238000002679 ablation Methods 0.000 description 6
- 238000013461 design Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000000052 comparative effect Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000037361 pathway Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30084—Kidney; Renal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- Architecture (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明公开了一种基于对偶注意力机制的CT肾脏区域级联分割方法,包括如下步骤:S101、对原始CT图片进行预处理操作,获得训练数据集;S102、设计三维对偶注意力机制模块,充分提取完备的特征信息;S103、构建三维对偶注意力模块驱动的CT图像肾脏感兴趣区域级联分割网络;S104、设计级联分割网络的损失函数,并学习网络参数;S105、将S101得到的训练数据下采样一倍作为输入,送入S103的级联分割网络的第一级粗分割网络;把第一级粗分割网络的结果上采样一倍,与原始输入的训练数据融合后送入第二级细分割网络学习,并获得最终分割结果。本发明可以显著提高对肾脏及其感兴趣区域的分割精度。
Description
技术领域
本发明属于图像信息处理技术领域,具体涉及一种基于对偶注意力机制的CT肾脏区域级联分割方法。
背景技术
医学图像语义分割也是计算机视觉中的一个重要研究方向。近年来,随着深度学习技术的发展,基于深度学习的语义分割方法在自然图像特征提取和分割精度上都取得长足的进步,这使得基于深度学习的语义分割方法在医学影像中也得到广泛的关注和应用。当前基于深度学习的语义分割方法主要采用数据驱动的学习方式,在损失函数约束下,对设计的分割网络进行训练,使其能够直接从训练数据中提取有用的特征信息,进而能够实现对目标自动分割。如何设计有效的分割网络模型是需要研究的一个重要问题。
发明内容
本发明针对现有技术中,当前CT图像中肾脏及其感兴趣区域形状复杂,感兴趣区域体积小、样本数少等问题,提供一种基于对偶注意力机制的CT肾脏区域级联分割方法。本发明引入注意力机制的思想,通过设计三维对偶注意力机制去学习完备的特征表示,来实现对CT肾脏和肾脏感兴趣区域的精确分割。
为实现上述目的,本发明采用以下技术方案:一种基于对偶注意力机制的CT肾脏区域级联分割方法,包括如下步骤:
S101、对原始CT图片进行预处理操作,获得训练数据集;
S102、设计三维对偶注意力机制模块,充分提取完备的特征信息;
S103、构建三维对偶注意力模块驱动的CT图像肾脏感兴趣区域级联分割网络;
S104、设计级联分割网络的损失函数,并学习网络参数;
S105、将S101得到的训练数据下采样一倍作为输入,送入S103的级联分割网络的第一级粗分割网络;把第一级粗分割网络的结果上采样一倍,与原始输入的训练数据融合后送入第二级细分割网络学习,并获得最终分割结果。
为优化上述技术方案,采取的具体措施还包括:
进一步地,步骤S101中的预处理操作包括对原始CT图像灰度窗调节、格式转换和图像增强。
进一步地,步骤S102中三维对偶注意力机制模块包括,将主干通路与三维对偶通路进行耦合处理,通过三维对偶通路获取主路径的互补信息;当主干通路对感兴趣区域特别是小尺度的感兴趣区域存在漏检时,三维对偶通路通过取反操作,提取特征图中的互补信息。
进一步地,步骤S103中,级联分割网络包括两级,第一级为粗分割网络,第二季为细分割网络。
进一步地,步骤S103中,三维对偶注意力机制模块驱动的CT图像肾脏感兴趣区域级联分割网络包括,三维对偶注意力驱动的3D编解码网络;该3D编解码网络包括编码器与解码器两个部分,编码器部分通过下采样操作形成多尺度的特征表达,解码器部分通过多次上采样操作将特征分辨率提升到原CT图像的分辨率,进而实现像素级的语义分割。
进一步地,编码器中每个分辨率尺度特征处理的基本模式为:特征下采样后输入残差模块进行卷积处理,在残差模块中对输入的特征进行三次3×3×3卷积处理,并通过残差连接和残差模块输入相加后作为输出。
进一步地,在编码器与解码器建立跳层连接,将图像信息传递至同尺度的解码层;将三维对偶注意力模块输出的特征与解码器特征按通道串接后,通过输入特征进行n个3×3×3卷积处理后将特征通道数调整至n通道,并与残差连接传递的解码器特征进行求和融合,生成最终的语义分割结果。
进一步地,在粗分割网络中采用跨尺度特征融合模块,将编码器的最低分辨率的高级语义特征和最顶层的高分辨低级语义特征图进行融合,为第二级网络提供准确的上下文信息。
进一步地,步骤S104具体包括,选择Dice损失函数作为损失函数,级联分割网络中每一级网络都由Dice损失函数来优化。
本发明的有益效果是:本发明利用医学图像语义分割理论,建立一种基于对偶注意力机制的CT肾脏区域级联分割方法,模型在图像训练样本少的情况下,利用级联网络的学历能力,初步提取原始图像信息,同时,利用设计的三维对偶注意力模型,进一步增强网络学习的能力,使得网络可以学习到更好的带分割目标的信息,实现对肾脏和肾脏感兴趣区域精确分割的目的。
附图说明
图1是本发明提供的基于对偶注意力机制的CT肾脏区域级联分割方法的网络结构图。
图2是本发明所构建的级联网络中每个全卷积网络结构示意图。
图3是本发明所构建的三维对偶注意力机制模块的结构示意图。
图4是本发明实施例中经典的分割网络3D-UNet、3D-VNet、MS-FCN与采用本发明的算法对于肾脏区域数据集CT切片分割结果的可视化结果对照图。
图5是本发明实施例中3D-UNet、3D-VNet、MS-FCN网络以及本发明方法,对验证集中肾脏感兴趣区域数据集CT切片分割结果的可视化结果对照图。
图6是应用本发明方法的肾脏的三维重建可视化结果图。
图7是应用本发明方法的肾脏感兴趣区域的三维重建可视化结果图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为了解决上述技术问题,本发明提供了一种基于对偶注意力机制的CT肾脏区域级联分割方法,如图1所示,包括:
S101、对原始CT图片进行预处理操作,获得训练数据集。
S101具体包括:对原始CT图像进行预处理操作,这其中包括以下操作,对原始CT图像灰度窗调节、格式转换、图像增强等。
S102、设计三维对偶注意力机制模块充分提取完备的特征信息。
S102具体包括:
注意力机制是提升网络特征表达能力的一种重要方式,为了充分提取完备的特征信息,本发明提出了三维对偶注意力模块(Three-Dimensional Dual attention Module,3DAM),如图3所示,在主干通路(TrunkPath)的基础上引入三维对偶通路(Dual Path),通过三维对偶通路获取主路径的互补信息。当主干通路对目标区域特别是小尺度的目标存在漏检时,三维对偶通路通过取反操作,提取特征图中互补信息(原来的目标区域之外的图像),获得更完备的特征表示,提升分割精度。消融实验的结果也表明,本发明的三维对偶注意力模块可以能够显著提升肾脏与肾脏肿瘤的分割准确性。
记三维对偶注意力模块的原始输入为U∈RH×W×D×C其中H,W,D分别代表特征的三维空间对应尺寸,C代表特征的通道数,Uc表示第c通道的三维特征。该模块首先去执行投影操作Fpr(U),分别对各个通道特征Uc进行处理,即沿着三个不同的空间维度分别进行全局平均池化操作,计算公式如下
Z=Fpr(U)=sumT(Zh,Zw,Zd) (4)
其中,sumT操作表示将Zh,Zw,Zd通过复制操作将维度扩充至H×W×D×C后再去求和。
本发明将会通过主干通路和三维对偶通路分别对投影特征Z(输入的特征图)进行激活操作Fex(excitation operation)处理。主干通路首先对投影特征Z进行两次卷积操作,并分别用Relu和sigmoid作为激活函数,两次卷积操作中首先是把空间通道减少到C/R,然后在恢复到原通道C,激活操作后的注意力和注意力模块的输入特征U进行点乘操作,产生新的特征图/>这样就得到经过注意力机制产生的新的特征图。公式表达如下:
Fex(Z)=σ(Vt2*δ(Vt1*Z)) (6)
为了提取主干通路的互补信息,三维对偶通路对投影特征Z进行sigmoid激活函数,然后进行取1减取反操作(reverse),即获得主干通路的三维对偶特征图,并经与主干通路相类似的卷积处理后获得三维对偶通路的注意力特征并与特征U进行点乘,获得三维对偶特征/>具体公式操作如下:
其中,为三维对偶通路的激活操作,Vd1和Vd2分别代表两次卷积操作,而δ和σ分别代表两次卷积操作所依次对应对的两个激活函数Relu和sigmoid激活函数,两个通路的特征求和后作为三维对偶注意力模块的最终输出
通过主干通路与三维对偶通路的耦合处理,本发明的注意力模块能够充分提取特征图中与肾脏肿瘤目标的关联信息。
S103、构建三维对偶注意力模块驱动的CT图像肾脏肿瘤级联分割网络。
所述S103具体包括:
我们把S102设计的三维对偶注意力机制进搭载到金字塔式的双尺度注意力驱动的CT图像肾脏肿瘤级联分割网络,在该级联网络框架下,如何设置两级分割网络结构是一个关键问题。本发明设计了三维对偶注意力驱动的3D编解码网络,并作为级联分割网络的基本结构。如图2所示,该网络包括编码器与解码器两个部分,编码器部分通过下采样操作形成多尺度的特征表达。编码器中每个分辨率尺度特征处理的基本模式为特征下采样后输入残差模块(RBM)进行卷积处理,在RBM模块中对输入的特征进行三次3×3×3卷积处理,并通过残差连接和该残差模块输入相加后作为输出。解码器部分通过多次上采样操作将特征分辨率提升到原CT图像的分辨率,进而实现像素级的语义分割。
在编码器与解码器建立跳层连接,将图像信息传递至同尺度的解码层。为了更有效提取关键特征,将本发设计的三维对偶注意力模块部署于跳层连接中。解码器为了更好地融合编码器跳层传输的特征,本发明设计了残差融合方式,将3DAM模块输出的特征与解码器特征按通道串接后,通过CDRn操作处理后调整通道数,并与残差连接传递的解码器特征进行求和融合。具体而言,CDRn操作为通过输入特征进行n个3×3×3卷积处理后将特征通道数调整至n通道。同时在最高分辨率的解码层也部署3DAM模块,生成最终的语义分割结果。
在粗分割网路中为了更好利用高级特征图中的语义信息和低级特征图的空间信息,采用了跨尺度特征融合模块,将编码器的最低分辨率的高级语义特征和最顶层的高分辨低级语义特征图进行融合,有助于提升第一级网络的分割精度,为第二级网络提供准确的上下文信息。
S104、设计级联网络的损失函数,并学习网络参数。
S104具体包括:
该部分设计用于级联网络学***衡问题。为了应对该问题,本发明中选择可以有效处理类别不平衡状况的Dice损失函数作为损失函数。Dice损失函数其定义来源于集合相似度度量函数dice系数。Dice系数值S(X,Y)及其对应的Dice损失函数计算表达式为:
其中X代表网络的预测结果,Y代表分割结果的金标准,X∩Y代表预测结果和金标准的交集,|·|代表集合所包含的元素个数,由于Dice系数值计算的是两个集合重叠的比例,与具体的样本个数无直接关联,因此有利于处理样本不平衡问题。(11)式即为Dice函数。
S105、将S101得到的训练数据下采样一倍作为输入,送入S103的级联分割网络的第一级粗分割网络;把第一级粗分割网络的结果上采样一倍,与原始输入的训练数据融合后送入第二级细分割网络学习,并获得最终分割结果。
S105具体包括:
把S101得到的训练数据集送到我们在S103所设计的进三维对偶注意力驱动的CT图像肾脏肿瘤级联分割网络进行训练,对于第一个全卷积网络我们首先把输入图片的进行下采样操作,下采样一倍尺度(S1=S/L1,S其中代表图片的原始输入尺度,L代表下采样操作的倍数,在本文中L1=2),将图片下采样一倍作为输入送进联分割网络,首先在第一级粗分割网络获得粗分割的结果。
对于级联网络的第二个全卷积网络则是第一阶段网络的预测的输出结果进行上采样一倍之后,然后再和原始输入连接在一起之后再去作为输入(S2=S+P1L,其中S代表图片的原始输入,P1代表第一个全卷积网络的输出的预测结果,L2代表上采样操作的采样倍数,在本文中L2=2),也就是把把粗分割第一级网络的结果上采样一倍后和原始输入融合后送入第二级网络细分割网络学习,获得最终分割结果。我们设计的三维对偶注意力驱动的CT图像肾脏肿瘤级联分割方法,可以在较低分辨率的下采样图像中捕捉背景信息,同时又可以从两个不同的尺度空间金字塔的高分辨率的图像中学习更精确的分割,同时通过设计三维对偶注意力机制去学习更加完备的特征表示,来实现对CT肾脏和肾脏肿瘤的精确分割。
为了验证本发明提出的三维对偶注意力模块及其级联分割模型的有效性,实验主要包含消融实验和对比实验两个部分。消融实验定量评估三维对偶注意力模块与级联模型的有效性。对比实验部分同3D-UNet、3D-VNet与MS-FCN进行对比。本发明对于分割结果的评价标准采用Dice相似系数,其值介于0~1之间,其值越大表示分割效果越好,具体计算公式参见公式(10)。
为了证明本发明所设计的三维对偶注意力模块与级联网络的有效性,本文设计消融实验进行验证。消融实验在数据集KiTS19上进行。本实验设计了本发明模型的两个简化算法,第一个为只使用第一级粗分割网络,简记为单级网络,第二个方法仍为级联网络,但只保留注意力模块的主干通路。同时也将多尺度全卷积网络(MS-FCN)作为基线方法进行对比,消融实验结果如表1所示。
表1
从表1可以看出,相较于单级网络,级联方法可以有效提升分割的准确率。同时本发明所设计的三维对偶注意力机制可以显著提高分割精度,能够同时提升肾脏与肾脏肿瘤的分割准确率,这也证明了通过空间特征图的取反操作,可以使网络学习到更多互补信息,进而提高分割精度。
同时为了证明本发明提出来的三维对偶注意力驱动的级联网络对图像分割的效果,我们在肾脏肿瘤数据集上进行三维分割实验。首先把肾脏肿瘤数据集划分成62个数据作为训练集,17个数据作为验证集这两部分。在本发明的实验部分,本发明所设计的网络(图中标识为our)和经典的分割网络3D-UNet、3D-VNet以及MS-FCN进行对比实验,各算法取得的Dice相似系数如表2所示。
表2
从表2可以看出,本发明设计的网络模型对肾脏图像的分割结果优于其他经典分割模型。图4展示了3D-UNet、3D-VNet、MS-FCN网络以及本发明方法(图中标识为OurMethod)对验证集中的同一数据CT切片(肾脏图像切片)分割结果的可视化对比,可以看出本发明方法能够更准确定位肾脏轮廓,形成更精确的分割。
为了证明本发明提出来的三维对偶注意力驱动的级联网络对肾脏肿瘤的分割的果,本节实验在肾脏肿瘤数据集上进行肾脏与肾脏肿瘤两类目标的分割。表3显示了不同算法在该数据集上肾脏肿瘤以及平均Dice相似系数。本发明所设计的网络和经典的分割网络3D-UNet、3D-VNet以及MS-FCN进行对比实验。对比试验结果如下表所示。
表3
从表3可以看出本发明方法(Our Method)在肾脏与肾脏肿瘤两类目标上都获得了最优结果,同于较难分割的肾脏肿瘤,本发明算法也显著提高了分割准确率。图5展示了3D-UNet、3D-VNet、MS-FCN网络以及本发明方法(图中标识为Our Method)对验证集中的同一数据CT切片分割结果的可视化对比,可以看出本发明网络对于肾脏这种面积大、切片多的目标,以及针对肾脏肿瘤这种目标小、切片少的目标都有着很好的分割效果。
本发明提供的级联分割方法,可以在较低分辨率的下采样图像中捕捉背景信息,同时又可以从两个不同的尺度空间金字塔的高分辨率的图像中学习更精确的分割,同时通过设计三维对偶注意力机制去学习更加完备的特征表示,来实现对CT肾脏和肾脏肾脏肿瘤的精确分割。
以上仅是本发明的优选实施方式,本发明的保护范围并不仅局限于上述实施例,凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理前提下的若干改进和润饰,应视为本发明的保护范围。
Claims (6)
1.一种基于对偶注意力机制的CT肾脏区域级联分割方法,其特征在于,包括如下步骤:
S101、对原始CT图片进行预处理操作,获得训练数据集;
S102、设计三维对偶注意力模块,充分提取完备的特征信息;
S103、构建三维对偶注意力模块驱动的CT图像肾脏感兴趣区域级联分割网络;
S104、设计级联分割网络的损失函数,并学习网络参数;
S105、将S101得到的训练数据下采样一倍作为输入,送入S103的级联分割网络的第一级粗分割网络;把第一级粗分割网络的结果上采样一倍,与原始输入的训练数据融合后送入第二级细分割网络学习,并获得最终分割结果;
其中,S102中,在主干通路的基础上引入三维对偶通路,通过三维对偶通路获取主路径的互补信息;三维对偶注意力模块的原始输入为U∈RH×W×D×C,其中H,W,D分别代表特征的三维空间对应尺寸,C代表特征的通道数,Uc表示第c通道的三维特征;三维对偶注意力模块首先去执行投影操作Fpr(U),分别对各个通道特征Uc进行处理,即沿着三个不同的空间维度分别进行全局平均池化操作;将C个通道特征在三个不同的空间维度投影后的向量组和为特征矩阵;并经维度拓展后,求和得到三维对偶注意力模块投影操作的输出Z;主干通路首先对投影特征Z进行两次卷积操作,并分别用Relu和sigmoid作为激活函数,激活操作后的注意力和注意力模块的输入特征U进行点乘操作,产生新的特征图/>三维对偶通路对投影特征Z进行sigmoid激活函数,然后进行取1减取反操作,并经卷积处理后获得三维对偶通路的注意力特征/>并与特征U进行点乘,获得三维对偶特征/>两个通路的特征求和后作为三维对偶注意力模块的最终输出/>
S103中,把S102设计的三维对偶注意力进搭载到金字塔式的双尺度注意力驱动的CT图像肾脏肿瘤级联分割网络;级联分割网络包括两级,第一级为粗分割网络,第二级为细分割网络;三维对偶注意力驱动的3D编解码网络作为级联分割网络的基本结构;该3D编解码网络包括编码器与解码器两个部分,编码器部分通过下采样操作形成多尺度的特征表达,解码器部分通过多次上采样操作将特征分辨率提升到原CT图像的分辨率,进而实现像素级的语义分割;在编码器与解码器建立跳层连接,将图像信息传递至同尺度的解码层;三维对偶注意力模块部署于跳层连接中;在粗分割网路中采用跨尺度特征融合模块,将编码器的最低分辨率的高级语义特征和最顶层的高分辨低级语义特征图进行融合。
2.如权利要求1所述的级联分割方法,其特征在于,步骤S101中的预处理操作包括对原始CT图像灰度窗调节、格式转换和图像增强。
3.如权利要求1所述的级联分割方法,其特征在于,步骤S102中当主干通路对感兴趣区域存在漏检时,三维对偶通路通过取反操作,提取特征图中的互补信息。
4.如权利要求1所述的级联分割方法,其特征在于,编码器中每个分辨率尺度特征处理的基本模式为:特征下采样后输入残差模块进行卷积处理,在残差模块中对输入的特征进行三次3×3×3卷积处理,并通过残差连接和残差模块输入相加后作为输出。
5.如权利要求4所述的级联分割方法,其特征在于,将三维对偶注意力模块输出的特征与解码器特征按通道串接后,通过输入特征进行n个3×3×3卷积处理后将特征通道数调整至n通道,并与残差连接传递的解码器特征进行求和融合,生成最终的语义分割结果。
6.如权利要求1所述的级联分割方法,其特征在于,步骤S104具体包括,选择Dice损失函数作为损失函数,级联分割网络中每一级网络都由Dice损失函数来优化。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011199922.1A CN112258526B (zh) | 2020-10-30 | 2020-10-30 | 一种基于对偶注意力机制的ct肾脏区域级联分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011199922.1A CN112258526B (zh) | 2020-10-30 | 2020-10-30 | 一种基于对偶注意力机制的ct肾脏区域级联分割方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112258526A CN112258526A (zh) | 2021-01-22 |
CN112258526B true CN112258526B (zh) | 2023-06-27 |
Family
ID=74268791
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011199922.1A Active CN112258526B (zh) | 2020-10-30 | 2020-10-30 | 一种基于对偶注意力机制的ct肾脏区域级联分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112258526B (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112767407B (zh) * | 2021-02-02 | 2023-07-07 | 南京信息工程大学 | 一种基于级联门控3DUnet模型的CT图像肾脏肿瘤分割方法 |
CN112950653B (zh) * | 2021-02-26 | 2023-05-23 | 山东英信计算机技术有限公司 | 一种注意力图像分割方法、装置及介质 |
CN113012178A (zh) * | 2021-05-07 | 2021-06-22 | 西安智诊智能科技有限公司 | 一种肾脏肿瘤图像分割方法 |
CN113223004A (zh) * | 2021-05-07 | 2021-08-06 | 西安智诊智能科技有限公司 | 一种基于深度学习的肝脏图像分割方法 |
CN113344773B (zh) * | 2021-06-02 | 2022-05-06 | 电子科技大学 | 基于多级对偶反馈的单张图片重构hdr方法 |
CN113326847B (zh) * | 2021-06-04 | 2023-07-14 | 天津大学 | 一种基于全卷积神经网络的遥感图像语义分割方法及装置 |
CN114219943B (zh) * | 2021-11-24 | 2023-05-26 | 华南理工大学 | 一种基于深度学习的ct图像危及器官分割*** |
CN116152278B (zh) * | 2023-04-17 | 2023-07-21 | 杭州堃博生物科技有限公司 | 医疗图像的分割方法及装置、非易失性存储介质 |
CN116523800B (zh) * | 2023-07-03 | 2023-09-22 | 南京邮电大学 | 基于残差密集网络与注意力机制的图像降噪模型及方法 |
CN116779173B (zh) * | 2023-08-24 | 2023-11-24 | 北京大学第三医院(北京大学第三临床医学院) | 一种基于人工智能的放射治疗剂量预测***和方法 |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018015080A1 (en) * | 2016-07-19 | 2018-01-25 | Siemens Healthcare Gmbh | Medical image segmentation with a multi-task neural network system |
CN109685813A (zh) * | 2018-12-27 | 2019-04-26 | 江西理工大学 | 一种自适应尺度信息的u型视网膜血管分割方法 |
CN109993726A (zh) * | 2019-02-21 | 2019-07-09 | 上海联影智能医疗科技有限公司 | 医学图像的检测方法、装置、设备和存储介质 |
CN110245665A (zh) * | 2019-05-13 | 2019-09-17 | 天津大学 | 基于注意力机制的图像语义分割方法 |
CN110599500A (zh) * | 2019-09-03 | 2019-12-20 | 南京邮电大学 | 一种基于级联全卷积网络的肝脏ct图像的肿瘤区域分割方法及*** |
CN110675406A (zh) * | 2019-09-16 | 2020-01-10 | 南京信息工程大学 | 基于残差双注意力深度网络的ct图像肾脏分割算法 |
CN111127493A (zh) * | 2019-11-12 | 2020-05-08 | 中国矿业大学 | 基于注意力多尺度特征融合的遥感图像语义分割方法 |
WO2020101448A1 (en) * | 2018-08-28 | 2020-05-22 | Samsung Electronics Co., Ltd. | Method and apparatus for image segmentation |
WO2020108525A1 (zh) * | 2018-11-30 | 2020-06-04 | 腾讯科技(深圳)有限公司 | 图像分割方法、装置、诊断***、存储介质及计算机设备 |
WO2020113355A1 (en) * | 2018-12-03 | 2020-06-11 | Intel Corporation | A content adaptive attention model for neural network-based image and video encoders |
CN111340828A (zh) * | 2020-01-10 | 2020-06-26 | 南京航空航天大学 | 基于级联卷积神经网络的脑部胶质瘤分割 |
CN111402259A (zh) * | 2020-03-23 | 2020-07-10 | 杭州健培科技有限公司 | 一种基于多层次结构关系学习网络的脑肿瘤分割方法 |
CN111784762A (zh) * | 2020-06-01 | 2020-10-16 | 北京理工大学 | X光造影图像血管中心线提取方法及装置 |
CN111798462A (zh) * | 2020-06-30 | 2020-10-20 | 电子科技大学 | 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10922816B2 (en) * | 2018-08-27 | 2021-02-16 | Siemens Healthcare Gmbh | Medical image segmentation from raw data using a deep attention neural network |
-
2020
- 2020-10-30 CN CN202011199922.1A patent/CN112258526B/zh active Active
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018015080A1 (en) * | 2016-07-19 | 2018-01-25 | Siemens Healthcare Gmbh | Medical image segmentation with a multi-task neural network system |
WO2020101448A1 (en) * | 2018-08-28 | 2020-05-22 | Samsung Electronics Co., Ltd. | Method and apparatus for image segmentation |
WO2020108525A1 (zh) * | 2018-11-30 | 2020-06-04 | 腾讯科技(深圳)有限公司 | 图像分割方法、装置、诊断***、存储介质及计算机设备 |
WO2020113355A1 (en) * | 2018-12-03 | 2020-06-11 | Intel Corporation | A content adaptive attention model for neural network-based image and video encoders |
CN109685813A (zh) * | 2018-12-27 | 2019-04-26 | 江西理工大学 | 一种自适应尺度信息的u型视网膜血管分割方法 |
CN109993726A (zh) * | 2019-02-21 | 2019-07-09 | 上海联影智能医疗科技有限公司 | 医学图像的检测方法、装置、设备和存储介质 |
CN110245665A (zh) * | 2019-05-13 | 2019-09-17 | 天津大学 | 基于注意力机制的图像语义分割方法 |
CN110599500A (zh) * | 2019-09-03 | 2019-12-20 | 南京邮电大学 | 一种基于级联全卷积网络的肝脏ct图像的肿瘤区域分割方法及*** |
CN110675406A (zh) * | 2019-09-16 | 2020-01-10 | 南京信息工程大学 | 基于残差双注意力深度网络的ct图像肾脏分割算法 |
CN111127493A (zh) * | 2019-11-12 | 2020-05-08 | 中国矿业大学 | 基于注意力多尺度特征融合的遥感图像语义分割方法 |
CN111340828A (zh) * | 2020-01-10 | 2020-06-26 | 南京航空航天大学 | 基于级联卷积神经网络的脑部胶质瘤分割 |
CN111402259A (zh) * | 2020-03-23 | 2020-07-10 | 杭州健培科技有限公司 | 一种基于多层次结构关系学习网络的脑肿瘤分割方法 |
CN111784762A (zh) * | 2020-06-01 | 2020-10-16 | 北京理工大学 | X光造影图像血管中心线提取方法及装置 |
CN111798462A (zh) * | 2020-06-30 | 2020-10-20 | 电子科技大学 | 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法 |
Non-Patent Citations (9)
Title |
---|
Cascaded Volumetric Convolutional Network for Kidney Tumor Segmentation from CT volumes;Yao Zhang等;Electrical Engineering and Systems Science;1-7 * |
Convolutional networks for kidney segmentation in contrast-enhanced CT scans;William Thong 等;Computer Methods in Biomechanics and Biomedical Engineering: Imaging & Visualization;277-282 * |
Dual attention network for scene segmentation;Fu 等;IEEE Computer Society Conf. on Computer Vision and Pattern Recognition;1-10 * |
Reverse Attention for Salient Object Detection;Shuhan Chen等;Computer Vision and Pattern Recognition;1-17 * |
Rickmann Anne Marie 等.'Project&Excite' Modules for Segmentation of Volumetric Medical Scans.International Conference on Medical Image Computing and Computer Assisted Intervention.2019,39-47. * |
Time-varying system identification by enhanced Empirical Wavelet Transform based on Synchroextracting Transform;Yu Xin等;Engineering Structures;1-13 * |
基于双重注意力机制的医学图像分割方法研究;邢春上;中国优秀硕士学位论文全文数据库 (医药卫生科技辑)(第(2020)08期);E080-60 * |
基于残差双注意力U-Net模型的CT图像囊肿肾脏自动分割;徐宏伟 等;计算机应用研究 网络首发;1-6 * |
融合双注意力机制3D U-Net的肺肿瘤分割;郝晓宇 等;中国图象图形学报;第25卷(第10期);2119-2127 * |
Also Published As
Publication number | Publication date |
---|---|
CN112258526A (zh) | 2021-01-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112258526B (zh) | 一种基于对偶注意力机制的ct肾脏区域级联分割方法 | |
CN110782462B (zh) | 一种基于双流特征融合的语义分割方法 | |
CN112396607B (zh) | 一种可变形卷积融合增强的街景图像语义分割方法 | |
CN113888744A (zh) | 一种基于Transformer视觉上采样模块的图像语义分割方法 | |
CN113283435A (zh) | 一种基于多尺度注意力融合的遥感图像语义分割方法 | |
CN110580704A (zh) | 基于卷积神经网络的et细胞图像自动分割方法及*** | |
CN111369565A (zh) | 一种基于图卷积网络的数字病理图像的分割与分类方法 | |
CN110929736A (zh) | 多特征级联rgb-d显著性目标检测方法 | |
CN113240683B (zh) | 基于注意力机制的轻量化语义分割模型构建方法 | |
CN116051549B (zh) | 一种太阳能电池片缺陷分割方法、***、介质及设备 | |
CN116797787B (zh) | 基于跨模态融合与图神经网络的遥感影像语义分割方法 | |
CN111080688A (zh) | 一种基于深度卷积神经网络的深度图增强方法 | |
Zhu et al. | ECFNet: A Siamese network with fewer FPs and fewer FNs for change detection of remote-sensing images | |
CN115984714B (zh) | 一种基于双分支网络模型的云检测方法 | |
CN114821050A (zh) | 一种基于transformer的指称图像分割方法 | |
CN116030357A (zh) | 一种高分辨率遥感图像变化检测深度网络及检测方法 | |
CN115544613A (zh) | 一种多模态数据驱动的城市道路布局设计自动化方法 | |
CN117726954B (zh) | 一种遥感图像海陆分割方法及*** | |
CN117876679A (zh) | 一种基于卷积神经网络的遥感图像场景分割方法 | |
CN115496910B (zh) | 基于全连接图编码及双重扩张残差的点云语义分割方法 | |
CN116778294B (zh) | 一种联合图像内和图像间上下文的遥感变化检测方法 | |
CN114463187B (zh) | 基于聚合边缘特征的图像语义分割方法及*** | |
CN114998363B (zh) | 一种高分辨率遥感影像渐进式分割方法 | |
Zhu et al. | TM-GAN: A Transformer-based Multi-modal Generative Adversarial Network for Guided Depth Image Super-resolution | |
CN117315543A (zh) | 一种基于置信度门控时空记忆网络的半监督视频目标分割方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |