CN116206109A - 一种基于级联网络的肝脏肿瘤分割方法 - Google Patents
一种基于级联网络的肝脏肿瘤分割方法 Download PDFInfo
- Publication number
- CN116206109A CN116206109A CN202310146446.4A CN202310146446A CN116206109A CN 116206109 A CN116206109 A CN 116206109A CN 202310146446 A CN202310146446 A CN 202310146446A CN 116206109 A CN116206109 A CN 116206109A
- Authority
- CN
- China
- Prior art keywords
- input
- output
- layer
- module
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 141
- 208000014018 liver neoplasm Diseases 0.000 title claims abstract description 85
- 206010019695 Hepatic neoplasm Diseases 0.000 title claims abstract description 82
- 238000000034 method Methods 0.000 title claims abstract description 16
- 210000004185 liver Anatomy 0.000 claims abstract description 53
- 238000012549 training Methods 0.000 claims abstract description 11
- 238000011176 pooling Methods 0.000 claims description 52
- 238000005070 sampling Methods 0.000 claims description 44
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 6
- 238000013135 deep learning Methods 0.000 claims description 4
- 239000000203 mixture Substances 0.000 claims description 4
- 206010028980 Neoplasm Diseases 0.000 abstract description 21
- 230000015556 catabolic process Effects 0.000 abstract description 2
- 238000006731 degradation reaction Methods 0.000 abstract description 2
- 230000008034 disappearance Effects 0.000 abstract description 2
- 239000006185 dispersion Substances 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 6
- 201000007270 liver cancer Diseases 0.000 description 3
- 210000001015 abdomen Anatomy 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 201000011510 cancer Diseases 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 238000013170 computed tomography imaging Methods 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 210000005228 liver tissue Anatomy 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/52—Scale-space analysis, e.g. wavelet analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biodiversity & Conservation Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种基于级联网络的肝脏肿瘤分割方法，采取肝脏分割网络和肝肿瘤分割网络级联的方式，肝脏分割网络先从CT图像中分割肝脏，提取出肿瘤感兴趣区域，再将肿瘤感兴趣区域作为肝肿瘤分割网络的输入，进一步实现对肝脏肿瘤的精准分割，这解决了因肿瘤在整幅CT图像中占比小而造成的数据不平衡问题。肝脏分割网络和肝肿瘤分割网络均以残差网络作为骨架，残差网络极大提高了可以有效训练的网络的深度，加速训练网络的收敛，减少模型退化，从而有效避免了随着网络层数加深梯度消失的问题，解决了因网络过深而出现的梯度弥散问题。
Description
技术领域
本发明涉及图像分割技术领域，具体涉及一种基于级联网络的肝脏肿瘤分割方法。
背景技术
肝癌是世界上最常见和致死率最高的肿瘤，它严重威胁人们的生命健康。据国家癌症中心数据显示，我国肝癌发病率在所有恶性肿瘤中排第5，且死亡率高居第2位。随着科学技术的发展，计算机应用技术和医学信息化水平得到了很大的发展，医学图像设施也更加完善。计算机断层扫描成像(computed tomography，CT)具有扫描时间快，图像分辨率高等特点，是目前肝脏病变普遍采取的诊断方式。由于CT图像中肝脏肿瘤通常具有对比度低，边界模糊，大小、形状、位置和数量不固定等特点，因此目前临床上肝脏肿瘤的分割需要人工干预，即由经验丰富的医生手动标注轮廓，这不仅费时费力，难以有效适应肝脏肿瘤的复杂性和多样性，对目标的分割精度较差，效率较低，无法实现肿瘤区域的自动分割；而且同一病人的肝脏CT影像的肿瘤区域在不同医生的标注下可能会造成不同的结果，严重依赖医生的经验与技巧。为此，研究精准高效的肝脏肿瘤自动分割方法对肝癌的临床诊断与治疗具有重要意义。
近年来，深度学***衡造成的肿瘤分割困难等问题。
发明内容
本发明所要解决的是现有肝脏肿瘤分割存在分割困难和边界分割不精确的问题，提供一种基于级联网络的肝脏肿瘤分割方法。
为解决上述问题，本发明是通过以下技术方案实现的：
一种基于级联网络的肝脏肿瘤分割方法，包括步骤如下：
首先，构建基于级联网络的肝脏肿瘤分割模型；该基于级联网络的肝脏肿瘤分割模型由肝脏分割网络、肝肿瘤分割网络、以及特征相加层组成；肝脏分割网络的输入作为基于级联网络的肝脏肿瘤分割模型的输入，肝脏分割网络的输入和输出同时连接特征相加层的输入，特征相加层的输出连接肝肿瘤分割网络的输入，肝肿瘤分割网络的输出作为基于级联网络的肝脏肿瘤分割模型的输出；
然后，利用事先已经分割出肝脏肿瘤的CT图像构建训练样本集，并利用训练样本集对所构建的基于级联网络的肝脏肿瘤分割模型进行深度学习训练，得到训练好的基于级联网络的肝脏肿瘤分割模型；
最后，将当前需要进行肝脏肿瘤分割的CT图像送到训练好的基于级联网络的肝脏肿瘤分割模型中，得到已分割出肝脏肿瘤的CT图像。
上述肝脏分割网络和肝肿瘤分割网络均为基于混合深度可分离卷积残差分割网络；该基于混合深度可分离卷积残差分割网络由1个输入层、2个卷积层、5个第一残差模块、4个第二残差模块、4个池化模块、4个上采样模块和1个输出层组成；输入层的输入作为基于混合深度可分离卷积残差分割网络的输入；输入层的输出经由第一个卷积层连接第一个第一残差模块的输入，第一残差模块的输出连接第一个池化模块的输入和第四上采样模块的第一输入，第一个池化模块的输出连接第二个第一残差模块的输入，第二个第一残差模块的输出连接第二个池化模块的输入和第三上采样模块的第一输入，第二个池化模块的输出连接第三个第一残差模块的输入，第三个第一残差模块的输出连接第三个池化模块的输入和第二上采样模块的第一输入，第三个池化模块的输出连接第四个第一残差模块的输入，第四个第一残差模块的输出连接第四个池化模块的输入和第一上采样模块的第一输入，第四个池化模块的输出连接第五个第一残差模块的输入；第五个第一残差模块的输出连接第一个上采样模块的第二输入，第一个上采样模块的输出连接第一个第二残差模块的输入，第一个第二残差模块的输出连接第二个上采样模块的第二输入，第二个上采样模块的输出连接第二个第二残差模块的输入，第二个第二残差模块的输出连接第三个上采样模块的第二输入，第三个上采样模块的输出连接第三个第二残差模块的输入，第三个第二残差模块的输出连接第四个上采样模块的第二输入，第四个上采样模块的输出连接第四个第三残差模块的输入，第四个第二残差模块的输出经由第二个卷积层连接输出层的输入；输出层的输出作为基于混合深度可分离卷积残差分割网络的输出。
上述肝脏分割网络的第一残差模块和肝肿瘤分割网络的第一残差模块不同。肝脏分割网络的第一残差模块由2个混合深度可分离卷积层、2个卷积层和1个特征相加层组成；第一个混合深度可分离卷积层的输入作为肝脏分割网络的第一残差模块的输入，第一个混合深度可分离卷积层的输出连接第二个混合深度可分离卷积层的输入，第二个混合深度可分离卷积层的输出连接第一个卷积层的输入；第二个卷积层的输入连接第一个混合深度可分离卷积层的输入；第一个卷积层和第二个卷积层的输出同时连接特征相加层的输入，特征相加层的输出作为肝脏分割网络的第一残差模块的输出。肝肿瘤分割网络的第一残差模块由2个混合深度可分离卷积层、2个卷积层、1个坐标注意力机制层和1个特征相加层组成；第一个混合深度可分离卷积层的输入作为肝脏分割网络的第一残差模块的输入，第一个混合深度可分离卷积层的输出连接第二个混合深度可分离卷积层的输入，第二个混合深度可分离卷积层的输出连接坐标注意力机制层的输入，坐标注意力机制层的输出连接第一个卷积层的输入；第二个卷积层的输入连接第一个混合深度可分离卷积层的输入；第一个卷积层和第二个卷积层的输出同时连接特征相加层的输入，特征相加层的输出作为肝脏分割网络的第一残差模块的输出。
上述第二残差模块由3个卷积层和1个特征相加层组成；第一个卷积层的输入作为第二残差模块的输入，第一个卷积层的输出连接第二个卷积层的输入；第三个卷积层的输入连接第一个卷积层的输入；第二个卷积层和第三个卷积层的输出同时连接特征相加层的输入；特征相加层的输出作为第二残差模块的输出。
上述池化模块由1个最大池化层、1个卷积层和1个拼接层组成；最大池化层和卷积层的输入共同作为池化模块的输入，最大池化层和卷积层的输出共同连接拼接层的输入，拼接层的输出作为池化模块的输出。
上述上采样模块由1个双线性插值层和1个拼接层组成；双线性插值层的输入作为上采样模块的第一输入，双线性插值层的输出连接拼接层的一个输入，拼接层的另一个输入作为上采样模块的第二输入，拼接层的输出作为上采样模块的输出。
与现有技术相比，本发明具有如下特点：
1、采取肝脏分割网络和肝肿瘤分割网络级联的方式，肝脏分割网络先从CT图像中分割肝脏，提取出肿瘤感兴趣区域，再将肿瘤感兴趣区域作为肝肿瘤分割网络的输入，进一步实现对肝脏肿瘤的精准分割，这解决了因肿瘤在整幅CT图像中占比小而造成的数据不平衡问题；
2、肝脏分割网络和肝肿瘤分割网络均以残差网络作为骨架，残差网络极大提高了可以有效训练的网络的深度，加速训练网络的收敛，减少模型退化，从而有效避免了随着网络层数加深梯度消失的问题，解决了因网络过深而出现的梯度弥散问题；
3、混合深度可分离卷积通过使用不同尺寸的卷积核在不同的通道上进行运算，将多尺度的卷积核融合到一个单独的卷积操作中，从而捕获不同分辨率的特征模式，实现了对边缘细节以及更深层小目标特征的提取；通过加强分割网络特征图的感受野以及充分利用通道与空间结构信息，可以更好地捕获像素级细节和空间信息，从而提高网络对医学图像的分割性能。
4、坐标注意力机制能够捕获跨通道的信息，使得模型能够更精准地定位并识别病变区域。
附图说明
图1为基于级联网络的肝脏肿瘤分割模型的原理图。
图2为基于混合深度可分离卷积残差分割网络(CMDCRA-UNet)的原理图。
图3为第一残差模块(Residual block 1)的原理图，(a)为肝脏分割网络中的第一残差模块，(b)为肝肿瘤分割网络中的第一残差模块。
图4为第二残差模块(Residual block 2)的原理图。
图5为池化模块(Pool)的原理图。
图6为上采样模块(Up Sample)的原理图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实例，对本发明进一步详细说明。
一种基于级联网络的肝脏肿瘤分割方法，首先构建基于级联网络的肝脏肿瘤分割模型；然后利用事先已经分割出肝脏肿瘤的CT图像构建训练样本集，并利用训练样本集对所构建的基于级联网络的肝脏肿瘤分割模型进行深度学习训练，得到训练好的基于级联网络的肝脏肿瘤分割模型；最后将当前需要进行肝脏肿瘤分割的CT图像送到训练好的基于级联网络的肝脏肿瘤分割模型中，得到已分割出肝脏肿瘤的CT图像。
虽然肝脏肿瘤密度与正常肝脏组织密度存在差异，但是肝脏肿瘤密度与腹部其他器官的组织密度相近，因此使用网络直接对肿瘤进行分割难以获得理想效果，而肝脏感兴趣区域则可以使原始的CT图像只保留肝脏区域，从而有效避免腹部其他器官对肝脏肿瘤分割的干扰。为此，本发明先利用肝脏分割网络用于提取CT图像中的肝脏区域，再利用肝肿瘤分割网络提取肝脏区域中的肿瘤区域。也就是说，本发明所构建的基于级联网络的肝脏肿瘤分割模型，由肝脏分割网络、肝肿瘤分割网络、以及特征相加层组成。如图1所示。肝脏分割网络的输入作为基于级联网络的肝脏肿瘤分割模型的输入，肝脏分割网络的输入和输出同时连接特征相加层的输入，特征相加层的输出连接肝肿瘤分割网络的输入，肝肿瘤分割网络的输出作为基于级联网络的肝脏肿瘤分割模型的输出。肝脏分割网络先从原始CT图像中分割肝脏，提取出肿瘤感兴趣区域，再将肿瘤感兴趣区域和作为肝肿瘤分割网络的输入，肝肿瘤分割网络进一步实现对肝脏肿瘤的精准分割。
肝脏分割网络和肿瘤分割网均为基于混合深度可分离卷积残差分割网络。基于混合深度可分离卷积残差分割网络，整体采用编码-解码架构，并使用残差网络作为骨架。该基于混合深度可分离卷积残差分割网络由1个输入层、2个卷积层、5个第一残差模块、4个第二残差模块、4个池化模块、4个上采样模块、以及1个输出层组成。如图2所示。输入层的输入作为基于混合深度可分离卷积残差分割网络的输入。输入层的输出经由第一个卷积层连接第一个第一残差模块的输入，第一残差模块的输出连接第一个池化模块的输入和第四上采样模块的第一输入，第一个池化模块的输出连接第二个第一残差模块的输入，第二个第一残差模块的输出连接第二个池化模块的输入和第三上采样模块的第一输入，第二个池化模块的输出连接第三个第一残差模块的输入，第三个第一残差模块的输出连接第三个池化模块的输入和第二上采样模块的第一输入，第三个池化模块的输出连接第四个第一残差模块的输入，第四个第一残差模块的输出连接第四个池化模块的输入和第一上采样模块的第一输入，第四个池化模块的输出连接第五个第一残差模块的输入。第五个第一残差模块的输出连接第一个上采样模块的第二输入，第一个上采样模块的输出连接第一个第二残差模块的输入，第一个第二残差模块的输出连接第二个上采样模块的第二输入，第二个上采样模块的输出连接第二个第二残差模块的输入，第二个第二残差模块的输出连接第三个上采样模块的第二输入，第三个上采样模块的输出连接第三个第二残差模块的输入，第三个第二残差模块的输出连接第四个上采样模块的第二输入，第四个上采样模块的输出连接第四个第三残差模块的输入，第四个第二残差模块的输出经由第二个卷积层连接输出层的输入。输出层的输出作为基于混合深度可分离卷积残差分割网络的输出。在基于混合深度可分离卷积残差分割网络中，首先输入图像(原始CT图像或肿瘤感兴趣区域)使用3×3卷积升高维度，编码器采用第一残差模块进行卷积操作，并配合池化操作提取不同层次的特征图，接着解码器使用第二残差模块进行卷积操作，并配合上采样操作，通过融合对应的编码层特征来补全下采样缺失的信息，最后使用1×1卷积进行像素级分类以分割肝脏区域或肿瘤区域。
在基于混合深度可分离卷积残差分割网络中，第一残差模块用于编码路径上提取特征并获取上下文信息。在本发明中，肝脏分割网络的第一残差模块和肝肿瘤分割网络的第一残差模块略有不同。
在肝脏分割网络中，其基于混合深度可分离卷积残差分割网络的第一残差模块由2个混合深度可分离卷积层、2个卷积层和1个特征相加层组成。如图3(a)所示。第一个混合深度可分离卷积层的输入作为肝脏分割网络的第一残差模块的输入，第一个混合深度可分离卷积层的输出连接第二个混合深度可分离卷积层的输入，第二个混合深度可分离卷积层的输出连接第一个卷积层的输入；第二个卷积层的输入连接第一个混合深度可分离卷积层的输入；第一个卷积层和第二个卷积层的输出同时连接特征相加层的输入，特征相加层的输出作为肝脏分割网络的第一残差模块的输出。在肝脏分割网络的第一残差模块中，输入的特征图经过两次混合深度可分离卷积，再进行1×1卷积，将1×1卷积后的特征图与最初输入的特征图经过1×1卷积后的特征图进行特征相加作为第一残差模块的输出。
在肝肿瘤分割网络中，其基于混合深度可分离卷积残差分割网络的第一残差模块由2个混合深度可分离卷积层、2个卷积层、1个坐标注意力机制层和1个特征相加层组成。如图3(b)所示。第一个混合深度可分离卷积层的输入作为肝脏分割网络的第一残差模块的输入，第一个混合深度可分离卷积层的输出连接第二个混合深度可分离卷积层的输入，第二个混合深度可分离卷积层的输出连接坐标注意力机制层的输入，坐标注意力机制层的输出连接第一个卷积层的输入；第二个卷积层的输入连接第一个混合深度可分离卷积层的输入；第一个卷积层和第二个卷积层的输出同时连接特征相加层的输入，特征相加层的输出作为肝脏分割网络的第一残差模块的输出。在肝肿瘤分割网络的第一残差模块中，输入的特征图经过两次混合深度可分离卷积，接着经过坐标注意力机制，再进行1×1卷积，将1×1卷积后的特征图与最初输入的特征图经过1×1卷积后的特征图进行特征相加作为第一残差模块的输出。
由于残差网络中的卷积感受野范围有限，导致网络提取的高分辨率肝脏边缘及肿瘤的图像特征不足，因此本发明将混合深度可分离卷积加入到第一残差模块中，混合深度可分离卷积对通道进行分组，再利用不同尺寸的卷积核进行卷积，从而获取混合的感受野，同时捕获高分辨率特征和低分辨率特征。在混合深度可分离卷积中，将输入的图像的通道均匀分成4组，分别使用{3×3，5×5，7×7，9×9}的卷积核进行卷积，最后将卷积后的四张特征图进行拼接。
在基于混合深度可分离卷积残差分割网络中，第二残差模块用于解码路径上精准定位肝脏区域和肿瘤区域。在本发明中，肝脏分割网络的第二残差模块和肝肿瘤分割网络的第二残差模块相同。第二残差模块由3个卷积层和1个特征相加层组成。如图4所示。第一个卷积层的输入作为第二残差模块的输入，第一个卷积层的输出连接第二个卷积层的输入；第三个卷积层的输入连接第一个卷积层的输入；第二个卷积层和第三个卷积层的输出同时连接特征相加层的输入；特征相加层的输出作为第二残差模块的输出。在第二残差模块中，输入的特征图经过两次3×3卷积操作，再与最初输入的特征图经过1×1卷积后的特征图进行特征相加作为第二残差模块的输出。
在基于混合深度可分离卷积残差分割网络中，池化模块由1个最大池化层、1个卷积层和1个拼接层组成。如图5所示。最大池化层和卷积层的输入共同作为池化模块的输入，最大池化层和卷积层的输出共同连接拼接层的输入，拼接层的输出作为池化模块的输出。在池化模块中，分别采用最大池化和步长为2的3×3卷积来减小特征图的尺寸，并将池化后的特征图与卷积后的特征图进行拼接，以此扩大感受野。
在基于混合深度可分离卷积残差分割网络中，上采样模块由1个双线性插值层和1个拼接层组成。如图6所示。双线性插值层的输入作为上采样模块的第一输入，双线性插值层的输出连接拼接层的一个输入，拼接层的另一个输入作为上采样模块的第二输入，拼接层的输出作为上采样模块的输出。在上采样模块中，采用双线性插值扩充图像尺寸，并将扩充后的特征图与编码路径中对应的特征图进行拼接，达到更好的特征重建效果。
需要说明的是，尽管以上本发明所述的实施例是说明性的，但这并非是对本发明的限制，因此本发明并不局限于上述具体实施方式中。在不脱离本发明原理的情况下，凡是本领域技术人员在本发明的启示下获得的其它实施方式，均视为在本发明的保护之内。
Claims (6)
1.一种基于级联网络的肝脏肿瘤分割方法，其特征是，包括步骤如下：
首先，构建基于级联网络的肝脏肿瘤分割模型；该基于级联网络的肝脏肿瘤分割模型由肝脏分割网络、肝肿瘤分割网络、以及特征相加层组成；肝脏分割网络的输入作为基于级联网络的肝脏肿瘤分割模型的输入，肝脏分割网络的输入和输出同时连接特征相加层的输入，特征相加层的输出连接肝肿瘤分割网络的输入，肝肿瘤分割网络的输出作为基于级联网络的肝脏肿瘤分割模型的输出；
然后，利用事先已经分割出肝脏肿瘤的CT图像构建训练样本集，并利用训练样本集对所构建的基于级联网络的肝脏肿瘤分割模型进行深度学习训练，得到训练好的基于级联网络的肝脏肿瘤分割模型；
最后，将当前需要进行肝脏肿瘤分割的CT图像送到训练好的基于级联网络的肝脏肿瘤分割模型中，得到已分割出肝脏肿瘤的CT图像。
2.根据权利要求1所述的一种基于级联网络的肝脏肿瘤分割方法，其特征是，肝脏分割网络和肝肿瘤分割网络均为基于混合深度可分离卷积残差分割网络；
该基于混合深度可分离卷积残差分割网络由1个输入层、2个卷积层、5个第一残差模块、4个第二残差模块、4个池化模块、4个上采样模块和1个输出层组成；
输入层的输入作为基于混合深度可分离卷积残差分割网络的输入；
输入层的输出经由第一个卷积层连接第一个第一残差模块的输入，第一残差模块的输出连接第一个池化模块的输入和第四上采样模块的第一输入，第一个池化模块的输出连接第二个第一残差模块的输入，第二个第一残差模块的输出连接第二个池化模块的输入和第三上采样模块的第一输入，第二个池化模块的输出连接第三个第一残差模块的输入，第三个第一残差模块的输出连接第三个池化模块的输入和第二上采样模块的第一输入，第三个池化模块的输出连接第四个第一残差模块的输入，第四个第一残差模块的输出连接第四个池化模块的输入和第一上采样模块的第一输入，第四个池化模块的输出连接第五个第一残差模块的输入；
第五个第一残差模块的输出连接第一个上采样模块的第二输入，第一个上采样模块的输出连接第一个第二残差模块的输入，第一个第二残差模块的输出连接第二个上采样模块的第二输入，第二个上采样模块的输出连接第二个第二残差模块的输入，第二个第二残差模块的输出连接第三个上采样模块的第二输入，第三个上采样模块的输出连接第三个第二残差模块的输入，第三个第二残差模块的输出连接第四个上采样模块的第二输入，第四个上采样模块的输出连接第四个第三残差模块的输入，第四个第二残差模块的输出经由第二个卷积层连接输出层的输入；
输出层的输出作为基于混合深度可分离卷积残差分割网络的输出。
3.根据权利要求2所述的一种基于级联网络的肝脏肿瘤分割方法，其特征是，肝脏分割网络的第一残差模块和肝肿瘤分割网络的第一残差模块不同；
肝脏分割网络的第一残差模块由2个混合深度可分离卷积层、2个卷积层和1个特征相加层组成；第一个混合深度可分离卷积层的输入作为肝脏分割网络的第一残差模块的输入，第一个混合深度可分离卷积层的输出连接第二个混合深度可分离卷积层的输入，第二个混合深度可分离卷积层的输出连接第一个卷积层的输入；第二个卷积层的输入连接第一个混合深度可分离卷积层的输入；第一个卷积层和第二个卷积层的输出同时连接特征相加层的输入，特征相加层的输出作为肝脏分割网络的第一残差模块的输出；
肝肿瘤分割网络的第一残差模块由2个混合深度可分离卷积层、2个卷积层、1个坐标注意力机制层和1个特征相加层组成；第一个混合深度可分离卷积层的输入作为肝脏分割网络的第一残差模块的输入，第一个混合深度可分离卷积层的输出连接第二个混合深度可分离卷积层的输入，第二个混合深度可分离卷积层的输出连接坐标注意力机制层的输入，坐标注意力机制层的输出连接第一个卷积层的输入；第二个卷积层的输入连接第一个混合深度可分离卷积层的输入；第一个卷积层和第二个卷积层的输出同时连接特征相加层的输入，特征相加层的输出作为肝脏分割网络的第一残差模块的输出。
4.根据权利要求2所述的一种基于级联网络的肝脏肿瘤分割方法，其特征是，第二残差模块由3个卷积层和1个特征相加层组成；第一个卷积层的输入作为第二残差模块的输入，第一个卷积层的输出连接第二个卷积层的输入；第三个卷积层的输入连接第一个卷积层的输入；第二个卷积层和第三个卷积层的输出同时连接特征相加层的输入；特征相加层的输出作为第二残差模块的输出。
5.根据权利要求2所述的一种基于级联网络的肝脏肿瘤分割方法，其特征是，池化模块由1个最大池化层、1个卷积层和1个拼接层组成；最大池化层和卷积层的输入共同作为池化模块的输入，最大池化层和卷积层的输出共同连接拼接层的输入，拼接层的输出作为池化模块的输出。
6.根据权利要求2所述的一种基于级联网络的肝脏肿瘤分割方法，其特征是，上采样模块由1个双线性插值层和1个拼接层组成；双线性插值层的输入作为上采样模块的第一输入，双线性插值层的输出连接拼接层的一个输入，拼接层的另一个输入作为上采样模块的第二输入，拼接层的输出作为上采样模块的输出。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310146446.4A CN116206109B (zh) | 2023-02-21 | 2023-02-21 | 一种基于级联网络的肝脏肿瘤分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310146446.4A CN116206109B (zh) | 2023-02-21 | 2023-02-21 | 一种基于级联网络的肝脏肿瘤分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116206109A true CN116206109A (zh) | 2023-06-02 |
| CN116206109B CN116206109B (zh) | 2023-11-07 |
Family
ID=86515543
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310146446.4A Active CN116206109B (zh) | 2023-02-21 | 2023-02-21 | 一种基于级联网络的肝脏肿瘤分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116206109B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111179237A (zh) * | 2019-12-23 | 2020-05-19 | 北京理工大学 | 一种肝脏以及肝脏肿瘤的图像分割方法和装置 |
| US20200364870A1 (en) * | 2019-05-14 | 2020-11-19 | University-Industry Cooperation Group Of Kyung Hee University | Image segmentation method and apparatus, and computer program thereof |
| CN112686905A (zh) * | 2020-12-22 | 2021-04-20 | 天津大学 | 基于深度可分离卷积的轻量级脑肿瘤分割方法 |
| CN112861727A (zh) * | 2021-02-09 | 2021-05-28 | 北京工业大学 | 一种基于混合深度可分离卷积的实时语义分割方法 |
| US20210406561A1 (en) * | 2019-03-12 | 2021-12-30 | Zhejiang Dahua Technology Co., Ltd. | Systems and methods for lane detection |
| US20210407080A1 (en) * | 2020-06-25 | 2021-12-30 | Arrive PTE Ltd. | Systems and Methods for Characterizing Cells and Microenvironments |
| CN114240962A (zh) * | 2021-11-23 | 2022-03-25 | 湖南科技大学 | 一种基于深度学习的ct图像肝脏肿瘤区域自动分割方法 |
| CN114693933A (zh) * | 2022-04-07 | 2022-07-01 | 天津大学 | 基于生成对抗网络和多尺度特征融合的医学影像分割装置 |
| CN115131369A (zh) * | 2022-06-15 | 2022-09-30 | 南京邮电大学 | 一种基于3DA-U-Nets架构的CT图像肝脏肿瘤分割方法 |
| CN115661538A (zh) * | 2022-11-02 | 2023-01-31 | 南通大学 | 一种基于多粒度Transformer的图像分类方法 |
-
2023
- 2023-02-21 CN CN202310146446.4A patent/CN116206109B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210406561A1 (en) * | 2019-03-12 | 2021-12-30 | Zhejiang Dahua Technology Co., Ltd. | Systems and methods for lane detection |
| US20200364870A1 (en) * | 2019-05-14 | 2020-11-19 | University-Industry Cooperation Group Of Kyung Hee University | Image segmentation method and apparatus, and computer program thereof |
| CN111179237A (zh) * | 2019-12-23 | 2020-05-19 | 北京理工大学 | 一种肝脏以及肝脏肿瘤的图像分割方法和装置 |
| US20210407080A1 (en) * | 2020-06-25 | 2021-12-30 | Arrive PTE Ltd. | Systems and Methods for Characterizing Cells and Microenvironments |
| CN112686905A (zh) * | 2020-12-22 | 2021-04-20 | 天津大学 | 基于深度可分离卷积的轻量级脑肿瘤分割方法 |
| CN112861727A (zh) * | 2021-02-09 | 2021-05-28 | 北京工业大学 | 一种基于混合深度可分离卷积的实时语义分割方法 |
| CN114240962A (zh) * | 2021-11-23 | 2022-03-25 | 湖南科技大学 | 一种基于深度学习的ct图像肝脏肿瘤区域自动分割方法 |
| CN114693933A (zh) * | 2022-04-07 | 2022-07-01 | 天津大学 | 基于生成对抗网络和多尺度特征融合的医学影像分割装置 |
| CN115131369A (zh) * | 2022-06-15 | 2022-09-30 | 南京邮电大学 | 一种基于3DA-U-Nets架构的CT图像肝脏肿瘤分割方法 |
| CN115661538A (zh) * | 2022-11-02 | 2023-01-31 | 南通大学 | 一种基于多粒度Transformer的图像分类方法 |
Non-Patent Citations (4)
| Title |
|---|
| ABDUL QAYYUM等: "《Multilevel depth-wise context attention network with atrous mechanism for segmentation of COVID19 affected regions》", 《NEURAL COMPUTING AND APPLICATIONS》 * |
| MANJU DABASS等: "《MTU: A multi-tasking U-net with hybrid convolutional learning and attention modules for cancer classification and gland Segmentation in Colon Histopathological Images》", 《COMPUTERS IN BIOLOGY AND MEDICINE》 * |
| 孙俊 等: "《多通道深度可分离卷积模型实时识别复杂背景下甜菜与杂草》", 《农业工程学报》, vol. 35, no. 12 * |
| 陈希彤 等: "《基于全局深度分离卷积残差网络的高效人脸识别算法》", 《武汉工程大学学报》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116206109B (zh) | 2023-11-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109615636B (zh) | Ct影像的肺叶段分割中的血管树构造方法、装置 | |
| CN113012172B (zh) | 一种基于AS-UNet的医学图像分割方法及*** | |
| CN111369565B (zh) | 一种基于图卷积网络的数字病理图像的分割与分类方法 | |
| CN108230339B (zh) | 一种基于伪标签迭代标注的胃癌病理切片标注补全方法 | |
| CN113674253B (zh) | 基于U-Transformer的直肠癌CT影像自动分割方法 | |
| WO2023071531A1 (zh) | 一种基于深度形状学习的肝脏ct自动分割方法 | |
| CN113870258A (zh) | 一种基于对抗学习的无标签胰腺影像自动分割*** | |
| CN111127482A (zh) | 基于深度学习的ct影像肺气管的分割方法及*** | |
| CN111429473B (zh) | 基于多尺度特征融合的胸片肺野分割模型建立及分割方法 | |
| CN114092439A (zh) | 一种多器官实例分割方法及*** | |
| CN112446892A (zh) | 一种基于注意力学习的细胞核分割方法 | |
| CN111275712B (zh) | 一种面向大尺度图像数据的残差语义网络训练方法 | |
| CN114119977A (zh) | 一种基于图卷积的Transformer胃癌癌变区域图像分割方法 | |
| CN112465754B (zh) | 基于分层感知融合的3d医疗图像分割方法、装置及存储介质 | |
| CN108305253A (zh) | 一种基于多倍率深度学习的病理全切片诊断方法 | |
| CN114037714A (zh) | 一种面向******穿刺的3d mr与trus图像分割方法 | |
| CN113888466A (zh) | 一种基于ct图像的肺结节图像检测方法及*** | |
| CN112734755A (zh) | 基于3d全卷积神经网络与多任务学习的肺叶分割方法 | |
| CN113436173A (zh) | 基于边缘感知的腹部多器官分割建模、分割方法及*** | |
| CN112150449A (zh) | 一种脑卒中病灶分割方法和*** | |
| CN116664590B (zh) | 基于动态对比增强磁共振图像的自动分割方法及装置 | |
| CN113643310A (zh) | 一种基于上下文聚合的mri图像肝血管分割方法 | |
| CN116206109B (zh) | 一种基于级联网络的肝脏肿瘤分割方法 | |
| CN117523204A (zh) | 面向医疗场景的肝脏肿瘤图像分割方法、装置和可读存储介质 | |
| CN112950599B (zh) | 一种基于深度学习的大肠空腔区及肠内容物标注方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |