CN112767407A - 一种基于级联门控3DUnet模型的CT图像肾脏肿瘤分割方法 - Google Patents

一种基于级联门控3DUnet模型的CT图像肾脏肿瘤分割方法 Download PDF

Info

Publication number
CN112767407A
CN112767407A CN202110141339.3A CN202110141339A CN112767407A CN 112767407 A CN112767407 A CN 112767407A CN 202110141339 A CN202110141339 A CN 202110141339A CN 112767407 A CN112767407 A CN 112767407A
Authority
CN
China
Prior art keywords
tumor
convolutional layer
kidney
segmentation
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110141339.3A
Other languages
English (en)
Other versions
CN112767407B (zh
Inventor
孙玉宝
吴敏
徐宏伟
刘青山
辛宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Information Science and Technology
Original Assignee
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Information Science and Technology filed Critical Nanjing University of Information Science and Technology
Priority to CN202110141339.3A priority Critical patent/CN112767407B/zh
Publication of CN112767407A publication Critical patent/CN112767407A/zh
Application granted granted Critical
Publication of CN112767407B publication Critical patent/CN112767407B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30084—Kidney; Renal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于级联门控3DUnet模型的CT图像肾脏肿瘤分割方法，包括：采集腹部CT扫描中包含肾脏的图像序列，对每个图像序列中的肾脏及肿瘤进行标注，生成对应的标注掩码,构建数据集Dataset；对Dataset进行P1预处理操作，构建肾脏(包括肿瘤)分割的U型深度网络模型M1；对Dataset中的图像序列与对应的标注掩码进行裁剪，取出只有肾脏(或肿瘤)的体素部分，进行P2预处理操作，基于门控卷积层构建肿瘤分割的深度网络分割模型M2；分别对模型M1、M2进行训练；通过模型M1和M2的级联处理分割出肾脏肿瘤区域。本发明通过网络级联的两阶段分割模型，并联合门控卷积层构建了用于肿瘤分割的深度网络模型，能够对癌变肾脏的形状变化保持鲁棒，有效分割出不同尺寸的肿瘤。

Description

一种基于级联门控3DUnet模型的CT图像肾脏肿瘤分割方法
所属技术领域
本发明涉及计算机、软件类以及人工智能技术等领域，尤其涉及基于级联门控3DUnet模型的CT图像肾脏肿瘤分割方法。
背景技术
医学图像成像技术在科学技术的迅速发展中取得了巨大的进步，该技术集现代医学、物理学、电子信息和计算机技术等诸多技术于一体，已经成为医学领域不可或缺的重要手段。计算机断层扫描(Computed Tomography，简称CT)是当前广泛使用的医学成像方式，能够准确全面地描述人体器官、组织和病灶的详细特征，使得专业医师能够更直接、更清晰地对病变部位进行非侵入式观察，以便及时制定有效的治疗方案，从而提高疾病的确诊效率和治愈率。肾脏是泌尿***的关键组成部分，担任着调节酸碱平衡和新陈代谢等重要功能，由于人们生活节奏的加快和工作压力的增大，导致各种肾脏疾病不断增加。肾肿瘤是常见的肾脏疾病，即“肾癌”，也叫肾细胞癌，起源于肾上皮的恶性肿瘤，其病理类型复杂，临床表现殊异。相比于其他医学成像方式，CT图像能够在较好地呈现和区分出肾癌的病变特性，成为医生对肾脏疾病进行初步诊断和后续跟进的重要依据。
在临床治疗中，准确分割出肾脏和病变区域对于病情诊断，功能评估和治疗决策非常重要。早期的分割工作是由有经验的医生手动勾画的，这种分割方式主观性强、效率低并且分割结果无法复现，不能很好地满足临床要求，已经无法满足当前的定量诊断需求。随着现代科学技术的发展，使得利用计算机技术实现医学图像分割成为可能，研究人员开始纷纷探索自动分割的方法。然而，准确可靠地分割出CT图像中的肾脏存在一些难点，比如：CT图像对比度低，肾脏与相邻的器官和组织之间边界模糊，个体形状存在差异，肾脏内部的水和空气容易引起噪声和空洞等。对于肾癌患者而言，由于肿瘤尺寸多样，且与正常肾脏组织像素值相近，以致边界难以区分，使得分割CT图像中的肾脏肿瘤存在诸多挑战。因此，开发用于CT图像中的肾脏肿瘤的全自动分割算法有着很实际的研究意义。
目前，深度学习在各个领域均取得了显著的成果，其优越性得益于卷积神经网络能够自动提取特征的能力，使得深度学习模型能够普遍适用于不同任务，并且这种优势随着相关理论的不断深入表现地越来越明显，使之迅速发展成大数据时代的主流技术。近年来，用于医学图像分割的深度学习模型逐渐出现在当前的研究之中。虽然卷积神经网络能够自动提取有效的特征，但是针对CT图像肾脏肿瘤分割问题，仍存在对于肾脏形态变化不够鲁棒，以及肿瘤分割不够准确等问题。建立图像肾脏肿瘤的精确分割模型可为临床提供定量诊断依据，辅助医生决策，具有重要的临床意义和良好的应用前景。
发明目的：
本发明所要解决的技术问题在于CT图像肾脏及其肿瘤分割，提出基于级联门控三维全卷积网络3DUnet模型的肾脏肿瘤分割算法，实现CT图像序列中的肾脏肿瘤区域的准确分割。
技术方案：
为解决上述技术问题，本发明提供了一种基于级联门控3DUnet模型的肾脏肿瘤分割算法，其技术方案如下：
一种基于级联门控3DUnet模型的CT图像肾脏肿瘤分割方法，包括如下具体步骤：
S101，采集腹部CT扫描中包含肾脏的图像，取出包含肾脏或肿瘤的切片图像构成图像序列，利用标注软件对每个切片图像中的肾脏及肿瘤进行标注，生成对应的标注掩码，构建数据集Dataset；
S102，对Dataset进行P1预处理，P1预处理后的Dataset划分为M1训练集和M1测试集，对构建的3DUnet进行训练及测试，得到肾脏分割的深度网络模型M1；
S103，对Dataset进行P2预处理，P2预处理后的划分Dataset为M2训练集和M2测试集，对构建的三维门控残差全卷积网络进行训练及测试，得到肿瘤分割的深度网络分割模型M2；
S104，将待分割图像序列进行P1预处理后，利用M1分割出肾脏区域，并将分割结果进行拼接；对拼接后的分割结果进行裁剪，取出只有肾脏或肿瘤的体素，进行P2预处理后，利用M2分割出肿瘤区域。
进一步，S101中利用ITK-SNAP医学图像标注软件对切片图像中的肾脏及肿瘤进行标注，生成对应的标注掩码，由切片图像及其对应的标注掩码构成Dataset。
进一步，S102中对Dataset进行P1预处理，具体包括：将Dataset中所有切片图像及其对应的标注掩码插值成相同分辨率体素间距；对插值后的每个切片图像及其对应的标注掩码进行随机裁剪，获取体素小块，并对体素小块进行归一化处理；插值后的分辨率低于插值前。
进一步，依据体素小块的尺寸构建3DUnet，用于获得肾脏区域的分割掩码。
进一步，S103中对Dataset进行P2预处理，具体包括：将Dataset中所有切片图像及其对应的标注掩码插值成相同的分辨率体素间距，对插值后的标注掩码利用边缘检测获取肿瘤边界，对插值后的每个切片图像及其对应的标注掩码和肿瘤边界进行随机裁剪，获取体素小块，并对体素小块进行归一化处理；插值后的分辨率高于插值前。
进一步，依据体素小块的尺寸构建三维门控残差全卷积网络，三维门控残差全卷积网络包括主干网络和肿瘤形状分支网络；主干网络为3DUnet，其中的编码器和解码器对应相同分辨率的特征图之间进行跳跃连接；肿瘤形状分支网络包括三级级联的门控卷积层、3x3x3卷积层、三线性插值和1x1x1卷积层，解码器的第一级反卷积层的输出经过1x1x1卷积层、3x3x3卷积层、三线性插值后作为第一级门控卷积层的输入，解码器的第二级反卷积层的输出经过1x1x1卷积层作后作为第一级门控卷积层的输入，第一级门控卷积层的输出经过3x3x3卷积层、三线性插值后作为第二级门控卷积层的输入，解码器的第三级反卷积层的输出经过1x1x1卷积层后作为第二级门控卷积层的输入，第二级门控卷积层的输出经过3x3x3卷积层、三线性插值后作为第三级门控卷积层的输入，解码器的第四级反卷积层的输出经过1x1x1卷积层后作为第三级门控卷积层的输入，第三级门控卷积层的输出经过1x1x1卷积层后与解码器的输出一起作为一个全连接层的输入，全连接层的输出依次经过1x1x1卷积层和一个Softmax分类器后输出概率图谱；第三级门控卷积层的输出经过1x1x1卷积层后作为sigmoid函数的输入，sigmoid函数输出最终预测掩码。
本发明相比现有技术具有如下优点：
提出了基于网络级联的两阶段的分割模型，采用随机裁剪的策略，在一定程度上减轻了类别不平衡和小目标的影响。针对肿瘤边界难以区分的问题，以3DUnet为主干网络，基于门控卷积层构建了肿瘤形状分支网络，能够预测出肿瘤的边界，从而改善了肿瘤分割性能。
附图说明
图1是本发明方法的控制流程图；
图2是本发明方法的预测操作示意图；
图3是本发明中M1模型结构图；
图4是本发明中M2模型结构图。
具体实施方式
为了使本发明所需要解决的技术问题、技术方案及有益效果更加清楚、明白，以下结合附图和实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本实施例采用本发明提供的一种基于级联门控3DUnet模型的肾脏肿瘤分割算法，对CT图像中肾脏肿瘤进行分割，如图1和2所示，包括如下具体步骤：
S101，采集腹部CT扫描中包含肾脏的图像，，取出包含肾脏或肿瘤的切片图像构成图像序列，利用标注软件对每个切片图像中的肾脏及肿瘤进行标注，生成对应的标注掩码，构建数据集Dataset。
本实施例数据来自KiTS19比赛数据集，原始数据均为平扫CT序列数据，图像及对应的人工标注掩码以匿名的NIFTI格式提供，其形状为(切片数，高度，宽度)。其中，切片数对应于轴向视图，并且随着切片索引的从上到下增加，在所有患者在图像采集过程中都是仰卧的。当病人有多个扫描图像时，选取切片厚度最小的那一例，数据集的切片厚度为1mm至5mm。
S102，对Dataset数据集进行P1预处理操作，划分为训练集和测试集，基于3DUnet构建肾脏分割的深度网络模型M1(如图3所示)。
进行P1预处理操作：将所有样例的序列图像利用三线性插值重新采样为3.22×1.62×1.62mm(最低分辨率)的体素间距作为标准间距，将所有样例的人工标注掩码利用最近邻插值采样到相同的体素间距，再通过随机裁剪(50％的重叠率，即步长为(40,80,80))的方法取出每个样例中尺寸为80×160×160(中值)的体素小块，将每个样例的序列图像的CT值都限制在[-79,304](所有像素范围的5％～95％)的范围内，以剔除某些物质造成的异常强度值，由于网络中权重初始化的性质，使用z-score归一化处理：对每个像素值减去均值并除以方差，使得图像的像素处在更容易被CNN处理的范围内。依据体素小块的尺寸设计3DUnet，包括编码器和解码器。编码器的参数设置如表1所示，解码器采用与之对称的结构。
表1编码器的参数设置
类型 尺寸/步长 输出尺寸
卷积层(x2) 3x3x3/1 80x160x160x30
最大池化层 1x2x2/1(2,2) 80x80x80x30
卷积层(x2) 3x3x3/1 80x80x80x60
最大池化层 2x2x2/2 40x40x40x60
卷积层(x2) 3x3x3/1 40x40x40x120
最大池化层 2x2x2/2 20x20x20x120
卷积层(x2) 3x3x3/1 20x20x20x240
最大池化层 2x2x2/2 10x10x10x240
卷积层(x2) 3x3x3/1 10x10x10x320
最大池化层 2x2x2/2 5x5x5x320
S103，对Dataset数据集中的图像序列与对应的标注掩码进行裁剪，取出只有肾脏(或肿瘤)的体素部分，进行P2预处理操作，将数据划分为训练集和测试集，基于三维门控残差全卷积网络构建肿瘤分割的深度网络分割模型M2。
进行P2预处理操作：将所有样例、人工标注掩码和肿瘤边界掩码采用相同的方法重新采样为3×0.78×0.78mm(中值)的体素间距作为标准，依据人工标注的信息取出包含肾脏(或肿瘤)的VOI区域，重置除了肾脏(或肿瘤)之外的像素的值为0，再通过随机裁剪(50％的重叠率，步长为(24,64,64))的方法取出每个VOI区域中尺寸为48×128×128(中值)的体素小块，将每个样例的序列图像的CT值都限制在[-79,304](所有像素范围的5％～95％)的范围内，以剔除某些物质造成的异常强度值，由于网络中权重初始化的性质，使用z-score归一化处理：对每个像素值减去均值并除以方差。以体素小块作为网络输入设计U型全卷积神经网络，通过级联门控卷积层、1x1x1卷积层、三线性插值和1x1x1卷积层构成肿瘤形状分支网络。
如图4所示，三维门控残差全卷积网络包括主干网络和肿瘤形状分支网络；主干网络为3DUnet，其中的编码器和解码器对应相同分辨率的特征图之间进行跳跃连接，然后经过1x1x1卷积进行通道数降维，最后经过一个Softmax分类器输出概率图谱。肿瘤形状分支网络包括三级级联的门控卷积层、3x3x3卷积层、三线性插值和1x1x1卷积层，解码器的第一级反卷积层的输出经过1x1x1卷积层、3x3x3卷积层、三线性插值后作为第一级门控卷积层的输入，解码器的第二级反卷积层的输出经过1x1x1卷积层作后作为第一级门控卷积层的输入，第一级门控卷积层的输出经过3x3x3卷积层、三线性插值后作为第二级门控卷积层的输入，解码器的第三级反卷积层的输出经过1x1x1卷积层后作为第二级门控卷积层的输入，第二级门控卷积层的输出经过3x3x3卷积层、三线性插值后作为第三级门控卷积层的输入，解码器的第四级反卷积层的输出经过1x1x1卷积层后作为第三级门控卷积层的输入，第三级门控卷积层的输出经过1x1x1卷积层后与解码器的输出一起作为一个全连接层的输入，全连接层的输出依次经过1x1x1卷积层和一个Softmax分类器后输出概率图谱；第三级门控卷积层的输出经过1x1x1卷积层后作为sigmoid函数的输入，sigmoid函数输出最终预测掩码。主干网络编码器结构仍采用表1的设置。其中3x3x3卷积层的作用是提取边界特征，三线性插值的作用是调节特征图尺寸，1x1x1卷积的作用是通道数降维。
三维门控残差全卷积网络对输入CT图像依次经过主干网络的编码器和解码器包括的下采样和上采样部分，用来提取特征信息，然后经过肿瘤形状分支网络提取肿瘤区域形状，将形状分支的输出边界图表示为s∈RH×W×C,主干网络输出特征图为z∈RH×W×C，将形状分支网络的特征图与主干网络输出的特征图进行串联操作，最后通过1x1x1卷积和soft-max输出最终预测掩码。本专利通过融合主干网络的语义特征和形状分支网络的边界特征，能够产生更精确的分割结果。
S104，选择合适的优化学习方法，设置相关的超参数，分别对模型M1、M2进行训练。
分别对模型M1利用S102构建的数据集进行训练，对模型M2利用S103构建的数据集进行训练。使用Adam优化器进行损失优化，每次训练结束取验证集上最好的平均指标为该模型的最优结果。采用如下超参数设置：batchsize设定为2，迭代300个batch为一个epoch，总共迭代150个epoch；初始学习率设定为10-3，在训练第80和120个epoch时自动缩小0.1倍；动量设定为0.95，权重衰减系数恒定为10-4。
S105，从测试集中任选CT图像序列，进行预处理操作后，通过模型M1和M2分割出肾脏肿瘤区域。
在测试集中随机选取一个肾癌患者病例CT平扫影像，选取其中包含肾脏或者是肿瘤的CT切片图像，经过P1预处理操作后利用训练好的M1模型进行预测，再将结果按照随机裁剪的逆顺序进行拼接，依据拼接好的结果裁剪出只包含肾脏或肿瘤的体素小块，经过P2预处理操作后利用训练好的M2模型进行预测，再将分割结果按照随机裁剪的逆顺序进行拼接，形成最终的分割结果。
表2不同深度网络模型的评价指标值(％)
Figure BDA0002928792860000061
表2显示了不同深度网络模型的评价指标，其中二维全卷积网络通过对每张切片图像进行分割后的结果叠加组成，3DUnet、V-net采用原始模型的结构。从中可以看出：专利的算法对于肾脏和肿瘤的分割精度均高于其他对比算法，特别是针对肿瘤目标，由于增加了肿瘤门控形状分支网络，肿瘤分割的定量指标得到显著提升。
以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (6)

1.一种基于级联门控3DUnet模型的CT图像肾脏肿瘤分割方法，其特征在于，包括如下具体步骤：
S101，采集腹部CT扫描中包含肾脏的图像，取出包含肾脏或肿瘤的切片图像构成图像序列，利用标注软件对每个切片图像中的肾脏及肿瘤进行标注，生成对应的标注掩码，构建数据集Dataset；
S102，对Dataset进行P1预处理，P1预处理后的Dataset划分为M1训练集和M1测试集，对构建的三维全卷积网络3DUnet进行训练及测试，得到肾脏分割的深度网络模型M1；
S103，对Dataset进行P2预处理，P2预处理后的划分Dataset为M2训练集和M2测试集，对构建的三维门控残差全卷积网络进行训练及测试，得到肿瘤分割的深度网络分割模型M2；
S104，将待分割图像序列进行P1预处理后，利用M1分割出肾脏区域，并将分割结果进行拼接；对拼接后的分割结果进行裁剪，取出只有肾脏或肿瘤的体素，进行P2预处理后，利用M2分割出肿瘤区域。
2.如权利要求1所述的一种基于级联门控3DUnet模型的CT图像肾脏肿瘤分割方法，其特征在于，S101中利用ITK-SNAP医学图像标注软件对切片图像中的肾脏及肿瘤进行标注，生成对应的标注掩码，由切片图像及其对应的标注掩码构成Dataset。
3.如权利要求1所述的一种基于级联门控3DUnet模型的CT图像肾脏肿瘤分割方法，其特征在于，S102中对Dataset进行P1预处理，具体包括：将Dataset中所有切片图像及其对应的标注掩码插值成相同分辨率体素间距；对插值后的每个切片图像及其对应的标注掩码进行随机裁剪，获取体素小块，并对体素小块进行归一化处理；插值后的分辨率低于插值前。
4.如权利要求3所述的一种基于级联门控3DUnet模型的CT图像肾脏肿瘤分割方法，其特征在于，依据体素小块的尺寸构建3DUnet，用于获得肾脏区域的分割掩码。
5.如权利要求1所述的一种基于级联门控3DUnet模型的CT图像肾脏肿瘤分割方法，其特征在于，S103中对Dataset进行P2预处理，具体包括：将Dataset中所有切片图像及其对应的标注掩码插值成相同的分辨率体素间距，对插值后的标注掩码利用边缘检测获取肿瘤边界，对插值后的每个切片图像及其对应的标注掩码和肿瘤边界进行随机裁剪，获取体素小块，并对体素小块进行归一化处理；插值后的分辨率高于插值前。
6.如权利要求5所述的一种基于级联门控3DUnet模型的CT图像肾脏肿瘤分割方法，其特征在于，依据体素小块的尺寸构建三维门控残差全卷积网络，三维门控残差全卷积网络包括主干网络和肿瘤形状分支网络；主干网络为3DUnet，其中的编码器和解码器对应相同分辨率的特征图之间进行跳跃连接；肿瘤形状分支网络包括三级级联的门控卷积层、3x3x3卷积层、三线性插值和1x1x1卷积层，解码器的第一级反卷积层的输出经过1x1x1卷积层、3x3x3卷积层、三线性插值后作为第一级门控卷积层的输入，解码器的第二级反卷积层的输出经过1x1x1卷积层作后作为第一级门控卷积层的输入，第一级门控卷积层的输出经过3x3x3卷积层、三线性插值后作为第二级门控卷积层的输入，解码器的第三级反卷积层的输出经过1x1x1卷积层后作为第二级门控卷积层的输入，第二级门控卷积层的输出经过3x3x3卷积层、三线性插值后作为第三级门控卷积层的输入，解码器的第四级反卷积层的输出经过1x1x1卷积层后作为第三级门控卷积层的输入，第三级门控卷积层的输出经过1x1x1卷积层后与解码器的输出一起作为一个全连接层的输入，全连接层的输出依次经过1x1x1卷积层和一个Softmax分类器后输出概率图谱；第三级门控卷积层的输出经过1x1x1卷积层后作为sigmoid函数的输入，sigmoid函数输出最终预测掩码。
CN202110141339.3A 2021-02-02 2021-02-02 一种基于级联门控3DUnet模型的CT图像肾脏肿瘤分割方法 Active CN112767407B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110141339.3A CN112767407B (zh) 2021-02-02 2021-02-02 一种基于级联门控3DUnet模型的CT图像肾脏肿瘤分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110141339.3A CN112767407B (zh) 2021-02-02 2021-02-02 一种基于级联门控3DUnet模型的CT图像肾脏肿瘤分割方法

Publications (2)

Publication Number Publication Date
CN112767407A true CN112767407A (zh) 2021-05-07
CN112767407B CN112767407B (zh) 2023-07-07

Family

ID=75704619

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110141339.3A Active CN112767407B (zh) 2021-02-02 2021-02-02 一种基于级联门控3DUnet模型的CT图像肾脏肿瘤分割方法

Country Status (1)

Country Link
CN (1) CN112767407B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113436173A (zh) * 2021-06-30 2021-09-24 陕西大智慧医疗科技股份有限公司 基于边缘感知的腹部多器官分割建模、分割方法及***
CN113436204A (zh) * 2021-06-10 2021-09-24 中国地质大学（武汉） 一种高分辨率遥感影像弱监督建筑物提取方法
CN113469941A (zh) * 2021-05-27 2021-10-01 武汉楚精灵医疗科技有限公司 一种在超声胆胰管检查中胆胰管宽度的测量方法
CN117237394A (zh) * 2023-11-07 2023-12-15 万里云医疗信息科技（北京）有限公司 基于多注意力的轻量级分割图像的方法、装置及存储介质
CN117876370A (zh) * 2024-03-11 2024-04-12 南京信息工程大学 基于三维轴向Transformer模型的CT图像肾脏肿瘤分割***

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109035197A (zh) * 2018-05-31 2018-12-18 东南大学 基于三维卷积神经网络的ct造影图像肾脏肿瘤分割方法及***
CN109829918A (zh) * 2019-01-02 2019-05-31 安徽工程大学 一种基于密集特征金字塔网络的肝脏图像分割方法
US10482603B1 (en) * 2019-06-25 2019-11-19 Artificial Intelligence, Ltd. Medical image segmentation using an integrated edge guidance module and object segmentation network
CN110570432A (zh) * 2019-08-23 2019-12-13 北京工业大学 一种基于深度学习的ct图像肝脏肿瘤分割方法
CN110599500A (zh) * 2019-09-03 2019-12-20 南京邮电大学 一种基于级联全卷积网络的肝脏ct图像的肿瘤区域分割方法及***
CN110675406A (zh) * 2019-09-16 2020-01-10 南京信息工程大学 基于残差双注意力深度网络的ct图像肾脏分割算法
CN110689543A (zh) * 2019-09-19 2020-01-14 天津大学 基于注意机制的改进卷积神经网络脑肿瘤图像分割方法
WO2020077202A1 (en) * 2018-10-12 2020-04-16 The Medical College Of Wisconsin, Inc. Medical image segmentation using deep learning models trained with random dropout and/or standardized inputs
US20200143934A1 (en) * 2018-11-05 2020-05-07 HealthMyne, Inc. Systems and methods for semi-automatic tumor segmentation
CN111311592A (zh) * 2020-03-13 2020-06-19 中南大学 一种基于深度学习的三维医学图像自动分割方法
CN111354002A (zh) * 2020-02-07 2020-06-30 天津大学 一种基于深度神经网络的肾脏及肾脏肿瘤分割方法
CN111563897A (zh) * 2020-04-13 2020-08-21 北京理工大学 基于弱监督学习的乳腺核磁影像肿瘤分割的方法及装置
CN111627024A (zh) * 2020-05-14 2020-09-04 辽宁工程技术大学 一种改进U-net的肾脏肿瘤分割方法
CN111627019A (zh) * 2020-06-03 2020-09-04 西安理工大学 一种基于卷积神经网络的肝脏肿瘤分割方法及***
CN111798462A (zh) * 2020-06-30 2020-10-20 电子科技大学 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法
CN112085743A (zh) * 2020-09-04 2020-12-15 厦门大学 一种肾肿瘤的图像分割方法
CN112258526A (zh) * 2020-10-30 2021-01-22 南京信息工程大学 一种基于对偶注意力机制的ct肾脏区域级联分割方法
US20210241027A1 (en) * 2018-11-30 2021-08-05 Tencent Technology (Shenzhen) Company Limited Image segmentation method and apparatus, diagnosis system, storage medium, and computer device

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109035197A (zh) * 2018-05-31 2018-12-18 东南大学 基于三维卷积神经网络的ct造影图像肾脏肿瘤分割方法及***
WO2020077202A1 (en) * 2018-10-12 2020-04-16 The Medical College Of Wisconsin, Inc. Medical image segmentation using deep learning models trained with random dropout and/or standardized inputs
US20200143934A1 (en) * 2018-11-05 2020-05-07 HealthMyne, Inc. Systems and methods for semi-automatic tumor segmentation
US20210241027A1 (en) * 2018-11-30 2021-08-05 Tencent Technology (Shenzhen) Company Limited Image segmentation method and apparatus, diagnosis system, storage medium, and computer device
CN109829918A (zh) * 2019-01-02 2019-05-31 安徽工程大学 一种基于密集特征金字塔网络的肝脏图像分割方法
US10482603B1 (en) * 2019-06-25 2019-11-19 Artificial Intelligence, Ltd. Medical image segmentation using an integrated edge guidance module and object segmentation network
CN110570432A (zh) * 2019-08-23 2019-12-13 北京工业大学 一种基于深度学习的ct图像肝脏肿瘤分割方法
CN110599500A (zh) * 2019-09-03 2019-12-20 南京邮电大学 一种基于级联全卷积网络的肝脏ct图像的肿瘤区域分割方法及***
CN110675406A (zh) * 2019-09-16 2020-01-10 南京信息工程大学 基于残差双注意力深度网络的ct图像肾脏分割算法
CN110689543A (zh) * 2019-09-19 2020-01-14 天津大学 基于注意机制的改进卷积神经网络脑肿瘤图像分割方法
CN111354002A (zh) * 2020-02-07 2020-06-30 天津大学 一种基于深度神经网络的肾脏及肾脏肿瘤分割方法
CN111311592A (zh) * 2020-03-13 2020-06-19 中南大学 一种基于深度学习的三维医学图像自动分割方法
CN111563897A (zh) * 2020-04-13 2020-08-21 北京理工大学 基于弱监督学习的乳腺核磁影像肿瘤分割的方法及装置
CN111627024A (zh) * 2020-05-14 2020-09-04 辽宁工程技术大学 一种改进U-net的肾脏肿瘤分割方法
CN111627019A (zh) * 2020-06-03 2020-09-04 西安理工大学 一种基于卷积神经网络的肝脏肿瘤分割方法及***
CN111798462A (zh) * 2020-06-30 2020-10-20 电子科技大学 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法
CN112085743A (zh) * 2020-09-04 2020-12-15 厦门大学 一种肾肿瘤的图像分割方法
CN112258526A (zh) * 2020-10-30 2021-01-22 南京信息工程大学 一种基于对偶注意力机制的ct肾脏区域级联分割方法

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
YU-CHENG LIU 等: "Cascaded atrous dual attention U-Net for tumor segmentation", 《MULTIMEDIA TOOLS AND APPLICATIONS》 *
刘云鹏 等: "深度学习结合影像组学的肝脏肿瘤CT分割", 《中国图象图形学报》 *
孙明建 等: "基于新型深度全卷积网络的肝脏CT影像三维区域自动分割", 《中国生物医学工程学报》 *
张灿龙 等: "门控多层融合的实时语义分割", 《计算机辅助设计与图形学学报》 *
徐宏伟 等: "基于残差双注意力U-Net模型的CT图像囊肿肾脏自动分割", 《计算机应用研究》 *
徐宏伟: "平扫CT图像肾脏分割的深度学习算法研究", 《中国优秀硕士学位论文全文数据库医药卫生科技辑》 *
褚晶辉 等: "一种基于级联卷积网络的三维脑肿瘤精细分割", 《激光与光电子学进展》 *
郭雯 等: "基于深度学习的器官自动分割研究进展", 《医疗卫生装备》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113469941A (zh) * 2021-05-27 2021-10-01 武汉楚精灵医疗科技有限公司 一种在超声胆胰管检查中胆胰管宽度的测量方法
CN113469941B (zh) * 2021-05-27 2022-11-08 武汉楚精灵医疗科技有限公司 一种在超声胆胰管检查中胆胰管宽度的测量方法
CN113436204A (zh) * 2021-06-10 2021-09-24 中国地质大学（武汉） 一种高分辨率遥感影像弱监督建筑物提取方法
CN113436173A (zh) * 2021-06-30 2021-09-24 陕西大智慧医疗科技股份有限公司 基于边缘感知的腹部多器官分割建模、分割方法及***
CN113436173B (zh) * 2021-06-30 2023-06-27 陕西大智慧医疗科技股份有限公司 基于边缘感知的腹部多器官分割建模、分割方法及***
CN117237394A (zh) * 2023-11-07 2023-12-15 万里云医疗信息科技（北京）有限公司 基于多注意力的轻量级分割图像的方法、装置及存储介质
CN117237394B (zh) * 2023-11-07 2024-02-27 万里云医疗信息科技（北京）有限公司 基于多注意力的轻量级分割图像的方法、装置及存储介质
CN117876370A (zh) * 2024-03-11 2024-04-12 南京信息工程大学 基于三维轴向Transformer模型的CT图像肾脏肿瘤分割***
CN117876370B (zh) * 2024-03-11 2024-06-07 南京信息工程大学 基于三维轴向Transformer模型的CT图像肾脏肿瘤分割***

Also Published As

Publication number Publication date
CN112767407B (zh) 2023-07-07

Similar Documents

Publication Publication Date Title
Xie et al. Dynamic adaptive residual network for liver CT image segmentation
CN112767407B (zh) 一种基于级联门控3DUnet模型的CT图像肾脏肿瘤分割方法
CN107230206B (zh) 一种基于多模态数据的超体素序列肺部图像的3d肺结节分割方法
CN111192245A (zh) 一种基于U-Net网络的脑肿瘤分割网络及分割方法
Anand Segmentation coupled textural feature classification for lung tumor prediction
CN112927255A (zh) 一种基于上下文注意力策略的三维肝脏影像语义分割方法
Dutande et al. Deep residual separable convolutional neural network for lung tumor segmentation
CN111179237A (zh) 一种肝脏以及肝脏肿瘤的图像分割方法和装置
KR20120041468A (ko) 간질성 폐질환 검출 시스템 및 그 방법
Taherdangkoo et al. Segmentation of MR brain images using FCM improved by artificial bee colony (ABC) algorithm
Li et al. Automatic quantification of epicardial adipose tissue volume
Hong et al. Automatic liver and tumor segmentation based on deep learning and globally optimized refinement
Midya et al. Computerized diagnosis of liver tumors from CT scans using a deep neural network approach
CN112348826B (zh) 一种基于测地线距离和V-net的交互式肝脏分割方法
Mastouri et al. A morphological operation-based approach for Sub-pleural lung nodule detection from CT images
CN116994113A (zh) 一种基于残差UNet和高效的多尺度注意力方法用于CT图像中肝脏和肿瘤的自动分割
Dandıl et al. A Mask R-CNN based Approach for Automatic Lung Segmentation in Computed Tomography Scans
Poce et al. Pancreas Segmentation in CT Images: State of the Art in Clinical Practice.
Zhang et al. ASE-Net: A tumor segmentation method based on image pseudo enhancement and adaptive-scale attention supervision module
CN113850788A (zh) 一种判断膀胱癌肌层浸润状态的***及其应用
Sahu et al. False positives reduction in pulmonary nodule detection using a connected component analysis-based approach
Johora et al. Lung cancer detection using marker controlled watershed with svm
Balaji Generative deep belief model for improved medical image segmentation
CN112184728B (zh) 一种基于磁共振图像的乳腺血管自动分割方法
Narayanasamy et al. CNN-based Deep Learning Approach for MRI-based Brain Tumor Detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant