CN109102506A - 一种基于三级级联网络进行腹部ct肝脏病变图像的自动分割方法 - Google Patents
一种基于三级级联网络进行腹部ct肝脏病变图像的自动分割方法 Download PDFInfo
- Publication number
- CN109102506A CN109102506A CN201810950406.4A CN201810950406A CN109102506A CN 109102506 A CN109102506 A CN 109102506A CN 201810950406 A CN201810950406 A CN 201810950406A CN 109102506 A CN109102506 A CN 109102506A
- Authority
- CN
- China
- Prior art keywords
- liver
- image
- data
- training
- segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30056—Liver; Hepatic
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于三级级联网络进行腹部CT肝脏病变图像的自动分割方法,所述方法包括:S1、获取三维腹部肝脏CT图像数据;S2、对获取的三维腹部肝脏CT图像数据进行预处理和数据标准化;S3、将经过预处理和数据标准化的三维腹部肝脏CT图像数据输入AuxResUnet肝脏图像分割模型,然后对获取的三维腹部肝脏CT图像数据分割结果取3D最大连通区域以排除假阳性区域,获得肝脏VOI;S4、采用S3获得三维腹部肝脏CT图像数据分割结果,作为CT肝脏图像数据的掩膜,覆盖S3中得到的肝脏VOI;S5、将经过覆盖的肝脏VOI输入AuxResUnet肝脏图像病变分割模型进行病变分割,获得肝脏图像病变分割结果;本发明提供的图像分割方法,能够实现肝脏和肝脏病变的快速、准确的分割。
Description
技术领域
本发明属于图像处理技术领域,具体涉及一种基于三级级联网络进行腹部CT肝脏病变图像的自动分割方法。
背景技术
CT中肝脏的形态和质地异常以及可见病变在原发性和继发性肝肿瘤疾病中是疾病进展的重要生物标志物。在临床常规上,虽然使用了手动和半手动的技术,然而,这些方法都是主观的、严重依赖操作者且非常耗时的。为了提高放射科医生的生产力,计算机辅助的方法在过去已经有所发展,然而由于肝脏与其病变的低对比度,对比度的不同类型、组织中的异常(转移性切除术)、病变的大小以及数量变化,自动肝脏及其病变分割依然是一个非常具有挑战性的问题。另外,CT图像通常还具有较低的软组织对比度且容易受到噪声和其他伪影的影响。
现有的基于强度聚类、区域增长或可变形模型的肝脏及其病变分割的方法在解决这个难题时表现出有限的成功。对比差异的这种复杂性使得基于强度的方法难以推广到不可见的不同临床点的测试用例。此外,由于不规则的肿瘤生长和对治疗的反应(即手术切除),病变的不同形状降低了利用病变形状的先验知识的计算方法的效率。因此已经开发的几种用于分割CT体积中的肝脏及其病变交互式和自动的方法(包括基于灰度和纹理的方法、图切法、水平集、sigmoid边缘建模)在临床上没有广泛应用。
发明内容
(一)要解决的技术问题
为了解决现有技术的上述问题,本发明提供一种基于三级级联网络进行腹部CT肝脏病变图像的自动分割方法,无需用户交互,大大降低了肝脏病变分割结果中的假阳性,能够实现肝脏和肝脏病变的快速、准确的分割克服了肝脏和病变外观异质性的挑战。
(二)技术方案
为了达到上述目的,本发明采用的主要技术方案包括以下步骤:
一种基于三级级联网络进行腹部CT肝脏病变图像的自动分割方法,所述方法包括:
S1、获取三维腹部肝脏CT图像数据;
S2、对获取的三维腹部肝脏CT图像数据进行预处理和数据标准化;其中,预处理步骤包括对获取的三维腹部肝脏CT图像数据进行Hu值选取和直方图均衡化处理;
S3、将经过预处理和数据标准化的三维腹部肝脏CT图像数据输入AuxResUnet肝脏图像分割模型,获得三维腹部肝脏CT图像数据分割结果;
然后对获取的三维腹部肝脏CT图像数据分割结果取3D最大连通区域以排除假阳性区域,获得肝脏VOI;
S4、采用S3获得三维腹部肝脏CT图像数据分割结果,作为CT肝脏图像数据的掩膜,覆盖S3中得到的肝脏VOI;
S5、将经过覆盖的肝脏VOI输入AuxResUnet肝脏图像病变分割模型进行病变分割,获得肝脏图像病变分割结果;
S6、对S5中获得的肝脏图像病变分割结果进行包围盒选取,采用AuxDenseNet病变检测模型进行假阳性判别,并对最终判断为真阳性的结果添加包围盒作为最终的病变检测结果;
其中,所述AuxResUnet肝脏图像分割模型为经过肝脏图像数据训练后能够分割三维腹部肝脏CT图像数据的分割模型;
所述AuxResUnet肝脏图像病变分割模型为经过肝脏图像数据训练后能够分割肝脏病变图像的分割模型;
所述AuxDenseNet病变检测模型为经过肝脏图像数据训练后能够对肝脏图像病变分割结果进行假阳性判别的检测模型。
优选地,所述S2中Hu值的取值范围为[-200,200]。
优选地,所述方法还包括:
扩充S2中经过预处理和数据标准化的三维腹部肝脏CT图像数据,并将扩充后的三维腹部肝脏CT图像数据数据作为用于AuxResUnet网络的训练集,目标函数设置为Dice损失,然后对AuxResUnet模型进行训练;训练获得AuxResUnet肝脏图像分割模型。
优选地,所述方法还包括:
采用S2中经过预处理和数据标准化的三维腹部肝脏CT图像数据制作并扩充肝脏VOI数据训练集,并用于AuxResUnet网络的训练,目标函数设置为Jaccard损失,训练获得AuxResUnet肝脏图像病变分割模型。
优选地,所述方法还包括:
采用S2中经过预处理和数据标准化的三维腹部肝脏CT图像数据制作并扩充病变VOI数据训练集,并用于AuxDenseNet网络的训练,目标函数设置为Focal损失,训练获得AuxDenseNet病变检测模型。
优选地,所述方法包括如下子步骤:
A1、对每个经过预处理和数据标准化的三维腹部肝脏CT图像数据重新采样为3mm的切片厚度,并采样到480×480尺度;
A2、保留5张切片作为AuxResUnet网络的训练集,并将保留的切片保存为五维张量,本步骤通过调用Numpy函数包save实现;
A3、将获取的切片在-5°和+5°之间应用随机旋转,以便在训练期间产生合理的肝脏变形,本步骤通过调用Keras框架ImageDataGenerator实现;
A4、从均匀分布的切片中随机采样进行图像弹性扭曲的数据扩充操作,最大位移为±4,网格间距为32个体素,本步骤通过调用Python函数包Augmentor实现;
A5、基于Keras框架,利用Adam网络训练优化器和步骤A4中获取的图像弹性扭曲数据扩充后的数据训练AuxResUnet网络,并采用Dice损失作为目标函数,通过早停方法确定训练周期,获得AuxResUnet肝脏图像分割模型。
优选地,所述方法包括如下子步骤:
B1、经过预处理和数据标准化的三维腹部肝脏CT图像数据重新采样为3mm的切片厚度,并从重新采样的切片中截取包含肝脏VOI的最小包围盒,采样到480×480尺度;
B2、将截取到包含肝脏VOI的最小包围盒中的非肝脏区域灰度值置为0,并将截取到的包含肝脏VOI的最小包围盒保存为五维张量,并将该包含肝脏VOI的最小包围盒作为AuxResUnet网络的训练集,本步骤通过调用Numpy函数包save实现;
B3、将获取的包含肝脏VOI的最小包围盒在-180°和+180°之间应用随机旋转,以便在训练期间产生合理的病变变形,本步骤通过调用Keras框架ImageDataGenerator实现;
B4、从均匀分布中随机采样进行图像弹性扭曲的数据扩充操作,最大位移为±3,网格间距为16个体素,本步骤通过调用Python函数包Augmentor实现;
B5、基于Keras框架,利用Adam网络训练优化器和步骤B4中获取的图像弹性扭曲数据扩充后的数据训练AuxResUnet网络,并采用jaccard损失作为目标函数,通过早停方法确定训练周期,训练获得AuxResUnet肝脏图像病变分割模型。
优选地,所述方法包括如下子步骤:
C1、截取步骤3中制作的肝脏VOI中包含完全肝脏病变的图像小块,作为正样本,再截取完全不包含病变的同样尺度的正常肝脏图像小块,作为负样本;
C2、将截取到的图像小块缩放至48×48尺度,本步骤通过调用PIL库的imresize函数实现;
C3、在-180°和+180°之间应用随机旋转,以便在训练期间产生丰富的肝脏病变变形,本步骤通过调用Keras框架ImageDataGenerator实现;
C4、从均匀分布中随机采样进行图像弹性扭曲的数据扩充操作,最大位移为±2,网格间距为8个体素,本步骤通过调用Python函数包Augmentor实现;
C5、基于Keras框架,利用Adam网络训练优化器训练AuxDenseNet网络,采用Focal交叉熵损失作为目标函数,通过早停方法确定训练周期,训练获得AuxResUnet病变检测模型。
优选地,所述步骤S3包括如下子步骤:
S301、将经过预处理和数据标准化的三维腹部肝脏CT图像数据存入内存中;
S302、通过Keras函数包Model.load函数载入AuxResUnet肝脏图像分割模型结构及权重文件,将经过预处理和数据标准化的三维腹部肝脏CT图像数据进行肝脏语义分割,获得三维腹部肝脏CT图像数据的分割概率图;
S303、将所获的分割概率图的阈值设置为0.8,由此得到肝脏分割结果;
S304、对肝脏分割结果选取3D最大连通区域,将所述3D最大连通区域作为肝脏VOI;
所述步骤S4还包括:将步骤S3中获得三维腹部肝脏CT图像数据分割结果作为掩膜,截取包含肝脏VOI的最小包围盒,将包围盒中的非肝脏区域灰度值置为0,重采样到480×480尺度,并保存为Numpy,本步骤通过调用Numpy函数包save实现。
所述步骤S5包括如下子步骤:
S501、通过Model.load函数载入AuxResUnet肝脏图像病变分割模型结构及权重文件,对获得的包含肝脏VOI的最小包围盒进行肝脏病变语义分割,获得肝脏VOI的分割概率图;
S502、将步骤S501中所得的分割概率图的阈值设置为0.8,由此得到肝脏病变分割结果。
优选地,所述步骤S6包括如下子步骤:
S601、截取完全包含步骤S5中得到的肝脏图像病变分割结果的最小图像小块,作为正样本,再截取完全不包含病变的同样尺度的正常肝脏图像小块,作为负样本;
S602、将截取到的正样本图像小块和负样本图像小块均缩放至48×48尺度,本步骤通过调用PIL库的imresize函数实现,并保存为一组Numpy张量;
S603、通过Model.load函数载入AuxDenseNet病变检测模型模型结构及权重文件,采取滑动窗口的方式对输入肝脏病变VOI进行肝脏病变分类,获得分类结果;
S604、将所得分类结果的阈值设置为0.5,由此排除肝脏病变分割结果中的假阳性;
S605、对最终保留的肝脏分割结构添加包围盒,由此得到肝脏病变分割的检测结果。
(三)有益效果
本发明的有益效果是:本发明提供一种基于三级级联网络进行腹部CT图像肝脏及其病变的自动分割方法,该方法首先使用一种3D全卷积神经网络(AuxResUnet模型)对腹部CT图像进行肝脏分割,并利用肝脏分割结果对CT图像取三维掩膜,以得到准确的肝脏感兴趣体积(VOI);然后对裁剪后的肝脏VOI进行缩放操作,作为另一个AuxResUnet模型的输入,进行肝脏病变分割;最后对肝脏病变截取包围盒,并利用一个3D卷积神经网络(AuxDenseNet)对包围盒内的包含病变的图像小块进行判别,最后选取真阳性的结果包围盒作为最后的肝脏病变检测结果。
本发明对肝脏及其病变进行了快速、准确的自动分割,并有效降低了肝脏病变分割结果中的假阳性,对于实现大规模医学试验和定量图像分析具有重要意义。
附图说明
图1为本发明一种基于三级级联网络进行腹部CT肝脏病变图像的自动分割方法的流程示意图;
图2为本发明一种基于三级级联网络进行腹部CT肝脏病变图像的自动分割方法的流程示意图;
图3为本发明一种基于三级级联网络进行腹部CT肝脏病变图像的自动分割方法的流程示意图;
图4为本发明一种基于三级级联网络进行腹部CT肝脏病变图像的自动分割方法的流程示意图;
图5为本发明一种基于三级级联网络进行腹部CT肝脏病变图像的自动分割方法的流程示意图;
图6为本发明一种基于三级级联网络进行腹部CT肝脏病变图像的自动分割方法的流程示意图;
图7为本发明一种基于三级级联网络进行腹部CT肝脏病变图像的自动分割方法中用于肝脏和肿瘤分割的语义分割网络的AuxResUnet结构图;
图8为本发明一种基于三级级联网络进行腹部CT肝脏病变图像的自动分割方法中用于降低肿瘤假阳性的分类网络的AuxDenseNet结构图;
图9为本发明一种基于三级级联网络进行腹部CT肝脏病变图像的自动分割方法中肝脏及其病变自动分割结果图;
图10为本发明一种基于三级级联网络进行腹部CT肝脏病变图像的自动分割方法中肝脏病变分割结果的自动检测结果图。
具体实施方式
为了更好的解释本发明,以便于理解,下面结合附图,通过具体实施方式,对本发明作详细描述。下面结合附图对本发明的具体实施方式做详细说明。
如图1所示:本实施例公开了一种基于三级级联网络进行腹部CT肝脏病变图像的自动分割方法,所述方法包括:
S1、获取三维腹部肝脏CT图像数据。
应说明的是:这里获取的三维腹部肝脏CT图像数据包括测试集和训练集,这里的测试集用于测试三级级联网络的性能测试,训练集用以本实施例中三级级联网络模型的训练。
S2、对获取的三维腹部肝脏CT图像数据进行预处理和数据标准化;其中,预处理步骤包括对获取的三维腹部肝脏CT图像数据进行Hu值选取和直方图均衡化处理。
首先,应指出的是这里所述的三维腹部肝脏CT图像数据是指S1中获取的测试集和训练集。
其次,本步骤是对三维腹部肝脏CT图像数据训练集和测试集进行HU值选取和直方图均衡化等预处理,并进行均值和方差统计,利用统计得到的均值和方差进行数据标准化操作,其中,HU值范围为[-200,200]。
最后,应说明的是,这里所述的统计得到的均值和方差是指,由训练集统计获取的均值和方差。
S3、将经过预处理和数据标准化的三维腹部肝脏CT图像数据输入AuxResUnet肝脏图像分割模型,获得三维腹部肝脏CT图像数据分割结果。
然后对获取的三维腹部肝脏CT图像数据分割结果取3D最大连通区域以排除假阳性区域,获得肝脏VOI。
这里应说明的是:这里的经过预处理和数据标准化的三维腹部肝脏CT图像数据是指测试集数据。
S4、采用S3获得三维腹部肝脏CT图像数据分割结果,作为CT肝脏图像数据的掩膜,覆盖S3中得到的肝脏VOI。
S5、将经过覆盖的肝脏VOI输入AuxResUnet肝脏图像病变分割模型进行病变分割,获得肝脏图像病变分割结果。
S6、对S5中获得的肝脏图像病变分割结果进行包围盒选取,采用AuxDenseNet病变检测模型进行假阳性判别,并对最终判断为真阳性的结果添加包围盒作为最终的病变检测结果。
其中,所述AuxResUnet肝脏图像分割模型为经过肝脏图像数据训练后能够分割三维腹部肝脏CT图像数据的分割模型。
所述AuxResUnet肝脏图像病变分割模型为经过肝脏图像数据训练后能够分割肝脏病变图像的分割模型。
所述AuxDenseNet病变检测模型为经过肝脏图像数据训练后能够对肝脏图像病变分割结果进行假阳性判别的检测模型。
如图6所示:本实施例中还提供了三级级联网络模型的构建方法,所述方法还包括:
扩充S2中经过预处理和数据标准化的三维腹部肝脏CT图像数据,并将扩充后的三维腹部肝脏CT图像数据数据作为用于AuxResUnet网络的训练集,目标函数设置为Dice损失,然后对AuxResUnet网络进行训练;训练获得AuxResUnet肝脏图像分割模型。
这里所述的AuxResUnet网络结构参见图7。
应说明的是:这里所述的扩充对象是指经过预处理和数据标准化的三维腹部肝脏CT图像数据训练集。
具体地,如图2所示:所述方法包括如下子步骤:
A1、对每个经过预处理和数据标准化的三维腹部肝脏CT图像数据重新采样为3mm的切片厚度,并采样到480×480尺度。
A2、保留5张切片作为AuxResUnet网络的训练集,并将保留的切片保存为五维张量,本步骤通过调用Numpy函数包save实现。
A3、将获取的切片在-5°和+5°之间应用随机旋转,以便在训练期间产生合理的肝脏变形,本步骤通过调用Keras框架ImageDataGenerator实现。
A4、从均匀分布的切片中随机采样进行图像弹性扭曲的数据扩充操作,最大位移为±4,网格间距为32个,本步骤通过调用Python函数包Augmentor实现。
A5、基于Keras框架,利用Adam网络训练优化器和步骤A4中获取的图像弹性扭曲数据扩充后的数据训练AuxResUnet网络,并采用Dice损失作为目标函数,通过早停方法确定训练周期,获得AuxResUnet肝脏图像分割模型。
其次,本实施例中提供的三级级联网络模型的构建方法还包括:
采用S2中经过预处理和数据标准化的三维腹部肝脏CT图像数据制作并扩充肝脏VOI数据训练集,并用于AuxResUnet网络的训练,目标函数设置为Jaccard损失,训练获得AuxResUnet肝脏图像病变分割模型。
这里所述的AuxResUnet网络结构参见图7。
详细地,如图3所示:所述方法包括如下子步骤:
B1、经过预处理和数据标准化的三维腹部肝脏CT图像数据重新采样为3mm的切片厚度,并从重新采样的切片中截取包含肝脏VOI的最小包围盒,采样到480×480尺度;
B2、将截取到包含肝脏VOI的最小包围盒中的非肝脏区域灰度值置为0,并将截取到的包含肝脏VOI的最小包围盒保存为五维张量,并将该包含肝脏VOI的最小包围盒作为AuxResUnet网络的训练集,本步骤通过调用Numpy函数包save实现;
B3、将获取的包含肝脏VOI的最小包围盒在-180°和+180°之间应用随机旋转,以便在训练期间产生合理的病变变形,本步骤通过调用Keras框架ImageDataGenerator实现;
B4、从均匀分布中随机采样进行图像弹性扭曲的数据扩充操作,最大位移为±3,网格间距为16个体素,本步骤通过调用Python函数包Augmentor实现;
B5、基于Keras框架,利用Adam网络训练优化器和步骤B4中获取的图像弹性扭曲数据扩充后的数据训练AuxResUnet网络,并采用jaccard损失作为目标函数,通过早停方法确定训练周期,训练获得AuxResUnet肝脏图像病变分割模型。
再次,本实施例中提供的三级级联网络模型的构建方法还包括:
采用S2中经过预处理和数据标准化的三维腹部肝脏CT图像数据制作并扩充病变VOI数据训练集,并用于AuxDenseNet网络的训练,目标函数设置为Focal损失,训练获得AuxDenseNet病变检测模型。
这里所述的AuxDenseNet网络结构参见图8。
详细地,如图4所示:所述方法包括如下子步骤:
C1、截取步骤3中制作的肝脏VOI中包含完全肝脏病变的图像小块,作为正样本,再截取完全不包含病变的同样尺度的正常肝脏图像小块,作为负样本;
C2、将截取到的图像小块缩放至48×48尺度,本步骤通过调用PIL库的imresize函数实现;
C3、在-180°和+180°之间应用随机旋转,以便在训练期间产生丰富的肝脏病变变形,本步骤通过调用Keras框架ImageDataGenerator实现;
C4、从均匀分布中随机采样进行图像弹性扭曲的数据扩充操作,最大位移为±2,网格间距为8个体素,本步骤通过调用Python函数包Augmentor实现;
C5、基于Keras框架,利用Adam网络训练优化器训练AuxDenseNet网络,采用Focal交叉熵损失作为目标函数,通过早停方法确定训练周期,训练获得AuxResUnet病变检测模型。
这里关于本实施例中所述的自动分割方法,所述步骤S3包括如下子步骤:
S301、将经过预处理和数据标准化的三维腹部肝脏CT图像数据存入内存中;
S302、通过Keras函数包Model.load函数载入AuxResUnet肝脏图像分割模型结构及权重文件,将经过预处理和数据标准化的三维腹部肝脏CT图像数据进行肝脏语义分割,获得三维腹部肝脏CT图像数据的分割概率图;
S303、将所获的分割概率图的阈值设置为0.8,由此得到肝脏分割结果;
S304、对肝脏分割结果选取3D最大连通区域,将所述3D最大连通区域作为肝脏VOI;
所述步骤S4还包括:将步骤S3中获得三维腹部肝脏CT图像数据分割结果作为掩膜,截取包含肝脏VOI的最小包围盒,将包围盒中的非肝脏区域灰度值置为0,重采样到480×480尺度,并保存为Numpy,本步骤通过调用Numpy函数包save实现。
所述步骤S5包括如下子步骤:
S501、通过Model.load函数载入AuxResUnet肝脏图像病变分割模型结构及权重文件,对获得的包含肝脏VOI的最小包围盒进行肝脏病变语义分割,获得肝脏VOI的分割概率图;
S502、将步骤S501中所得的分割概率图的阈值设置为0.8,由此得到肝脏病变分割结果,其中所述肝脏病变分割结果参见图9。
如图5所示:所述步骤S6包括如下子步骤:
S601、截取完全包含步骤S5中得到的肝脏图像病变分割结果的最小图像小块,作为正样本,再截取完全不包含病变的同样尺度的正常肝脏图像小块,作为负样本;
S602、将截取到的正样本图像小块和负样本图像小块均缩放至48×48尺度,本步骤通过调用PIL库的imresize函数实现,并保存为一组Numpy张量;
S603、通过Model.load函数载入AuxDenseNet病变检测模型模型结构及权重文件,采取滑动窗口的方式对输入肝脏病变VOI进行肝脏病变分类,获得分类结果;
S604、将所得分类结果的阈值设置为0.5,由此排除肝脏病变分割结果中的假阳性;
S605、对最终保留的肝脏分割结构添加包围盒,由此得到肝脏病变分割的检测结果,其中所述肝脏病变分割的检测结果参见图10。
最后应说明的是:以上所述的各实施例仅用于说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述实施例所记载的技术方案进行修改,或者对其中部分或全部技术特征进行等同替换;而这些修改或替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种基于三级级联网络进行腹部CT肝脏病变图像的自动分割方法,其特征在于,所述方法包括:
S1、获取三维腹部肝脏CT图像数据;
S2、对获取的三维腹部肝脏CT图像数据进行预处理和数据标准化;其中,预处理步骤包括对获取的三维腹部肝脏CT图像数据进行Hu值选取和直方图均衡化处理;
S3、将经过预处理和数据标准化的三维腹部肝脏CT图像数据输入AuxResUnet肝脏图像分割模型,获得三维腹部肝脏CT图像数据分割结果;
然后对获取的三维腹部肝脏CT图像数据分割结果取3D最大连通区域以排除假阳性区域,获得肝脏VOI;
S4、采用S3获得三维腹部肝脏CT图像数据分割结果,作为CT肝脏图像数据的掩膜,覆盖S3中得到的肝脏VOI;
S5、将经过覆盖的肝脏VOI输入AuxResUnet肝脏图像病变分割模型进行病变分割,获得肝脏图像病变分割结果;
S6、对S5中获得的肝脏图像病变分割结果进行包围盒选取,采用AuxDenseNet病变检测模型进行假阳性判别,并对最终判断为真阳性的结果添加包围盒作为最终的病变检测结果;
其中,所述AuxResUnet肝脏图像分割模型为经过肝脏图像数据训练后能够分割三维腹部肝脏CT图像数据的分割模型;
所述AuxResUnet肝脏图像病变分割模型为经过肝脏图像数据训练后能够分割肝脏病变图像的分割模型;
所述AuxDenseNet病变检测模型为经过肝脏图像数据训练后能够对肝脏图像病变分割结果进行假阳性判别的检测模型。
2.根据权利要求1所述的方法,其特征在于,
所述S2中Hu值的取值范围为[-200,200]。
3.根据权利要求1所述的方法,其特征在于,
所述方法还包括:
扩充S2中经过预处理和数据标准化的三维腹部肝脏CT图像数据,并将扩充后的三维腹部肝脏CT图像数据数据作为用于AuxResUnet网络的训练集,目标函数设置为Dice损失,然后对AuxResUnet模型进行训练;训练获得AuxResUnet肝脏图像分割模型。
4.根据权利要求1所述的方法,其特征在于,
所述方法还包括:
采用S2中经过预处理和数据标准化的三维腹部肝脏CT图像数据制作并扩充肝脏VOI数据训练集,并用于AuxResUnet网络的训练,目标函数设置为Jaccard损失,训练获得AuxResUnet肝脏图像病变分割模型。
5.根据权利要求1所述的方法,其特征在于,
所述方法还包括:
采用S2中经过预处理和数据标准化的三维腹部肝脏CT图像数据制作并扩充病变VOI数据训练集,并用于AuxDenseNet网络的训练,目标函数设置为Focal损失,训练获得AuxDenseNet病变检测模型。
6.根据权利要求3所述的方法,其特征在于,
所述方法包括如下子步骤:
A1、对每个经过预处理和数据标准化的三维腹部肝脏CT图像数据重新采样为3mm的切片厚度,并采样到480×480尺度;
A2、保留5张切片作为AuxResUnet网络的训练集,并将保留的切片保存为五维张量,本步骤通过调用Numpy函数包save实现;
A3、将获取的切片在-5°和+5°之间应用随机旋转,以便在训练期间产生合理的肝脏变形,本步骤通过调用Keras框架ImageDataGenerator实现;
A4、从均匀分布的切片中随机采样进行图像弹性扭曲的数据扩充操作,最大位移为±4,网格间距为32个体素,本步骤通过调用Python函数包Augmentor实现;
A5、基于Keras框架,利用Adam网络训练优化器和步骤A4中获取的图像弹性扭曲数据扩充后的数据训练AuxResUnet网络,并采用Dice损失作为目标函数,通过早停方法确定训练周期,获得AuxResUnet肝脏图像分割模型。
7.根据权利要求4所述的方法,其特征在于,
所述方法包括如下子步骤:
B1、经过预处理和数据标准化的三维腹部肝脏CT图像数据重新采样为3mm的切片厚度,并从重新采样的切片中截取包含肝脏VOI的最小包围盒,采样到480×480尺度;
B2、将截取到包含肝脏VOI的最小包围盒中的非肝脏区域灰度值置为0,并将截取到的包含肝脏VOI的最小包围盒保存为五维张量,并将该包含肝脏VOI的最小包围盒作为AuxResUnet网络的训练集,本步骤通过调用Numpy函数包save实现;
B3、将获取的包含肝脏VOI的最小包围盒在-180°和+180°之间应用随机旋转,以便在训练期间产生合理的病变变形,本步骤通过调用Keras框架ImageDataGenerator实现;
B4、从均匀分布中随机采样进行图像弹性扭曲的数据扩充操作,最大位移为±3,网格间距为16个体素,本步骤通过调用Python函数包Augmentor实现;
B5、基于Keras框架,利用Adam网络训练优化器和步骤B4中获取的图像弹性扭曲数据扩充后的数据训练AuxResUnet网络,并采用jaccard损失作为目标函数,通过早停方法确定训练周期,训练获得AuxResUnet肝脏图像病变分割模型。
8.根据权利要求5所述的方法,其特征在于,
所述方法包括如下子步骤:
C1、截取步骤3中制作的肝脏VOI中包含完全肝脏病变的图像小块,作为正样本,再截取完全不包含病变的同样尺度的正常肝脏图像小块,作为负样本;
C2、将截取到的图像小块缩放至48×48尺度,本步骤通过调用PIL库的imresize函数实现;
C3、在-180°和+180°之间应用随机旋转,以便在训练期间产生丰富的肝脏病变变形,本步骤通过调用Keras框架ImageDataGenerator实现;
C4、从均匀分布中随机采样进行图像弹性扭曲的数据扩充操作,最大位移为±2,网格间距为8个体素,本步骤通过调用Python函数包Augmentor实现;
C5、基于Keras框架,利用Adam网络训练优化器训练AuxDenseNet网络,采用Focal交叉熵损失作为目标函数,通过早停方法确定训练周期,训练获得AuxResUnet病变检测模型。
9.根据权利要求1所述的方法,其特征在于,
所述步骤S3包括如下子步骤:
S301、将经过预处理和数据标准化的三维腹部肝脏CT图像数据存入内存中;
S302、通过Keras函数包Model.load函数载入AuxResUnet肝脏图像分割模型结构及权重文件,将经过预处理和数据标准化的三维腹部肝脏CT图像数据进行肝脏语义分割,获得三维腹部肝脏CT图像数据的分割概率图;
S303、将所获的分割概率图的阈值设置为0.8,由此得到肝脏分割结果;
S304、对肝脏分割结果选取3D最大连通区域,将所述3D最大连通区域作为肝脏VOI;
所述步骤S4还包括:将步骤S3中获得三维腹部肝脏CT图像数据分割结果作为掩膜,截取包含肝脏VOI的最小包围盒,将包围盒中的非肝脏区域灰度值置为0,重采样到480×480尺度,并保存为Numpy,本步骤通过调用Numpy函数包save实现。
所述步骤S5包括如下子步骤:
S501、通过Model.load函数载入AuxResUnet肝脏图像病变分割模型结构及权重文件,对获得的包含肝脏VOI的最小包围盒进行肝脏病变语义分割,获得肝脏VOI的分割概率图;
S502、将步骤S501中所得的分割概率图的阈值设置为0.8,由此得到肝脏病变分割结果。
10.根据权利要求1所述的方法,其特征在于,
所述步骤S6包括如下子步骤:
S601、截取完全包含步骤S5中得到的肝脏图像病变分割结果的最小图像小块,作为正样本,再截取完全不包含病变的同样尺度的正常肝脏图像小块,作为负样本;
S602、将截取到的正样本图像小块和负样本图像小块均缩放至48×48尺度,本步骤通过调用PIL库的imresize函数实现,并保存为一组Numpy张量;
S603、通过Model.load函数载入AuxDenseNet病变检测模型模型结构及权重文件,采取滑动窗口的方式对输入肝脏病变VOI进行肝脏病变分类,获得分类结果;
S604、将所得分类结果的阈值设置为0.5,由此排除肝脏病变分割结果中的假阳性;
S605、对最终保留的肝脏分割结构添加包围盒,由此得到肝脏病变分割的检测结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810950406.4A CN109102506B (zh) | 2018-08-20 | 2018-08-20 | 一种基于三级级联网络进行腹部ct肝脏病变图像的自动分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810950406.4A CN109102506B (zh) | 2018-08-20 | 2018-08-20 | 一种基于三级级联网络进行腹部ct肝脏病变图像的自动分割方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109102506A true CN109102506A (zh) | 2018-12-28 |
CN109102506B CN109102506B (zh) | 2021-08-13 |
Family
ID=64850348
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810950406.4A Active CN109102506B (zh) | 2018-08-20 | 2018-08-20 | 一种基于三级级联网络进行腹部ct肝脏病变图像的自动分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109102506B (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109934829A (zh) * | 2019-03-13 | 2019-06-25 | 安徽紫薇帝星数字科技有限公司 | 一种基于三维图割算法的肝脏分割方法 |
CN110110748A (zh) * | 2019-03-29 | 2019-08-09 | 广州思德医疗科技有限公司 | 一种原始图片的识别方法及装置 |
CN110163870A (zh) * | 2019-04-24 | 2019-08-23 | 艾瑞迈迪科技石家庄有限公司 | 一种基于深度学习的腹部体影像肝脏分割方法及装置 |
CN110163847A (zh) * | 2019-04-24 | 2019-08-23 | 艾瑞迈迪科技石家庄有限公司 | 基于ct/mr影像的肝脏肿瘤分割方法及装置 |
CN110223303A (zh) * | 2019-05-13 | 2019-09-10 | 清华大学 | He染色器官病理图像分割方法、装置 |
CN110599447A (zh) * | 2019-07-29 | 2019-12-20 | 广州市番禺区中心医院(广州市番禺区人民医院、广州市番禺区心血管疾病研究所) | 一种肝癌病灶数据的处理方法、***和存储介质 |
CN111127466A (zh) * | 2020-03-31 | 2020-05-08 | 上海联影智能医疗科技有限公司 | 医学图像检测方法、装置、设备及存储介质 |
CN111666972A (zh) * | 2020-04-28 | 2020-09-15 | 清华大学 | 基于深度神经网络的肝部病例图像分类方法及*** |
EP3712845A1 (en) * | 2019-03-19 | 2020-09-23 | Wistron Corporation | Image identifying method and image identifying device |
CN113436114A (zh) * | 2021-07-26 | 2021-09-24 | 北京富通东方科技有限公司 | 一种面向医学图像的数据增强方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105574859A (zh) * | 2015-12-14 | 2016-05-11 | 中国科学院深圳先进技术研究院 | 一种基于ct图像的肝脏肿瘤分割方法及装置 |
CN106709930A (zh) * | 2016-12-29 | 2017-05-24 | 上海联影医疗科技有限公司 | 三维医学图像的感兴趣体积分割方法及装置 |
US20170148156A1 (en) * | 2015-11-25 | 2017-05-25 | Zebra Medical Vision Ltd. | Systems and methods for detecting a fatty liver from a computed tomography (ct) scan |
CN106780460A (zh) * | 2016-12-13 | 2017-05-31 | 杭州健培科技有限公司 | 一种用于胸部ct影像的肺结节自动检测*** |
CN106940816A (zh) * | 2017-03-22 | 2017-07-11 | 杭州健培科技有限公司 | 基于3d全连接卷积神经网络的ct图像肺结节检测*** |
CN107016665A (zh) * | 2017-02-16 | 2017-08-04 | 浙江大学 | 一种基于深度卷积神经网络的ct肺结节检测方法 |
CN108257120A (zh) * | 2018-01-09 | 2018-07-06 | 东北大学 | 一种基于ct图像的三维肝脏包围盒的自动提取方法 |
CN108288271A (zh) * | 2018-02-06 | 2018-07-17 | 上海交通大学 | 基于三维残差网络的图像检测***及方法 |
-
2018
- 2018-08-20 CN CN201810950406.4A patent/CN109102506B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170148156A1 (en) * | 2015-11-25 | 2017-05-25 | Zebra Medical Vision Ltd. | Systems and methods for detecting a fatty liver from a computed tomography (ct) scan |
CN105574859A (zh) * | 2015-12-14 | 2016-05-11 | 中国科学院深圳先进技术研究院 | 一种基于ct图像的肝脏肿瘤分割方法及装置 |
CN106780460A (zh) * | 2016-12-13 | 2017-05-31 | 杭州健培科技有限公司 | 一种用于胸部ct影像的肺结节自动检测*** |
CN106709930A (zh) * | 2016-12-29 | 2017-05-24 | 上海联影医疗科技有限公司 | 三维医学图像的感兴趣体积分割方法及装置 |
CN107016665A (zh) * | 2017-02-16 | 2017-08-04 | 浙江大学 | 一种基于深度卷积神经网络的ct肺结节检测方法 |
CN106940816A (zh) * | 2017-03-22 | 2017-07-11 | 杭州健培科技有限公司 | 基于3d全连接卷积神经网络的ct图像肺结节检测*** |
CN108257120A (zh) * | 2018-01-09 | 2018-07-06 | 东北大学 | 一种基于ct图像的三维肝脏包围盒的自动提取方法 |
CN108288271A (zh) * | 2018-02-06 | 2018-07-17 | 上海交通大学 | 基于三维残差网络的图像检测***及方法 |
Non-Patent Citations (3)
Title |
---|
NESRINE TRABELSI等: "3D Active Shape Model for CT-scan liver segmentation", 《2016 7TH INTERNATIONAL CONFERENCE ON SCIENCES OF ELECTRONICS,TECHNOLOGIES OF INFORMATION AND TELECOMMUNICATIONS (SETIT)》 * |
董晓: "基于几何形变模型的CT图像肝脏肿瘤分割", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》 * |
黄成: "三维CT图像肝脏自动分割方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109934829B (zh) * | 2019-03-13 | 2022-02-11 | 安徽紫薇帝星数字科技有限公司 | 一种基于三维图割算法的肝脏分割方法 |
CN109934829A (zh) * | 2019-03-13 | 2019-06-25 | 安徽紫薇帝星数字科技有限公司 | 一种基于三维图割算法的肝脏分割方法 |
EP3712845A1 (en) * | 2019-03-19 | 2020-09-23 | Wistron Corporation | Image identifying method and image identifying device |
US11010893B2 (en) | 2019-03-19 | 2021-05-18 | Wistron Corporation | Image identifying method and image identifying device |
CN110110748A (zh) * | 2019-03-29 | 2019-08-09 | 广州思德医疗科技有限公司 | 一种原始图片的识别方法及装置 |
CN110110748B (zh) * | 2019-03-29 | 2021-08-17 | 广州思德医疗科技有限公司 | 一种原始图片的识别方法及装置 |
CN110163847A (zh) * | 2019-04-24 | 2019-08-23 | 艾瑞迈迪科技石家庄有限公司 | 基于ct/mr影像的肝脏肿瘤分割方法及装置 |
CN110163870A (zh) * | 2019-04-24 | 2019-08-23 | 艾瑞迈迪科技石家庄有限公司 | 一种基于深度学习的腹部体影像肝脏分割方法及装置 |
CN110223303A (zh) * | 2019-05-13 | 2019-09-10 | 清华大学 | He染色器官病理图像分割方法、装置 |
CN110599447A (zh) * | 2019-07-29 | 2019-12-20 | 广州市番禺区中心医院(广州市番禺区人民医院、广州市番禺区心血管疾病研究所) | 一种肝癌病灶数据的处理方法、***和存储介质 |
CN110599447B (zh) * | 2019-07-29 | 2023-10-20 | 广州市番禺区中心医院(广州市番禺区人民医院、广州市番禺区心血管疾病研究所) | 一种肝癌病灶数据的处理方法、***和存储介质 |
CN111127466A (zh) * | 2020-03-31 | 2020-05-08 | 上海联影智能医疗科技有限公司 | 医学图像检测方法、装置、设备及存储介质 |
CN111666972A (zh) * | 2020-04-28 | 2020-09-15 | 清华大学 | 基于深度神经网络的肝部病例图像分类方法及*** |
CN113436114A (zh) * | 2021-07-26 | 2021-09-24 | 北京富通东方科技有限公司 | 一种面向医学图像的数据增强方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109102506B (zh) | 2021-08-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109102506A (zh) | 一种基于三级级联网络进行腹部ct肝脏病变图像的自动分割方法 | |
CN106204587B (zh) | 基于深度卷积神经网络和区域竞争模型的多器官分割方法 | |
CN107909581B (zh) | Ct影像的肺叶段分割方法、装置、***、存储介质及设备 | |
CN109598733B (zh) | 基于深度全卷积神经网络的视网膜眼底图像分割方法 | |
CN104599270B (zh) | 一种基于改进水平集算法的乳腺肿瘤超声图像分割方法 | |
Andreini et al. | Image generation by GAN and style transfer for agar plate image segmentation | |
CN108765387A (zh) | 基于Faster RCNN乳腺DBT影像肿块自动检测方法 | |
CN107748900A (zh) | 基于区分性卷积神经网络的乳腺肿瘤分类方法和装置 | |
CN102663416B (zh) | 手术规划***中内脏及其内部血管的分割方法 | |
CN109360208A (zh) | 一种基于单程多任务卷积神经网络的医学图像分割方法 | |
CN109801272A (zh) | 肝脏肿瘤自动分割定位方法、***及存储介质 | |
CN106056596B (zh) | 基于局部先验信息和凸优化的全自动三维肝脏分割方法 | |
CN111179237B (zh) | 一种肝脏以及肝脏肿瘤的图像分割方法和装置 | |
CN109559295A (zh) | 图像分析***、方法、计算机可读存储介质、及电子终端 | |
CN109685787A (zh) | Ct影像的肺叶段分割中的输出方法、装置 | |
CN109978880A (zh) | 采用高维特征选择对肺部肿瘤ct图像进行判别的方法 | |
CN108765385A (zh) | 一种双源ct冠状动脉自动提取方法 | |
CN109584223A (zh) | Ct图像中肺部血管分割方法 | |
Foong et al. | Convolutional neural network based rotten fruit detection using resnet50 | |
CN117094980A (zh) | 基于深度学习的超声乳腺结节图像可解释性方法 | |
CN108389178A (zh) | 基于卷积神经网络的肺部ct预处理方法及*** | |
CN112308827A (zh) | 基于深度卷积神经网络的毛囊检测方法 | |
CN116883994A (zh) | 基于自监督学习识别非小细胞肺癌周组织病理类型的方法、装置及存储介质 | |
CN113689950B (zh) | 肝癌ihc染色图的血管分布模式的识别方法、***和存储介质 | |
Zhou et al. | Parallel mean shift for interactive volume segmentation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |