CN112634265B - 基于dnn的胰腺全自动分割模型的构建、分割方法及*** - Google Patents
基于dnn的胰腺全自动分割模型的构建、分割方法及*** Download PDFInfo
- Publication number
- CN112634265B CN112634265B CN202110002670.7A CN202110002670A CN112634265B CN 112634265 B CN112634265 B CN 112634265B CN 202110002670 A CN202110002670 A CN 202110002670A CN 112634265 B CN112634265 B CN 112634265B
- Authority
- CN
- China
- Prior art keywords
- pancreas
- segmentation
- image
- full
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明属于医学图像分割技术领域,公开了一种基于DNN的胰腺全自动分割模型的构建、分割方法及***。本发明克服现有技术中存在的胰腺分割过程中对医生先验知识的依赖问题以及胰腺分割预测结果精度较低的问题,提供一种从标签空间中感知胰腺位置先验知识,在实现对分割目标的精准定位的基础上,进一步通过更细粒度的分割保证胰腺分割结果与标签的形状一致性,有效地提高胰腺分割的精度。
Description
技术领域
本发明属于医学图像分割技术领域,具体涉及一种基于DNN的胰腺全自动分割模型的构建、分割方法及***。
背景技术
医学图像分割技术在临床诊断、病理分析、手术动态规划等相关的计算机辅助诊断(CAD)方面有着广泛的研究意义。在临床应用方面,CT(Computed Tomography)检查是诊断胰腺病变最主要的检查方式,腹部CT胰腺器官分割方法作为准确检查胰腺病变的计算机辅助诊断***的基础,在辅助临床医生提高诊断效率方面有重要的应用价值。
基于深度学习方法用于医学图像分割的U-Net网络包含具有对称结构的提取图像上下文信息的收缩路径与恢复图像空间语义信息的扩张路径,通过弹性变形的方式对有效的训练数据进行增强,能够用较短的训练时间得到较高的分割性能。针对腹部CT胰腺分割任务,U-Net网络结构无法充分提取有关分割目标的深层次的特征表示和丰富的语义信息,导致胰腺和背景区域的分割结果精度较低。为解决上述问题,2020年Li等人提出三种跨域信息融合策略对 U-Net网络结构进行改进。第一种策略称为跳跃式跨域连接,通过直接在编码器和解码器对应的卷积层之间添加网络残差,有效抑制胰腺分割结果中的过分割。第二种策略称为残差网络,将残差分别加入到编码器、解码器的连续卷积块中,能够同时减弱胰腺分割结果中的过分割和欠分割程度。第三种策略称多尺度残差网络,利用多尺度残差网络块代替编码器解码器之间的特征串联融合策略,不仅能够抑制胰腺分割结果中的过分割和欠分割,还能通过多尺度卷积残差提高网络对分割目标形状的学习能力。上述跨域信息融合策略在一定程度上有效地解决了胰腺分割结果中的过分割、欠分割以及形状不一致问题,提高胰腺器官分割结果的精度,增强分割网络的鲁棒性。
2020年Li等人提出三种跨域信息融合策略对U-Net网络结构进行改进后应用于腹部CT胰腺器官分割,首先需要根据医生利用其先验知识手动地从 CT图像中勾画出包含胰腺的最小矩形区域,然后再将该最小矩形区域作为分割网络的输入,因此是一种半自动分割方法,该方法存在的不足主要是在进行胰腺分割时输入的图像是包含目标及其周围的较小区域得到较高的分割精度,需依赖医生的先验知识。
在三维CT(3D CT)扫描影像数据上直接训练胰腺分割网络可以有效利用具有体积结构的胰腺器官所固有的空间连续信息和解剖相关信息,与在3D CT 体素的2D切片上训练2D胰腺分割网络相比,其对程序运行工作站的计算能力和内存成本的要求显著提高。2019年Zhao等人提出直接在3D CT体素训练胰腺全自动分割网络的方法,该方法探索了从粗分割到细分割的多阶段技术,其基本思想是通过粗略的步骤确定感兴趣区(ROIs),然后对ROIs进行细粒度分割。该全自动分割网络的训练过程分为两个阶段:第一个阶段,在经过下采样的3D CT体素上训练用于生成含有胰腺候选区域的3D U-Net粗分割网络;第二个阶段,在第一个阶段生成的候选区域数据集上训练另一个3D U-Net网络用于对胰腺的细粒度分割。
2019年Zhao等人探索出的直接在3D CT体素上从粗分割到细分割的多阶段胰腺全自动分割网络的方法,其局限性在于通过多阶段训练模型而引起的胰腺形状上分割预测结果与标签不一致性问题,导致胰腺分割预测结果的精度较低。
发明内容
本发明的目的在于提供基于DNN的胰腺全自动分割模型的构建、分割方法及***,用以解决现有技术中的存在的胰腺分割过程中对医生先验知识的依赖问题以及胰腺分割预测结果精度较低的问题。
为了实现上述任务,本发明采用以下技术方案:
基于DNN的胰腺全自动分割模型的构建方法,包括如下步骤:
步骤a:获取胰腺CT图像,对胰腺CT图像进行图像变换和数据预处理,得到预处理后的CT图像集;
步骤b:构建全自动分割网络,包括依次连接的编码器网络、压缩采样模型和解码器网络;
步骤c:采用第一损失函数,对步骤b得到的全自动分割网络进行训练,对压缩采样模型中的压缩矩阵A和重建矩阵B进行迭代更新,获得更新后的压缩采样模型,所述更新后的压缩采样模型包括更新后的压缩矩阵和更新后的重建矩阵
步骤d:采用第二损失函数,对步骤c得到的包含更新后的压缩采样模型的全自动分割网络进行训练,对编码器网络和解码器网络的参数进行迭代更新,将训练好的全自动分割网络作为胰腺全自动分割模型;
步骤b中压缩采样模型的构建方法包括如下步骤:
步骤1:获取胰腺CT图像,所述的胰腺CT图像上带有多个分割类别标签,对胰腺CT图像进行图像变换和数据预处理,得到预处理后的CT图像;
步骤2:对预处理后的CT图像的分割类别标签采用独热编码方式进行编码,得到标签图G∈{0,1}H×W×C,其中,H和W分别表示标签图的高和宽,C代表分割类别总数;
步骤3:对预处理后的CT图像进行特征提取,得到特征图其中,和分别表示特征图的高和宽,R表示矩阵,代表原始特征图O内的特征总数,将特征图O上坐标为(i,j)的像素点对应的特征值按照特征提取的顺序构成观测向量
进一步的,所述第一损失函数为l2范数,所述第二损失函数交叉熵损失函数。
一种分割方法,包括如下步骤:
步骤Ⅰ:获取待分割的胰腺CT图像;
步骤Ⅱ:利用基于DNN的胰腺全自动分割模型的构建方法获得胰腺全自动分割网络模型,将待分割的胰腺CT图像输入胰腺全自动分割网络模型,输出胰腺分割结果。
进一步的,包括预处理模块、全自动分割网络构建模块、首次训练模块和二次训练模块;
所述的预处理模块用于获取胰腺CT图像,对胰腺CT图像进行图像变换和数据预处理,得到预处理后的CT图像集;
所述的全自动分割网络构建模块用于构建全自动分割网络,包括依次连接的编码器网络、压缩采样模型和解码器网络;
所述的首次训练模块用于采用第一损失函数,对全自动分割网络构建模块得到的全自动分割网络进行训练,对压缩采样模型中的压缩矩阵A和重建矩阵 B进行迭代更新,获得更新后的压缩采样模型,所述更新后的压缩采样模型包括更新后的压缩矩阵和更新后的重建矩阵
所述的二次训练模块用于采用第二损失函数,对首次训练模块得到的包含更新后的压缩采样模型的全自动分割网络进行训练,对编码器网络和解码器网络的参数进行迭代更新,将训练好的全自动分割网络作为胰腺全自动分割模型;
所述的压缩采样模型包括预处理模块、标签图生成模块、特征图生成模块和压缩采样模型生成模块:
所述预处理模块用于获取胰腺CT图像,所述的胰腺CT图像上带有多个分割类别标签,对胰腺CT图像进行图像变换和数据预处理,得到预处理后的 CT图像;
所述标签图生成模块用于对预处理后的CT图像的分割类别标签采用独热编码方式进行编码,得到标签图G∈{0,1}H×W×C,其中,H和W分别表示标签图的高和宽,C代表分割类别总数;
所述特征图生成模块用于对预处理后的CT图像进行特征提取,得到特征图其中,和分别表示特征图的高和宽,R表示矩阵,代表原始特征图O内的特征总数,将特征图O上坐标为(i,j)的像素点对应的特征值按照特征提取的顺序构成观测向量
进一步的,所述第一损失函数为l2范数,所述第二损失函数交叉熵损失函数。
一种分割***,包括输入模块和分割模块:
所述的输入模块用于获取待分割的胰腺CT图像;
所述的分割模块用于利用基于DNN的胰腺全自动分割模型的构建***获得胰腺全自动分割网络模型,将待分割的胰腺CT图像输入胰腺全自动分割网络模型,输出胰腺分割结果。
本发明与现有技术相比具有以下技术特点:
1)本发明在编码器解码器网络框架中嵌入压缩采样模型,将靠数据驱动的分割网络与基于先验知识构建的压缩采样模型相结合,通过两阶段级联的方式使得分割网络具备器官的位置先验感知功能,进而在胰腺分割过程中摆脱对医生手动判定含有胰腺的较小图像区域的依赖。
2)本发明在实现对分割目标的精准定位的同时,能够在一定程度上减弱了全自动分割网络对分割目标位置和权重初始值的敏感性,进而保证胰腺分割网络预测结果与标签的形状一致性,显著地提高腹部CT胰腺全自动分割方法的精度。
附图说明
图1是本发明针对腹部CT胰腺器官全自动分割***;
图2是压缩采样模型的示意图;
图3是感知胰腺位置先验的可视化示意图;
图4是本文发明的胰腺分割网络在NIH数据集上训练时的收敛趋势图;
图5是在NIH数据集上对分割主网络进行训练并接近收敛时胰腺分割结果示意图。
具体实施方式
以下给出本发明的详细实施例,需要说明的是:
1.本发明并不局限于以下具体实施例。
2.实施例中在构建胰腺全自动分割网络框架时采用了CT扫描数据集包括公开的NIH数据集和ISBI 2015 VISCERAL挑战赛数据集两个数据集。
3.在数据集上对胰腺全自动分割方法进行实验验证,NIH数据集包含82 套人体CT扫描增强数据,每个人体的CT扫描体素的维度为512×512×L,其中L∈[181,466]是沿着人体长轴方向的轴状面切片数目,2D切片的分辨率大小为512×512,切片厚度的变化范围是从0.5mm到1.0mm。ISBI 2015 VISCERAL 挑战赛数据集用于基准化多器官分割(如:肝脏,脾脏,肾脏,胰腺,胆囊,左右肾上腺等),本发明仅应用其中18套有效的胰腺器官注释的人体CT扫描增强数据集,获得的注释质量由三名放射科医生和两名医生检查,每套CT的维度为512×512×L,其中L∈[194,477],切片厚度的变化范围是从1.5mm。将含有胰腺器官的腹部CT切片作为有效数据集,用于对胰腺全自动分割网络的训练或验证。
4.实施例使用Python语言和Pytorch深度学习网络框架,这些网络都是在一个带有11GB RAM的NVIDIA GeForce GTX 1080Ti GPU上训练的,所有的实验都是在运行Ubuntu16.04的Linux服务器上进行的,该服务器配有Intel Core i7-6700 CPU和32GBRAM。
本实施例中公开了一种压缩采样模型构建方法,包括如下步骤:
步骤1:获取胰腺CT图像,对胰腺CT图像进行图像变换和数据预处理,得到预处理后的CT图像,所述的预处理后的CT图像上带有多个分割类别标签;
步骤2:对预处理后的CT图像的分割类别标签采用独热编码方式进行编码,得到标签图G∈{0,1}H×W×C,其中,H和W分别表示标签图的高和宽,C代表分割类别总数;
步骤3:对预处理后的CT图像进行特征提取,得到特征图其中,和分别表示特征图的高和宽,R表示矩阵,代表原始特征图O内的特征总数,将特征图O上坐标为(i,j)的像素点对应的特征值按照特征提取的顺序构成观测向量
具体的,步骤1包括如下子步骤:
步骤1.1,本发明将12位的人体CT扫描影像转换成8位数据输入,每套人体CT扫描体素的维度为512×512×L,其中L∈[181,466],沿着人体的长轴方向获得原始CT影像的轴状面2D切片,切片的分辨率和数目分别为512×512和 L;
步骤1.2,为了能够保留大部分的腹部器官,胰腺分割任务特点,将CT 切片窗宽窗位范围调整为-100Hu—240Hu以适用于胰腺分割,然后经过灰度映射得到灰度值范围为[0,255]的图像,数据集中相应的标注标签像素值重新缩放为布尔值0或1;
步骤1.3,使用简单线性插值方法将图像从512×512调整到528×528,为改善图像的视觉效果,在训练网络时考虑图像随机旋转和镜像翻转的影响,通过在0.5到2.0之间随机缩放并水平旋转输入图像,并随机对图像进行镜像翻转。
具体的,步骤2包括如下子步骤:
采用独热编码方式对标签编码,得到G∈{0,1,2,...,C}H×W,记为G∈{0,1}H×W×C,其中H和W分别表示标签图的高和宽,C代表所有分割类别,由于胰腺分割任务只判定每个像素点属于胰腺区域或者背景区域,则C的值为2。
具体的,步骤3包括如下子步骤:
步骤3.3:要从个观测向量中得到标签G的分割预测概率图可转化为对特征空间O中的所有观测向量oij进行恢复重建的问题。观测向量经过重建,得到原始信号vij∈{0,1}N×1,其中N=r×r×C,[·]表示向上取整函数;将信号vij∈{0,1}N×1按照先水平后竖直的方向铺展,构成标签预测概率图中的子图像块则标签预测概率图共有个子图像块组成。
具体的,训练网络时,H/r或W/r若不是整数,可通过双线性插值方式适当放缩原始图像和标签图像。
具体的,步骤4包括如下子步骤:
Avij=oij.
本实施例中还公开了一种腹部CT胰腺全自动分割模型构建方法,包括如下步骤:
步骤a:获取胰腺CT图像,对胰腺CT图像进行图像变换和数据预处理,得到预处理后的CT图像集;
步骤b:构建全自动分割网络,包括依次连接的编码器网络、压缩采样模型和解码器网络;
步骤c:采用第一损失函数,对步骤b得到的全自动分割网络进行训练,对压缩采样模型中的压缩矩阵A和重建矩阵B进行迭代更新,获得更新后的压缩采样模型,所述更新后的压缩采样模型包括更新后的压缩矩阵和更新后的重建矩阵
步骤d:采用第二损失函数,对步骤c得到的包含更新后的压缩采样模型的全自动分割网络进行训练,对编码器网络和解码器网络的参数进行迭代更新,将训练好的全自动分割网络作为胰腺全自动分割模型。
具体的,所述第一损失函数为l2范数,所述第二损失函数交叉熵损失函数。
具体的,步骤c包括如下子步骤:
步骤c2:当原始向量vij不完全是稀疏的或观测向量oij数据存在一定的偏差时,样本空间中数据带有噪声e的干扰,其中oij=Avij+e,e=(e1,e2,...,eN)T∈RN×1,噪声e服从正太分布e~N(0,δ2)且令其满足边界条件||e||2≤ε,从而保证了压缩采样重建算法的稳定性;
步骤c3:采用端对端的训练方式,在步骤a所得到的数据上迭代优化网络参数,求解出压缩矩阵A*和重建矩阵B*。
具体的,首次训练时,令网络参数初始化时服从e~N(0,0.12)高斯分布,采用SGD优化器最小化l2范数损失,批量大小设置为4,初始化学习效率为0.007,动量设置为0.9,衰减权重为0.0001,在训练集上经过5期的训练。
具体的,将经过步骤c优化后的压缩采样模型嵌入重新构建的胰腺全自动分割编码器解码器网络框架,其中在步骤c中求得的重建矩阵被级联在分割主网络的解码器模块,重建矩阵能够从特征图中选择关于分割目标位置信息的稀疏性特征表示,再次利用步骤a所得到的数据,对分割网络进行第二阶段的训练,步骤d包括如下子步骤:
步骤d1:分割主网络的编码器使用ResNet-50作为骨干网络,为求解压缩采样模型,第一阶段以标准的ResNet-50为编码器骨干网络并使用在ImageNet上的预训练权重进行初始化,并加入更多卷积层增强网络的特征提取能力,网络训练时以服从e~N(0,0.12)高斯分布对其进行初始化;
步骤d2:使用在步骤c中通过第一阶段网络训练求解的重建矩阵B*对使用特征聚合策略得到的特征图O进行上采样,将其恢复至与原始输入图像保持相同分辨率,得到预测概率图。第二阶段在对编码器解码器胰腺分割主网络进行迭代训练时,采用交叉熵损失优化网络参数W,G表示标签图像,映射函数表示从原始输入图像X中推理得到胰腺器官的预测概率图非线性变换,假设空间φ定义为优化风险函数可表示为最小化关于假设空间中的映射函数平均意义下的交叉熵损失
步骤d3:在步骤a所得到的数据上迭代优化网络参数,采用SGD优化器最小化交叉熵损失,批量大小为4,初始化学习效率为0.007,动量设置为0.9,衰减权重为0.0001。分割主网络在较大的NIH数据集上训练300期,学习率衰减呈指数下降,而在相对较小的ISBI2015 VISCERAL挑战赛数据集的训练集上训练1000期,学习率衰减采用多项式策略,衰减权重为0.0001。
本实施例中还公开了一种分割方法,包括如下步骤:
步骤Ⅰ:获取待分割的胰腺CT图像;
步骤Ⅱ:利用腹部CT胰腺全自动分割模型构建方法获得胰腺全自动分割网络模型,将待分割的胰腺CT图像输入胰腺全自动分割网络模型,输出胰腺分割结果。
本实施例中还公开了一种压缩采样模型构建***,包括预处理模块、标签图生成模块、特征图生成模块、分割预测概率图生成模块和压缩采样模型生成模块:
所述预处理模块用于获取胰腺CT图像,对胰腺CT图像进行图像变换和数据预处理,得到预处理后的CT图像,所述的预处理后的CT图像上带有多个分割类别标签;
所述标签图生成模块用于对预处理后的CT图像的分割类别标签采用独热编码方式进行编码,得到标签图G∈{0,1}H×W×C,其中,H和W分别表示标签图的高和宽,C代表分割类别总数;
所述特征图生成模块用于对预处理后的CT图像进行特征提取,得到特征图其中,和分别表示特征图的高和宽,R表示矩阵,代表原始特征图O内的特征总数,将特征图O上坐标为(i,j)的像素点对应的特征值按照特征提取的顺序构成观测向量
本实施例中还公开了一种腹部CT胰腺全自动分割模型构建模型,包括预处理模块、全自动分割网络构建模块、首次训练模块和二次训练模块;
所述的预处理模块用于获取胰腺CT图像,对胰腺CT图像进行图像变换和数据预处理,得到预处理后的CT图像集;
所述的全自动分割网络构建模块用于构建全自动分割网络,包括依次连接的编码器网络、压缩采样模型和解码器网络;
所述的首次训练模块用于采用第一损失函数,对全自动分割网络构建模块得到的全自动分割网络进行训练,对压缩采样模型中的压缩矩阵A和重建矩阵 B进行迭代更新,获得更新后的压缩采样模型,所述更新后的压缩采样模型包括更新后的压缩矩阵和更新后的重建矩阵
所述的二次训练模块用于采用第二损失函数,对首次训练模块得到的包含更新后的压缩采样模型的全自动分割网络进行训练,对编码器网络和解码器网络的参数进行迭代更新,将训练好的全自动分割网络作为胰腺全自动分割模型。
具体的,所述第一损失函数为l2范数,所述第二损失函数交叉熵损失函数。
本实施例中还公开了一种分割***,包括输入模块和分割模块:
所述的输入模块用于获取待分割的胰腺CT图像;
所述的分割模块用于利用腹部CT胰腺全自动分割模型构建***获得胰腺全自动分割网络模型,将待分割的胰腺CT图像输入胰腺全自动分割网络模型,输出胰腺分割结果。
实施例1
本实施例给出了一种分割方法,通过在NIH数据集和在ISBI 2015 VISCERAL挑战赛数据集上进行实验,对比了背景技术中所介绍2020年Li 等人提出的半自动胰腺分割方法和2019年Zhao等人提出的从粗分割到细分割的多阶段技术以及现有的其它方法,对比结果列在表1和表2中。
表1给出了在NIH数据集上本文算法的平均戴斯相似度系数(DSC)高达 87.69%,在所有病人的测试样例中统计出的DSC最小值为82.79%、DSC最大值为92.13%,标准差为3.18%。通过与表中列出先进分割算法相比,本文提出算法的不仅平均精度高于对比的自动分割算法,其DSC最小值相较于其它先进分割算法有着较大幅度的提升,这为算法应用于临床的时安全性提供了依据,且标准差首次降到4.00%以下,进一步保证了分割算法稳定性。
表1不同算法在NIH数据集上的实验结果
Table.1 Experimental results of various algorithms on the NIH
表2给出相关的胰腺分割方法在数据量相对较少在ISBI 2015 VISCERAL 挑战赛数据集上进行实验的结果,本文提出的分割算法在该数据集上取得了平均戴斯相似度系数结果为72.17%,与其余分割算法相比有较大幅度的精度提升。
表2不同算法在ISBI 2015 VISCERAL数据集上的实验结果
Table.2 Experimental results of various algorithms on the ISBI 2015VISCERAL
图1是本发明针对腹部CT胰腺器官全自动分割任务,采用的嵌入压缩采样的编码器解码器网络,网络的主要由编码器模块、解码器模块、压缩采样模块和特征聚合模块四部分构成。
图2是为了使网络能够从标签空间中感知胰腺器官的位置先验知识,构建压缩采样模型的示意图。
图3是感知胰腺位置先验的可视化示意图,在训练分割主网络的不同阶段,随机地可视化部分CT数据2D切片的胰腺分割示例。分割主网络利用压缩采样模块从标签空间中感知胰腺的位置先验,只需经过1期的训练,就完成对胰腺器官的精准定位,减弱网络对分割目标位置和权重初始值的敏感性,解决了胰腺全自动分割算法难以对较小分割目标进行定位的问题。
图4是本文发明的胰腺分割网络在NIH数据集上训练时的收敛趋势图,在NIH数据集上进行训练的过程中,损失函数随着迭代次数的增加迅速并趋于稳定收敛。
图5是在NIH数据集上对分割主网络进行训练并接近收敛时胰腺分割结果示意图。从图中可以得出,即使胰腺的位置、大小不固定且解剖变异性高,仍能够在胰腺边缘区域保持分割结果与标签趋于吻合。
Claims (4)
1.基于DNN的胰腺全自动分割模型的构建方法,其特征在于,包括如下步骤:
步骤a:获取胰腺CT图像,对胰腺CT图像进行图像变换和数据预处理,得到预处理后的CT图像集;
步骤b:构建全自动分割网络,包括依次连接的编码器网络、压缩采样模型和解码器网络;
步骤c:采用第一损失函数,对步骤b得到的全自动分割网络进行训练,对压缩采样模型中的压缩矩阵A和重建矩阵B进行迭代更新,获得更新后的压缩采样模型,所述更新后的压缩采样模型包括更新后的压缩矩阵和更新后的重建矩阵
步骤d:采用第二损失函数,对步骤c得到的包含更新后的压缩采样模型的全自动分割网络进行训练,对编码器网络和解码器网络的参数进行迭代更新,将训练好的全自动分割网络作为胰腺全自动分割模型;
步骤b中压缩采样模型的构建方法包括如下步骤:
步骤1:获取胰腺CT图像,所述的胰腺CT图像上带有多个分割类别标签,对胰腺CT图像进行图像变换和数据预处理,得到预处理后的CT图像;
步骤2:对预处理后的CT图像的分割类别标签采用独热编码方式进行编码,得到标签图G∈{0,1}H×W×C,其中,H和W分别表示标签图的高和宽,C代表分割类别总数;
步骤3:对预处理后的CT图像进行特征提取,得到特征图其中,和分别表示特征图的高和宽,R表示矩阵,代表原始特征图O内的特征总数,将特征图O上坐标为(i,j)的像素点对应的特征值按照特征提取的顺序构成观测向量
所述第一损失函数为l2范数,所述第二损失函数为交叉熵损失函数。
2.一种分割方法,其特征在于,包括如下步骤:
步骤Ⅰ:获取待分割的胰腺CT图像;
步骤Ⅱ:利用如权利要求1所述的基于DNN的胰腺全自动分割模型的构建方法获得胰腺全自动分割网络模型,将待分割的胰腺CT图像输入胰腺全自动分割网络模型,输出胰腺分割结果。
3.基于DNN的胰腺全自动分割模型的构建***,其特征在于,包括预处理模块、全自动分割网络构建模块、首次训练模块和二次训练模块;
所述的预处理模块用于获取胰腺CT图像,对胰腺CT图像进行图像变换和数据预处理,得到预处理后的CT图像集;
所述的全自动分割网络构建模块用于构建全自动分割网络,包括依次连接的编码器网络、压缩采样模型和解码器网络;
所述的首次训练模块用于采用第一损失函数,对全自动分割网络构建模块得到的全自动分割网络进行训练,对压缩采样模型中的压缩矩阵A和重建矩阵B进行迭代更新,获得更新后的压缩采样模型,所述更新后的压缩采样模型包括更新后的压缩矩阵和更新后的重建矩阵
所述的二次训练模块用于采用第二损失函数,对首次训练模块得到的包含更新后的压缩采样模型的全自动分割网络进行训练,对编码器网络和解码器网络的参数进行迭代更新,将训练好的全自动分割网络作为胰腺全自动分割模型;
所述的压缩采样模型包括预处理模块、标签图生成模块、特征图生成模块和压缩采样模型生成模块:
所述预处理模块用于获取胰腺CT图像,所述的胰腺CT图像上带有多个分割类别标签,对胰腺CT图像进行图像变换和数据预处理,得到预处理后的CT图像;
所述标签图生成模块用于对预处理后的CT图像的分割类别标签采用独热编码方式进行编码,得到标签图G∈{0,1}H×W×C,其中,H和W分别表示标签图的高和宽,C代表分割类别总数;
所述特征图生成模块用于对预处理后的CT图像进行特征提取,得到特征图其中,和分别表示特征图的高和宽,R表示矩阵,代表原始特征图O内的特征总数,将特征图O上坐标为(i,j)的像素点对应的特征值按照特征提取的顺序构成观测向量
所述第一损失函数为l2范数,所述第二损失函数交叉熵损失函数。
4.一种分割***,其特征在于,包括输入模块和分割模块:
所述的输入模块用于获取待分割的胰腺CT图像;
所述的分割模块用于利用如权利要求3所述的基于DNN的胰腺全自动分割模型的构建***获得胰腺全自动分割网络模型,将待分割的胰腺CT图像输入胰腺全自动分割网络模型,输出胰腺分割结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110002670.7A CN112634265B (zh) | 2021-01-04 | 2021-01-04 | 基于dnn的胰腺全自动分割模型的构建、分割方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110002670.7A CN112634265B (zh) | 2021-01-04 | 2021-01-04 | 基于dnn的胰腺全自动分割模型的构建、分割方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112634265A CN112634265A (zh) | 2021-04-09 |
CN112634265B true CN112634265B (zh) | 2023-04-07 |
Family
ID=75291312
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110002670.7A Active CN112634265B (zh) | 2021-01-04 | 2021-01-04 | 基于dnn的胰腺全自动分割模型的构建、分割方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112634265B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113674281B (zh) * | 2021-10-25 | 2022-02-22 | 之江实验室 | 一种基于深度形状学习的肝脏ct自动分割方法 |
CN113870258B (zh) * | 2021-12-01 | 2022-03-25 | 浙江大学 | 一种基于对抗学习的无标签胰腺影像自动分割*** |
CN114596319B (zh) * | 2022-05-10 | 2022-07-26 | 华南师范大学 | 基于Boosting-Unet分割网络的医学影像分割方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107784676A (zh) * | 2017-09-20 | 2018-03-09 | 中国科学院计算技术研究所 | 基于自动编码器网络的压缩感知测量矩阵优化方法和*** |
CN111754520A (zh) * | 2020-06-09 | 2020-10-09 | 江苏师范大学 | 一种基于深度学习的脑血肿分割方法及*** |
CN112116605A (zh) * | 2020-09-29 | 2020-12-22 | 西北工业大学深圳研究院 | 一种基于集成深度卷积神经网络的胰腺ct图像分割方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105761215B (zh) * | 2016-01-27 | 2018-11-30 | 京东方科技集团股份有限公司 | 一种图像压缩方法、图像重构方法、装置及*** |
US10600185B2 (en) * | 2017-03-08 | 2020-03-24 | Siemens Healthcare Gmbh | Automatic liver segmentation using adversarial image-to-image network |
US20200063665A1 (en) * | 2018-01-25 | 2020-02-27 | Dalian University Of Technology | Aero-engine full flight envelope model adaptive modification method based on deep learning algorithm |
-
2021
- 2021-01-04 CN CN202110002670.7A patent/CN112634265B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107784676A (zh) * | 2017-09-20 | 2018-03-09 | 中国科学院计算技术研究所 | 基于自动编码器网络的压缩感知测量矩阵优化方法和*** |
CN111754520A (zh) * | 2020-06-09 | 2020-10-09 | 江苏师范大学 | 一种基于深度学习的脑血肿分割方法及*** |
CN112116605A (zh) * | 2020-09-29 | 2020-12-22 | 西北工业大学深圳研究院 | 一种基于集成深度卷积神经网络的胰腺ct图像分割方法 |
Non-Patent Citations (3)
Title |
---|
Scalable Convolutional Neural Network for Image Compressed Sensing;Wuzhen Shi 等;《IEEE》;20200109;第1-10页 * |
基于小波变换的图像压缩感知深度重构网络;熊承义等;《中南民族大学学报(自然科学版)》;20200804(第04期);第71-78页 * |
基于深度学习的胰腺分割方法研究;纪建兵等;《数字技术与应用》;20200125(第01期);第75-76页 * |
Also Published As
Publication number | Publication date |
---|---|
CN112634265A (zh) | 2021-04-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112634265B (zh) | 基于dnn的胰腺全自动分割模型的构建、分割方法及*** | |
CN111798462B (zh) | 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法 | |
CN110310287B (zh) | 基于神经网络的危及器官自动勾画方法、设备和存储介质 | |
CN107578416B (zh) | 一种由粗到精级联深度网络的心脏左心室全自动分割方法 | |
Tang et al. | A multi-stage framework with context information fusion structure for skin lesion segmentation | |
US20210233244A1 (en) | System and method for image segmentation using a joint deep learning model | |
JP2023540910A (ja) | 病変検出のための共同訓練を伴う接続機械学習モデル | |
CN111640120A (zh) | 一种基于显著性密集连接扩张卷积网络的胰腺ct自动分割方法 | |
CN113393469A (zh) | 基于循环残差卷积神经网络的医学图像分割方法和装置 | |
CN114494296A (zh) | 一种基于Unet和Transformer相融合的脑部胶质瘤分割方法与*** | |
CN114596317A (zh) | 一种基于深度学习的ct影像全心脏分割方法 | |
CN114359642A (zh) | 基于一对一目标查询Transformer的多模态医学图像多器官定位方法 | |
CN114972362A (zh) | 一种基于RMAU-Net网络的医学图像自动分割方法与*** | |
CN111798424A (zh) | 一种基于医学图像的结节检测方法、装置及电子设备 | |
WO2022086910A1 (en) | Anatomically-informed deep learning on contrast-enhanced cardiac mri | |
CN117058307A (zh) | 心脏三维核磁共振图像生成方法、***、设备及储存介质 | |
Dou et al. | Tooth instance segmentation based on capturing dependencies and receptive field adjustment in cone beam computed tomography | |
Schwarz et al. | A deformable registration method for automated morphometry of MRI brain images in neuropsychiatric research | |
Lv et al. | An improved residual U-Net with morphological-based loss function for automatic liver segmentation in computed tomography | |
CN113764101A (zh) | 基于cnn的乳腺癌新辅助化疗多模态超声诊断*** | |
CN117710317A (zh) | 检测模型的训练方法及检测方法 | |
CN111209946B (zh) | 三维图像处理方法、图像处理模型训练方法及介质 | |
Farag et al. | Variational approach for segmentation of lung nodules | |
Tran et al. | Deep learning-based inpainting for chest X-ray image | |
Erdt et al. | Computer aided segmentation of kidneys using locally shape constrained deformable models on CT images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |