CN111696126B - 一种基于多视角的多任务肝脏肿瘤图像分割方法 - Google Patents
一种基于多视角的多任务肝脏肿瘤图像分割方法 Download PDFInfo
- Publication number
- CN111696126B CN111696126B CN202010417948.2A CN202010417948A CN111696126B CN 111696126 B CN111696126 B CN 111696126B CN 202010417948 A CN202010417948 A CN 202010417948A CN 111696126 B CN111696126 B CN 111696126B
- Authority
- CN
- China
- Prior art keywords
- segmentation
- image
- convolution
- dimensional
- liver
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30056—Liver; Hepatic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于多视角的多任务肝脏肿瘤图像分割方法。腹部CT图像经过预处理后,以切片的形式通过卷积神经网络模型同时得到其肝脏分割和肿瘤分割。该模型的输入为256×256×3大小的三维CT切片,输出为其中中间切片的相应分割。模型包含一个分割模块和一个精修模块,分别得到粗略的分割结果和精修的分割结果。模型通过一个组合损失函数进行优化,避免优化过程中的不稳定。本方法从三维CT图像的三个视角进行分割,把三个分割结果融合为一个得到最终的分割结果。本发明实现了对腹部CT图像的肝脏和肿瘤分割,有效地解决了分割过程中无法利用三维空间信息和优化不稳定的问题。
Description
技术领域
本申请涉及医疗图像处理领域,尤其涉及一种基于多视角的多任务肝脏肿瘤图像分割方法。
背景技术
计算机断层扫描(Computed Tomography,简称CT)是利用精确准直的X射线、γ射线、超声波等,与灵敏度极高的探测器一同围绕人体的某一部位作连续性的断面扫描,具有扫描时间快、图像清晰等特点,可用于多种疾病的检查。CT图像是由一定数目的灰度像素按矩阵排列所构成,这些像素反映的是相应体素的射线吸收系数。根据这样的医学图像,医生能够诊断患者的病情,并评估患者的治疗反应。
其中,使用腹腔CT图像进行肝脏图像分割,在医学图像处理领域具有很重要的地位。这是诊断肝脏疾病、肝脏体积测量和三维肝体积渲染的首要步骤,对疾病诊断、图像引导外科手术以及医学数据的可视化具有重要作用,能为临床诊疗和病理学研究提供可靠的依据,也能减少医学专家的工作量,节省医疗资源,降低误诊率。通常,为了提取肝脏解剖信息,医生需要依靠人工处理和目视检查来辨认器官和病灶的位置和形状大小,这种极度依赖医生主观性和经验的做法,不仅不够客观严谨,而且效率很低、费时费力。而自动化工具因其结果客观、操作方便的特点,近年来已被广泛研究。但肝脏图像分割仍然是一项具有挑战性的任务,因为CT图像对比度低、边缘模糊,且包含一些难以避免的噪声。此外,脾脏、肝脏和胃等邻近器官可能具有相似的灰度级别,造成干扰。同时,同一个器官在同一个人体内可能具有不同的灰度值,肝脏的形状又复杂多样,这些都增加了肝脏分割任务的难度。
然而,现有公开的基于深度学习的肝脏肿瘤分割方法存在不足。一些方法通过二维卷积神经网络对CT图像的二维切片进行分割,忽视了三维图像中蕴藏的三维结构上下文,丢失了其中的空间信息;一些方法通过纯三维卷积对CT图像进行分割,给模型的训练和预测带来巨大的显存负担;一些方法仅进行肿瘤的分割任务,忽视了肝脏分割任务给肿瘤分割带来的增益效果。已有方法普遍通过Dice损失作为优化模型的损失函数,但是Dice损失在训练过程中极不稳定,容易导致模型无法很好地收敛。因此,一种基于多视角的多任务肝脏肿瘤分割方法是迫切需求的。
发明内容
发明目的:为了解决现有技术存在的问题,实现在显卡内存不充足情况下充分利用腹部CT图像的三维空间信息,并通过同时进行多任务分割来提高分割精度,且在优化模型时更加稳定,本发明提供了一种基于多视角的多任务肝脏肿瘤分割方法。
技术方案:一种基于多视角的多任务肝脏肿瘤分割方法,其特征在于,包括以下步骤:
步骤一:对三维腹部CT图像进行预处理,通过阈值过滤原始图像从而去除肝脏及其肿瘤灰度范围之外的像素,然后将图像尺寸缩放为256×256×256,接着对图像进行各项异性扩散来减少其中的噪声,再对图像进行标准化,记得到的三维图像为
步骤四:压缩特征信息fp的形状,将其中通道数为1的那一维去掉,即令
步骤八:对模型用随机梯度下降法进行优化,其损失函数为结合了Dice损失和Focal损失的组合损失函数,同时对Pij、Ptj、Slj、Stj进行监督;
步骤九:将所有切片I1…I256的肝脏分割结果Sl1…Sl256合并为三维的肝脏分割Sl,x,将肿瘤分割结果St1…St256合并为三维的肿瘤分割结果St,x;
步骤十:从三维CT图像的其他视角进行步骤二的切片,并通过步骤三到步骤七得到另外两个视角的分割结果Sl,y,Sl,z,St,y,St,z;
步骤十一:将三个视角的三维分割结果通过加权平均的方式进行融合,得到最终的肝脏分割Sl和肿瘤分割St:
Sl=α1Sl,x+α2Sl,y+α3Sl,z#(1)
St=α1St,x+α2St,y+α3St,z#(2)
进一步的,步骤一中缩放三维图像的方法为三次插值。
进一步的,步骤二中对图像切片为从256×256×256的数据中的某一维提取连续3个通道,并将形状调整为3×256×256。
进一步的,步骤三、步骤五、步骤七中的卷积神经网络中的卷积块均为“Conv-GN-ReLU”块,其中Conv为卷积层,GN为组标准化层,ReLU为线性整流函数。
进一步的,步骤五中的二维卷积神经网络包含4个下采样阶段、4个上采样阶段和2个全连接层;每个下采样阶段包含一个下采样卷积块和一个稠密卷积块,每个上采样阶段包含一个上采样卷积块核一个稠密卷积块;其中下采用卷积块的卷积层为卷积核大小为3×3、步长为2×2的二维卷积;上采样卷积块的卷积层为卷积核大小为3×3、步长为2×2的二维反卷积;稠密卷积块由4个卷积块组成,每个卷积块的卷积层为卷积核大小为3×3、步长为1×1的二维卷积,每个卷积块接受该稠密卷积块中前面卷积块的所有输出作为输入;在上采样阶段,卷积块除了接受上采样得到的特征,还接受来自下采样阶段的特征,这些特征在缩放到同一尺寸后堆叠在一起输入上采样卷积块。
进一步的,步骤八中的组合损失函数形式为:
其中L为分割模块和精修模块的输出与真实标签求得的损失:
其中L为分割模块和精修模块的输出与真实标签求得的损失:
L=Ldice+λLfocal#(4)
Ldice为Dice损失函数:
Lfocal为Focal损失函数:
有益效果:
本发明提供了一种基于多视角的多任务肝脏肿瘤分割方法,相比较现有技术,能够在显卡内存有限的情况下,通过三维卷积与二维卷积结合的方式提取并保留局部三维空间信息,通过多视角分割与融合来保留CT图像全局的三维空间信息;方法通过多任务同时分割,来提高肿瘤分割的精度;方法通过组合损失函数,实现模型优化过程中的稳定优化。该方法有效实现了显卡内存需求与提取三维信息之间的平衡,提高了肝脏分割和肿瘤分割的精度,解决了模型优化过程中不稳定、不易收敛的问题。
附图说明
图1为本发明的方法流程图;
图2为本发明分割模块结构示意图;
图3为本发明精修模块结构示意图;
图4为本发明多视角分割的示意图;
图5为本发明使用该发明方法对LiTS数据集中CT图像分割结果示意图。
具体实施方式
下面结合附图与具体实施方式对本发明作进一步详细说明:
本实施例提供一种基于多视角的多任务肝脏肿瘤分割方法,通过本方法,模型在有限的显卡内存环境中有效提取了三维腹部CT图像的三维空间信息,并在优化过程中稳定、易收敛,实现肝脏和肿瘤的高精度分割,可用于医疗图像处理。
该方法的流程如图1所示:
步骤一:对三维腹部CT图像进行预处理,通过阈值过滤原始图像从而去除肝脏及其肿瘤灰度范围之外的像素,然后将图像尺寸缩放为256×256×256,接着对图像进行各项异性扩散来减少其中的噪声,再对图像进行标准化,记得到的三维图像为
步骤八:对模型用随机梯度下降法进行优化,其损失函数为结合了Dice损失和Focal损失的组合损失函数,同时对Pij、Ptj、Slj、Stj进行监督;
步骤九:将所有切片I1…I256的肝脏分割结果Sl1…Sl256合并为三维的肝脏分割Sl,x,将肿瘤分割结果St1…St256合并为三维的肿瘤分割结果St,x;
步骤十:从三维CT图像的其他视角进行步骤二的切片,并通过步骤三到步骤七得到另外两个视角的分割结果Sl,y,Sl,z,St,y,St,z;
步骤十一:将三个视角的三维分割结果通过加权平均的方式进行融合,得到最终的肝脏分割Sl和肿瘤分割St:
Sl=α1Sl,x+α2Sl,y+α3Sl,z#(1)
St=α1St,x+α2St,y+α3St,z#(2)
本实例中,对腹部CT图像数据集LiTS的130个训练样本和70个测试样本进行了训练、验证和测试。通过上述方法训练模型后,用Dice系数对方法得到的结果进行性能评估。本方法在验证集上的肿瘤分割结果如图5所示。可以看出,本方法对CT图像的分割达到了很好的效果,在加入精修模块后,肿瘤分割的边缘相比于无精修时更加细化。在LiTS的测试样本中,本方法的肝脏分割结果每例Dice系数达到0.941,整体Dice系数达到0.951,中立分割结果每例Dice系数达到0.614,整体Dice系数达到0.765。这表明本方法在有限显卡内存下仍然能够有效地提取CT图像的三维空间信息,从而实现高精度的分割。这也意味着本文提出的算法在实际医疗应用中具有很大的优势,能够方便快速地移植到医疗/手术计划等应用中,给医生的快速诊断带来益处。
Claims (8)
1.一种基于多视角的多任务肝脏肿瘤图像分割方法,其特征在于,包括以下步骤:
步骤一:对三维腹部CT图像进行预处理,通过阈值过滤原始图像从而去除肝脏及其肿瘤灰度范围之外的像素,然后将图像尺寸缩放为256×256×256,接着对图像进行各项异性扩散来减少其中的噪声,再对图像进行标准化,记得到的三维图像为
步骤八:对模型用随机梯度下降法进行优化,其损失函数为结合了Dice损失和Focal损失的组合损失函数,同时对Pij、Ptj、Slj、Stj进行监督;
步骤九:将所有切片I1...I256的肝脏分割结果Sl1...Sl256合并为三维的肝脏分割Sl,x,将肿瘤分割结果St1...St256合并为三维的肿瘤分割结果St,x;
步骤十:从三维CT图像的其他视角进行步骤二的切片,并通过步骤三到步骤七得到另外两个视角的分割结果Sl,y,Sl,z,St,y,St,z;
步骤十一:将三个视角的三维分割结果通过加权平均的方式进行融合,得到最终的肝脏分割Sl和肿瘤分割St:
Sl=α1Sl,x+α2Sl,y+α3Sl,z#(1)
St=α1St,x+α2St,y+α3St,z#(2)。
2.根据权利要求1所述的一种基于多视角的多任务肝脏肿瘤分割方法,其特征在于,步骤一中缩放三维图像的方法为三次插值。
3.根据权利要求1所述的一种基于多视角的多任务肝脏肿瘤图像分割方法,其特征在于,步骤二中对图像切片为从256×256×256的数据中的某一维提取连续3个通道,并将形状调整为3×256×256。
4.根据权利要求1所述的一种基于多视角的多任务肝脏肿瘤图像分割方法,其特征在于,步骤三、步骤五、步骤七中的卷积神经网络中的卷积块均为“Conv-GN-ReLU”块,其中Conv为卷积层,GN为组标准化层,ReLU为线性整流函数。
6.根据权利要求1所述的一种基于多视角的多任务肝脏肿瘤图像分割方法,其特征在于,步骤五中的二维卷积神经网络包含4个下采样阶段、4个上采样阶段和2个全连接层;每个下采样阶段包含一个下采样卷积块和一个稠密卷积块,每个上采样阶段包含一个上采样卷积块核一个稠密卷积块;其中下采用卷积块的卷积层为卷积核大小为3×3、步长为2×2的二维卷积;上采样卷积块的卷积层为卷积核大小为3×3、步长为2×2的二维反卷积;稠密卷积块由4个卷积块组成,每个卷积块的卷积层为卷积核大小为3×3、步长为1×1的二维卷积,每个卷积块接受该稠密卷积块中前面卷积块的所有输出作为输入;在上采样阶段,卷积块除了接受上采样得到的特征,还接受来自下采样阶段的特征,这些特征在缩放到同一尺寸后堆叠在一起输入上采样卷积块。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010417948.2A CN111696126B (zh) | 2020-05-18 | 2020-05-18 | 一种基于多视角的多任务肝脏肿瘤图像分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010417948.2A CN111696126B (zh) | 2020-05-18 | 2020-05-18 | 一种基于多视角的多任务肝脏肿瘤图像分割方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111696126A CN111696126A (zh) | 2020-09-22 |
CN111696126B true CN111696126B (zh) | 2022-11-11 |
Family
ID=72477861
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010417948.2A Active CN111696126B (zh) | 2020-05-18 | 2020-05-18 | 一种基于多视角的多任务肝脏肿瘤图像分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111696126B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112734741B (zh) * | 2021-01-19 | 2022-11-04 | 浙江飞图影像科技有限公司 | 一种肺炎ct影像的图像处理方法和*** |
CN113487591A (zh) * | 2021-07-22 | 2021-10-08 | 上海嘉奥信息科技发展有限公司 | 一种基于ct的整条脊柱的分割方法、*** |
CN113729060A (zh) * | 2021-09-10 | 2021-12-03 | 武汉轻工大学 | 一种基于机器视觉的冰冻家禽自动铣削切片*** |
CN115018862A (zh) * | 2022-05-26 | 2022-09-06 | 杭州深睿博联科技有限公司 | 一种基于混合神经网络的肝脏肿瘤分割方法及装置 |
CN117351215B (zh) * | 2023-12-06 | 2024-02-23 | 上海交通大学宁波人工智能研究院 | 一种人工肩关节假体设计***及方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107784647B (zh) * | 2017-09-29 | 2021-03-09 | 华侨大学 | 基于多任务深度卷积网络的肝脏及其肿瘤分割方法及*** |
CN109872325B (zh) * | 2019-01-17 | 2022-11-15 | 东北大学 | 基于双路三维卷积神经网络的全自动肝脏肿瘤分割方法 |
CN109934832A (zh) * | 2019-03-25 | 2019-06-25 | 北京理工大学 | 基于深度学习的肝脏肿瘤分割方法及装置 |
CN110570432A (zh) * | 2019-08-23 | 2019-12-13 | 北京工业大学 | 一种基于深度学习的ct图像肝脏肿瘤分割方法 |
-
2020
- 2020-05-18 CN CN202010417948.2A patent/CN111696126B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN111696126A (zh) | 2020-09-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111696126B (zh) | 一种基于多视角的多任务肝脏肿瘤图像分割方法 | |
CN110889853B (zh) | 基于残差-注意力深度神经网络的肿瘤分割方法 | |
CN111354002A (zh) | 一种基于深度神经网络的肾脏及肾脏肿瘤分割方法 | |
CN109523521B (zh) | 基于多切片ct图像的肺结节分类和病灶定位方法和*** | |
CN110889852A (zh) | 基于残差-注意力深度神经网络的肝脏分割方法 | |
CN112258488A (zh) | 一种医疗影像病灶分割方法 | |
CN116309650B (zh) | 基于双分支嵌入注意力机制的医学图像分割方法与*** | |
CN113808146B (zh) | 一种医学图像多器官分割方法及*** | |
JP2023550844A (ja) | 深層形状学習に基づく肝臓ct自動分割方法 | |
CN114037714B (zh) | 一种面向******穿刺的3d mr与trus图像分割方法 | |
CN110991254B (zh) | 超声图像视频分类预测方法及*** | |
CN112508953B (zh) | 基于深度神经网络的脑膜瘤快速分割定性方法 | |
CN111724397B (zh) | 一种颅脑ct图像出血区域自动分割方法 | |
CN113393469A (zh) | 基于循环残差卷积神经网络的医学图像分割方法和装置 | |
CN113223005B (zh) | 一种甲状腺结节自动分割及分级的智能*** | |
CN114742802B (zh) | 基于3Dtransformer混合卷积神经网络的胰腺CT图像分割方法 | |
CN114596317A (zh) | 一种基于深度学习的ct影像全心脏分割方法 | |
CN114972362A (zh) | 一种基于RMAU-Net网络的医学图像自动分割方法与*** | |
CN114648541A (zh) | 非小细胞肺癌大体肿瘤靶区自动分割方法 | |
CN116645283A (zh) | 基于自监督感知损失多尺度卷积神经网络的低剂量ct图像去噪方法 | |
CN114565601A (zh) | 基于DeepLabV3+改进的肝脏CT图像分割算法 | |
CN117649385A (zh) | 一种基于全局和局部注意力机制的肺部ct图像分割方法 | |
CN114066798B (zh) | 一种基于深度学习的脑肿瘤核磁共振影像数据合成方法 | |
CN115132275B (zh) | 基于端到端三维卷积神经网络预测egfr基因突变状态方法 | |
CN116030043A (zh) | 一种多模态医学图像分割方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |