CN111583246A - 利用ct切片图像对肝脏肿瘤进行分类的方法 - Google Patents
利用ct切片图像对肝脏肿瘤进行分类的方法 Download PDFInfo
- Publication number
- CN111583246A CN111583246A CN202010392797.XA CN202010392797A CN111583246A CN 111583246 A CN111583246 A CN 111583246A CN 202010392797 A CN202010392797 A CN 202010392797A CN 111583246 A CN111583246 A CN 111583246A
- Authority
- CN
- China
- Prior art keywords
- data
- model
- liver
- tumor
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 208000014018 liver neoplasm Diseases 0.000 title claims abstract description 24
- 206010019695 Hepatic neoplasm Diseases 0.000 title claims abstract description 22
- 238000002591 computed tomography Methods 0.000 title description 38
- 238000012549 training Methods 0.000 claims abstract description 52
- 206010028980 Neoplasm Diseases 0.000 claims abstract description 34
- 210000004185 liver Anatomy 0.000 claims abstract description 31
- 230000011218 segmentation Effects 0.000 claims abstract description 26
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 230000008569 process Effects 0.000 claims description 25
- 238000013135 deep learning Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 6
- 238000003860 storage Methods 0.000 claims description 5
- 230000003902 lesion Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 3
- 238000012546 transfer Methods 0.000 claims description 2
- 238000000605 extraction Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 6
- 238000013459 approach Methods 0.000 description 4
- 210000000056 organ Anatomy 0.000 description 4
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 230000003211 malignant effect Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000012216 imaging agent Substances 0.000 description 2
- 201000007270 liver cancer Diseases 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 1
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 230000034994 death Effects 0.000 description 1
- 231100000517 death Toxicity 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002594 fluoroscopy Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000009545 invasion Effects 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 231100000915 pathological change Toxicity 0.000 description 1
- 230000036285 pathological change Effects 0.000 description 1
- 230000002980 postoperative effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000002271 resection Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000002636 symptomatic treatment Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明涉及一种利用CT切片图像对肝脏肿瘤进行分类的方法。该方法包括：步骤1：对于肝脏的CT切片图像进行分割，然后在所分割的CT切片图像中勾画肿瘤的位置，以聚焦在可能有信息价值的区域；步骤2：选择基础模型，然后对于该基础模型的参数进行设置；步骤3：选取优化器；步骤4：对于所分割的CT切片图像的数据进行预处理；步骤5：对于所预处理的数据进行数据增强；步骤6：对于数据增强后的数据进行训练。本发明能够实现肝脏的分割和肿瘤的勾画，缩小模型所需聚焦的肿瘤图像附近的空间范围，能够实现对3维度空间的图像信息的最大程度的提取，以达到实现较准确分类的目的。
Description
技术领域
本发明涉及医疗图像处理技术领域，尤其是涉及一种利用CT切片图像对肝脏肿瘤进行分类的方法。
背景技术
肝脏是人体最重要的器官之一，也是常常发生疾病的地方。其中，肝癌的发生与否，对人体的健康有着极大的影响。肝癌也是全世界范围内造成死亡数量较大的恶性疾病，各个国家对于这个方向的研究也是非常频繁。正确的癌症分类，能够帮助医生对病人进行更加对症的治疗，包括更加精确尺寸的肿瘤切除办法，更加符合病情的术后康复和复查的频率等。传统的医生对于肿瘤是否恶性，是否发生扩散的诊断办法，是切去小片段，放置在显微镜下做肉眼观察然后判断。这种办法，非常地费时费力，效率非常低，所以，如何利用计算机实现肿瘤的自动分类就变得非常的重要和迫切。
计算机实现肝脏肿瘤的自动分类，有很多的难点。其中一个主要的原因是计算机读取的数据都是来自于CT肝脏扫描图。CT图相比于其他的仪器比如核磁和超声更加清晰，但是相比较于正常的照片，依然十分地糊，CT的像素也较低。另外，相比较于其他的器官比如肺，肝脏的特殊性质使得肝脏的CT扫描图上，肝脏的边缘非常模糊，这给计算机识别病变带来了诸多的不便。另外，CT图像本身像素间距、层间距也不统一，差距分布较大，也给计算机建模带来了挑战。除了CT图像外，医生人为地使用显影剂，为了在机器扫描透视能力有限的情况下，还能够尽可能的看清器官的内部情况，会使用一些显影剂，注入到病人的体内，并通过血管扩散到肝脏器官内，从而让疑似存在病变的肝脏器官与周围的身体器官在色彩上区别开来，这就造成了噪点，这一类的干扰也会对肿瘤的正确分类带来挑战。除此之外，肿瘤本身的形状和大小都十分地不确定，这就使得肿瘤的分类难上加难。
现在尝试过很多的办法来实现计算机的自动肿瘤分类。其中包括傅里叶变换，利用像素的阈值分类，以及很多其他传统的统计的办法。这类办法往往吃力不讨好，难以达到甚至接近资深医生人为地通过显微镜观察的办法所达到的精度，也就是说，这些办法没有达到实现计算机肿瘤自动分类，减轻医生工作负担的初始目的。在全卷积神经网络(FCN)在图像识别领域取得了巨大成功后，很多研究人员都开始利用这项技术解决实际的病变分类问题。本发明正是基于此项技术。特别地，本发明使用了一种深度学习神经网络技术，在尽量控制可变参数的数量的前提下，首先实现了肝脏的分割和肿瘤的勾画，再在此基础之上，缩小模型所需聚焦的肿瘤图像附近的空间范围，再使用特殊的数据增强和结构设计，能够实现对3维度空间的图像信息的最大程度的提取，以达到实现较准确分类的目的。
发明内容
本发明所要解决的技术问题是提供一种利用CT切片图像对肝脏肿瘤进行分类的方法。本发明能够实现肝脏的分割和肿瘤的勾画，缩小模型所需聚焦的肿瘤图像附近的空间范围，能够实现对3维度空间的图像信息的最大程度的提取，以达到实现较准确分类的目的。
通过本发明可以实现的技术目的不限于上文已经特别描述的内容，并且本领域技术人员将从下面的详细描述中更加清楚地理解本文中未描述的其他技术目的。
本发明解决上述技术问题的技术方案如下：
根据本公开的一方面，本发明提供一种利用CT切片图像对肝脏肿瘤进行分类的方法，所述方法包括：
步骤1：对于肝脏的CT切片图像进行分割，然后在所分割的CT切片图像中勾画肿瘤的位置，以聚焦在可能有信息价值的区域；
步骤2：选择基础模型，然后对于该基础模型的参数进行设置；
步骤3：选取优化器；
步骤4：对于所分割的CT切片图像的数据进行预处理；
步骤5：对于所预处理的数据进行数据增强；
步骤6：对于数据增强后的数据进行训练。
可选地，对于肝脏的CT切片图像进行分割还包括：构建基于密集卷积网络DenseNet和U型网络Unet的U型DenseNet二维2D网络及U型DenseNet三维3D网络，基于自动上下文(auto-context)，将该U型DenseNet 3D网络集成到该U型DenseNet 2D网络中，获取U型DenseNet混合网络并进行深度学习训练，通过训练好的U型DenseNet混合网络对所述肝脏的CT图像切片进行分割。
可选地，在步骤2中，使用3d resnet18作为所述基础模型。
可选地，在步骤3中，所述优化器是Ranger优化器。
可选地，在步骤4中，将所分割的CT切片图像的数据转换为图像，通过DenseUNet模型获得肝脏和肿瘤的分割结果图，对该分割结果图进行0-1二值化处理，再与原图做点乘，得到分割掩盖图，根据该分割结果图的上下左右边缘，在各方向上向外扩20个像素，得到裁剪图，以作为所述基础模型的输入。上述在各方向上向外扩20个像素的原因在于考虑到肿瘤可能会发生扩散。
可选地，在步骤5中，使用Cutout数据增强方法进行数据增强。上述数据增强还包括流行的旋转和翻转操作。
可选地，在步骤6中，对于数据增强后的数据进行训练包括单中心模型训练过程、混合模型训练过程、和微调模型训练过程；
其中所述单中心模型训练过程单独分别使用多个数据来源中的每一个数据来源的数据进行训练模型，所述混合模型训练过程无差别一次性使用多个数据来源的数据进行训练模型；微调模型训练过程首先使用多个数据来源中的第一个数据来源的数据进行训练模型，在预热该模型之后，使用多个数据来源中的第二个数据来源的数据，分别将所述基础模型设置为固定前5层参数、固定前9层参数、固定前13层参数进行训练模型。选择上述几层的原因是由于resnet18本身的结构由三个block组成，这三个block前后相连，分别对应于2-5层，6-9层，10-13层。这样选择层数能够保护每个block的作用完整不被切割。
根据本公开的一方面，本发明提供一种利用CT切片图像对肝脏肿瘤进行分类的设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上任一项所述的一种利用CT切片图像对肝脏肿瘤进行分类的方法的步骤。
根据本公开的一方面，本发明提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有信息传递的实现程序，所述程序被处理器执行时实现如上任一项所述的一种利用CT切片图像对肝脏肿瘤进行分类的方法的步骤。
上述技术方案仅为本发明实施例的一些部分，本领域技术人员从以下本发明的详细描述中可以导出和理解包含了本发明的技术特征的各种实施例。
本发明的技术方案提出基于深度学习的一种医学图像分割技术，结合了DenseNet和UNet各自的优点构建模型，综合考虑切片层内和层间信息，有效地实现了图像上的肝脏和肿瘤分割，可以有效地控制模型需要训练的参数，较大程度减少训练的时间，实现较精确的肿瘤分类。
本领域技术人员将会理解，通过本发明可以实现的效果不限于上文已经具体描述的内容，并且从以下详细说明中将更清楚地理解本发明的其他优点。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本发明实施例提供的一种利用CT切片图像对肝脏肿瘤进行分类的方法的流程图。
图2示出了根据本发明实施例提供的基础模型的示意图。
图3示出了根据本发明实施例提供的对数据进行预处理的示意图。
具体实施方式
现在将详细参考本发明的示例性实施例，其示例在附图中示出。下面将参考附图给出的详细描述旨在解释本发明的示例性实施例，而不是示出可以根据本发明实现的唯一实施例。以下详细描述包括具体细节以便提供对本发明的透彻理解。然而，对于本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下实践本发明。
在一些情况下，已知的结构和设备被省略或以框图形式示出，集中于结构和设备的重要特征，以免模糊本发明的概念。在整个说明书中将使用相同的附图标记来表示相同或相似的部分。
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
在本发明的描述中，需要理解的是，术语“上”、“下”、“中心”、“内”、“外”、“顶”、“底”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
实施例1
图1示出了本发明实施例提供的一种利用CT切片图像对肝脏肿瘤进行分类的方法的流程图。本发明实施例提供一种利用CT切片图像对肝脏肿瘤进行分类的方法，所述方法包括：步骤1：对于肝脏的CT切片图像进行分割，然后在所分割的CT切片图像中勾画肿瘤的位置，以聚焦在可能有信息价值的区域；步骤2：选择基础模型，然后对于该基础模型的参数进行设置；步骤3：选取优化器；步骤4：对于所分割的CT切片图像的数据进行预处理；步骤5：对于所预处理的数据进行数据增强；步骤6：对于数据增强后的数据进行训练。例如，对于肝脏的CT切片图像进行分割还包括：构建基于密集卷积网络DenseNet和U型网络Unet的U型DenseNet二维2D网络及U型DenseNet三维3D网络，基于自动上下文(auto-context)，将该U型DenseNet 3D网络集成到该U型DenseNet 2D网络中，获取U型DenseNet混合网络并进行深度学习训练，通过训练好的U型DenseNet混合网络对所述肝脏的CT图像切片进行分割。在步骤2中，使用3d resnet18作为所述基础模型。在步骤3中，所述优化器是Ranger优化器。在步骤4中，将所分割的CT切片图像的数据转换为图像，通过DenseUNet模型获得肝脏和肿瘤的分割结果图，对该分割结果图进行0-1二值化处理，再与原图做点乘，得到分割掩盖图，根据该分割结果图的上下左右边缘，在各方向上向外扩20个像素，得到裁剪图，以作为所述基础模型的输入。在步骤5中，使用Cutout数据增强方法进行数据增强。在步骤6中，对于数据增强后的数据进行训练包括单中心模型训练过程、混合模型训练过程、和微调模型训练过程；其中所述单中心模型训练过程单独分别使用多个数据来源中的每一个数据来源的数据进行训练模型，所述混合模型训练过程无差别一次性使用多个数据来源的数据进行训练模型；微调模型训练过程首先使用多个数据来源中的第一个数据来源的数据进行训练模型，在预热该模型之后，使用多个数据来源中的第二个数据来源的数据，分别将所述基础模型设置为固定前5层参数、固定前9层参数、固定13层参数进行训练模型。
更具体地，本发明提出一种利用CT切片图像对肝脏肿瘤进行分类的方法，其具体实施方式如下：
为了实现肝脏肿瘤的自动分类，首先需要在图像上聚焦在可能有信息价值的区域。因此需要首先实现肝脏的分割，然后实现肿瘤位置的勾画。再将肿瘤边缘外扩20个像素，再将图像切割下来，最终放入分类网络训练，以实现肝脏肿瘤的自动分类的目的。
衡量肿瘤的良恶性分类的指标主要为是否发生微血管侵犯。例如，标签数据由广州中山大学附属第一医院和广州肿瘤医院提供。
1肝脏分割，肿瘤勾画，区域聚焦
构建基于密集卷积网络DenseNet和U型网络Unet的U型DenseNet二维2D网络及U型DenseNet三维3D网络；基于自动上下文auto-context方法，将U型DenseNet 3D网络集成到U型DenseNet 2D网络中，获取U型DenseNet混合网络并进行深度学习训练；通过训练好的U型DenseNet混合网络对肝脏CT图像进行分割。此模型能够尽可能地提取CT肝脏图像的层内信息和层级间信息，并同时兼顾计算性能，降低运算参数，使得计算机能够而且较快地输出比较精确的肝脏和肿瘤分割图。
2肿瘤的自动分类
2.1基础模型的选择
图2示出了根据本发明实施例提供的基础模型的示意图。基础模型是使用3dresnet18。此模型参数较少，又能较好地提取矩阵内的信息。
3d-ResNet18参数设置如下：主结构首先依次为卷积层、批归一化层bn、最大池化层的kernel size为(3*3*3)，stride为(2*2*2)，padding为same，kernel regularize为l2(1e-4)，特征图设置为64。
然后是主结构，包括4个大残差块(residual block)，在图上用相同颜色标出。每个残差块里，具有2个基本卷积块。基本卷积块前后都以跳跃连接相连。(图2中虚线的连接表示当通道数不同时，加入卷积操作，使之前的特征图的通道数扩大一倍，和当前的特征图的通道数相等，从而以便于对应相加)每个基本卷积块里又有两个小卷积块里，分别包括一个bn层，和一层3d卷积层。卷积层的kernel-size都为(3*3*3)，strides为(1*1*1)，padding设置为same，kernel regularize为l2(1e-4)。初始特征图数量在第一个大卷积块时为64，此后3个大卷积块的特征图数量依次翻倍，各自为128，256，512。
最后接一个bn，然后是一个3d平均池化，strides设置为(1*1*1)，然后接一个Flatten操作。然后接一个全连接层，units为1000，接一个0.5的dropout层，最后接一个unit为1的全连接层，代表模型输出。
除最后一层输出的激活函数为sigmoid外其余的激活函数设置为ReLU，kernelinitializer设置为“he_normal”，模型迭代30次后停止。使用代码框架为Keras和TensorFlow，学习率设置为1e-4，训练batch size设置为8，GPU为16张Nvidia RTX2080Ti。CUDA版本为9，cuDNN为7。
2.2优化器的选择
优化器的选择对深度学习训练起着关键性的作用，例如本发明使用了名为Ranger的优化器，它以RAdam为核心，以LookAhead为框架，综合了二者的优点，显著提高了模型训练的稳定性和表现力。RAdam能够根据方差分布，自己决定是否开启自适应模式，提供了一种不同于以往优化器的可调参数学习率预热的方法。它吸收了Adam和SGD两者的优点，既能准确的找出全局最优解，又能保证极快的收敛速度。LookAhead则保证了深度学习训练的稳定性，能在最小的计算开销下，保证训练处于可控的状态，从而实现深度学习任务的更快收敛。本发明的优化器Ranger协调了RAdam和LookAhead，从两个不同的角度着手，各自在深度学习优化上实现了新的突破。
2.3数据的预处理
图3示出了根据本发明实施例提供的对数据进行预处理的示意图。将所分割的CT切片图像的数据(dicom原始数据)转换为图像，包括阈值裁剪和正则化。图像通过DenseUNet模型获得肝脏和肿瘤的分割结果。分割结果图做0-1二值化，再与原图做点乘，得到分割掩盖图。根据肿瘤分割结果的上下左右边缘，各方向向外扩20个像素，得到裁剪图。并根据等距离抽取办法每例取16层图像并转成npy文件，作为分类模型3d ResNet的输入。
2.4数据增强
数据增强是深度学习训练的一个必不可少的环节，本发明使用了Cutout的数据增强的方式，它在输入图片的分辨率上进行独立重复的均匀分布的采样，再以同等概率选择不同的尺度，最后进行裁剪或者随机变换。这种方式抹除了一些关键点信息，甚至带来一些具有迷惑性的信息，强迫模型不得不通过上下文来推测被抹除的信息和辨别迷惑信息，这极大的提高了模型的鲁棒性，让模型在未知的数据集上具有非常好的泛化能力。
2.5模型训练
模型训练包括单中心模型训练过程、混合模型训练过程，微调模型训练过程。单中心模型训练过程：单独分别使用中山医院和肿瘤医院数据训练模型。混合模型训练过程：无差别一次性全部输入中山和肿瘤医院全部数据，训练模型。微调模型训练过程：首先是使用中山数据预训练。预热模型之后，使用肿瘤医院数据，将所述基础模型分别设置为固定前5层参数、固定前9层参数、固定13层参数进行训练模型，由上述三种方法训练剩余层参数。
实施例2
根据本发明的实施例，本发明提供一种利用CT切片图像对肝脏肿瘤进行分类的设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上实施例1中所述的一种利用CT切片图像对肝脏肿瘤进行分类的方法的步骤。
实施例3
根据本发明的实施例，本发明提供一种计算机可读存储介质，所述计算机可读存储介质上存储有信息传递的实现程序，所述程序被处理器执行时实现如上实施例1中所述的一种利用CT切片图像对肝脏肿瘤进行分类的方法的步骤。
本发明的技术方案根据广州中山大学第一附属医院和广州肿瘤医院的数据在中山大学第一附属医院提供的测试集上达到了78％的准确度，在广州肿瘤医院提供的测试集上达到了76％的准确度。这两个数据均要显著地好于医生人工的分类办法，相比于传统的统计学办法也更加稳定。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本申请可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现。基于这样的理解，本申请的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
如上所述，已经给出了本发明的优选实施例的详细描述，以使本领域技术人员能够实施和实践本发明。虽然已经参照示例性实施例描述了本发明，但是本领域技术人员将会理解，在不脱离所附权利要求书中描述的本发明的精神或范围的情况下，可以在本发明中进行各种修改和改变。因此，本发明不应限于在此描述的特定实施例，而应被赋予与本文公开的原理和新颖特征一致的最宽范围。
Claims (9)
1.一种利用CT切片图像对肝脏肿瘤进行分类的方法，其特征在于，所述方法包括：
步骤1：对于肝脏的CT切片图像进行分割，然后在所分割的CT切片图像中勾画肿瘤的位置，以聚焦在可能有信息价值的区域；
步骤2：选择基础模型，然后对于该基础模型的参数进行设置；
步骤3：选取优化器；
步骤4：对于所分割的CT切片图像的数据进行预处理；
步骤5：对于所预处理的数据进行数据增强；
步骤6：对于数据增强后的数据进行训练。
2.根据权利要求1所述的方法，
其特征在于，对于肝脏的CT切片图像进行分割还包括：构建基于密集卷积网络DenseNet和U型网络Unet的U型DenseNet二维2D网络及U型DenseNet三维3D网络，基于自动上下文(auto-context)，将该U型DenseNet 3D网络集成到该U型DenseNet 2D网络中，获取U型DenseNet混合网络并进行深度学习训练，通过训练好的U型DenseNet混合网络对所述肝脏的CT图像切片进行分割。
3.根据权利要求2所述的方法，
其特征在于，在步骤2中，使用3d resnet18作为所述基础模型。
4.根据权利要求3所述的方法，
其特征在于，在步骤3中，所述优化器是Ranger优化器。
5.根据权利要求4所述的方法，
其特征在于，在步骤4中，将所分割的CT切片图像的数据转换为图像，通过DenseUNet模型获得肝脏和肿瘤的分割结果图，对该分割结果图进行0-1二值化处理，再与原图做点乘，得到分割掩盖图，根据该分割结果图的上下左右边缘，在各方向上向外扩20个像素，得到裁剪图，以作为所述基础模型的输入。
6.根据权利要求5所述的方法，
其特征在于，在步骤5中，使用Cutout数据增强方法进行数据增强。
7.根据权利要求6所述的方法，
其特征在于，在步骤6中，对于数据增强后的数据进行训练包括单中心模型训练过程、混合模型训练过程、和微调模型训练过程；
其中所述单中心模型训练过程单独分别使用多个数据来源中的每一个数据来源的数据进行训练模型，所述混合模型训练过程无差别一次性使用多个数据来源的数据进行训练模型；微调模型训练过程首先使用多个数据来源中的第一个数据来源的数据进行训练模型，在预热该模型之后，使用多个数据来源中的第二个数据来源的数据，分别将所述基础模型设置为固定前5层参数、固定前9层参数、固定13层参数进行训练模型。
8.一种利用CT切片图像对肝脏肿瘤进行分类的设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的一种利用CT切片图像对肝脏肿瘤进行分类的方法的步骤。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有信息传递的实现程序，所述程序被处理器执行时实现如权利要求1至7中任一项所述的一种利用CT切片图像对肝脏肿瘤进行分类的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010392797.XA CN111583246A (zh) | 2020-05-11 | 2020-05-11 | 利用ct切片图像对肝脏肿瘤进行分类的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010392797.XA CN111583246A (zh) | 2020-05-11 | 2020-05-11 | 利用ct切片图像对肝脏肿瘤进行分类的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111583246A true CN111583246A (zh) | 2020-08-25 |
Family
ID=72114516
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010392797.XA Pending CN111583246A (zh) | 2020-05-11 | 2020-05-11 | 利用ct切片图像对肝脏肿瘤进行分类的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111583246A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112085736A (zh) * | 2020-09-04 | 2020-12-15 | 厦门大学 | 一种基于混维卷积的肾肿瘤分割方法 |
| CN112184638A (zh) * | 2020-09-14 | 2021-01-05 | 南京市儿童医院 | 基于深度学习-综合模型的肾活检电镜图片自动识别方法 |
| CN112435246A (zh) * | 2020-11-30 | 2021-03-02 | 武汉楚精灵医疗科技有限公司 | 窄带成像放大胃镜下胃癌的人工智能诊断方法 |
| CN112837317A (zh) * | 2020-12-31 | 2021-05-25 | 无锡祥生医疗科技股份有限公司 | 基于乳腺超声图像增强的病灶分类方法、装置及存储介质 |
| CN112861876A (zh) * | 2021-01-25 | 2021-05-28 | 北京小白世纪网络科技有限公司 | 一种基于卷积神经网络的肝癌超声图自动识别方法和装置 |
| CN112927246A (zh) * | 2021-03-01 | 2021-06-08 | 北京小白世纪网络科技有限公司 | 肺部轮廓分割、肿瘤免疫浸润分类***及方法 |
| CN113177952A (zh) * | 2021-04-27 | 2021-07-27 | 湖南科技大学 | 基于方向信息的腹部ct图像肝脏区域自动分割方法 |
| CN113269783A (zh) * | 2021-04-30 | 2021-08-17 | 北京小白世纪网络科技有限公司 | 一种基于三维注意力机制的肺结节分割方法及装置 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111127484A (zh) * | 2019-12-25 | 2020-05-08 | 北京小白世纪网络科技有限公司 | 基于深度学习神经网络的肝脏ct图像分割方法及装置 |
-
2020
- 2020-05-11 CN CN202010392797.XA patent/CN111583246A/zh active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111127484A (zh) * | 2019-12-25 | 2020-05-08 | 北京小白世纪网络科技有限公司 | 基于深度学习神经网络的肝脏ct图像分割方法及装置 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112085736A (zh) * | 2020-09-04 | 2020-12-15 | 厦门大学 | 一种基于混维卷积的肾肿瘤分割方法 |
| CN112085736B (zh) * | 2020-09-04 | 2024-02-02 | 厦门大学 | 一种基于混维卷积的肾肿瘤分割方法 |
| CN112184638A (zh) * | 2020-09-14 | 2021-01-05 | 南京市儿童医院 | 基于深度学习-综合模型的肾活检电镜图片自动识别方法 |
| CN112184638B (zh) * | 2020-09-14 | 2024-02-06 | 南京市儿童医院 | 基于深度学习-综合模型的肾活检电镜图片自动识别方法 |
| CN112435246A (zh) * | 2020-11-30 | 2021-03-02 | 武汉楚精灵医疗科技有限公司 | 窄带成像放大胃镜下胃癌的人工智能诊断方法 |
| CN112837317A (zh) * | 2020-12-31 | 2021-05-25 | 无锡祥生医疗科技股份有限公司 | 基于乳腺超声图像增强的病灶分类方法、装置及存储介质 |
| CN112861876A (zh) * | 2021-01-25 | 2021-05-28 | 北京小白世纪网络科技有限公司 | 一种基于卷积神经网络的肝癌超声图自动识别方法和装置 |
| CN112927246A (zh) * | 2021-03-01 | 2021-06-08 | 北京小白世纪网络科技有限公司 | 肺部轮廓分割、肿瘤免疫浸润分类***及方法 |
| CN113177952A (zh) * | 2021-04-27 | 2021-07-27 | 湖南科技大学 | 基于方向信息的腹部ct图像肝脏区域自动分割方法 |
| CN113269783A (zh) * | 2021-04-30 | 2021-08-17 | 北京小白世纪网络科技有限公司 | 一种基于三维注意力机制的肺结节分割方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111583246A (zh) | 利用ct切片图像对肝脏肿瘤进行分类的方法 | |
| KR102410955B1 (ko) | 의료 영상에서 딥러닝에 기반한 복부 장기 자동분할 방법 및 그 컴퓨터 프로그램 | |
| RU2587427C2 (ru) | Улучшающий фильтр для конкретного органа для надежной сегментации медицинских изображений | |
| CN109215033A (zh) | 图像分割的方法及*** | |
| CN111179237B (zh) | 一种肝脏以及肝脏肿瘤的图像分割方法和装置 | |
| Liu et al. | Accurate colorectal tumor segmentation for CT scans based on the label assignment generative adversarial network | |
| CN113239755B (zh) | 一种基于空谱融合深度学习的医学高光谱图像分类方法 | |
| Wu et al. | Ultrasound image segmentation method for thyroid nodules using ASPP fusion features | |
| Sun et al. | Liver lesion segmentation in CT images with MK-FCN | |
| Armya et al. | Medical images segmentation based on unsupervised algorithms: a review | |
| Carmo et al. | Extended 2D consensus hippocampus segmentation | |
| KR102280047B1 (ko) | 딥 러닝 기반 종양 치료 반응 예측 방법 | |
| CN115861716B (zh) | 基于孪生神经网络和影像组学的胶质瘤分类方法及装置 | |
| Martin et al. | [Retracted] Multidimensional CNN‐Based Deep Segmentation Method for Tumor Identification | |
| Srilatha et al. | Automated ultrasound ovarian tumour segmentation and classification based on deep learning techniques | |
| AU2019430258B2 (en) | VRDS 4D medical image-based tumor and blood vessel ai processing method and product | |
| Mouzai et al. | Xray-Net: Self-supervised pixel stretching approach to improve low-contrast medical imaging | |
| Johora et al. | Lung cancer detection using marker controlled watershed with svm | |
| KR20210069250A (ko) | 의료 영상에서 듀얼 윈도우 설정에 기반한 딥러닝을 이용한 종양 자동 분할 방법 | |
| CN114341996A (zh) | 基于vrds 4d的病情分析方法及相关产品 | |
| Kumar et al. | An efficient framework for brain cancer identification using deep learning | |
| KR102311472B1 (ko) | 정상 조직 영역의 예측 방법 및 이를 이용한 정상 조직 영역 예측용 디바이스 | |
| CN115619641B (zh) | 基于ffdm的乳腺影像处理方法、***、终端和介质 | |
| Vi et al. | Automatic Extraction of Liver Region from Medical Images by Using an MFUnet | |
| Les et al. | Axis projection for Kidney-Region-Of-Interest detection in computed tomography |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200825 |