CN111583179A - 一种基于浮动切割的肺结节深度学习分类方法 - Google Patents
一种基于浮动切割的肺结节深度学习分类方法 Download PDFInfo
- Publication number
- CN111583179A CN111583179A CN202010255922.2A CN202010255922A CN111583179A CN 111583179 A CN111583179 A CN 111583179A CN 202010255922 A CN202010255922 A CN 202010255922A CN 111583179 A CN111583179 A CN 111583179A
- Authority
- CN
- China
- Prior art keywords
- image
- model
- nodule
- sequence
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 206010056342 Pulmonary mass Diseases 0.000 title claims abstract description 79
- 238000005520 cutting process Methods 0.000 title claims abstract description 58
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000013135 deep learning Methods 0.000 title claims abstract description 19
- 238000012360 testing method Methods 0.000 claims abstract description 87
- 238000012549 training Methods 0.000 claims abstract description 86
- 238000003062 neural network model Methods 0.000 claims abstract description 26
- 238000012795 verification Methods 0.000 claims abstract description 11
- 239000010410 layer Substances 0.000 claims description 29
- 238000011156 evaluation Methods 0.000 claims description 22
- 230000002685 pulmonary effect Effects 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 11
- 239000011229 interlayer Substances 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000012216 screening Methods 0.000 abstract 1
- 238000002591 computed tomography Methods 0.000 description 61
- 230000008569 process Effects 0.000 description 9
- 210000004072 lung Anatomy 0.000 description 8
- 238000013136 deep learning model Methods 0.000 description 5
- 238000004195 computer-aided diagnosis Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 201000005202 lung cancer Diseases 0.000 description 2
- 208000020816 lung neoplasm Diseases 0.000 description 2
- 230000003211 malignant effect Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 208000019693 Lung disease Diseases 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000003915 air pollution Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000002271 resection Methods 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000000391 smoking effect Effects 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
- G06T2207/30064—Lung nodule
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于浮动切割的肺结节深度学习分类方法，建立CT图像肺结节分类神经网络模型，设肺结节CT图像序列为沿Z轴方向切割肺结节得到的在X、Y轴的二维肺结节图像序列；设肺结节CT图像序列中包含肺结节三维中心位置的图像为中心图像；筛选已知结节分类的图像作为训练、验证及测试样本；确定图像序列中的中心图像及其上的结节中心位置和结节长度；训练时，采用变动的切割间距对训练样本序列沿Z轴正负方向进行浮动切割，得到若干组动态训练样本序列；采用动态训练样本序列对模型进行训练；测试时，将结节处上下图像依次输入模型得出预测值，并由预测值权重得出综合预测值。本发明可以以二维输入，学习三维图像信息，提高模型性能。
Description
技术领域
本发明涉及一种医学图像处理领域，特别涉及一种基于浮动切割的肺结节深度学习分类方法。
背景技术
目前，由于空气污染加重、吸烟人口增加、生活节奏加快以及工作压力较大等，肺癌已成为全球范围内发病率和死亡率最高的癌症之一。被诊断为肺癌的患者5年生存率仅为15.6％，而被错误诊断进行切除手术会给患者身体造成额外负担，体质较弱患者甚至无法承受手术过程，因此提高患者早期诊断准确率至关重要。由于早期肺结节体积较小难以通过分辨率较低的胸片发现，因此目前肺部的疾病检测最常用的是计算机断层扫描(Computed Tomography,CT)，医师通过观察肺部CT图像诊断患有肺部疾病。但是肺结节医学特征绝大多数是通过临床统计归纳得到的，且由每位患者采集得到的CT图像有数百张，导致在一定程度上存在着医师的主观因素且工作负荷大。
近年来在国内外开展了基于医学图像处理与模式识别的计算机辅助诊断(computer aided diagnosis,CAD)方法的研究。通过CAD形成定量客观分析以此辅助医师做出诊断决策，其可在一定程度上提高诊断正确率，但传统方法需要手动提取肺结节的纹理特征或形状特征，虽然各特征值均有相应的定义但它们具有很强的主观性，仍然严重依赖研究人员的经验。
自从Geoffrey Hinton提出深度信念网络(deep belief network,DBN)以来，不需要手动设置提取特征的深度学习方法引起了学术界的浪潮。有相当多学者研究深度学习方法在肺结节良恶性分类的应用。有些方法使用CT序列中由医师选定的特定图像，有些方法使用3D图像作为模型输入。前者方法中可能由于医师主观性或结节形状的不规则性，较难确保选定图像中含有结节信息最多，且在图像序列中结节重要信息并不一定仅存在于一张图像中。后者方法中模型输入是三维矩阵，因此模型需要训练的参数多，计算存储等资源消耗较大。以及由于从患者采集并由医师准确标注了结节位置、长度、种类等信息的可使用图像数量有限，较难满足深度学习模型在训练过程中需要大量样本的前提。
综上所述，如何使用有限的肺部CT图像样本对深度学习模型进行有效的训练，是目前迫切需要解决的技术问题之一。
发明内容
本发明为解决公知技术中存在的技术问题而提供一种提高预测精度的基于浮动切割的肺结节深度学习分类方法。
本发明为解决公知技术中存在的技术问题所采取的技术方案是：一种基于浮动切割的肺结节深度学习分类方法，建立CT图像肺结节分类神经网络模型，设肺结节CT图像序列为沿Z轴方向切割肺结节得到的在X、Y轴的二维肺结节图像序列；设肺结节CT图像序列中包含肺结节三维中心位置的图像为中心图像；收集多组已知结节分类的肺结节CT图像序列，并确定每组肺结节CT图像序列的中心图像及中心图像上的结节中心位置和结节长度，将这些肺结节CT图像序列分成三部分，一部分作为训练样本集，一部分作为测试样本集，一部分中的中心图像作为验证样本集；训练时，采用变动的切割间距对训练样本集中的肺结节CT图像序列沿Z轴正负方向进行浮动切割，得到若干组动态训练样本序列；采用动态训练样本序列对模型进行训练；每使用一组动态训练样本序列对模型进行训练后，采用验证样本输入模型，对模型的性能进行初步评估；当初步评估的结果未达到设定指标时，则继续对模型进行训练；当初步评估的结果达到设定指标时，采用测试样本序列对模型进行测试，对模型的性能进行评估；当评估结果未达到设定指标时，则继续对模型进行训练及初步评估；当评估结果达到设定指标时，结束训练。
进一步地，采用动态的切割间距对训练样本序列沿Z轴正负方向进行浮动切割时，设置可浮动幅度对浮动切割层数进行限制，使浮动切割后每层图像均在结节区域内；可浮动幅度由CT图像切割层间距、中心图像中的结节长度及控制因子确定，其中控制因子为限制系数，取值范围为0.6～1；在模型训练中，对控制因子进行初始设定，根据模型测试结果，逐步调节控制因子并确定。
进一步地，对CT图像肺结节分类神经网络模型进行训练及测试的方法包括如下步骤：
步骤1，设定模型的性能指标及初始控制因子；
步骤2，确定可浮动幅度；
步骤3，在可浮动幅度内，随机选取切割间距对训练样本序列进行浮动切割，得到动态训练样本序列；
步骤4，用一组动态训练样本序列对模型进行训练；
步骤5，将验证样本输入至训练后的模型，对模型的性能进行初步评估；
步骤6，根据初步评估结果判断模型性能是否达到设定指标；如果模型性能达到设定指标则进行步骤7；如果模型性能未达到设定指标则重复步骤3至步骤5；
步骤7，用测试样本序列对验证后的模型进行测试，对模型的性能进行评估；
步骤8，根据评估结果判断模型性能是否达到设定指标；如果模型性能达到设定指标则结束训练；如果模型性能未达到设定指标则调节控制因子，重复步骤2至步骤7。
进一步地，设CT图像原始切割层间距为s，中心图像的结节长度为l，控制因子为ν，R'为可浮动幅度，R'的表达式为：R'＝INT(νR)，其中R为中间变量，其表达式为：
进一步地，将测试样本集中的一组肺结节CT图像序列作为一组测试样本序列；标注每组测试样本序列的序列序数，并对应序列序数设置相应的预测值权重；将一组测试样本序列按照序数大小依次输入至训练后的CT图像肺结节分类神经网络模型，将每一层图像的模型输出结果与预测值权重结合，得到该组测试样本序列在结节区域的综合预测值。
进一步地，设一组测试样本序列中的中间图像的序列序数为0，以中间图像为原点，沿Z轴正方向对测试样本标注序列序数，序列序数为正值，沿Z轴负方向对测试样本标注序列序数，序列序数为负值；设测试样本的图像序列序数为d，设对应测试样本的图像序列序数d的预测值权重为β；β的计算方法如下式所示：
式中，R'为可浮动幅度。
进一步地，设一组测试样本序列在结节区域的综合预测值为P，其计算方法如下式所示：
式中：NP为测试样本序列起止序数中图像数量；βi为测试样本序列中第i层图像的预测值权重；Pi为第i层图像的预测值，R'为可浮动幅度。
本发明具有的优点和积极效果是：训练模型时以浮动切割得到的二维图像作为模型输入，以动态调整学习率的各样本训练模型。针对肺部CT图像的肺结节分类应用深度学习方法过程中，动态进行模型训练以达到间接增大训练样本目的。训练过程中模型参数较少而不需要使用较大计算存储资源的同时，使分类模型可训练学习到肺结节整体三维图像信息，提高模型性能。测试模型时结合结节区域的测试样本整体序列图像及对应的预测值权重，得到测试样本序列在结节区域的综合预测值，使得模型预测值不只依赖于专家标注中间图像，减少主观性影响。本发明还可以适用其他将二维图像作为模型输入对三维图像进行分类的分类神经网络模型中。
附图说明
图1是本发明的一种工作流程图。
图2是一组训练样本序列沿Z轴正负方向进行浮动切割示意图。
图3是一组二维肺结节图像序列示意图。
图中：I为中心图像，d表示图像序数，R表示肺结节单侧穿过层数，R'表示可浮动幅度。
具体实施方式
为能进一步了解本发明的发明内容、特点及功效，兹列举以下实施例，并配合附图详细说明如下：
请参见图1至图3，一种基于浮动切割的肺结节深度学习分类方法，建立CT图像肺结节分类神经网络模型，设肺结节CT图像序列为沿Z轴方向切割肺结节得到的在X、Y轴的二维肺结节图像序列；设肺结节CT图像序列中包含肺结节三维中心位置的图像为中心图像I；收集多组已知结节分类的肺结节CT图像序列，并确定每组肺结节CT图像序列的中心图像I及中心图像I上的结节中心位置和结节长度，将这些肺结节CT图像序列分成三部分，一部分肺结节CT图像序列作为训练样本集，一部分肺结节CT图像序列作为测试样本集，一部分肺结节CT图像序列中的中心图像I作为验证样本集。
训练时，采用变动的切割间距对训练样本序列沿Z轴正负方向进行浮动切割，得到若干组动态训练样本序列；采用动态训练样本序列对CT图像肺结节分类神经网络模型进行训练；可将每组动态训练样本序列中的每层图像，对医师标注的结节区域截取，使结节位于截取的图像区域内。图像切割后，再对应CT图像肺结节分类神经网络模型输入尺寸，调整图像大小使适合输入CT图像肺结节分类神经网络模型中，将调整后的图像输入至CT图像肺结节分类神经网络模型进行训练。
将测试样本序列输入至训练后的模型进行测试，并对模型进行评估。采用与训练样本相同的方法对测试样本序列进行图像截取。图像调整为CT图像肺结节分类神经网络模型输入大小，再输入至CT图像肺结节分类神经网络模型进行测试。将处理后的测试样本图像序列输入至训练后的模型进行测试。
对医师标注的结节区域截取验证样本的图像，使结节位于截取的图像区域内。可参照上述方法截取图像并对图像进行处理，每使用一组动态训练样本序列对模型进行训练后，采用验证样本输入模型，对模型的性能进行初步评估。
在训练前，设定模型的性能指标，模型的性能指标可包括由混淆矩阵可得出的准确率、灵敏度、特异性、以及ROC曲线、ROC曲线下面积等。用模型性能的设定指标来评价模型的性能是否符合预期模型性能。
当初步评估的结果未达到设定指标时，则继续对模型进行训练；当初步评估的结果达到设定指标时，采用测试样本序列对模型进行测试，对模型的性能进行评估；当评估结果未达到设定指标时，则继续对模型进行训练及初步评估；当评估结果达到设定指标时，结束训练。
对测试样本集中的肺结节CT图像序列可采用与动态训练样本序列相同的方法进行图像截取及处理。然后将处理后的测试样本集中的CT图像序列输入至验证后的CT图像肺结节分类神经网络模型，由CT图像肺结节分类神经网络模型的输出结果对模型性能进行评估。
进一步地，可采用动态的切割间距对训练样本序列沿Z轴正负方向进行浮动切割时，可设置可浮动幅度对浮动切割层数进行限制，使浮动切割后每层图像均在结节区域内；可浮动幅度为可切割层数范围；可浮动幅度可由CT图像切割层间距、中心图像I中的结节长度及控制因子确定，为防止浮动切割时切割得到结节以外区域图像，设定控制因子。其中控制因子为限制系数，取值范围可为0.6～1；在CT图像肺结节分类神经网络模型的训练中，可对控制因子进行初始设定，根据CT图像肺结节分类神经网络模型的测试结果，可逐步调节控制因子并确定。
浮动切割是以医师标注的结节中心为原点，以由CT图像层间距、结节长度以及控制因子得到的幅度作为范围，在其中随机取一份CT图像，作为模型输入的过程。
进一步地，对CT图像肺结节分类神经网络模型进行训练及测试的方法可包括如下步骤：
步骤1，设定模型的性能指标及初始控制因子；
步骤2，确定可浮动幅度；
步骤3，在可浮动幅度内，随机选取切割间距对训练样本序列进行浮动切割，得到动态训练样本序列；
步骤4，用一组动态训练样本序列对模型进行训练；训练前可先计算训练样本的学习率。
步骤5，将验证样本输入至训练后的模型，对模型的性能进行初步评估；
步骤6，根据初步评估结果判断模型性能是否达到设定指标；如果模型性能达到设定指标则进行步骤7；如果模型性能未达到设定指标则重复步骤3至步骤5；
步骤7，用测试样本序列对验证后的模型进行测试，对模型的性能进行评估；
进行评估时，可以将一个结节处对应的多个测试样本的模型输出值的加权平均值作为综合预测值。
比如，可标注每组测试样本序列中的每一层图像的图像序数，并可对应图像序数设置相应的预测值权重；可将一组测试样本序列按照图像序数大小依次输入至训练后的CT图像肺结节分类神经网络模型，可将每一层图像的模型输出结果与预测值权重结合，得到该组测试样本序列在结节区域的综合预测值。
步骤8，根据评估结果判断模型性能是否达到设定指标；如果模型性能达到设定指标则结束训练；如果模型性能未达到设定指标则调节控制因子，重复步骤2至步骤7。
进一步地，可设CT图像原始切割层间距为s，中心图像I的结节长度为l，控制因子为ν，R'为可浮动幅度，R'的表达式可为：R'＝INT(νR)，其中R可为中间变量，其可表示为理论上肺结节单侧穿过层数，其表达式为：
进一步地，可将测试样本集中的一组肺结节CT图像序列作为一组测试样本序列；可标注每组测试样本序列中的每一层图像的图像序数，并可对应图像序数设置相应的预测值权重；可将一组测试样本序列按照图像序数大小依次输入至训练后的CT图像肺结节分类神经网络模型，可将每一层图像的模型输出结果与预测值权重结合，得到该组测试样本序列在结节区域的综合预测值。综合预测值为一组测试样本序列图像的输出加权值，可为加权平均值。
进一步地，可设测试样本的图像序数为d，可设一组测试样本序列中的中间图像的图像序数d为0，可以中间图像为原点，沿Z轴正方向对测试样本标注图像序数d，图像序数d为正值，沿Z轴负方向对测试样本标注图像序数d，图像序数d为负值；图像序数d编号方法为：对一组测试样本序列中的图像序数d进行编号，中间图像的图像序数d编号为0，即标注d＝0,从中间图像沿Z轴正方向，顺序编号，编号即为图像序数d；此时d为正值，依次为+1，+2，+3，...，+n；从中间图像沿Z轴负方向，顺序编号，编号即为图像序数d；此时d为负值，依次为-1，-2，-3，...，-n。
设测试样本的图像序数为d，设对应测试样本的图像序数d的预测值权重为β；β的计算方法如下式所示：
式中，R'为可浮动幅度。
进一步地，可设一组测试样本序列在结节区域的综合预测值为P，其计算方法可如下式所示：
式中：NP为测试样本序列起止序数中图像数量；βi为测试样本序列中第i层图像的预测值权重；Pi为第i层图像的预测值，R'为可浮动幅度。
下面以本发明的一个优选实施例为例进一步地说明本发明的工作流程及工作原理：
一种基于浮动切割的肺结节深度学习分类方法，是针对肺部CT图像的肺结节分类应用深度学习方法过程中，动态进行模型训练以达到间接增大训练样本目的，从而提高深度学习模型分类性能的方法。主要适用于卷积神经网络(Convolutional Neural Network,CNN)或以提取图像特征为首要任务的深度学习模型。请参考图3，本发明主要依据肺部CT图像中肺结节从医师标注中间位置随着序列增减方向(图3左右方向)，其长度、面积、图像特征等呈现逐渐缩小、消失的特点，因此通过浮动切割得到的各样本学习率与其偏离中间位置的程度成反比。
本发明的工作流程请参考图1，主要包括以下步骤：
建立CT图像肺结节分类神经网络模型，模型输入大小为wm×hm，模型输出节点个数为1或2。
步骤A、用于训练及测试模型的肺部CT图像样本数据预处理：
步骤A-1，在现有病例数据中筛选明确已知结节分类和图像层间距s的肺部CT图像。
步骤A-2，根据待训练分类模型输出节点数为1或2，比如良性结节或囊性结节设定类标签为[0]或[0,1]，恶性结节或实性结节设定类标签为[1]或[1,0]。并由经验丰富的放射科专家标注CT图像中各结节相关信息，信息包括：在CT图像序列中，结节三维中心位置所在的中心图像I、中心图像I中结节中心所在位置(x,y)、中心图像I中结节长度l、图像切割大小w×h等。
步骤A-3，为防止浮动切割时切割得到结节以外区域图像，设定控制因子ν∈[0.6,1)，其值可根据模型性能进行调整。
步骤B、训练CT图像肺结节分类神经网络模型：
步骤B-1，根据肺结节长度l与CT图像层间距s，计算得出结节单侧穿过层数
设R'为可浮动幅度，由控制因子ν，计算得出训练模型时使用可浮动幅度R'＝INT(νR)。
步骤B-2，如附图3所示，
为图像序数，其正负值表示方向(由专家标注结节中间层即步骤A-2中图像I位置设为d＝0)。在各结节区域d随机取值，由其对应图像中的位置(x,y)切割得到大小w×h图像后将像素值归一化到[0,1]范围，然后调整图像长宽为模型输入大小wm×hm作为该轮次训练样本。
各样本的学习率η(S)为当前模型学习率的缩小值，缩小系数为其图像序数d与各可浮动幅度R′比值的反比，计算公式如下式所示：
式中，η为模型学习率。
步骤B-3，以步骤B-2得到各动态调整学习率的样本训练深度学习模型，即向模型输入训练样本，通过模型损失函数与对应类标签计算得出损失函数值后通过梯度下降法等更新模型权重，以及根据模型中设定优化算法等调整模型学习率。若模型训练完成则结束训练模型，否则返回至步骤B-1继续训练。
步骤C、测试CT图像肺结节分类神经网络模型。
步骤C-1，针对测试样本的肺结节CT图像，由放射科专家标注CT图像中结节区域图像序列起止序数、中间图像中结节中心所在位置(xP,yP)、图像切割大小wP×hP。
步骤C-2，如附图2所示，设测试样本的图像序数为d，序列中间位置为d＝0。设对应测试样本的图像序数d的预测值权重为β；β的计算方法如下式所示：
式中，R'为可浮动幅度。
步骤C-3，在序列起止序数各图像中的位置(xP,yP)切割得到wP×hP图像后将像素值归一化到[0,1]范围，然后调整图像长宽为模型输入大小wm×hm后依次通过已训练CT图像肺结节分类神经网络模型，结合预测值权重计算得出针对该结节区域最终的综合预测值，可设P为测试样本序列在结节区域的综合预测值，其计算方法可如下式所示：
式中：NP为测试样本序列起止序数中图像数量；βi为测试样本序列中第i层图像的预测值权重；Pi为第i层图像的预测值，R'为可浮动幅度。
步骤D，根据步骤C-3中模型分类性能调整控制因子。
步骤D-1，若模型性能符合预期则整体流程结束，否则返回至步骤A-3调整控制因子。以上所述的实施例仅用于说明本发明的技术思想及特点，其目的在于使本领域内的技术人员能够理解本发明的内容并据以实施，不能仅以本实施例来限定本发明的专利范围，即凡本发明所揭示的精神所作的同等变化或修饰，仍落在本发明的专利范围内。
Claims (7)
1.一种基于浮动切割的肺结节深度学习分类方法，其特征在于，建立CT图像肺结节分类神经网络模型，设肺结节CT图像序列为沿Z轴方向切割肺结节得到的在X、Y轴的二维肺结节图像序列；设肺结节CT图像序列中包含肺结节三维中心位置的图像为中心图像；收集多组已知结节分类的肺结节CT图像序列，并确定每组肺结节CT图像序列的中心图像及中心图像上的结节中心位置和结节长度，将这些肺结节CT图像序列分成三部分，一部分作为训练样本集，一部分作为测试样本集，一部分中的中心图像作为验证样本集；训练时，采用变动的切割间距对训练样本集中的肺结节CT图像序列沿Z轴正负方向进行浮动切割，得到若干组动态训练样本序列；采用动态训练样本序列对模型进行训练；每使用一组动态训练样本序列对模型进行训练后，采用验证样本输入模型，对模型的性能进行初步评估；当初步评估的结果未达到设定指标时，则继续对模型进行训练；当初步评估的结果达到设定指标时，采用测试样本序列对模型进行测试，对模型的性能进行评估；当评估结果未达到设定指标时，则继续对模型进行训练及初步评估；当评估结果达到设定指标时，结束训练。
2.根据权利要求1所述的基于浮动切割的肺结节深度学习分类方法，其特征在于，采用动态的切割间距对训练样本序列沿Z轴正负方向进行浮动切割时，设置可浮动幅度对浮动切割层数进行限制，使浮动切割后每层图像均在结节区域内；可浮动幅度由CT图像切割层间距、中心图像中的结节长度及控制因子确定，其中控制因子为限制系数，取值范围为0.6～1；在模型训练中，对控制因子进行初始设定，根据模型测试结果，逐步调节控制因子并确定。
3.根据权利要求2所述的基于浮动切割的肺结节深度学习分类方法，其特征在于，对CT图像肺结节分类神经网络模型进行训练及测试的方法包括如下步骤：
步骤1，设定模型的性能指标及初始控制因子；
步骤2，确定可浮动幅度；
步骤3，在可浮动幅度内，随机选取切割间距对训练样本序列进行浮动切割，得到动态训练样本序列；
步骤4，用一组动态训练样本序列对模型进行训练；
步骤5，将验证样本输入至训练后的模型，对模型的性能进行初步评估；
步骤6，根据初步评估结果判断模型性能是否达到设定指标；如果模型性能达到设定指标则进行步骤7；如果模型性能未达到设定指标则重复步骤3至步骤5；
步骤7，用测试样本序列对验证后的模型进行测试，对模型的性能进行评估；
步骤8，根据评估结果判断模型性能是否达到设定指标；如果模型性能达到设定指标则结束训练；如果模型性能未达到设定指标则调节控制因子，重复步骤2至步骤7。
4.根据权利要求2所述的基于浮动切割的肺结节深度学习分类方法，其特征在于，设CT图像原始切割层间距为s，中心图像的结节长度为l，控制因子为ν，R'为可浮动幅度，R'的表达式为：R'＝INT(νR)，其中R为中间变量，其表达式为：
5.根据权利要求2所述的基于浮动切割的肺结节深度学习分类方法，其特征在于，将测试样本集中的一组肺结节CT图像序列作为一组测试样本序列；标注每组测试样本序列的序列序数，并对应序列序数设置相应的预测值权重；将一组测试样本序列按照序数大小依次输入至训练后的CT图像肺结节分类神经网络模型，将每一层图像的模型输出结果与预测值权重结合，得到该组测试样本序列在结节区域的综合预测值。
6.根据权利要求5所述的基于浮动切割的肺结节深度学习分类方法，其特征在于，设一组测试样本序列中的中间图像的序列序数为0，以中间图像为原点，沿Z轴正方向对测试样本标注序列序数，序列序数为正值，沿Z轴负方向对测试样本标注序列序数，序列序数为负值；设测试样本的图像序列序数为d，设对应测试样本的图像序列序数d的预测值权重为β；β的计算方法如下式所示：
式中，R'为可浮动幅度。
7.根据权利要求6所述的基于浮动切割的肺结节深度学习分类方法，其特征在于，设一组测试样本序列在结节区域的综合预测值为P，其计算方法如下式所示：
式中：NP为测试样本序列起止序数中图像数量；βi为测试样本序列中第i层图像的预测值权重；Pi为第i层图像的预测值，R'为可浮动幅度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010255922.2A CN111583179B (zh) | 2020-04-02 | 2020-04-02 | 一种基于浮动切割的肺结节深度学习分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010255922.2A CN111583179B (zh) | 2020-04-02 | 2020-04-02 | 一种基于浮动切割的肺结节深度学习分类方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111583179A true CN111583179A (zh) | 2020-08-25 |
| CN111583179B CN111583179B (zh) | 2022-09-16 |
Family
ID=72122506
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010255922.2A Expired - Fee Related CN111583179B (zh) | 2020-04-02 | 2020-04-02 | 一种基于浮动切割的肺结节深度学习分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111583179B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112185523A (zh) * | 2020-09-30 | 2021-01-05 | 南京大学 | 基于多尺度卷积神经网络的糖尿病视网膜病变分类方法 |
| CN113656954A (zh) * | 2021-08-10 | 2021-11-16 | 北京首钢自动化信息技术有限公司 | 一种切割图谱生成方法和装置 |
| CN113888532A (zh) * | 2021-11-09 | 2022-01-04 | 推想医疗科技股份有限公司 | 一种基于平扫ct数据的医学图像分析方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109242839A (zh) * | 2018-08-29 | 2019-01-18 | 上海市肺科医院 | 一种基于新型神经网络模型的ct影像肺结节良恶性分类方法 |
| CN109523525A (zh) * | 2018-11-07 | 2019-03-26 | 广州大学 | 图像融合的恶性肺结节识别方法、装置、设备及存储介质 |
| CN109685768A (zh) * | 2018-11-28 | 2019-04-26 | 心医国际数字医疗***(大连)有限公司 | 基于肺部ct序列的肺结节自动检测方法及*** |
| US20200005460A1 (en) * | 2018-06-28 | 2020-01-02 | Shenzhen Imsight Medical Technology Co. Ltd. | Method and device for detecting pulmonary nodule in computed tomography image, and computer-readable storage medium |
-
2020
- 2020-04-02 CN CN202010255922.2A patent/CN111583179B/zh not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200005460A1 (en) * | 2018-06-28 | 2020-01-02 | Shenzhen Imsight Medical Technology Co. Ltd. | Method and device for detecting pulmonary nodule in computed tomography image, and computer-readable storage medium |
| CN109242839A (zh) * | 2018-08-29 | 2019-01-18 | 上海市肺科医院 | 一种基于新型神经网络模型的ct影像肺结节良恶性分类方法 |
| CN109523525A (zh) * | 2018-11-07 | 2019-03-26 | 广州大学 | 图像融合的恶性肺结节识别方法、装置、设备及存储介质 |
| CN109685768A (zh) * | 2018-11-28 | 2019-04-26 | 心医国际数字医疗***(大连)有限公司 | 基于肺部ct序列的肺结节自动检测方法及*** |
Non-Patent Citations (2)
| Title |
|---|
| YUKI KITAHARA ET AL: "Lung segmentation based on a deep learning approach for dynamic chest radiography", 《SPIE MEDICAL IMAGING》 * |
| 段黎明 等: "工业CT切片序列任意方向剖面的绘制方法", 《强激光与粒子束》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112185523A (zh) * | 2020-09-30 | 2021-01-05 | 南京大学 | 基于多尺度卷积神经网络的糖尿病视网膜病变分类方法 |
| CN112185523B (zh) * | 2020-09-30 | 2023-09-08 | 南京大学 | 基于多尺度卷积神经网络的糖尿病视网膜病变分类方法 |
| CN113656954A (zh) * | 2021-08-10 | 2021-11-16 | 北京首钢自动化信息技术有限公司 | 一种切割图谱生成方法和装置 |
| CN113888532A (zh) * | 2021-11-09 | 2022-01-04 | 推想医疗科技股份有限公司 | 一种基于平扫ct数据的医学图像分析方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111583179B (zh) | 2022-09-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108052977B (zh) | 基于轻量级神经网络的乳腺钼靶图像深度学习分类方法 | |
| CN111583179B (zh) | 一种基于浮动切割的肺结节深度学习分类方法 | |
| Gupta et al. | Analysis of histopathological images for prediction of breast cancer using traditional classifiers with pre-trained CNN | |
| CN109598727B (zh) | 一种基于深度神经网络的ct图像肺实质三维语义分割方法 | |
| CN109447940B (zh) | 卷积神经网络训练方法、超声图像识别定位方法及*** | |
| CN108389201B (zh) | 基于3d卷积神经网络与深度学习的肺结节良恶性分类方法 | |
| CN107016665B (zh) | 一种基于深度卷积神经网络的ct肺结节检测方法 | |
| CN107464250B (zh) | 基于三维mri图像的乳腺肿瘤自动分割方法 | |
| CN108921851B (zh) | 一种基于3d对抗网络的医学ct图像分割方法 | |
| Zhong et al. | Cancer image classification based on DenseNet model | |
| CN104933709B (zh) | 基于先验信息的随机游走ct肺组织图像自动分割方法 | |
| CN108257135A (zh) | 基于深度学习方法解读医学图像特征的辅助诊断*** | |
| CN109584254A (zh) | 一种基于深层全卷积神经网络的心脏左心室分割方法 | |
| CN107103187A (zh) | 基于深度学习的肺结节检测分级与管理的方法及*** | |
| CN107748900A (zh) | 基于区分性卷积神经网络的乳腺肿瘤分类方法和装置 | |
| KR101144964B1 (ko) | 간질성 폐질환 검출 시스템 및 그 방법 | |
| CN111767952B (zh) | 一种可解释的肺结节良恶性分类方法 | |
| CN108304887A (zh) | 基于少数类样本合成的朴素贝叶斯数据处理***及方法 | |
| CN110459303B (zh) | 基于深度迁移的医疗影像异常检测装置 | |
| CN116664931A (zh) | 基于量子向经典迁移学习的膝骨关节炎分级方法 | |
| CN110379509A (zh) | 一种基于dssd的乳腺结节辅助诊断方法及*** | |
| CN113269799A (zh) | 一种基于深度学习的宫颈细胞分割方法 | |
| CN113420793A (zh) | 一种基于改进的卷积神经网络ResNeSt50的胃印戒细胞癌分类方法 | |
| CN117036288A (zh) | 一种面向全切片病理图像的肿瘤亚型诊断方法 | |
| Tang et al. | Brain tumor detection from mri images based on resnet18 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220916 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |