CN111144474A - 基于多视图、多尺度、多任务肺结节分类方法 - Google Patents

基于多视图、多尺度、多任务肺结节分类方法 Download PDF

Info

Publication number
CN111144474A
CN111144474A CN201911354214.8A CN201911354214A CN111144474A CN 111144474 A CN111144474 A CN 111144474A CN 201911354214 A CN201911354214 A CN 201911354214A CN 111144474 A CN111144474 A CN 111144474A
Authority
CN
China
Prior art keywords
nodule
lung
semantic features
scale
nodules
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911354214.8A
Other languages
English (en)
Other versions
CN111144474B (zh
Inventor
黄青松
张帅威
刘利军
冯旭鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kunming University of Science and Technology
Original Assignee
Kunming University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kunming University of Science and Technology filed Critical Kunming University of Science and Technology
Priority to CN201911354214.8A priority Critical patent/CN111144474B/zh
Publication of CN111144474A publication Critical patent/CN111144474A/zh
Application granted granted Critical
Publication of CN111144474B publication Critical patent/CN111144474B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及基于多视图、多尺度、多任务肺结节分类方法，属于医疗图像处理技术领域。本发明包括步骤：首先从3‑D视图中提取9个视图的2D结节切片；提取2D结节切片上的10mm、20mm、40mm补丁；构建3个卷积神经网络模型并使用每个平面视图中提取的补丁按尺度进行训练，然后再融合三个模型的全连接层进行肺结节各个图像的特征融合；在全连接层对肺结节的语义特征联合训练，得到语义特征的分类结果。本发明对肺结节多个语义特征进行分类，最终通过联合多分类准确的标注出结节语义特征。

Description

基于多视图、多尺度、多任务肺结节分类方法
技术领域
本发明涉及基于多视图、多尺度、多任务肺结节分类方法，属于医疗图像处理 技术领域。
背景技术
肺癌是全球癌症死亡主要原因之一，2019年，对肺癌估计的新案例将占美国所 有癌症(共45种癌症)新案例的13％，而死亡率高达63％。美国国家肺筛查试验 (NLST)表明，使用低剂量CT筛查可以降低肺癌死亡率，因此，前期肺癌的检测 和诊断对后期的治疗非常重要。随着筛查技术的进步，结节的检出率不断提高，但 是放射科医师根据自身的水平和经验对肺结节做出诊断具有高度的主观性。
提供有意义的诊断特征以加强诊断决策的客观性是一项重要的挑战。研究表明，肺结节的语义特征可以通过图像特征学习得到，并且语义特征之间具有相关性。这 些语义特征包括精细度，内部结构，钙化，球形度，边缘，分叶征，毛刺征，纹理， 恶性程度。但是，恶性程度与其他语义特征的关系的研究中，每个语义特征之间相 互独立，而没有联合各个语义特征。
发明内容
本发明提供了基于多视图、多尺度、多任务肺结节分类方法，以用于对肺结节 多个语义特征进行分类，解决联合多任务分类数据不均衡问题。
本发明的技术方案是：基于多视图、多尺度、多任务肺结节分类方法，所述基 于多视图、多尺度、多任务肺结节分类方法的具体步骤如下：
Step1、从3-D视图中提取9个视图的2D结节切片；
Step2、提取2D结节切片上的10mm、20mm、40mm补丁；
Step3、构建3个卷积神经网络模型并使用每个平面视图中提取的补丁按尺度进行训练，然后再融合三个模型的全连接层进行肺结节各个图像的特征融合；
Step4、在全连接层对肺结节的语义特征联合训练，得到语义特征的分类结果。
进一步地，所述步骤Step1的具体步骤为：
Step1.1、对于每个候选结节提取以结节为中心的40X40X40mm立方体，选择立 方体的大小是为了包含所有结节信息，并包括足够的背景信息；
Step1.2、为了提取肺结节图像，在与9个对称立方平面对应的平面上提取了九 个切片；其中三个对称立方平面是与立方体平行的平面，三个对称立方平面分别俗 称矢状面、冠状面和轴面；另外六个平面是对称平面，它们在对角线上切出立方体 的两个相对的面，这样的平面包含立方体的两个相对的边和四个顶点。
进一步地，所述步骤Step2中，为了能够从原始结节块中提取定量特征，而不是 分割结节，我们考虑以结节为中心的结节切片，切片间隔厚度为0.702mm。肺结节 的图像在每个切片的中心位置。因为在我们的子集中最大的结节直径为30mm，所 以选择40mm的长度可以将所有的结节将完全包含在切片中，然后我们采用数据扩 容方法；
对于一个肺结节，我们首先提取了9个切片，然后以结节为中心提取10mm、 20mm、40mm的切片。这样既达到了分割肺结节的效果，同时又保留了肺结节的原 始边缘信息，然后再采用数据平衡方法；
对于三个尺度上结节特征的提取，我们采用VGG-NET网络，我们试图通过增 加训练样本来训练Multi-SVT模型，在给定有限的训练样本的情况下补充学***轴为中心轴旋转一定角度，旋转的角度范围是[0°-360°]，然后再分别进行重切 片。得到的是一系列40mm的结节分布在中心位置的肺结节切片。最后在40mm切 片基础上以结节为中心裁剪出10mm、20mm的肺结节切片；
进一步地，所述步骤Step3的具体步骤为：
Step3.1、构建3个卷积神经网络模型并使用每个平面视图中提取的补丁按尺度进行训练；
Step3.2、将每个尺度的结节切片分别输入Model A、Model B、Model C，然后在 全连接层进行肺结节各个图像的特征融合；
Step3.3、输入的切片经过四个卷积层和一个完全连接层的处理，最后是softmax层。
进一步地，所述步骤Step4的具体步骤为：
Step4.1、Step3中融合了肺结节各个图像特征，进一步通过卷积神经网络的卷积层，卷积神经网络在最后的全连接层输出64维信息；
Step4.2、9类语义特征隐藏在特征向量中，最后对每一类语义特征分别进行softmax分类；其中损失值根据softmax分类结果与肺结节真实标签计算得出，联 合多任务同时考虑9类语义特征，根据9类语义特征的总体损失值进行反向传播。
进一步地，所述语义特征包括精细度、内部结构、钙化、球形度、边缘、分叶 征、毛刺征、纹理、恶性程度参数，内部结构包括软组织、液态、脂肪、空气参数。
本发明提出一个Multi-SVT方法通过联合九个语义特征对肺结节恶性程度分类，其他语义特征的分类增强肺结节诊断决策的客观性。Multi-SVT方法将多张以结节为 中心的CT图像作为模型输入，并将九个语义特征作为模型输出。该方法通过肺结节 的九个视图表征肺结节3D特征，对于每个视图，以肺结节为中心截取三个尺度 (10mm、20mm、40mm)的肺结节图像来表征结节边缘信息与背景信息，而不是对 肺结节分割，保证肺结节边缘信息的完整性。接下来，将每个尺度的结节图像分别 灌入不同的卷积神经网络，这样可以保证对于同一尺度肺结节图像的模型参数共享， 然后，对三个尺度的卷积神经网络输出特征在全连接层进行融合，最后在融合后的 全连接层之后对肺结节的九个语义特征进行联合多任务分类，通过最小化全局损失 函数来训练模型。
所述步骤Step2、Step3、Step4中作进一步的阐述：
1)数据扩容方法：
研究表明，深度学***轴为中心轴旋 转一定角度，旋转角度的范围是[0°-360°]，然后进行上述的第二步操作。
通过上述三步操作可以对数据集扩容，图三显示了原始肺结节切片组合与分别以垂直轴、冠状轴、水平轴为中心轴旋转45°的肺结节切片组合。另外，组合不同旋 转角度下的切片能进一步扩大数据集，结果如图3所示，具体方法如表1中的算法1 所示。
表1数据扩容
Figure BDA0002335447870000031
Figure BDA0002335447870000041
2)数据平衡方法：
当训练数据集不平衡，即可用数据在不同类别之间分布不均匀时，图像分类技术的准确性会显著降低。在LIDC数据集中，语义特征的数据分布不平衡，例如分叶征 有70％的结节标记为Lable 0，30％的结节被标记为Lable 1，其他语义特征同样存在 类似情况。我们的模型联合肺结节的九个语义特征，处理其中任何一个语义特征均 会改变改变其他语义特征分布。为此，本文提出了一个比例排名算法，联合九个语 义特征缓解训练集不均衡的情况。
数据集作为整体，九个语义特征具有相同的权重。第一步，根据式(1)计算出 每一个结节的得分，然后根据这一得分对结节从大到小排序。第二步，选取排序最 后M名，复制最后M名的结节并添加到整体数据集。最后，重复以上步骤直到数据 集在九个语义特征方面都相对平衡。式(1)显示如下：
Figure BDA0002335447870000042
公式中N为肺结节9个属性的总分类46，d表示结节是否属于这一类，是则为1， 否则为0，m是指总的结节数，n是指属于这一类的结节数。
对于上述过程中新添加的肺结节，没有使用合成少数样品过抽样技术(SMOTE) 对数据进行过抽样，而是通过以结节的垂直轴、冠状轴、水平轴为中心轴旋转一个 细微的角度得到一系列新的肺结节图像的方式对数据进行过抽样，算法如下表2所 示。
表2数据平衡算法
Figure BDA0002335447870000051
本发明的有益效果是：
1、本发明的基于多视图、多尺度、多任务肺结节分类方法，对通过采用2D图 像来表征3D图像，融合多尺度和多视图图像来更好地表征肺结节的病理信息；
2、肺结节语义特征分类，存在数据分布不均衡的问题，提出一个方法解决联合 多任务分类数据不均衡问题；
3、根据模型学习到的肺结节特征，对肺结节多个语义特征进行分类，最终通过 联合多分类准确的标注出结节语义特征。
附图说明
图1为本发明中的流程图；
图2为本发明中的多视图、多尺度、多任务肺结节分类方法流程图；
图3为本发明中数据扩容方法的结果；
图4为本发明中预测肺结节九个语义特征的结果图，其中，(a)为模型预测肺结 节九个语义特征全部正确的情况，(b)为模型预测语义特征部分出现错误的情况；
图5为本发明中展示选择30mm与40mm尺度包含的肺结节和背景信息；
具体实施方式
实施例1：如图1-5所示，基于多视图、多尺度、多任务肺结节分类方法，所述 基于多视图、多尺度、多任务肺结节分类方法的具体步骤如下：
Step1、从3-D视图中提取9个视图的2D结节切片；
进一步地，所述步骤Step1的具体步骤为：
Step1.1、对于每个候选结节提取以结节为中心的40X40X40mm立方体，选择立 方体的大小是为了包含所有结节信息，并包括足够的背景信息；
其中，采用大型公开数据集，肺图像数据库联盟(LIDC-IDRI)，对拟定的CAD系 统进行训练和验证。LIDC-IDRI包含来自7个机构的1018例异质性病例。CT图 像的层厚从0.6mm到5.0mm不等，中位数为2.0mm。对于每个实例中的图像， 都由4位经验丰富的胸部放射科医师进行两阶段的诊断标注。在第一阶段，每位医 师分别独立诊断并标注病患位置，其中根据肺结节直径大小会标注三种类别： 1)>＝3mm的结节,2)<3mm的结节,3)>＝3mm的非结节。在随后的第二阶段中，各 位医师都分别独立的复审其他三位医师的标注，并给出自己最终的诊断结果。这样 的两阶段标注可以在避免强迫共识的前提下，尽可能完整的标注所有结果。每例病 例包含相关CT扫描的DICOM图像和相关可扩展标记语言(XML)文件组成，包 含多达4位医师的结节注释。对于肺结节各个语义特征的标注完全依靠医师的以往经验，不同的医师对于同一个肺结节给出的语义特征可能不同。
Step1.2、为了提取需要的肺结节图像，我们首先通过三维重建方法建立一个三维的整体肺结节，然后以肺结节的中心为立方体中心截取40x 40x 40mm范围，在与 对称立方平面对应的平面上提取了九个切片。其中三个对称平面是与立方体平行的 平面，这些平面俗称矢状面、冠状面和轴面。另外六个平面是对称平面，它们在对 角线上切出立方体的两个相对的面。这样的平面包含立方体的两个相对的边和四个 顶点。因此，我们获得了每个结节的9个切片视图。
其中，是通过软件3D slicer对患者整个肺部进行三维重建，重建之后根据专家标注的肺结节的位置信息找到结节中心坐标L(X,Y,Z)，以L为中心切割出一个尺 寸为40x40X40mm的立方体；
Step2、提取2D结节切片上的10mm、20mm、40mm补丁；
进一步地，所述步骤Step2中，为了能够从原始结节块中提取定量特征，而不是 分割结节，我们考虑以结节为中心的结节切片，切片间隔厚度为0.702mm。肺结节 的图像在每个切片的中心位置。因为在我们的子集中最大的结节直径为30mm，所 以选择40mm的长度可以将所有的结节将完全包含在切片中，然后我们采用数据扩 容方法；
对于一个肺结节，我们首先提取了9个切片，然后以结节为中心提取10mm、 20mm、40mm的切片。这样既达到了分割肺结节的效果，同时又保留了肺结节的原 始边缘信息，然后再采用数据平衡方法；
由于结节边界的定义是模糊的，放射科医师的主观阅片人之间变异性使得精确的结节勾画成为一项具有挑战的任务。因此为了能够从原始结节块中提取定量特征， 而不是分割结节，我们考虑以结节为中心的结节切片。对于一个肺结节，我们首先 提取了9个切片，然后以结节为中心提取10mm、20mm、40mm的切片。这样既达 到了分割肺结节的效果，同时又保留了肺结节的原始边缘信息。
对于三个尺度上结节特征的提取，我们采用VGG-NET网络，我们试图通过增 加训练样本来训练Multi-SVT模型，在给定有限的训练样本的情况下补充学***轴为中心轴旋转一定角度，旋转的角度范围是[0°-360°]，然后再分别进行重切 片。得到的是一系列40mm的结节分布在中心位置的肺结节切片。最后在40mm切 片基础上以结节为中心裁剪出10mm、20mm的肺结节切片；
Step3、构建3个卷积神经网络模型并使用每个平面视图中提取的补丁按尺度进行训练，然后再融合三个模型的全连接层进行肺结节各个图像的特征融合；
进一步地，所述步骤Step3的具体步骤为：
Step3.1、构建3个卷积神经网络模型并使用每个平面视图中提取的补丁按尺度进行训练；
Step3.2、将每个尺度的结节切片分别输入Model A、Model B、Model C，然后在 全连接层进行肺结节各个图像的特征融合；
Step3.3、输入的切片经过四个卷积层和一个完全连接层的处理，最后是softmax层。
Step4、在全连接层对肺结节的语义特征联合训练，得到语义特征的分类结果。
进一步地，所述步骤Step4的具体步骤为：
Step4.1、Step3中融合了肺结节各个图像特征，进一步通过卷积神经网络的卷积层，卷积神经网络在最后的全连接层输出64维信息；
Step4.2、9类语义特征隐藏在特征向量中，最后对每一类语义特征分别进行softmax分类；其中损失值根据softmax分类结果与肺结节真实标签计算得出，联 合多任务同时考虑9类语义特征，根据9类语义特征的总体损失值进行反向传播。
进一步地，所述语义特征包括精细度、内部结构、钙化、球形度、边缘、分叶 征、毛刺征、纹理、恶性程度参数，内部结构包括软组织、液态、脂肪、空气参数。
为了说明本发明的效果，做了如下实验进行验证：
实验一：通过对肺结节注释信息的预处理，统一四个专家对肺结节九个语义特征的评级，很好的解决了因为语义特征评级不统一造成的误差。因为之前的研究表明 肺结节九个语义特征之间有关联，因此通过多任务方法，在一个模型中同时训练肺 结节的九个语义特征。Multi-SVT方法不仅能通过一个模型训练肺结节的多个语义特 征，同时又能对恶性程度分类表现出积极影响。为了验证，对比了Multi-SV方法(如 图2所示)。Multi-SV方法采用和Multi-SVT方法相同的模型结构，但模型的输出只 有Maligancy这一个特征标签，实验结果如表3所示。
表3两个方法的对比.
Figure BDA0002335447870000081
表3中的Multi-SV方法和Multi-SVT方法总结了两种模型的平均AUC评分、 准确度、灵敏度和特异性。Multi-SVT模型的平均AUC为0.952，平均准确度为 0.913，平均灵敏度为0.843，平均特异度为0.929；而Multi-SV模型的平均AUC为 0.932，平均准确度为0.905，平均灵敏度为0.816，平均特异度为0.926。结果表明， 与Multi-SV方法相比，所提出的Multi-SVT方法在预测恶性肿瘤方面取得了更好的 性能。
还将我们的结果与目前最好的肺结节恶性肿瘤预测的深度学***均AUC评分、准确度、灵敏 度和特异性。在恶性程度这一语义特征上面，Multi-SVT模型的平均AUC为0.952， 平均准确度为0.913，平均灵敏度为0.843，平均特异度为0.929；而方法A模型的 平均AUC为0.856，平均准确度为0.842，平均灵敏度为0.705，平均特异度为 0.889。指标评估均表明，与效果最好的方法相比，所提出的Multi-SVT方法在预测 恶性肿瘤方面取得了更好的性能。
表4方法在其他语义特征上的表现.
Figure BDA0002335447870000091
另外，对于其他语义特征预测结果，除了恶性程度考虑了其他五个语义特征(Subtlety,Calcification,Sphericity,Margin,Texture)，我们的方法考虑了另外全部的八个语义特征。在五个共同的语义特征上面取了相同的阈值，而针对Internal Structure,Lobulation,Spiculation三个语义特征我们定义了三个特征的阈值。根据表中的结果所示，针对八个语义特征(Subtlety,Internal Structure,Calcification,Sphericity,Margin, Lobulation,Spiculation,Texture)我们获得的平均准确度为0.728,0.985,0.956,0.644, 0.802,0.750,0.764,0.911；平均AUC评分为0.803,0.908,0.935,0.595,0.787,0.721, 0.781,0.848；平均灵敏度为0.676,0.50,0.999,0.824,0.892,0.395,0.605,0.955；平均特 异性为0.866,0.990,0.771,0.276,0.479,0.855,0.805,0.595。通过表中我们的 Multi-SVT方法结果与HSCNN方法对比发现，我们的方法不仅实现了全部语义特征 的分类，而且在共同考虑的五个语义特征上面，我们的分类结果远好于目前最好方法。
图展示了Multi-SVT模型的工作情况，通过在40mm尺度上对肺结节进行View1-9的可视化，同时呈现模型对九个语义特征的预测情况以及专家标注的结果。图4(a) 显示Multi-SVT模型将肺结节分类为良性，结节区域与周边区域对比度较大，内部 组成为软组织，有钙化，呈球形，边缘清晰，无毛刺和分页，固态，这九个语义特 征的预测与真实标签相同。
图4(b)显示Multi-SVT模型错误的将肺结节归类为良性(参考标签为恶性)， 同时对该结节的5个语义特征(subtlety、sphericity、lobulation、spiculation、Malignancy)错误分类，该案例表明对恶性程度分类错误的情况，Multi-SVT模型同样能做出合理 的解释。
实验二：多视图的对比实验
在我们的Multi-SVT模型中，我们将每个3-D肺结节分解为9个固定的视图， 并将9个视图按三个不同的尺度进行分割，从而得到关于一个结节的27个2D图像。 为了证明多视图集成学习是有效的，我们测试了3组不同视图组合。
表5探讨了多视图
Figure BDA0002335447870000101
表5中给出的分类性能表明，我们使用的视图越多，我们获得的分类精度和AUC 越高。结果是不足为奇的，因为越来越多的信息结节可以利用与越来越多的观点在 我们的模型使用。
实验三：多尺度的对比实验
我们采用了10mm、20mm、40mm三个尺度的肺结节图像。为了证明多尺度集 成学习是有效的，我们测试了3组不同尺度组合。由于40mm尺度能包含所有的肺 结节，因此我们以这一尺度为基准尺度。
表6探讨了多尺度
Figure BDA0002335447870000102
表6中给出的分类性能表明，我们使用的尺度越多，我们获得的分类精度和AUC 越高。结果是不足为奇的，因为我们采用的是多尺度原始结节补丁，而不是分割区 域，提供了从原始结节补丁获得的信息对肺结节诊断有价值的证据。
实验四：不同融合方式的对比实验
我们讨论了不同的模型输入流的组合:
1)Committee-Fusion：Committee-Fusion方法是将每个流的完全连接层的输出融合在一起，最后进行分类。使用特定视图的补丁分别训练每个ConvNet流。在这种 配置中，不同流的卷积层参数是不共享的。
2)Late-Fusion：Late-Fusion方法将第一个完全连接层的输出串联起来，并将串联输出直接连接到分类层。在这种配置中，不同流的卷积层参数是共享的。
3)Mixed-Fusion：Mixed-Fusion是前两种方法的结合。我们将27个补丁分为三 个独立的集合，每个集合包含9个相同尺度的不同补丁，在每个集合之内采用 Late-Fusion方法，集合之间采用Committee-Fusion方法。在这种配置中，集合内不 同流的卷积层参数是共享的，集合间不同流的卷积层参数是不共享的。
表7探讨了不同融合方式
Figure BDA0002335447870000111
结果如表7所示。该表显示，我们使用按尺度划分输入流共享参数的机制，获得 的分类准确率和AUC较高。结果并不奇怪，因为根据尺度划分模型参数更适合模 型参数训练。
实验五：尺度的选择
对于Multi-SVT模型的设计，多尺度的选择是为了更好地表征出肺结节图像与周围背景信息，接下来我们讨论选取10、20、40mm组合的理由。列表可知肺结节直 径分布情况，其中3-10mm区间占比81％，10-20mm区间占比为14％，20-30mm区 间占比3％，30-40mm区间占比0.3％，其余占比为直径小于3mm的结节。因此，选 取最大尺度为40mm绝对可以包含整个结节和结节周围的周围组织，并且没有太多 的噪声。如图5所示，在选取最大尺度为30mm时会损失部分肺结节信息与肺结节 背景信息。
考虑到选择30mm为最大尺度能涵盖大部分肺结节，但是会损失部分结节信息。 选择50mm作为最大尺度能涵盖全部的肺结节信息，但是会引入更多的噪音。接下 来我们讨论了选取10&20&30mm、10&20&40mm以及10&20&50mm三个组合的试 验。对于这三个组合的试验，我们选取固定的9个视图组合，Mixed-Fusion的融合 方式，以及固定的模型结构。结果如表。
表8探讨了尺度的选择.
Figure RE-GDA0002435985540000121
通过对表8中结果的分析发现，在选取10&20&40mm组合时取得最好的结果。 正如分析的那样，选取10&20&30mm组合会丢失部分结节的背景信息，然而选取 10&20&50mm会引入更多的噪音。
上面结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明 宗旨的前提下作出各种变化。

Claims (5)

1.基于多视图、多尺度、多任务肺结节分类方法，其特征在于：所述基于多视图、多尺度、多任务肺结节分类方法的具体步骤如下：
Step1、从3-D视图中提取9个视图的2D结节切片；
Step2、提取2D结节切片上的10mm、20mm、40mm补丁；
Step3、构建3个卷积神经网络模型并使用每个平面视图中提取的补丁按尺度进行训练，然后再融合三个模型的全连接层进行肺结节各个图像的特征融合；
Step4、在全连接层对肺结节的语义特征联合训练，得到语义特征的分类结果。
2.根据权利要求1所述的基于多视图、多尺度、多任务肺结节分类方法，其特征在于：所述步骤Step1的具体步骤为：
Step1.1、对于每个候选结节提取以结节为中心的40X40X40mm立方体，选择立方体的大小是为了包含所有结节信息，并包括足够的背景信息；
Step1.2、为了提取肺结节图像，在与9个对称立方平面对应的平面上提取了九个切片；其中三个对称立方平面是与立方体平行的平面，三个对称立方平面分别俗称矢状面、冠状面和轴面；另外六个平面是对称平面，它们在对角线上切出立方体的两个相对的面，这样的平面包含立方体的两个相对的边和四个顶点。
3.根据权利要求1所述的基于多视图、多尺度、多任务肺结节分类方法，其特征在于：所述步骤Step3的具体步骤为：
Step3.1、构建3个卷积神经网络模型并使用每个平面视图中提取的补丁按尺度进行训练；
Step3.2、将每个尺度的结节切片分别输入ModelA、Model B、Model C，然后在全连接层进行肺结节各个图像的特征融合；
Step3.3、输入的切片经过四个卷积层和一个完全连接层的处理，最后是softmax层。
4.根据权利要求1所述的基于多视图、多尺度、多任务肺结节分类方法，其特征在于：所述步骤Step4的具体步骤为：
Step4.1、Step3中融合了肺结节各个图像特征，进一步通过卷积神经网络的卷积层，卷积神经网络在最后的全连接层输出64维信息；
Step4.2、9类语义特征隐藏在特征向量中，最后对每一类语义特征分别进行softmax分类；其中损失值根据softmax分类结果与肺结节真实标签计算得出，联合多任务同时考虑9类语义特征，根据9类语义特征的总体损失值进行反向传播。
5.根据权利要求1或4所述的基于多视图、多尺度、多任务肺结节分类方法，其特征在于：所述语义特征包括精细度、内部结构、钙化、球形度、边缘、分叶征、毛刺征、纹理、恶性程度参数，内部结构包括软组织、液态、脂肪、空气参数。
CN201911354214.8A 2019-12-25 2019-12-25 基于多视图、多尺度、多任务肺结节分类方法 Active CN111144474B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911354214.8A CN111144474B (zh) 2019-12-25 2019-12-25 基于多视图、多尺度、多任务肺结节分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911354214.8A CN111144474B (zh) 2019-12-25 2019-12-25 基于多视图、多尺度、多任务肺结节分类方法

Publications (2)

Publication Number Publication Date
CN111144474A true CN111144474A (zh) 2020-05-12
CN111144474B CN111144474B (zh) 2022-06-14

Family

ID=70519868

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911354214.8A Active CN111144474B (zh) 2019-12-25 2019-12-25 基于多视图、多尺度、多任务肺结节分类方法

Country Status (1)

Country Link
CN (1) CN111144474B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111723817A (zh) * 2020-06-30 2020-09-29 重庆大学 一种肺结节辅助检测方法
CN111767952A (zh) * 2020-06-30 2020-10-13 重庆大学 一种可解释的肺结节良恶性分类方法
CN112116562A (zh) * 2020-08-26 2020-12-22 重庆市中迪医疗信息科技股份有限公司 基于肺部影像数据检测病灶的方法、装置、设备及介质
CN112633336A (zh) * 2020-12-10 2021-04-09 重庆大学 一种基于多尺度特征融合的肺结节识别分类方法
CN112990344A (zh) * 2021-04-09 2021-06-18 重庆大学 一种肺结节多视图分类方法
CN113191391A (zh) * 2021-04-07 2021-07-30 浙江省交通运输科学研究院 一种针对三维探地雷达图谱的道路病害分类方法
CN113436726A (zh) * 2021-06-29 2021-09-24 南开大学 一种基于多任务分类的肺部病理音自动化分析方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106650830A (zh) * 2017-01-06 2017-05-10 西北工业大学 基于深层模型和浅层模型决策融合的肺结节ct图像自动分类方法
CN106940816A (zh) * 2017-03-22 2017-07-11 杭州健培科技有限公司 基于3d全连接卷积神经网络的ct图像肺结节检测***
CN108389178A (zh) * 2018-01-11 2018-08-10 上海交通大学 基于卷积神经网络的肺部ct预处理方法及***
CN110309860A (zh) * 2019-06-06 2019-10-08 昆明理工大学 基于卷积神经网络对肺结节的恶性程度进行分类的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106650830A (zh) * 2017-01-06 2017-05-10 西北工业大学 基于深层模型和浅层模型决策融合的肺结节ct图像自动分类方法
CN106940816A (zh) * 2017-03-22 2017-07-11 杭州健培科技有限公司 基于3d全连接卷积神经网络的ct图像肺结节检测***
CN108389178A (zh) * 2018-01-11 2018-08-10 上海交通大学 基于卷积神经网络的肺部ct预处理方法及***
CN110309860A (zh) * 2019-06-06 2019-10-08 昆明理工大学 基于卷积神经网络对肺结节的恶性程度进行分类的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LIJUN LIU 等: "MobMivs: Implementing an Efficient Medical Image Visualization System for Mobile Telemedicine", 《2018 9TH INTERNATIONAL CONFERENCE ON INFORMATION TECHNOLOGY IN MEDICINE AND EDUCATION》 *
吴保荣: ""基于深度卷积神经网络的肺结节自动检测和分类方法研究 "", 《中国优秀硕士学位论文全文数据库 (医药卫生科技辑)》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111723817A (zh) * 2020-06-30 2020-09-29 重庆大学 一种肺结节辅助检测方法
CN111767952A (zh) * 2020-06-30 2020-10-13 重庆大学 一种可解释的肺结节良恶性分类方法
CN111723817B (zh) * 2020-06-30 2023-09-29 重庆大学 一种肺结节辅助检测方法
CN111767952B (zh) * 2020-06-30 2024-03-29 重庆大学 一种可解释的肺结节良恶性分类方法
CN112116562A (zh) * 2020-08-26 2020-12-22 重庆市中迪医疗信息科技股份有限公司 基于肺部影像数据检测病灶的方法、装置、设备及介质
CN112633336A (zh) * 2020-12-10 2021-04-09 重庆大学 一种基于多尺度特征融合的肺结节识别分类方法
CN113191391A (zh) * 2021-04-07 2021-07-30 浙江省交通运输科学研究院 一种针对三维探地雷达图谱的道路病害分类方法
CN112990344A (zh) * 2021-04-09 2021-06-18 重庆大学 一种肺结节多视图分类方法
CN112990344B (zh) * 2021-04-09 2022-05-24 重庆大学 一种肺结节多视图分类方法
CN113436726A (zh) * 2021-06-29 2021-09-24 南开大学 一种基于多任务分类的肺部病理音自动化分析方法
CN113436726B (zh) * 2021-06-29 2022-03-04 南开大学 一种基于多任务分类的肺部病理音自动化分析方法

Also Published As

Publication number Publication date
CN111144474B (zh) 2022-06-14

Similar Documents

Publication Publication Date Title
CN111144474B (zh) 基于多视图、多尺度、多任务肺结节分类方法
Guan et al. Deep convolutional neural network VGG-16 model for differential diagnosing of papillary thyroid carcinomas in cytological images: a pilot study
CN107016665B (zh) 一种基于深度卷积神经网络的ct肺结节检测方法
Wang et al. Using deep convolutional neural networks for multi-classification of thyroid tumor by histopathology: a large-scale pilot study
Niazi et al. Visually meaningful histopathological features for automatic grading of prostate cancer
Dequidt et al. Exploring radiologic criteria for glioma grade classification on the BraTS dataset
CN111798424B (zh) 一种基于医学图像的结节检测方法、装置及电子设备
Wang et al. 3D Inception U‐net with asymmetric loss for cancer detection in automated breast ultrasound
CN111767952A (zh) 一种可解释的肺结节良恶性分类方法
CN101551854A (zh) 不平衡医学影像处理***及其处理方法
Feng et al. Deep learning for chest radiology: a review
Yuan et al. An efficient multi-path 3D convolutional neural network for false-positive reduction of pulmonary nodule detection
Shastry et al. Cancer diagnosis using artificial intelligence: a review
Zhi et al. Deep neural network pulmonary nodule segmentation methods for CT images: Literature review and experimental comparisons
Zhao et al. Pulmonary nodule detection based on multiscale feature fusion
Huang et al. Personalized diagnostic tool for thyroid cancer classification using multi-view ultrasound
Tiwari et al. Optimized Ensemble of Hybrid RNN-GAN Models for Accurate and Automated Lung Tumour Detection from CT Images
CN110570405A (zh) 一种基于混合特征的肺结节智能诊断方法
Yu et al. Convolutional neural network design for breast cancer medical image classification
Cao et al. 3D convolutional neural networks fusion model for lung nodule detection onclinical CT scans
Mir et al. Artificial intelligence-based techniques for analysis of body cavity fluids: a review
Khouadja et al. Lung Cancer Detection with Machine Learning and Deep Learning: A Narrative Review
Devi et al. Brain tumour detection with feature extraction and tumour cell classification model using machine learning–a survey
Retico Computer-aided detection for pulmonary nodule identification: improving the radiologist's performance?
Parvatikar et al. Prototypical models for classifying high-risk atypical breast lesions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant