CN113706434B - 基于深度学习对胸部增强ct图像的后处理方法 - Google Patents
基于深度学习对胸部增强ct图像的后处理方法 Download PDFInfo
- Publication number
- CN113706434B CN113706434B CN202010387797.0A CN202010387797A CN113706434B CN 113706434 B CN113706434 B CN 113706434B CN 202010387797 A CN202010387797 A CN 202010387797A CN 113706434 B CN113706434 B CN 113706434B
- Authority
- CN
- China
- Prior art keywords
- image
- deep learning
- feature
- value
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 46
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000012805 post-processing Methods 0.000 title claims abstract description 14
- 208000008732 thymoma Diseases 0.000 claims abstract description 34
- 238000012549 training Methods 0.000 claims abstract description 21
- 238000012216 screening Methods 0.000 claims abstract description 20
- 238000012502 risk assessment Methods 0.000 claims abstract description 9
- 238000003759 clinical diagnosis Methods 0.000 claims abstract description 4
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 20
- 238000012795 verification Methods 0.000 claims description 15
- 238000012360 testing method Methods 0.000 claims description 13
- 210000000038 chest Anatomy 0.000 claims description 12
- 230000011218 segmentation Effects 0.000 claims description 12
- 238000003745 diagnosis Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000011176 pooling Methods 0.000 claims description 8
- 230000003902 lesion Effects 0.000 claims description 7
- 210000002569 neuron Anatomy 0.000 claims description 6
- 208000024891 symptom Diseases 0.000 claims description 6
- 210000004072 lung Anatomy 0.000 claims description 5
- 210000001370 mediastinum Anatomy 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 238000013211 curve analysis Methods 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 claims description 3
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 230000035945 sensitivity Effects 0.000 claims description 3
- 238000001207 Hosmer–Lemeshow test Methods 0.000 claims description 2
- 241000270295 Serpentes Species 0.000 claims description 2
- 230000001133 acceleration Effects 0.000 claims description 2
- 238000013136 deep learning model Methods 0.000 claims description 2
- 238000013210 evaluation model Methods 0.000 claims description 2
- 238000010832 independent-sample T-test Methods 0.000 claims description 2
- 238000007477 logistic regression Methods 0.000 claims description 2
- 238000010202 multivariate logistic regression analysis Methods 0.000 claims description 2
- 230000007170 pathology Effects 0.000 claims description 2
- 238000007473 univariate analysis Methods 0.000 claims description 2
- 238000010835 comparative analysis Methods 0.000 claims 1
- 230000008901 benefit Effects 0.000 abstract description 10
- 230000007547 defect Effects 0.000 abstract description 5
- 238000013480 data collection Methods 0.000 abstract description 4
- 238000002372 labelling Methods 0.000 abstract description 4
- 230000002708 enhancing effect Effects 0.000 abstract description 2
- 230000004044 response Effects 0.000 description 9
- 238000000605 extraction Methods 0.000 description 8
- 206010028980 Neoplasm Diseases 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 6
- 101150039208 KCNK3 gene Proteins 0.000 description 4
- 238000002790 cross-validation Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 201000011510 cancer Diseases 0.000 description 3
- 230000036210 malignancy Effects 0.000 description 3
- 206010006187 Breast cancer Diseases 0.000 description 2
- 208000026310 Breast neoplasm Diseases 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004393 prognosis Methods 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 101000960235 Dictyostelium discoideum Isocitrate dehydrogenase [NADP] cytoplasmic Proteins 0.000 description 1
- 238000000729 Fisher's exact test Methods 0.000 description 1
- 208000032612 Glial tumor Diseases 0.000 description 1
- 206010018338 Glioma Diseases 0.000 description 1
- 206010054107 Nodule Diseases 0.000 description 1
- 206010056342 Pulmonary mass Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000000546 chi-square test Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000013170 computed tomography imaging Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000008595 infiltration Effects 0.000 description 1
- 238000001764 infiltration Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000003211 malignant effect Effects 0.000 description 1
- 201000000349 mediastinal cancer Diseases 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 208000018280 neoplasm of mediastinum Diseases 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000010882 preoperative diagnosis Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000004451 qualitative analysis Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Radiology & Medical Imaging (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Pathology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
基于深度学***衡数据收集与标注成本，在有限样本量的前提下可提高影像组学流程的智能化程度和预测模型的性能，具有较大的优势和应用价值。这种基于深度学习对胸部增强CT图像的后处理方法包括：(1)将影像数据自动分割后输入深度学习的ResNet网络；(2)通过训练模型获取全面而完整的病灶信息，并从第一层全连接层的输出中提取深度学习的向量特征；(3)筛选特征和构建预测模型；(4)将基于深度学习得到的结果与传统影像组学的结果进行比较分析，评价其对于胸腺瘤临床诊断与风险评估的价值。
Description
技术领域
本发明涉及医学图像处理的技术领域，尤其涉及一种基于深度学习对胸部增强CT图像的后处理方法。
背景技术
胸腺瘤术前影像学检查目的是初步的评价肿瘤的恶性程度，进一步可推测其组织病理学改变和进行风险评估，从而辅助术前治疗方案选择及临床预后判断。然而，由于胸腺瘤发病率相对较低，目前在术前准确诊断及恶性程度风险评估方面仍面临较大的挑战。CT对于诊断前纵隔肿瘤的敏感性较高，增强CT可更好显示胸腺瘤的轮廓、边界及局部浸润性并评估其恶性程度。是用于诊断与识别的重要检查手段。
然而，CT影像学征象评估是基于胸腺瘤病灶本身及其与邻近周围组织结构的关系，多采用经验性、观察性指标而非量化指标，临床工作中与前纵隔其它肿瘤或瘤样病变的影像表现不乏相似而难以鉴别，因此，如何基于CT影像数据采用客观量化的方法对于胸腺瘤进行更为准确的诊断尚需进一步研究。
传统影像组学采用对医学影像图像进行高通量特征提取，着眼于临床问题构建模型而进行定性分析，可较好地运用于疾病的精确诊断、组织病理学风险评估及临床预后评估等方面。但在临床实践中传统影像组学存在其固有的问题和困境，首先，医学图像的病灶分割步骤依赖于人工手动勾画，这一过程既耗时又易受人为因素影响；其次，目前的影像组学特征提取方法难以将分割区域内的所有图像特征进行算法预设并全部提取。因此，传统影像组学的自动化和标准化程度低，在其预测结果的准确性和鲁棒性方面依然存在诸多局限，具有较大的提升空间。
深度学习是机器学习领域的一个特定的研究方向，近年来深度学习技术发展迅速，在图像分析各个领域应用较为广泛。CNN及其衍生网络结构是具有代表性的深度学习方法，已成功应用于图像识别及特征提取领域。近年来，有研究使用CNN对医学图像进行分割，并且取得了比传统方法更好的效果。依据原始数据特征和结构，通过对CNN的参数进行调整至最佳结构，从而可以获取最佳输出和达到理想分类的目的。通过对整个图像进行卷积核运算从而保存大量的全局空间信息，从而可从最后一层卷积层中提取到完整的目标图像区域特征。因此，采用CNN对医学图像的病灶分割结果稳定、提取的图像特征全面而完整，有助于最终提高预测结果的准确性和鲁棒性，为解决目前影像组学的困境和问题提供重要的方法学途径。
发明内容
为克服现有技术的缺陷，本发明要解决的技术问题是提供了一种基于深度学***衡数据收集与标注成本，在有限样本量的前提下可提高影像组学流程的智能化程度和预测模型的性能，具有较大的优势和临床应用价值。
本发明的技术方案是：这种基于分割后胸部增强CT图像的深度学习方法，其包括以下步骤：
(1)将分割后的病灶数据输入深度学习的ResNet网络；
(2)通过训练模型获取全面而完整的病灶信息，并从第一层全连接层的输出中提取深度学习的向量特征；
(3)筛选特征和构建预测模型；
(4)将基于深度学习的影像组学得到的结果与传统影像组学的结果进行比较分析，评价其对于胸腺瘤临床诊断与风险评估的价值。
本发明将分割后的图像输入ResNet网络、通过训练模型获取全面而完整的病灶信息，提取ResNet网络中第一个全连接层中的函数响应特征，经卷积运算后映射为深度学***衡数据收集与标注成本，在有限样本量的前提下可提高影像组学流程的智能化程度和预测模型的性能，具有较大的优势和应用价值。
附图说明
图1示出了ResNet-34的残差块结构。ResNet-34采用两个残差块结构Resblock1和Resblock2，Resblock1不需要改变网络的通道数，Resblock2需要增加网络的通道数。
图2示出了深度学习特征提取方法示意图。ResNet网络中第一个全连接层中函数响应特征，经卷积运算后映射编码为4096*1的向量特征。
图3示出了采用Kendall相关系数筛选高鉴别能力的特征。阈值设为0.8时，Task1中保留的特征数量为542个，Task2中保留的特征数量为468个。
图4示出了采用10折交叉验证筛选稳定特征。(A)Task1中经交叉验证后保留特征数量为53个依次与ResNet网络中全连接层的响应次序相对应；(B)Task2中经交叉验证后保留特征数量为41个依次与ResNet网络中全连接层的响应次序相对应。
图5示出了LASSO回归最终筛选特征。(A)Task1中LASSO回归最终筛选得到3个特征；(B)Task2中LASSO回归最终筛选得到3个特征。
图6示出了DLBR预测模型在训练集与验证集中的表现。(A)训练集中胸腺瘤与非胸腺瘤的分类诊断，AUC为0.8344；(B)验证集中胸腺瘤与非胸腺瘤的分类诊断，AUC为0.7415；(C)训练集中区分胸腺瘤组织病理学风险类别AUC为0.8255；(D)验证集中区分胸腺瘤组织病理学风险类别AUC为0.7752。
图7示出了DLBR与CR模型决策曲线分析。(A)对于Task1胸腺瘤与非胸腺瘤的分类诊断，如果临床决策的阈值概率大于46％，则使用DLBR模型较CR模型进行预测有更多的临床受益。在此范围内，两个模型的净受益具有可比性，且DLBR模型表现较好；(B)对于Task2区分胸腺瘤风险类别，如果临床决策的阈值概率大于60％，则使用DLBR模型较CR模型进行预测有更多的临床受益。在此范围内，两个模型的净受益具有可比性，且DLBR模型表现较好。
图8示出了基于DLBR预测模型构建诺谟图。(A)DLBR诺莫图用于鉴别胸腺瘤与非胸腺瘤(Task1)；(B)DLBR诺谟图用于区分胸腺瘤风险类别(Task2)。
图9示出了根据本发明的基于深度学习对胸部增强CT图像的后处理方法的流程图。
具体实施方式
如图9所示，这种基于深度学习对胸部增强CT图像的后处理方法，其包括以下步骤：
(1)将分割后的病灶数据输入深度学习的ResNet网络；
(2)通过训练模型获取全面而完整的病灶信息，并从第一层全连接层的输出中提取深度学习的向量特征；
(3)筛选特征和构建预测模型；
(4)将基于深度学习的影像组学得到的结果与传统影像组学的结果进行比较分析，评价其对于胸腺瘤临床诊断与风险评估的价值。
本发明将分割后的图像输入ResNet网络、通过训练模型获取全面而完整的病灶信息，提取ResNet网络中第一个全连接层中的函数响应特征，经卷积运算后映射为深度学***衡数据收集与标注成本，在有限样本量的前提下可提高影像组学流程的智能化程度和预测模型的性能，具有较大的优势和应用价值。
优选地，所述步骤(1)包括以下分步骤：
(1.1)CT图像采集：所有患者均进行CT对比增强扫描，获取在胸部纵隔窗重建的薄层图像；
(1.2)在原始CT图像上利用肺与周围组织存在的自然密度差异，采用计算肺组织像素值的方法，设计双肺掩膜文件，去除纵隔以外区域且保留病灶；
(1.3)采用V_Net网络对病灶进行初步分割；
(1.4)采用Morphological Snakes算法对病灶进行精细分割。
优选地，所述步骤(2)中，使用包含两个残差块的ResNet-34进行训练，每个残差块表示为公式(1)
y＝F(x)+x (1)
其中，x和y分别代表残差块的输入和输出；
函数F(x)代表着残差映射，表示为公式(2)
F(x)＝W2σ(W1x) (2)
其中，σ代表ReLU，W1表示通过残差块中第一个卷积层自上而下学习到的权重，W2表示通过残差块中第二个卷积层学习到的权重。
优选地，所述步骤(2)中，ResNet-34网络由1个卷积层、2个池化层、16个残差块和2个全连接层组成，16个残差块包括13个Resblock1和3个Resblock2；输入的图像数据，首先经过1个核大小为7×7且步长为2的卷积层，通过ReLU函数激活后再经过一个窗口大小为3×3且步长为2的最大池化层；然后连续经过16个残差块，再经过一个窗口大小为3×3且步长为2的平均池化层，最后再输入全连接层提取特征；本ResNet网络中第一个全连接层设计为4096个神经元，每个神经元输出一个向量，全连接层经编码为4096*1的向量为提取的特征。
优选地，所述步骤(3)中，筛选特征分三个步骤：
(3.1)基于计算特征的Kendall相关系数，将其阈值设定为0.15筛选特征，首先计算分类样本1与样本2中每位患者的各个特征是否为协调特征值，采用符号函数如下：
sgn(Xij-Xik)＝sgn(Yi-Yk) (3)
sgn(Xij-Xik)＝-sgn(Yi-Yk) (4)
式中Xij代表类别1样本中第j个样本的第i个特征，j是样本序数，i是特征序数，Yj代表此样本的分类标签；Xik代表样本2中第k个样本的第i个特征，k是样本序数，i是特征序数，Yk代表此样本的分类标签；若公式(3)成立则为协调特征值，相反，若公式(4)成立则为非协调特征值，分别统计出协调与非协调特征的数量；特征i的Kendall相关系数τ采用公式(5)计算：
τi＝(Nc-Nd)/m×n (5)
式中m为类别1样本数量，n为类别2样本数量，Nc为协调特征的数量，Nd为非协调特征的数量；
(3.2)其次对于初步筛选后的特征通过10折交叉验证方法筛选稳定特征，在每次交叉验证中寻找分类正确性最高的特征集为最优特征集，特征集中每个特征的次序在每次交叉验证中进行迭代而略有不同，分别在每次交叉验证迭代中找出都出现的特征并分别统计、再次筛选成为备选的稳定特征；
(3.3)采用LASSO回归，在回归方程中按其各自系数对所选特征进行加权计算，构建DLBR的标签。
优选地，所述步骤(3)中，在训练集中，对于经过上述方法得到的DLBR标签并结合患者临床信息及CT影像征象作为最终的特征构建预测模型，使用单变量分析来评估各个特征与分类应变量之间的关系，最终进行多变量Logistic回归分析构建预测模型对胸腺瘤与非胸腺瘤进行分类诊断以及区分胸腺瘤组织病理学风险类别，并在验证集中对预测模型进行预测模型的验证评价。
优选地，所述步骤(4)中，采用Delong检验对于CR与DLBR两种方法的预测模型进行比较分析，评价DLBR的应用价值；Delong检验首先计算两个模型AUC的差值，然后分别计算AUC的方差和协方差，之后计算z值，将z值分布作正态分布的显著性检验，以p＜0.05为AUC间存在显著性差异；z值通过公式(6)得到
其中，M1为手动分割病灶构建模型的AUC值，M2为自动分割病灶构建模型的AUC值，var(M1)为M1的方差，var(M2)为M2的方差,cov(M1,M2)为两者协方差。
优选地，该方法还包括步骤(5)，患者一般临床资料、各CT影像征象的组间比较，对于连续性变量采用独立样本T检验，对分类变量采用χ2检验或Fisher’s精确检验；采用PyToch搭建深度学习模型框架并在GPU中进行图像加速处理；采用Matlab软件筛选影像组学特征；基于R软件环境下使用广义线性模型工具包进行LASSO回归构建方程计算影像组学特征标签；使用SPSS软件整理所有患者一般临床资料、CT影像征象，使用STATA软件分析一般资料、各CT影像征象与患者分类变量之间的关系并进行Logistic回归分析构建预测模型和ROC曲线，采用敏感性、特异性和准确率评价预测结果；使用Hosmer-Lemeshow检验对在训练集和验证集中的预测结果分别进行拟合优度检验，评价模型拟合值和观测值的吻合程度；采用决策曲线分析评价模型影响临床决策的价值并基于预测模型分别构建诺谟图。
本发明在两个中心基于深度学习进行病灶自动分割的基础上，将分割后的图像输入ResNet网络、通过训练模型获取全面而完整的病灶信息，提取ResNet网络中第一个全连接层中的函数响应特征，经卷积运算后映射为深度学习特征，最终筛选特征和构建预测模型进行胸腺瘤的诊断及区分其组织病理学的风险类别，并在训练集采用Delong检验及DCA方法与传统影像组学的模型进行比较分析，评价其对于胸腺瘤的诊断及风险评估的价值。
病灶自动分割是基于深度学习的影像组学流程中的重要步骤，传统影像组学研究通常采用手动勾画病灶进行分割的方法，易受勾画者个人经验和难以统一精细勾画标准的影响，因此，会影响到后续影像组学特征的提取及标签计算。本研究首先基于深度学习对病灶进行自动分割并获取了高质量分割后的图像，有利于保证后续进行深度学习特征提取的标准化及组学标签计算的准确性。
本研究将分割后图像输入ResNet网络完成模型训练，常用的ResNet有五种结构：ResNet-18,ResNet-34,ResNet-50,ResNet-101,ResNet-152(ResNet之后的数字表示网络参数层的数量)。依据本研究中数据量的大小和训练时间，使用ResNet-34网络结构，若包含两个残差块结构Resblock1和Resblock2，Resblock1不需要改变网络的通道数，Resblock2需要增加网络的通道数。为保证深度特征能够深度映射图像数据特征，输入的图像数据经过卷积层、池化层，然后连续经过16个残差块和平均池化层，最后再输入全连接层提取特征。为保证提取的深度特征能够全面映射原始图像数据特征，将ResNet网络中第一个全连接层设计为4096个神经元，每个神经元输出一个向量编码为最终提取的特征。
传统影像组学通常提取的特征包括：FOS、GLCM、GLRLM、GLSZM、NGTDM、GLDM及3D形态特征等。这些特征多是基于病灶灰度直方图的一阶统计量特征，或者是基于像素或体素离散灰度值进行空间组合的方向和分布特性等二阶背景纹理特征，或者仅基于原始图像提取的形态学等。相比传统影像组学，深度学习强大之处在于它神经网络的多层结构能够自动学习到层次丰富的特征，如较浅的卷积层学习到病灶局部区域的特征而较深的卷积层能够学习到更为抽象的特征，从而有助于提高分类识别的性能。已有影像组学研究不再提取传统影像组学的特征，直接采用CNN网络结构中的深层网络的输出作为特征再输入预测模型(分类器)进行分类和预测，结果表明该深度学习方法较传统影像组学方法能更好的预测低级别胶质瘤中IDH-1的突变状态。因此，传统影像组学所提取的特征均可以采用深度学习的方法进行覆盖计算而得到，深度神经网络结构中的卷积层可以用作特征提取器获取更为全面和完整的特征，在特征提取阶段可较好地替代传统影像组学特征提取步骤。
本研究中共提取了4096个深度学习特征，首先基于计算特征的Kendall相关系数进行初步筛选，依据分类样本1与样本2中每位患者的各个特征是否为协调特征值，采用分别计数不同的符号函数，最后再计算Kendall相关系数集，将其阈值设定为0.15筛选特征，之后经交叉验证寻找每次交叉验证迭代中都出现的特征分别统计再次筛选成为备选的稳定特征。最后采用LASSO回归，在回归方程中按其各自系数权重计算DLBR的标签值。与以往研究相比，本研究采用多种特征计算方法，提取的影像组学特征类别和数量相对较多，为保证预测模型的鲁棒性和模型的泛化能力，采用多种方法从深度学习特征中筛选稳定性强的特征，虽然目前深度学习特征的可解释性有限，但并不妨碍在卷积运算中映射病灶本身的特征。
将CR与DLBR获取的预测模型进行比较，在Task1中两个模型的差异具有统计学意义，而在Task2中两个模型的差异无统计学意义；采用DCA对两个模型分别比较，结果表明DLBR的预测模型较CR模型具有较大的临床受益。总体而言，DLBR模型具有较大的优势。已有研究采用深度学习的方法来鉴别肺结节性质，他们预先训练三种不同CNN来提取神经网络的深层特征，对于预先训练的深度学习和传统影像组学特征进行筛选后再输入分类模型，最终对肺的良恶性结节获得了较好鉴别。因此，DLBR较传统影像组学而言能够提高诊断评估流程的智能化程度及预测结果的准确性。
以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。
Claims (6)
1.基于深度学习对胸部增强CT图像的后处理方法，其特征在于：其包括以下步骤：
(1)将图像数据自动分割后输入深度学习的ResNet网络；
(2)通过训练模型获取全面而完整的病灶信息，并从第一层全连接层的输出中提取深度学习的向量特征；
(3)筛选特征和构建预测模型；
(4)将基于深度学习得到的结果与传统影像组学的结果进行比较分析，评价其对于胸腺瘤临床诊断与风险评估的价值；
所述步骤(2)中，使用包含两类残差块的ResNet-34进行训练，每类残差块表示为公式(1)
y＝F(x)+x (1)
其中，x和y分别代表残差块的输入和输出；
函数F(x)代表着残差映射，表示为公式(2)
F(x)＝W2σ(W1x) (2)
其中，σ代表ReLU，W1表示通过残差块中第一个卷积层自上而下学习到的权重，W2表示通过残差块中第二个卷积层学习到的权重；
所述步骤(2)中，ResNet-34网络由1个卷积层、2个池化层、16个残差块和2个全连接层组成，16个残差块包括13个Resblock1和3个Resblock2；输入的图像数据，首先经过1个核大小为7×7且步长为2的卷积层，通过ReLU函数激活后再经过一个窗口大小为3×3且步长为2的最大池化层；然后连续经过16个残差块，再经过一个窗口大小为3×3且步长为2的平均池化层，最后再输入全连接层提取特征；本ResNet网络中第一个全连接层设计为4096个神经元，每个神经元输出一个向量，全连接层经编码为4096*1的向量为提取的特征。
2.根据权利要求1所述的基于深度学习对胸部增强CT图像的后处理方法，其特征在于：所述步骤(1)包括以下分步骤：
(1.1)CT图像采集：所有患者均进行CT对比增强扫描，获取在胸部纵隔窗重建的薄层图像；
(1.2)在原始CT图像上利用肺与周围组织存在的自然密度差异，采用计算肺组织像素值的方法，设计双肺掩膜文件，去除纵隔以外区域且保留病灶；
(1.3)采用V_Net网络对病灶进行初步分割；
(1.4)采用Morphological Snakes算法对病灶进行精细分割。
3.根据权利要求2所述的基于深度学习对胸部增强CT图像的后处理方法，其特征在于：所述步骤(3)中，筛选特征分三个步骤：
(3.1)基于计算特征的Kendall相关系数，将其阈值设定为0.15筛选特征，首先计算分类样本1与样本2中每位患者的各个特征是否为协调特征值，采用符号函数如下：
sgn(Xij-Xik)＝sgn(Yi-Yk) (3)
sgn(Xij-Xik)＝-sgn(Yi-Yk) (4)式中Xij代表类别1样本中第j个样本的第i个特征，j是样本序数，i是特征序数，Yi代表此样本的分类标签；Xik代表样本2中第k个样本的第i个特征，k是样本序数，i是特征序数，Yk代表此样本的分类标签；若公式(3)成立则为协调特征值，相反，若公式(4)成立则为非协调特征值，分别统计出协调与非协调特征的数量；特征i的Kendall相关系数τ采用公式(5)计算：
τi＝(Nc-Nd)/m×n (5)
式中m为类别1样本数量，n为类别2样本数量，Nc为协调特征的数量，Nd为非协调特征的数量；
(3.2)其次对于初步筛选后的特征通过10折交叉验证方法筛选稳定特征，在每次交叉验证中寻找分类正确性最高的特征集为最优特征集，特征集中每个特征的次序在每次交叉验证中进行迭代而略有不同，分别在每次交叉验证迭代中找出都出现的特征并分别统计、再次筛选成为备选的稳定特征；
(3.3)采用LASSO回归，在回归方程中按其各自系数对所选特征进行加权计算，构建DLBR的标签。
4.根据权利要求3所述的基于深度学习对胸部增强CT图像的后处理方法，其特征在于：所述步骤(3)中，在训练集中，对于经过上述方法得到的DLBR标签并结合患者临床信息及CT影像征象作为最终的特征构建预测模型，使用单变量分析来评估各个特征与分类应变量之间的关系，最终进行多变量Logistic回归分析构建预测模型对胸腺瘤与非胸腺瘤进行分类诊断以及区分胸腺瘤组织病理学风险类别，并在验证集中对预测模型进行预测模型的验证评价。
5.根据权利要求4所述的基于深度学习对胸部增强CT图像的后处理方法，其特征在于：所述步骤(4)中，采用Delong检验对于CR与DLBR两种方法的预测模型进行比较分析，评价DLBR的应用价值；Delong检验首先计算两个模型AUC的差值，然后分别计算AUC的方差和协方差，之后计算z值，将z值分布作正态分布的显著性检验，以p＜0.05为AUC间存在显著性差异；z值通过公式(6)得到
其中，M1为手动分割病灶构建模型的AUC值，M2为自动分割病灶构建模型的AUC值，var(M1)为M1的方差，var(M2)为M2的方差,cov(M1,M2)为两者协方差。
6.根据权利要求5所述的基于深度学习对胸部增强CT图像的后处理方法，其特征在于：该方法还包括步骤(5)，患者一般临床资料、各CT影像征象的组间比较，对于连续性变量采用独立样本T检验，对分类变量采用χ2检验或Fisher’s精确检验；采用PyToch搭建深度学习模型框架并在GPU中进行图像加速处理；采用Matlab软件筛选影像组学特征；基于R软件环境下使用广义线性模型工具包进行LASSO回归构建方程计算影像组学特征标签；使用SPSS软件整理所有患者一般临床资料、CT影像征象，使用STATA软件分析一般资料、各CT影像征象与患者分类变量之间的关系并进行Logistic回归分析构建预测模型和ROC曲线，采用敏感性、特异性和准确率评价预测结果；使用Hosmer-Lemeshow检验对在训练集和验证集中的预测结果分别进行拟合优度检验，评价模型拟合值和观测值的吻合程度；采用决策曲线分析评价模型影响临床决策的价值并基于预测模型分别构建诺谟图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010387797.0A CN113706434B (zh) | 2020-05-09 | 2020-05-09 | 基于深度学习对胸部增强ct图像的后处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010387797.0A CN113706434B (zh) | 2020-05-09 | 2020-05-09 | 基于深度学习对胸部增强ct图像的后处理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113706434A CN113706434A (zh) | 2021-11-26 |
| CN113706434B true CN113706434B (zh) | 2023-11-07 |
Family
ID=78645323
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010387797.0A Active CN113706434B (zh) | 2020-05-09 | 2020-05-09 | 基于深度学习对胸部增强ct图像的后处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113706434B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116250837B (zh) * | 2023-02-14 | 2024-02-13 | 天津大学 | 一种基于动态因效性脑网络的抑郁症检测装置 |
| CN116030987B (zh) * | 2023-02-20 | 2023-08-04 | 北京大学第三医院（北京大学第三临床医学院） | ***性硬化病食管动力的评估模型的构建方法 |
| CN116958128B (zh) * | 2023-09-18 | 2023-12-26 | 中南大学 | 基于深度学习的医学图像自动定位方法 |
| CN117173167A (zh) * | 2023-11-02 | 2023-12-05 | 中日友好医院(中日友好临床医学研究所) | 影像组学机器学习生存模型预测肿瘤预后的方法及装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106372390A (zh) * | 2016-08-25 | 2017-02-01 | 姹ゅ钩 | 一种基于深度卷积神经网络的预防肺癌自助健康云服务*** |
| CN108257135A (zh) * | 2018-02-01 | 2018-07-06 | 浙江德尚韵兴图像科技有限公司 | 基于深度学习方法解读医学图像特征的辅助诊断*** |
| CN110458249A (zh) * | 2019-10-10 | 2019-11-15 | 点内（上海）生物科技有限公司 | 一种基于深度学习与概率影像组学的病灶分类*** |
-
2020
- 2020-05-09 CN CN202010387797.0A patent/CN113706434B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106372390A (zh) * | 2016-08-25 | 2017-02-01 | 姹ゅ钩 | 一种基于深度卷积神经网络的预防肺癌自助健康云服务*** |
| CN108257135A (zh) * | 2018-02-01 | 2018-07-06 | 浙江德尚韵兴图像科技有限公司 | 基于深度学习方法解读医学图像特征的辅助诊断*** |
| CN110458249A (zh) * | 2019-10-10 | 2019-11-15 | 点内（上海）生物科技有限公司 | 一种基于深度学习与概率影像组学的病灶分类*** |
Non-Patent Citations (2)
| Title |
|---|
| 一种快速提取连续CT脑肿瘤病灶区的算法;陈书晶;帅仁俊;;计算机测量与控制(第02期);全文 * |
| 基于深度学习的医学图像分割研究进展;宫进昌;赵尚义;王远军;;中国医学物理学杂志(第04期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113706434A (zh) | 2021-11-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113706434B (zh) | 基于深度学习对胸部增强ct图像的后处理方法 | |
| CN109447940B (zh) | 卷积神经网络训练方法、超声图像识别定位方法及*** | |
| CN109544518B (zh) | 一种应用于骨骼成熟度评估的方法及其*** | |
| CN108109140A (zh) | 基于深度学习的低级别脑胶质瘤柠檬酸脱氢酶无损预测方法及*** | |
| CN111340770B (zh) | 结合全局加权lbp和纹理分析的癌症预后模型构建方法 | |
| CN112101451A (zh) | 一种基于生成对抗网络筛选图像块的乳腺癌组织病理类型分类方法 | |
| CN106295124A (zh) | 利用多种图像检测技术综合分析基因子图相似概率量的方法 | |
| CN111767952B (zh) | 一种可解释的肺结节良恶性分类方法 | |
| CN112784879A (zh) | 一种基于小样本域自适应的医学影像分割或分类方法 | |
| CN112365973B (zh) | 基于对抗网络和Faster R-CNN的肺结节辅助诊断*** | |
| CN110853009A (zh) | 基于机器学习的视网膜病理图像分析*** | |
| CN116664931A (zh) | 基于量子向经典迁移学习的膝骨关节炎分级方法 | |
| CN116884623B (zh) | 基于激光扫描成像的医疗康复预测*** | |
| CN117036288A (zh) | 一种面向全切片病理图像的肿瘤亚型诊断方法 | |
| CN115661029A (zh) | 基于YOLOv5的肺结节检测与识别*** | |
| Rele et al. | Machine Learning based Brain Tumor Detection using Transfer Learning | |
| CN117522891A (zh) | 一种3d医学图像分割***及方法 | |
| Martos et al. | Optimized detection and segmentation of nuclei in gastric cancer images using stain normalization and blurred artifact removal | |
| CN116664932A (zh) | 一种基于主动学习的结直肠癌病理组织图像分类方法 | |
| CN115311491A (zh) | 一种基于课程学习及空间注意力的骨折假阳性筛除方法 | |
| CN115375632A (zh) | 基于CenterNet模型的肺结节智能检测***及方法 | |
| CN113870194A (zh) | 深层特征和浅层lbp特征融合的乳腺肿瘤超声图像处理装置 | |
| CN113177499A (zh) | 基于计算机视觉的舌裂纹形状识别方法及识别*** | |
| Liu et al. | Automatic Lung Parenchyma Segmentation of CT Images Based on Matrix Grey Incidence. | |
| Saabia et al. | Classification of lung cancer histology using CT images based on convolutional neural network-CNN |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |