CN116825363B - 基于融合深度学习网络的早期肺腺癌病理类型预测*** - Google Patents
基于融合深度学习网络的早期肺腺癌病理类型预测*** Download PDFInfo
- Publication number
- CN116825363B CN116825363B CN202311093729.3A CN202311093729A CN116825363B CN 116825363 B CN116825363 B CN 116825363B CN 202311093729 A CN202311093729 A CN 202311093729A CN 116825363 B CN116825363 B CN 116825363B
- Authority
- CN
- China
- Prior art keywords
- model
- image
- lung adenocarcinoma
- vit
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 208000010507 Adenocarcinoma of Lung Diseases 0.000 title claims abstract description 42
- 201000005249 lung adenocarcinoma Diseases 0.000 title claims abstract description 40
- 230000001575 pathological effect Effects 0.000 title claims abstract description 30
- 230000004927 fusion Effects 0.000 title claims abstract description 24
- 238000013135 deep learning Methods 0.000 title claims abstract description 23
- 238000012549 training Methods 0.000 claims abstract description 28
- 238000012795 verification Methods 0.000 claims abstract description 20
- 238000012360 testing method Methods 0.000 claims abstract description 17
- 230000006872 improvement Effects 0.000 claims abstract description 15
- 238000007781 pre-processing Methods 0.000 claims abstract description 14
- 238000000034 method Methods 0.000 claims description 16
- 239000013598 vector Substances 0.000 claims description 16
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 14
- 238000010606 normalization Methods 0.000 claims description 10
- 238000010200 validation analysis Methods 0.000 claims description 10
- 238000002790 cross-validation Methods 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 230000007246 mechanism Effects 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 5
- 238000012952 Resampling Methods 0.000 claims description 4
- 230000003902 lesion Effects 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 238000006731 degradation reaction Methods 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 3
- 229910052739 hydrogen Inorganic materials 0.000 claims description 3
- 238000012423 maintenance Methods 0.000 claims description 3
- 238000013508 migration Methods 0.000 claims description 3
- 230000005012 migration Effects 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000013526 transfer learning Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims 1
- 230000000087 stabilizing effect Effects 0.000 claims 1
- 238000000605 extraction Methods 0.000 abstract description 3
- 238000012545 processing Methods 0.000 abstract description 3
- 238000002474 experimental method Methods 0.000 description 7
- 208000009956 adenocarcinoma Diseases 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 3
- 210000004072 lung Anatomy 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 206010020718 hyperplasia Diseases 0.000 description 2
- 208000002154 non-small cell lung carcinoma Diseases 0.000 description 2
- 230000007170 pathology Effects 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 208000029729 tumor suppressor gene on chromosome 11 Diseases 0.000 description 2
- 201000007490 Adenocarcinoma in Situ Diseases 0.000 description 1
- 208000009458 Carcinoma in Situ Diseases 0.000 description 1
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 1
- 206010056342 Pulmonary mass Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001351 cycling effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 210000004907 gland Anatomy 0.000 description 1
- 239000005337 ground glass Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 201000004933 in situ carcinoma Diseases 0.000 description 1
- 201000005202 lung cancer Diseases 0.000 description 1
- 208000020816 lung neoplasm Diseases 0.000 description 1
- 239000002243 precursor Substances 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- Public Health (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Pathology (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种基于融合深度学习网络的早期肺腺癌病理类型预测***，涉及图像处理技术领域，预处理模块，用于获取早期肺腺癌病例的术前CT影像数据以及相应的病理类型标签信息并进行数据预处理获得训练集、验证集和测试集；模型改进模块，用于对ResNet模型和ViT模型进行改进；模型确定模块，用于确定融合深度学习网络模型Res‑TransNet及模型参数；预测模块，用于将测试集输入模型进行肺腺癌病理类型预测。采用ResNet与ViT的融合模型对早期肺腺癌的CT图像进行特征提取，不仅融合了全局特征和局部特征，而且泛化性能好，在不同中心的外部数据集上也能实现对早期肺腺癌病理类型的精准预测。
Description
技术领域
本申请涉及图像处理技术领域，具体涉及一种基于融合深度学习网络的早期肺腺癌病理类型预测***。
背景技术
肺癌的死亡率居于癌症之首，其中约85%的肺癌是非小细胞肺癌，肺腺癌则是非小细胞肺癌中最常见的类型。肺腺癌被分为MIA（minimally invasive adenocarcinoma，微浸润腺癌）和IAC（invasive adenocarcinoma，浸润性腺癌）。其中，AAH（atypicaladenomatoushyperplasia，非典型腺瘤样增生）和AIS（adenocarcinoma in situ，原位癌）在新的分类方法中被归入腺体前驱病变。研究表明肺腺癌潜在发展顺序是AAH-AIS-MIA-IAC，不同病理阶段的肺腺癌的治疗方法和预后也具有较大差异。因此，尽早发现和准确预测其病理类型是提升肺腺癌患者生存率的重要措施。
CT（computed tomography，多层螺旋计算机断层扫描）筛查是发现肺腺癌患者的关键方法，能够观察到高分辨率的肺部图像。早期肺腺癌在CT影像上表现为GGN（ground-glass nodule，磨玻璃样结节），GGN是密度稍高于正常肺组织的实性或亚实性肺部阴影。不同病理组织类型的早期肺腺癌具有相似的影像特征，仅凭借临床特征和影像学特征鉴别肺腺癌的类型是非常主观的，因此如何快速准确地预测早期肺腺癌的病理类型是本领域亟待解决的技术问题。
发明内容
本申请为了解决上述技术问题，提出了如下技术方案：
第一方面，本申请实施例提供了一种基于融合深度学习网络的早期肺腺癌病理类型预测***，包括：
预处理模块，用于获取早期肺腺癌病例的术前CT影像数据以及相应的病理类型标签信息并进行数据预处理获得训练集、验证集和测试集；
模型改进模块，用于在深度学习分类网络ResNet模型和ViT模型基础上，利用训练集和验证集进行五折交叉验证，对ResNet模型和ViT模型进行改进；
模型确定模块，用于基于改进后的ResNet模型和ViT模型确定融合深度学习网络模型Res-TransNet，并确定所述Res-TransNet的模型参数；
预测模块，用于将测试集输入确定模型参数的Res-TransNet进行肺腺癌病理类型预测。
在一种可能的实现方式中，所述预处理模块包括：
重采样单元，用于将CT影像大小不同的体素归一化到1mm*1mm*1mm；
归一化单元，用于将样本的特征值转换到同一量纲下，即采用最大最小值归一化方法，保留像素值在[-1200,600]范围的图像数据，将映射到[0,1]区间内；
图像裁剪单元，用于将CT影像以病变中心点为中心，把图像裁剪为大小为48mm*48mm*48mm的立方体；
数据增强单元，用于将裁剪后的3D图像通过以90˚为增量旋转、对轴进行重新排序及左右翻转操作进行增强，其中数据增强仅针对训练集，验证集和测试集不做处理。
在一种可能的实现方式中，所述模型改进模块，包括：
ResNet模型改进单元，用于经过一个卷积核大小为7*7*7，步长为1的卷积层，所述ResNet中有4个卷积组，每个卷积组由多个残差块构成，每个残差块由卷积核大小分别为1*1*1、3*3*3和1*1*1的卷积层构成；将后两个卷积组合并，三个卷积组的残差块数量分别为3，4和9；最后平均池化层将特征图转化为一个特征向量，经过全连接层后输出两类标签的预测概率值，以0.5为阈值，输出预测标签；
ViT模型改进单元，首先将原始图像，N代表Batch size,C代表输入图像的通道数，而D,H,W分别为输入图像的深度，高度和宽度；分解为L个大小为p*p*p的3D图像块/>，其中序列长度/>；以上过程为切分48mm*48mm*48mm的原始GGN 3D图像为64个12mm*12mm*12mm大小的图像块/>，并将其展平后使用可训练的线性投影将其映射到更高的维度D´，再为每个图像块添加位置编码信息/>，最后添加可学习的分类编码信息/>，由此可得编码器的输入为：
。
在一种可能的实现方式中，编码器由多个编码块Transformer block组成，每个Transformer block由多头自注意力层和全连接神经网络构成，多头自注意力层的核心是自注意力机制，用于描述图像块之间的相关性。
在一种可能的实现方式中，所述多头自注意力层的注意力的计算包括如下步骤：
首先对于输入图像，分别将其与三个权重矩阵/>相乘分别生成
查询向量、键向量/>和值向量/>，所有图像块的Q值、K值和V值的具体计算公式为：
计算各个图像块自身与其他图像块之间的相关性得分，以保持训练的稳定性对结果进行归一化，其中/>表示值向量K的维度，最后与值向量相乘得到单个自注意力的得分SA为：
。
在一种可能的实现方式中，多头自注意力MSA机制把图像块输入到不同的子空间中，以提升模型的表达能力，具体为添加h组权重矩阵，将不同注意力层的结果进行拼接，经过线性变换后输出，表达式为：
；
多头自注意力的结果经过使训练更加稳定的层归一化LN和防止梯度退化的残差连接后，将其结果输入至多层感知器MLP中，MLP将其映射到更大的维度空间进行非线性筛选，最后恢复至原始的维度，该编码块的输出/>的表达式为：
，
；
其中LN（）具体为对同一层网络的输出进行标准化操作。
在一种可能的实现方式中，五折交叉验证的每一折采用70个epoch，使用Adam优化器进行参数学习，初始学习率为0.001，采用gradual warmup策略调整学习率，学习率在15个epoch后达到最大值0.01，之后每20个epoch下降为原来的0.1倍；在二分类任务中，正负样本比例接近1：2，采用focal loss作为模型训练过程中的损失函数，设置α为0.3，γ为2.5，具体表达式为：
；
其中，y´为网络输出预测结果的概率。
在一种可能的实现方式中，所述模型确定模块，包括：
第一改进单元，用于将改进后的ViT模型的网络结构添加卷积层，即将图像输入到ViT之前先对图像进行一次卷积操作，其卷积核大小为3*3*3，进行训练之后进行模型迁移；
第二改进单元，用于将改进后的ResNet模型进行迁移学习，包括：将ResNet中最后一个卷积组输出的特征和ViT中的类向量进行拼接，将包含全局信息和局部信息的融合特征经过全连接层，输出预测的早期肺腺癌的病理类型的预测概率值，输出预测标签；
五折交叉验证单元，用于对ResNet模型、ViT模型和ResNet模型分别进行五折交叉验证，分别求出每一折对应的真阳性TP、假阳性FP、真阴性FN和假阴性FN；
准确率计算单元，用于进一步计算模型的准确率，F1值：，其中/>，/>，敏感性/>、特异性/>和马修斯相关系数/>，基于分类结果的概率值生成ROC曲线，并计算对应的AUC值来评估不同模型的性能。
在本申请实施例中，采用ResNet与ViT的融合模型对早期肺腺癌的CT图像进行特征提取，不仅融合了全局特征和局部特征，而且泛化性能好，在不同中心的外部数据集上也能实现对早期肺腺癌病理类型的精准预测。
附图说明
图1为本申请实施例提供的一种基于融合深度学习网络的早期肺腺癌病理类型预测***的示意图；
图2为本申请实施例提供的改进的ResNet模型的神经网络结构示意图；
图3为本申请实施例提供的改进的ViT模型的神经网络结构示意图；
图4为本申请实施例提供的融合深度学习网络模型Res-TransNet示意图；
图5为本申请实施例提供的不同模型在外部测试集上的ROC曲线图、AUC值和其对应的95%置信区间示意图。
具体实施方式
下面结合附图与具体实施方式对本方案进行阐述。
图1为本申请实施例提供的一种基于融合深度学习网络的早期肺腺癌病理类型预测***的示意图，参见图1，本实施例中的基于融合深度学习网络的早期肺腺癌病理类型预测***100，包括：
预处理模块101，用于获取早期肺腺癌病例的术前CT影像数据以及相应的病理类型标签信息并进行数据预处理获得训练集、验证集和测试集。
模型改进模块102，用于在深度学习分类网络ResNet模型和ViT模型基础上，利用训练集和验证集进行五折交叉验证，对ResNet模型和ViT模型进行改进。
模型确定模块103，用于基于改进后的ResNet模型和ViT模型确定融合深度学习网络模型Res-TransNet，并确定所述Res-TransNet的模型参数。
预测模块104，用于将测试集输入确定模型参数的Res-TransNet进行肺腺癌病理类型预测。
获取早期肺腺癌病例的术前CT影像数据以及相应的病理类型标签信息。按照影像数据的不同来源分为两个数据集，数据集一用于生成训练集和验证集，数据集二用于生成验证集。具体地，本实施例中采用共计1045例早期肺腺癌患者的1288个GGN（数据集一）被用于训练和内部验证，107例早期肺腺癌患者的123个GGN（数据集二）被用于测试模型。本发明收集被诊断为早期肺腺癌的患者在术前一个月内可用的CT图像，且标签信息均经过手术病理学证实，排除术前有癌症史或其他治疗史的病人以及图像不完整或组织病理学证实无法在CT图像上显示的数据。本发明中，腺癌包括浸润性腺癌（IAC）和非浸润性腺癌(Non-IAC)，考虑到AAH样本量较少，在本实施例中，Non-IAC仅包含AIS和MIA两类数据。
对原始数据进行数据预处理。不同的原始数据的体素尺寸不同，重采样与归一化有利于网络模型进行批量化操作，且由于肺结节的体积较小，而图像裁剪操作将会大量减小计算量，此外，不同类别之间数据量的不平衡也会影响网络的分类性能。因此，为减小数据间的差异性，最大化提取有效的特征信息，在将数据数据输入网络之前，必须要对数据做预处理。
本实施例中所述预处理模块101包括：重采样单元，用于将CT影像大小不同的体素归一化到1mm*1mm*1mm。归一化单元，用于将样本的特征值转换到同一量纲下，即采用最大最小值归一化方法，保留像素值在[-1200,600]范围的图像数据，将映射到[0,1]区间内。图像裁剪单元，用于将CT影像以病变中心点为中心，把图像裁剪为大小为48mm*48mm*48mm的立方体。数据增强单元，用于将裁剪后的3D图像通过以90˚为增量旋转、对轴进行重新排序及左右翻转操作进行增强，其中数据增强仅针对训练集，验证集和测试集不做处理。
在深度学习分类网络ResNet和ViT原有基础上改进二者的结构，利用训练集和内部验证集进行五折交叉验证，对比结果，分别保留以上两个改进后的模型中表现最优的网络模型。
所述模型改进模块102，包括：ResNet模型改进单元，用于经过一个卷积核大小为7*7*7，步长为1的卷积层，所述ResNet中有4个卷积组，每个卷积组由多个残差块构成，每个残差块由卷积核大小分别为1*1*1、3*3*3和1*1*1的卷积层构成；将后两个卷积组合并，三个卷积组的残差块数量分别为3，4和9，目的是减少下采样的次数，提升网络训练速度和避免计算资源的浪费。最后平均池化层将特征图转化为一个特征向量，经过全连接层后输出两类标签的预测概率值，以0.5为阈值，输出预测标签。改进的ResNet模型的神经网络结构如图2所示。
图3为本申请实施例提供的改进的ViT模型的神经网络结构，ViT模型改进单元，用于首先将原始图像，N代表Batch size,C代表输入图像的通道数，而D,H,W分别为输入图像的深度，高度和宽度；分解为L个大小为p*p*p的3D图像块/>，其中序列长度/>；以上过程为切分48mm*48mm*48mm的原始GGN 3D图像为64个12mm*12mm*12mm大小的图像块/>，并将其展平后使用可训练的线性投影将其映射到更高的维度D´，再为每个图像块添加位置编码信息/>，最后添加可学习的分类编码信息/>，由此可得编码器的输入为：
。
本实施例中，编码器由多个编码块Transformer block组成，每个Transformerblock由多头自注意力层和全连接神经网络构成，多头自注意力层的核心是自注意力机制，用于描述图像块之间的相关性。
所述多头自注意力层的注意力的计算包括如下步骤：
首先对于输入图像，分别将其与三个权重矩阵/>相乘分别生成
查询向量、键向量/>和值向量/>，所有图像块的Q值、K值和V值的具体计算公式为：
计算各个图像块自身与其他图像块之间的相关性得分，以保持训练的稳定性对结果进行归一化，其中/>表示值向量K的维度，最后与值向量相乘得到单个自注意力的得分SA为：
。
本实施例中，多头自注意力MSA机制把图像块输入到不同的子空间中，以提升模型的表达能力，具体为添加h组权重矩阵，将不同注意力层的结果进行拼接，经过线性变换后输出，表达式为：
；
多头自注意力的结果经过使训练更加稳定的层归一化LN和防止梯度退化的残差连接后，将其结果输入至多层感知器MLP中，MLP将其映射到更大的维度空间进行非线性筛选，最后恢复至原始的维度，该编码块的输出/>的表达式为：
，
。
将输出至下一个编码块，循环6次以上步骤，Transformer完成编码，得到所有图像块的编码信息矩阵C。提取其中的类向量，经过MLP输出GGN的病理结果预测概率值。
本实施例中，在模型训练前，设置批处理样本数为16，五折交叉验证的每一折采用70个epoch，使用Adam优化器进行参数学习，初始学习率为0.001，采用gradual warmup策略调整学习率，学习率在15个epoch后达到最大值0.01，之后每20个epoch下降为原来的0.1倍；在二分类任务中，正负样本比例接近1：2，采用focal loss作为模型训练过程中的损失函数，设置α为0.3，γ为2.5，具体表达式为：
，其中，y´为网络输出预测结果的概率。
图4为本申请实施例提供的融合深度学习网络模型Res-TransNet示意图，所述模型确定模块103，包括：第一改进单元，用于将改进后的ViT模型的网络结构添加卷积层，即将图像输入到ViT之前先对图像进行一次卷积操作，其卷积核大小为3*3*3，进行训练之后进行模型迁移。第二改进单元，用于将改进后的ResNet模型进行迁移学习，包括：将ResNet中最后一个卷积组输出的特征和ViT中的类向量进行拼接。ResNet提供局部细节特征，而ViT提供全局特征，最后将包含全局信息和局部信息的融合特征经过全连接层，输出预测的早期肺腺癌的病理类型的预测概率值，以0.5为阈值，输出预测标签。
进一步地，五折交叉验证单元用于对ResNet模型、ViT模型和ResNet模型分别进行五折交叉验证，分别求出每一折对应的真阳率TP、假阳率FP、真阴率FN和假阴率FN。准确率计算单元，用于进一步计算模型的准确率，F1值：，其中/>，/>，敏感性/>、特异性/>和马修斯相关系数/>，基于分类结果的概率值生成ROC曲线，并计算对应的AUC值来评估不同模型的性能。
在本实施例中，将ResNet、ViT和Res-TransNet的五折交叉验证的评价指标的平均值作为内部验证的结果。将在验证集上准确率表现最高的模型作为最优模型，并保存其模型参数。
为达到最佳分类性能，本申请实施例对基础模型ResNet和ViT的结构进行了一系列对比实验，以确定最优的网络模型结构。
首先，在ResNet的模型构建阶段，先固定第一次卷积的大小为5*5*5的卷积核，改变下采样的次数，同时调整每一次下采样后卷积组中残差块的数量,确保总的残差块的数量为16。此时固定下采样的次数，改变第一次卷积的卷积核的大小为7*7*7。需要说明的是，为缩短训练时间，以上实验均未进行数据增强。在最后一次实验中加入数据增强，为进一步平衡正负样本量，采用focal loss进行实验。实验结果如表1所示。
表1 ResNet不同残差块和卷积核在内部验证集中的性能评估
由于ROC曲线不受正负样本比例的影响，故本实施例优先选取AUC值作为判断模型分类性能优劣的标准。由表1可知，对于本实施例的数据，当第一次卷积时卷积核大小为7*7*7，下采样次数为3次，三个卷积组的残差块数量分别为3，4，9且增加数据增强和采用focal loss时，模型的AUC值最高至0.892，此时3D ResNet的模型结构及训练参数为最优。
其次，在ViT的模型构建阶段, 固定多头自注意力中head的数量（Heads-num）为4，改变Transformer block的数目（Blocks-num）分别为4，6，8，12。此时固定Transformerblock的数量，改变多头自注意力的head的数量分别为6和8。同样，以上实验都未进行数据增强预处理。在最后一次实验中加入数据增强，采用focal loss进行实验。
表2 ViT不同残差块和卷积核在内部验证集中的性能评估
同样将AUC值作为作为评价模型性能的标准，由表2可知，当多头自注意力和Transformer block的数量分别均为6时，模型的分类性能有显著提升，AUC值最高至0.884。
最后，本实施例在外部数据集上验证ResNet、ViT和Res-TransNet的性能。内部验证（Internal validation,In-V）和外部验证(Externalvalidation, Ex-V)的实验结果如表3所示。图3为不同模型在外部测试集上的ROC曲线图、AUC值和其对应的95%置信区间。
表3 ResNet、ViT和融合模型在内部验证集和外部测试集中的性能评估
由表3可知，Res-TransNet的分类性能在内部验证集和外部验证集上均优于单独的ResNet和ViT。在内部验证集中，融合模型三取得了最高的AUC值0.986。在外部验证集中，提出的融合模型取得了最高的AUC值0.933，其余评价指标均优于单一模型的表现。此外，Delong检验结果显示，Res-TransNet与ResNet和ViT在外部测试集上分别具有显著性差异(p<0.05)。
综上所述，本发明实施例提出的深度学习方法能够自动提取GGN的CT影像中与早期肺腺癌浸润性相关的特征，在预测早期肺腺癌病理侵袭性方面具有良好的表现；与ResNet和ViT相比，所建立的融合模型Res-TransNet预测性能明显提升。
本申请实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示单独存在A、同时存在A和B、单独存在B的情况。其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项”及其类似表达，是指的这些项中的任意组合，包括单项或复数项的任意组合。例如，a，b和c中的至少一项可以表示：a, b, c, a-b,a-c, b-c,或a-b-c，其中a, b, c可以是单个，也可以是多个。
以上所述，仅为本申请的具体实施方式，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。本申请的保护范围应以所述权利要求的保护范围为准。
Claims (3)
1.一种基于融合深度学习网络的早期肺腺癌病理类型预测***，其特征在于，包括：
预处理模块，用于获取早期肺腺癌病例的术前CT影像数据以及相应的病理类型标签信息并进行数据预处理获得训练集、验证集和测试集；
所述预处理模块包括：
重采样单元，用于将CT影像大小不同的体素归一化到1mm*1mm*1mm；
归一化单元，用于将样本的特征值转换到同一量纲下，即采用最大最小值归一化方法，保留像素值在[-1200,600]范围的图像数据，将映射到[0,1]区间内；
图像裁剪单元，用于将CT影像以病变中心点为中心，把图像裁剪为大小为48mm*48mm*48mm的立方体；
数据增强单元，用于将裁剪后的3D图像通过以90˚为增量旋转、对轴进行重新排序及左右翻转操作进行增强，其中数据增强仅针对训练集，验证集和测试集不做处理；
模型改进模块，用于在深度学习分类网络ResNet模型和ViT模型基础上，利用训练集和验证集进行五折交叉验证，对ResNet模型和ViT模型进行改进；
所述模型改进模块，包括：
ResNet模型改进单元，用于经过一个卷积核大小为7*7*7，步长为1的卷积层，所述ResNet中有4个卷积组，每个卷积组由多个残差块构成，每个残差块由卷积核大小分别为1*1*1、3*3*3和1*1*1的卷积层构成；将后两个卷积组合并，三个卷积组的残差块数量分别为3，4和9；最后平均池化层将特征图转化为一个特征向量，经过全连接层后输出两类标签的预测概率值，以0.5为阈值，输出预测标签；
ViT模型改进单元，首先将原始图像，N代表Batch size,C代表输入图像的通道数，而D,H,W分别为输入图像的深度，高度和宽度；分解为L个大小为p*p*p的3D图像块/>，其中序列长度/>；以上过程为切分48mm*48mm*48mm的原始GGN 3D图像为64个12mm*12mm*12mm大小的图像块/>，并将其展平后使用可训练的线性投影将其映射到更高的维度D´，再为每个图像块添加位置编码信息/>，最后添加可学习的分类编码信息/>，由此可得编码器的输入为：
；
编码器由多个编码块Transformer block组成，每个Transformer block由多头自注意力层和全连接神经网络构成，多头自注意力层的核心是自注意力机制，用于描述图像块之间的相关性；
所述多头自注意力层的注意力的计算包括如下步骤：
首先对于输入图像，分别将其与三个权重矩阵/>相乘分别生成
查询向量、键向量/>和值向量/>；所有图像块的Q值、K值和V值的具体计算公式为：
计算各个图像块自身与其他图像块之间的相关性得分，以保持训练的稳定性对结果进行归一化，其中/>表示值向量K的维度，最后与值向量相乘得到单个自注意力的得分SA为：
；
模型确定模块，用于基于改进后的ResNet模型和ViT模型确定融合深度学习网络模型Res-TransNet，并确定所述Res-TransNet的模型参数；
所述模型确定模块，包括：
第一改进单元，用于将改进后的ViT模型的网络结构添加卷积层，即将图像输入到ViT之前先对图像进行一次卷积操作，其卷积核大小为3*3*3，进行训练之后进行模型迁移；
第二改进单元，用于将改进后的ResNet模型进行迁移学习，包括：将ResNet中最后一个卷积组输出的特征和ViT中的类向量进行拼接，将包含全局信息和局部信息的融合特征经过全连接层，输出预测的早期肺腺癌的病理类型的预测概率值，输出预测标签；
五折交叉验证单元，用于对ResNet模型、ViT模型和ResNet模型分别进行五折交叉验证，分别求出每一折对应的真阳性TP、假阳性FP、真阴性FN和假阴性FN；
准确率计算单元，用于进一步计算模型的准确率，F1值：，其中/>，/>，敏感性/>、特异性/>和马修斯相关系数/>，基于分类结果的概率值生成ROC曲线，并计算对应的AUC值来评估不同模型的性能；
预测模块，用于将测试集输入确定模型参数的Res-TransNet进行肺腺癌病理类型预测。
2.根据权利要求1所述的基于融合深度学习网络的早期肺腺癌病理类型预测***，其特征在于，多头自注意力MSA机制把图像块输入到不同的子空间中，以提升模型的表达能力，具体为添加h组权重矩阵，将不同注意力层的结果进行拼接，经过线性变换后输出，其中线性变换即与线性权重矩阵E1相乘；以上过程的表达式为：
；
多头自注意力的结果经过使训练更加稳定的层归一化LN和防止梯度退化的残差连接后，再将输入至多层感知器MLP中，MLP将数据映射到更大的维度空间进行非线性筛选，最后恢复至原始的维度；该编码块的输出/>的表达式为：
，
；
其中LN（）具体为对同一层网络的输出进行标准化操作。
3.根据权利要求1所述的基于融合深度学习网络的早期肺腺癌病理类型预测***，其特征在于，五折交叉验证的每一折采用70个epoch，使用Adam优化器进行参数学习，初始学习率为0.001，采用gradual warmup策略调整学习率，学习率在15个epoch后达到最大值0.01，之后每20个epoch下降为原来的0.1倍；在二分类任务中，正负样本比例接近1：2，采用focal loss作为模型训练过程中的损失函数，设置α为0.3，γ为2.5，具体表达式为：
；
其中，y´为网络输出预测结果的概率。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311093729.3A CN116825363B (zh) | 2023-08-29 | 2023-08-29 | 基于融合深度学习网络的早期肺腺癌病理类型预测*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311093729.3A CN116825363B (zh) | 2023-08-29 | 2023-08-29 | 基于融合深度学习网络的早期肺腺癌病理类型预测*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116825363A CN116825363A (zh) | 2023-09-29 |
| CN116825363B true CN116825363B (zh) | 2023-12-12 |
Family
ID=88127734
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311093729.3A Active CN116825363B (zh) | 2023-08-29 | 2023-08-29 | 基于融合深度学习网络的早期肺腺癌病理类型预测*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116825363B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117275681B (zh) * | 2023-11-23 | 2024-02-09 | 太原理工大学 | 基于Transformer并行交叉融合模型的蜂窝肺病程周期检测评估方法及装置 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113850328A (zh) * | 2021-09-26 | 2021-12-28 | 北京志沅医疗科技有限公司 | 基于多视角深度学习的非小细胞肺癌亚型分类*** |
| CN114648663A (zh) * | 2022-03-18 | 2022-06-21 | 重庆大学附属肿瘤医院 | 基于深度学习的肺癌ct图像亚型分类方法 |
| CN115471701A (zh) * | 2022-09-19 | 2022-12-13 | 新乡医学院第一附属医院 | 基于深度学习和迁移学习的肺腺癌组织学亚型分类方法 |
| CN115760769A (zh) * | 2022-11-19 | 2023-03-07 | 哈尔滨理工大学 | 一种基于改进cnn的乳腺病理图像分类方法 |
| WO2023040164A1 (zh) * | 2021-09-14 | 2023-03-23 | 之江实验室 | 一种基于pet/ct的肺腺癌鳞癌诊断模型训练方法及装置 |
| CN115937576A (zh) * | 2022-11-10 | 2023-04-07 | 中山大学 | 基于多尺度融合和注意力机制的肺癌病理图像分类*** |
| CN116030325A (zh) * | 2023-01-16 | 2023-04-28 | 重庆大学 | 基于深度混合学习框架的肺结节ct图像识别方法 |
| CN116468732A (zh) * | 2023-03-09 | 2023-07-21 | 中南大学 | 基于深度学习的肺部ct影像分割方法及成像方法 |
| CN116542937A (zh) * | 2023-05-09 | 2023-08-04 | 南京工业大学 | 一种基于临床医学、深度学习神经网络和影像组学判别肺部肿瘤浸润性的方法 |
-
2023
- 2023-08-29 CN CN202311093729.3A patent/CN116825363B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023040164A1 (zh) * | 2021-09-14 | 2023-03-23 | 之江实验室 | 一种基于pet/ct的肺腺癌鳞癌诊断模型训练方法及装置 |
| CN113850328A (zh) * | 2021-09-26 | 2021-12-28 | 北京志沅医疗科技有限公司 | 基于多视角深度学习的非小细胞肺癌亚型分类*** |
| CN114648663A (zh) * | 2022-03-18 | 2022-06-21 | 重庆大学附属肿瘤医院 | 基于深度学习的肺癌ct图像亚型分类方法 |
| CN115471701A (zh) * | 2022-09-19 | 2022-12-13 | 新乡医学院第一附属医院 | 基于深度学习和迁移学习的肺腺癌组织学亚型分类方法 |
| CN115937576A (zh) * | 2022-11-10 | 2023-04-07 | 中山大学 | 基于多尺度融合和注意力机制的肺癌病理图像分类*** |
| CN115760769A (zh) * | 2022-11-19 | 2023-03-07 | 哈尔滨理工大学 | 一种基于改进cnn的乳腺病理图像分类方法 |
| CN116030325A (zh) * | 2023-01-16 | 2023-04-28 | 重庆大学 | 基于深度混合学习框架的肺结节ct图像识别方法 |
| CN116468732A (zh) * | 2023-03-09 | 2023-07-21 | 中南大学 | 基于深度学习的肺部ct影像分割方法及成像方法 |
| CN116542937A (zh) * | 2023-05-09 | 2023-08-04 | 南京工业大学 | 一种基于临床医学、深度学习神经网络和影像组学判别肺部肿瘤浸润性的方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于残差网络深度学习的肺部CT图像结节良恶性分类模型;林桢哲 等;仪器仪表学报;第41卷(第03期);第248-256页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116825363A (zh) | 2023-09-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113077471B (zh) | 一种基于u型网络的医学图像分割方法 | |
| JP7297081B2 (ja) | 画像分類方法、画像分類装置、医療用電子機器、画像分類機器、及びコンピュータプログラム | |
| CN110889852B (zh) | 基于残差-注意力深度神经网络的肝脏分割方法 | |
| CN110503630B (zh) | 一种基于三维深度学习模型的脑出血分类、定位与预测方法 | |
| US20170249739A1 (en) | Computer analysis of mammograms | |
| CN112819910B (zh) | 基于双鬼注意力机制网络的高光谱图像重建方法 | |
| CN113034505B (zh) | 一种基于边缘感知网络的腺体细胞图像分割方法及装置 | |
| US11830187B2 (en) | Automatic condition diagnosis using a segmentation-guided framework | |
| CN116825363B (zh) | 基于融合深度学习网络的早期肺腺癌病理类型预测*** | |
| JP7294695B2 (ja) | 学習済モデルによるプログラム、情報記録媒体、分類装置、ならびに、分類方法 | |
| CN115457051A (zh) | 基于全局自注意力与多尺度特征融合的肝脏ct图像分割方法 | |
| CN112434172A (zh) | 一种病理图像预后特征权重计算方法及*** | |
| Zhang et al. | A novel denoising method for CT images based on U-net and multi-attention | |
| CN114445356A (zh) | 基于多分辨率的全视野病理切片图像肿瘤快速定位方法 | |
| CN113208641B (zh) | 基于三维多分辨注意力胶囊网络的肺结节辅助诊断方法 | |
| US11521323B2 (en) | Systems and methods for generating bullseye plots | |
| CN110414562B (zh) | X光片的分类方法、装置、终端及存储介质 | |
| CN116824138A (zh) | 基于点击点影响增强的交互式图像分割方法及设备 | |
| CN116958154A (zh) | 图像分割方法和装置、存储介质及电子设备 | |
| US11875898B2 (en) | Automatic condition diagnosis using an attention-guided framework | |
| CN113327221B (zh) | 融合roi区域的图像合成方法、装置、电子设备及介质 | |
| CN115705932A (zh) | 一种肺结节随访预测方法、装置、设备及存储介质 | |
| Balajee et al. | Detection of water availability in SAR images using deep learning architecture | |
| CN116612356B (zh) | 一种基于深度学习网络的高光谱异常检测方法 | |
| Sudha et al. | Lung Cancer Image Segmentation and Detection Using Deep Learning Algorithms |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |