CN115100165A - 一种基于肿瘤区域ct图像的结直肠癌t分期方法及*** - Google Patents
一种基于肿瘤区域ct图像的结直肠癌t分期方法及*** Download PDFInfo
- Publication number
- CN115100165A CN115100165A CN202210787519.3A CN202210787519A CN115100165A CN 115100165 A CN115100165 A CN 115100165A CN 202210787519 A CN202210787519 A CN 202210787519A CN 115100165 A CN115100165 A CN 115100165A
- Authority
- CN
- China
- Prior art keywords
- attention
- image
- channel
- weight
- network model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 206010028980 Neoplasm Diseases 0.000 title claims abstract description 50
- 238000000034 method Methods 0.000 title claims abstract description 35
- 208000001333 Colorectal Neoplasms Diseases 0.000 title claims abstract description 30
- 206010009944 Colon cancer Diseases 0.000 title claims abstract description 29
- 230000007246 mechanism Effects 0.000 claims abstract description 48
- 238000012549 training Methods 0.000 claims abstract description 35
- 230000007704 transition Effects 0.000 claims abstract description 17
- 238000007781 pre-processing Methods 0.000 claims abstract description 12
- 238000002372 labelling Methods 0.000 claims abstract description 7
- 238000012216 screening Methods 0.000 claims abstract description 6
- 238000011176 pooling Methods 0.000 claims description 34
- 238000012795 verification Methods 0.000 claims description 26
- 230000006870 function Effects 0.000 claims description 22
- 230000004913 activation Effects 0.000 claims description 13
- 238000010276 construction Methods 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 9
- 238000010586 diagram Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 7
- 239000013598 vector Substances 0.000 claims description 7
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000012821 model calculation Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 230000009467 reduction Effects 0.000 claims description 4
- 230000003213 activating effect Effects 0.000 claims description 2
- 238000012360 testing method Methods 0.000 abstract description 8
- 230000000694 effects Effects 0.000 abstract description 5
- 238000003745 diagnosis Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000009286 beneficial effect Effects 0.000 description 5
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 201000011510 cancer Diseases 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000005489 elastic deformation Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000004614 tumor growth Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于肿瘤区域CT图像的结直肠癌T分期方法及***，该方法包括下述步骤：对CT图像标注并构建原始数据集；利用标注的掩膜图像提取肿瘤区域CT图像，并对肿瘤区域CT图像进行预处理；将肿瘤区域CT图像与T分期结果一一对应，进行数据集的构建；构建一个由多注意力机制融合的改进DenseNet三维卷积分类网络，提高密集层的通道筛选能力和过渡块的信息筛选能力，从而提高结直肠癌T分期模型的训练效果；本发明利用测试数据增强思想，从多角度进行模型预测，提高结直肠癌T分期的预测效果。
Description
技术领域
本发明涉及图像处理技术领域，具体涉及一种基于肿瘤区域CT图像的结直肠癌T分期方法及***。
背景技术
目前结直肠癌主要基于CT图像进行诊断，并根据肿瘤生长情况分析肿瘤分期。然而，由于人工检测十分耗时，长期工作会增加结直肠癌分期的误诊和漏诊率，不利于肿瘤分期的诊断。
因此，亟需一种能够根据肿瘤大致区域的CT图像就可以实现对结直肠癌的T分期预测技术，实现对结直肠癌的T分期诊断。
发明内容
为了克服现有技术存在的缺陷与不足，本发明提供一种基于肿瘤区域CT图像的结直肠癌T分期方法及***，本发明使用肿瘤区域CT图像作为输入，减少模型的学习难度和预测难度；引入多注意力机制融合思想，提高结直肠癌的T分期效果；引入测试数据增强思想，帮助模型多角度对输入图像进行预测，使得结直肠癌的T分期效果更加准确。
为了达到上述目的，本发明采用以下技术方案：
本发明提供一种基于肿瘤区域CT图像的结直肠癌T分期方法，包括下述步骤：
对CT图像进行标注，构建原始数据集；
对原始数据集进行预处理，构建最终数据集，具体包括：划分原始数据集、调整图像体素间距、调整CT图像的强度范围和提取肿瘤区域CT图像，得到最终数据集，每个最终数据集包括肿瘤区域CT图像和对应的T分期结果；
构建基于DenseNet的三维卷积分类网络模型，包括依次连接的输入层、第一注意力密集块、第一注意力过渡块、第二注意力密集块、第二注意力过渡块、第三注意力密集块和输出层；
对三维卷积分类网络模型进行训练：
进行数据增强以扩充训练集，通过训练网络模型获取网络模型最佳权重；
利用反向传播算法计算各个参数的梯度，使用Adam优化器更新参数；
从验证样本中取数据送入模型计算验证集准确率，若当前验证集准确率大于之前的验证集准确率，则保存当前模型的权重为最佳模型权重；
采用训练后的三维卷积分类网络模型进行预测，得到预测结果，每个预测结果包括各个类别的预测概率，将每个图像的预测结果进行相加，取出预测结果中预测概率最大的索引作为预测类别，得到输入图像的分期结果。
作为优选的技术方案，所述输入层依次设置三维卷积、BN标准化、ReLU激活函数和最大池化层。
作为优选的技术方案，所述第一注意力密集块、第二注意力密集块和第三注意力密集块设有不同个数的密集层，每个密集层的输出特征图通道数相同，后一个密集层的输入特征图为前一个密集层的输出特征图在通道维度的堆叠。
作为优选的技术方案，所述密集层依次设置三维ECA注意力机制、第一BN标准化、第一ReLU激活函数、第一个三维卷积、第二BN标准化、第二ReLU激活函数和第二个三维卷积。
作为优选的技术方案，所述三维ECA注意力机制具体包括：
对输入特征图在空间维度进行全局平均池化，以对输入特征图进行降维；
使用一维卷积进行通道权重学习，得到一组特征向量；
使用Sigmoid函数进行激活，将每个通道的权重调整到0和1之间，得到ECA通道注意力权值；
将ECA通道注意力权值与输入特征图相乘，得到施加ECA注意力机制的特征图。
作为优选的技术方案，一维卷积的卷积核大小与输入特征图的通道数有关，具体计算公式表示为：
其中，S表示一维卷积的卷积核大小，C表示输入特征图的通道数。
作为优选的技术方案，第一注意力过渡块和第二注意力过渡块依次设置三维CBAM注意力机制、BN标准化、ReLU激活函数、三维卷积和平均池化层，三维CBAM注意力机制对输入特征层分别进行通道注意力机制和空间注意力机制的处理，实现对输入特征层的信息筛选。
作为优选的技术方案，所述三维CBAM注意力机制对输入特征层分别进行通道注意力机制和空间注意力机制的处理，具体步骤包括：
进行CBAM通道注意，将输入特征图分别使用全局平局池化和全局最大池化实现降维，并分别通过两层共享三维卷积进行通道权重提取，将两个通道权重提取路径的输出进行相加，并使用Sigmoid函数将每个通道的权重调整到0和1之间，得到CBAM通道注意力权值，将CBAM通道注意力权值与输入特征图相乘，得到施加CBAM通道注意力机制的特征图；
进行CBAM空间注意，将施加CBAM通道注意力机制的特征图作为输入特征图，将输入特征图分别进行基于通道维度的最大池化和平均池化，并将基于通道维度的最大池化和平均池化的输出进行基于通道维度的拼接，通过三维卷积将其降维成一个通道，使用Sigmoid函数将每个元素的权重调整到0和1之间，得到CBAM空间注意力权值，将CBAM空间注意力权值与输入特征图相乘，得到施加CBAM空间注意力机制的特征图。
作为优选的技术方案，所述通过训练网络模型获取网络模型最佳权重，从训练集中获取肿瘤区域CT图像以及对应的真实标签其中真实标签使用one-hot编码，肿瘤区域CT图像输入网络模型后得到预测结果，表示每个预测类别的概率分布，根据数据集中结直肠癌T分期的各类别分布情况不同，采用权重系数进行权重赋值。
本发明还提供一种基于肿瘤区域CT图像的结直肠癌T分期***，包括：数据集构建模块、数据集预处理模块、网络模型构建模块、网络模型训练模块和预测模块；
所述数据集构建模块用于对CT图像进行标注，构建原始数据集；
所述数据集预处理模块用于对原始数据集进行预处理，构建最终数据集，具体包括：划分原始数据集、调整图像体素间距、调整CT图像的强度范围和提取肿瘤区域CT图像，得到最终数据集，每个最终数据集包括肿瘤区域CT图像和对应的T分期结果；
所述网络模型构建模块用于构建基于DenseNet的三维卷积分类网络模型，包括依次连接的输入层、第一注意力密集块、第一注意力过渡块、第二注意力密集块、第二注意力过渡块、第三注意力密集块和输出层；
所述网络模型训练模块用于对三维卷积分类网络模型进行训练：
进行数据增强以扩充训练集，通过训练网络模型获取网络模型最佳权重；
利用反向传播算法计算各个参数的梯度，使用Adam优化器更新参数；
从验证样本中取数据送入模型计算验证集准确率，若当前验证集准确率大于之前的验证集准确率，则保存当前模型的权重为最佳模型权重；
所述预测模块用于采用训练后的三维卷积分类网络模型进行预测，得到预测结果，每个预测结果包括各个类别的预测概率，将每个图像的预测结果进行相加，取出预测结果中预测概率最大的索引作为预测类别，得到输入图像的分期结果。
本发明与现有技术相比，具有如下优点和有益效果：
(1)与现有技术相比，本发明提供基于肿瘤区域CT图像的结直肠癌T分期方法，只需要提供肿瘤大致区域的CT图像作为输入，能够大大减轻医生的工作量，有利于提高医生的诊断效率。
(2)本发明引入多注意力机制融合思想，使得网络能够更好地筛选通道信息和空间信息，提高结直肠癌T分期预测效果。
(3)本发明采用三维肿瘤区域CT图像作为模型输入，能够更好地利用图像的空间信息，提高诊断结果的可靠性。
(4)本发明基于测试数据增强思想，自动为输入图像创建多个输入副本，使得模型从多角度对输入图像进行预测，提高诊断结果的鲁棒性。
(5)本发明基于权重赋值方法优化损失函数，解决训练数据的类别不平衡问题，改善数据集不足情况下的模型训练难度，提高模型拟合能力。
附图说明
图1为本发明基于肿瘤区域CT图像的结直肠癌T分期方法的流程示意图；
图2为本发明的改进DenseNet三维卷积分类网络结构示意图；
图3为本发明的注意力密集层结构的示意图；
图4为本发明使用的ECA注意力机制的示意图；
图5为本发明的注意力过渡块结构的示意图；
图6为本发明使用的CBAM注意力机制的示意图；
图7为本发明使用的CBAM注意力机制中的通道注意力模块示意图；
图8为本发明使用的CBAM注意力机制中的空间注意力模块示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例1
如图1所示，本实施例提供一种基于肿瘤区域CT图像的结直肠癌T分期方法，包括下述步骤：
S1：对CT图像进行标注，构建原始数据集，具体如下：
利用ITK-SNAP软件对CT图像依次进行标注，得到对应的掩膜图像以及分期结果，构建原始数据集。
S2：对原始数据集数据进行预处理，构建最终数据集，具体如下：
S21：将数据集划分为训练集、验证集、测试集。
S22：调整图像体素间距。原始图像体素间距各有不同，然而模型对此类信息并不敏感。因此，对原始图像体素间距进行统一，有利于还原真实的图像，从而更高效地学习图像重要信息。首先是统计所有原始图像的图像体素间距，从而得到图像体素间距的均值，最后将原始图像体素间距统一插值到均值图像体素间距。其中，本数据集的均值图像体素间距为(0.78,0.78,3.36)。
S23：调整CT图像的强度范围。使用CT窗口技术，调整各CT图像的窗口大小为500，窗位为50，使得CT值分布范围(-200,300)之间内，从而排除与结直肠肿瘤分割不相关的冗余信息。对CT图像的前景部分归一化到(0，1)，在保留具有诊断价值的灰度差异的同时，减小甚至消除图像中灰度不一致，更有利于计算机自动分析处理。
S24：提取肿瘤区域CT图像。由于掩膜图像中的标注区域对应原始CT图像的肿瘤区域，因此可以利用掩膜图像对原始CT图像进行肿瘤区域CT图像的提取。使用掩膜图像中值大于0的区域作为参考界限裁剪到(96,96,96)，用来切割原始CT图像，从而得到肿瘤区域CT图像。当不足(96,96,96)，则用0值填充到(96,96,96)。每个CT图像随机裁剪4张肿瘤区域CT图像。
S25：最终的数据集由训练集、验证集、测试集组成，占比为6：2：2。每个数据集均由肿瘤区域CT图像和对应的T分期结果组成，其中肿瘤区域CT图像的大小均统一为(96,96,96)，分期结果为Ti(i＝1，2，3，4)。相比于原始CT图像，肿瘤区域CT图像的针对性更强，信息更集中，数据计算量更小，更有利于模型的学习和预测。
S3：本发明将传统的DenseNet、ECA注意力机制、CBAM注意力机制应用到三维空间，并将ECA注意力机制、CBAM注意力机制与DenseNet进行融合。
如图2所示，构建一个由多注意力机制融合的改进DenseNet三维卷积分类网络，主要包含一个输入层、三个注意力密集块、两个注意力过渡块、一个输出层，即“输入层+注意力密集块+注意力过渡块+注意力密集块+注意力过渡块+注意力密集块+输出层”结构。其中，前一个模块的输出作为后一个模块的输入。
S31：输入层由三维卷积、BN标准化、ReLU激活函数、最大池化层组成，即“Conv+BN+ReLU+MaxPooling”结构。三维卷积用于特征的初始提取，输入通道数为1，输出通道数为64，卷积核大小为7×7×7，步长为2×2×2，填充量为3×3×3；BN标准化对数据进行标准化处理，有利于加快训练速度。ReLU激活函数能够抑制部分神经元的输出，保证网络的稀疏性，减少了参数的依赖，缓解过拟合。最大池化层用于特征图的缩小以减少计算量，同时增大感受野以提取更大的局部特征，池化核大小为3×3×3，步长为2×2×2，填充量为1×1×1。
S32：注意力密集块由多个注意力密集层组成。第一个密集块有6个密集层，第二个密集块有12个密集层，第三个密集块有24个密集层。每个密集层的输出特征图Mi通道数为32；第i个密集层的输入特征图为前i-1个密集层的输出特征图在通道维度的堆叠，形如(M0，M1，M2,···，Mi-1)。传统密集层由两个BN标准化、两个ReLU激活函数、两个三维卷积组成，即“BN+ReLU+Conv+BN+ReLU+Conv”结构。其中，第一个三维卷积将特征图的通道数降低为128，减少特征数量，提升计算效率，卷积核大小为1×1×1，步长为1×1×1。第二个三维卷积将特征图的通道数降低为32，以进行特征图通道筛选，卷积核大小为3×3×3，，步长为1×1×1，填充量为1×1×1。
传统的密集层输入特征图通道太多，在特征增加的同时需要处理的特征信息也成倍增加。如图3所示，本发明的注意力密集层是在传统密集层的第一个BN标准化前加入了三维ECA注意力机制，即采用“ECA+BN+ReLU+Conv+BN+ReLU+Conv”结构，以对输入特征图进行通道注意，让网络关注它最需要关注的通道，提升模型的学习效率。
如图4所示，本发明使用的三维ECA注意力机制具体为：首先对输入特征图在空间维度进行全局平均池化，以对输入特征图进行降维；然后使用一维卷积进行通道权重学习，得到一组特征向量；接着使用Sigmoid函数进行激活，把每个通道的权重调整到0和1之间，以减少计算量，从而得到ECA通道注意力权值。最后把ECA通道注意力权值与之前的输入特征图相乘，从而得到施加ECA注意力机制的特征图。一维卷积的卷积核大小S与输入特征图的通道数C有关，以实现卷积核大小的自适应，当输入特征图的通道数越多时，卷积核大小也随着增大，从而提高卷积过程的感受野，计算公式如下：
S33：传统过渡块由BN标准化、ReLU激活函数、三维卷积、平均池化层组成，即“BN+ReLU+Conv+AvgPooling”结构，主要是连接两个相邻的密集块，并且降低特征图大小，以起到压缩模型的作用。其中，三维卷积的卷积核大小为1×1×1，步长为1×1×1；平均池化层的池化核大小为2×2×2，步长为2×2×2。
如图5所示，本发明的注意力过渡块采用“CBAM+BN+ReLU+Conv+AvgPooling”结构，如图6所示，使用CBAM注意力机制对输入进来的特征层分别进行通道注意力机制和空间注意力机制的处理，实现对输入特征层的信息筛选，提高过渡块的信息处理能力，间接提高两个密集块之间的信息传达效率。
本发明使用的三维CBAM注意力机制具体为：首先进行CBAM通道注意，如图7所示，通道注意力模块将前面密集块的输出特征图作为输入特征图，将输入特征图分别使用全局平局池化和全局最大池化实现降维，并分别通过两层共享三维卷积进行通道权重提取，最后将两个通道权重提取路径的输出进行相加，并使用Sigmoid函数把每个通道的权重调整到0和1之间，得到CBAM通道注意力权值，最后把CBAM通道注意力权值与之前的输入特征图相乘，从而得到施加CBAM通道注意力机制的特征图。
接着进行CBAM空间注意，如图8所示，空间注意力模块将施加CBAM通道注意力机制的特征图作为输入特征图，首先将输入特征图分别进行基于通道维度的最大池化和平均池化，并将基于通道维度的最大池化和平均池化的输出进行基于通道维度的拼接；通过三维卷积将其降维成一个通道；使用Sigmoid函数把每个元素的权重调整到0和1之间，得到CBAM空间注意力权重，最后把CBAM空间注意力权值与输入特征图相乘，从而得到施加CBAM空间注意力机制的特征图。
S34：输出层由BN标准化、ReLU函数、平均池化、平坦层、线性输出单元组成，即“BN+ReLU+AvgPooling+Flatten+Linear”结构。其中，使用平均池化使得特征向量大小调整为(1024，1，1，1)；使用平坦层获得1024个神经单元，获得一维向量(1，1024)；线性输出单元接收1024个神经单元，并将输出调整为一组向量，向量形状为(1，4)。
S4:对模型进行训练与验证，具体如下：
S41：由于本身样本的稀缺性和高质量标注的高成本，导致医学图像数据较为稀缺。通过数据增强可以提升模型性能。本方法采用随机翻转、旋转、随机仿射、随机弹性形变进行离线数据增强以扩充训练集。
S42：通过训练模型获取模型最佳权重，训练模型遍历数据次数为N，批处理大小为2。
每次遍历的具体流程如下：
S421：从训练集中获取肿瘤区域CT图像X以及对应的真实标签Y,其中真实标签Y使用one-hot编码。
S422：将X送入模型，得到预测结果Ypred，表示每个预测类别的概率分布，形如
为1。
S423：在医学领域，类别分布十分不平衡。结直癌症数据以中晚期为主，而结直癌症数据早期的数据相对较少。本实施例使用权重赋值方法对常规的交叉熵损失进行优化。在常规的交叉熵损失中添加权重系数a，形如(a0,1,2,3)，
为1。此方法可以解决分类问题中类别不平衡、分类难度差异的问题。根据数据集中结直肠癌T分期的各类别分布情况不同，采用的权重系数a为(0.4,0.3,0.2,0.1。每个预测样本的优化交叉熵损失具体计算公式如下：
S43：利用反向传播算法计算各个参数的梯度，使用Adam优化器更新参数。
S44：从验证样本中取数据送入模型计算验证集准确率，如果当前验证集准确率大于以往的验证集准确率，则保存当前模型的权重为最佳模型权重。
S5：应用图像数据增强技术以允许模型对测试数据集中每幅图像的多个不同版本进行预测，然后对增强图像的预测可以取平均值，可以从而获得更好的预测性能。使用保存的最佳模型权重对模型进行权值赋值，然后使用模型进行测试，具体方法如下：
S51：对测试样本的输入图像分别进行翻转、旋转、仿射、空间形变等多种图像变换技术，以创建多个扩增副本，让模型对每个图像做出预测，每个预测结果包括各个类别的预测概率，然后将每个图像的预测结果进行相加。
S52：使用软投票方法，取出预测结果中概率最大的索引作为预测类别，则得到输入图像的分期结果。
实施例2
一种基于肿瘤区域CT图像的结直肠癌T分期***，包括：数据集构建模块、数据集预处理模块、网络模型构建模块、网络模型训练模块和预测模块；
在本实施例中，数据集构建模块用于对CT图像进行标注，构建原始数据集；
在本实施例中，数据集预处理模块用于对原始数据集进行预处理，构建最终数据集，具体包括：划分原始数据集、调整图像体素间距、调整CT图像的强度范围和提取肿瘤区域CT图像，得到最终数据集，每个最终数据集包括肿瘤区域CT图像和对应的T分期结果；
在本实施例中，网络模型构建模块用于构建基于DenseNet的三维卷积分类网络模型，包括依次连接的输入层、第一注意力密集块、第一注意力过渡块、第二注意力密集块、第二注意力过渡块、第三注意力密集块和输出层；
在本实施例中，网络模型训练模块用于对三维卷积分类网络模型进行训练：
进行数据增强以扩充训练集，通过训练网络模型获取网络模型最佳权重；
利用反向传播算法计算各个参数的梯度，使用Adam优化器更新参数；
从验证样本中取数据送入模型计算验证集准确率，若当前验证集准确率大于之前的验证集准确率，则保存当前模型的权重为最佳模型权重；
在本实施例中，预测模块用于采用训练后的三维卷积分类网络模型进行预测，得到预测结果，每个预测结果包括各个类别的预测概率，将每个图像的预测结果进行相加，取出预测结果中预测概率最大的索引作为预测类别，得到输入图像的分期结果。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (10)
1.一种基于肿瘤区域CT图像的结直肠癌T分期方法，其特征在于，包括下述步骤：
对CT图像进行标注，构建原始数据集；
对原始数据集进行预处理，构建最终数据集，具体包括：划分原始数据集、调整图像体素间距、调整CT图像的强度范围和提取肿瘤区域CT图像，得到最终数据集，每个最终数据集包括肿瘤区域CT图像和对应的T分期结果；
构建基于DenseNet的三维卷积分类网络模型，包括依次连接的输入层、第一注意力密集块、第一注意力过渡块、第二注意力密集块、第二注意力过渡块、第三注意力密集块和输出层；
对三维卷积分类网络模型进行训练：
进行数据增强以扩充训练集，通过训练网络模型获取网络模型最佳权重；
利用反向传播算法计算各个参数的梯度，使用Adam优化器更新参数；
从验证样本中取数据送入模型计算验证集准确率，若当前验证集准确率大于之前的验证集准确率，则保存当前模型的权重为最佳模型权重；
采用训练后的三维卷积分类网络模型进行预测，得到预测结果，每个预测结果包括各个类别的预测概率，将每个图像的预测结果进行相加，取出预测结果中预测概率最大的索引作为预测类别，得到输入图像的分期结果。
2.根据权利要求1所述的基于肿瘤区域CT图像的结直肠癌T分期方法，其特征在于，所述输入层依次设置三维卷积、BN标准化、ReLU激活函数和最大池化层。
3.根据权利要求1所述的基于肿瘤区域CT图像的结直肠癌T分期方法，其特征在于，所述第一注意力密集块、第二注意力密集块和第三注意力密集块设有不同个数的密集层，每个密集层的输出特征图通道数相同，后一个密集层的输入特征图为前一个密集层的输出特征图在通道维度的堆叠。
4.根据权利要求3所述的基于肿瘤区域CT图像的结直肠癌T分期方法，其特征在于，所述密集层依次设置三维ECA注意力机制、第一BN标准化、第一ReLU激活函数、第一个三维卷积、第二BN标准化、第二ReLU激活函数和第二个三维卷积。
5.根据权利要求4所述的基于肿瘤区域CT图像的结直肠癌T分期方法，其特征在于，所述三维ECA注意力机制具体包括：
对输入特征图在空间维度进行全局平均池化，以对输入特征图进行降维；
使用一维卷积进行通道权重学习，得到一组特征向量；
使用Sigmoid函数进行激活，将每个通道的权重调整到0和1之间，得到ECA通道注意力权值；
将ECA通道注意力权值与输入特征图相乘，得到施加ECA注意力机制的特征图。
6.根据权利要求5所述的基于肿瘤区域CT图像的结直肠癌T分期方法，其特征在于，一维卷积的卷积核大小与输入特征图的通道数有关，具体计算公式表示为：
其中，S表示一维卷积的卷积核大小，C表示输入特征图的通道数。
7.根据权利要求1所述的基于肿瘤区域CT图像的结直肠癌T分期方法，其特征在于，第一注意力过渡块和第二注意力过渡块依次设置三维CBAM注意力机制、BN标准化、ReLU激活函数、三维卷积和平均池化层，三维CBAM注意力机制对输入特征层分别进行通道注意力机制和空间注意力机制的处理，实现对输入特征层的信息筛选。
8.根据权利要求7所述的基于肿瘤区域CT图像的结直肠癌T分期方法，其特征在于，所述三维CBAM注意力机制对输入特征层分别进行通道注意力机制和空间注意力机制的处理，具体步骤包括：
进行CBAM通道注意，将输入特征图分别使用全局平局池化和全局最大池化实现降维，并分别通过两层共享三维卷积进行通道权重提取，将两个通道权重提取路径的输出进行相加，并使用Sigmoid函数将每个通道的权重调整到0和1之间，得到CBAM通道注意力权值，将CBAM通道注意力权值与输入特征图相乘，得到施加CBAM通道注意力机制的特征图；
进行CBAM空间注意，将施加CBAM通道注意力机制的特征图作为输入特征图，将输入特征图分别进行基于通道维度的最大池化和平均池化，并将基于通道维度的最大池化和平均池化的输出进行基于通道维度的拼接，通过三维卷积将其降维成一个通道，使用Sigmoid函数将每个元素的权重调整到0和1之间，得到CBAM空间注意力权值，将CBAM空间注意力权值与输入特征图相乘，得到施加CBAM空间注意力机制的特征图。
9.根据权利要求1所述的基于肿瘤区域CT图像的结直肠癌T分期方法，其特征在于，所述通过训练网络模型获取网络模型最佳权重，从训练集中获取肿瘤区域CT图像以及对应的真实标签其中真实标签使用one-hot编码，肿瘤区域CT图像输入网络模型后得到预测结果，表示每个预测类别的概率分布，根据数据集中结直肠癌T分期的各类别分布情况不同，采用权重系数进行权重赋值。
10.一种基于肿瘤区域CT图像的结直肠癌T分期***，其特征在于，包括：数据集构建模块、数据集预处理模块、网络模型构建模块、网络模型训练模块和预测模块；
所述数据集构建模块用于对CT图像进行标注，构建原始数据集；
所述数据集预处理模块用于对原始数据集进行预处理，构建最终数据集，具体包括：划分原始数据集、调整图像体素间距、调整CT图像的强度范围和提取肿瘤区域CT图像，得到最终数据集，每个最终数据集包括肿瘤区域CT图像和对应的T分期结果；
所述网络模型构建模块用于构建基于DenseNet的三维卷积分类网络模型，包括依次连接的输入层、第一注意力密集块、第一注意力过渡块、第二注意力密集块、第二注意力过渡块、第三注意力密集块和输出层；
所述网络模型训练模块用于对三维卷积分类网络模型进行训练：
进行数据增强以扩充训练集，通过训练网络模型获取网络模型最佳权重；
利用反向传播算法计算各个参数的梯度，使用Adam优化器更新参数；
从验证样本中取数据送入模型计算验证集准确率，若当前验证集准确率大于之前的验证集准确率，则保存当前模型的权重为最佳模型权重；
所述预测模块用于采用训练后的三维卷积分类网络模型进行预测，得到预测结果，每个预测结果包括各个类别的预测概率，将每个图像的预测结果进行相加，取出预测结果中预测概率最大的索引作为预测类别，得到输入图像的分期结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210787519.3A CN115100165A (zh) | 2022-07-06 | 2022-07-06 | 一种基于肿瘤区域ct图像的结直肠癌t分期方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210787519.3A CN115100165A (zh) | 2022-07-06 | 2022-07-06 | 一种基于肿瘤区域ct图像的结直肠癌t分期方法及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115100165A true CN115100165A (zh) | 2022-09-23 |
Family
ID=83297255
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210787519.3A Pending CN115100165A (zh) | 2022-07-06 | 2022-07-06 | 一种基于肿瘤区域ct图像的结直肠癌t分期方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115100165A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115830001A (zh) * | 2022-12-22 | 2023-03-21 | 抖音视界有限公司 | 肠道图像处理方法、装置、存储介质及电子设备 |
| CN117036830A (zh) * | 2023-10-07 | 2023-11-10 | 之江实验室 | 一种肿瘤分类模型训练方法、装置、存储介质及电子设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111797826A (zh) * | 2020-05-14 | 2020-10-20 | 中国三峡建设管理有限公司 | 大骨料集中区域检测方法和装置及其网络模型训练方法 |
| CN114638814A (zh) * | 2022-03-29 | 2022-06-17 | 华南农业大学 | 基于ct图像的结直肠癌自动分期方法、***、介质及设备 |
| CN114677325A (zh) * | 2022-01-25 | 2022-06-28 | 安徽农业大学 | 水稻茎秆截面分割模型的构建方法及基于该模型的检测方法 |
-
2022
- 2022-07-06 CN CN202210787519.3A patent/CN115100165A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111797826A (zh) * | 2020-05-14 | 2020-10-20 | 中国三峡建设管理有限公司 | 大骨料集中区域检测方法和装置及其网络模型训练方法 |
| CN114677325A (zh) * | 2022-01-25 | 2022-06-28 | 安徽农业大学 | 水稻茎秆截面分割模型的构建方法及基于该模型的检测方法 |
| CN114638814A (zh) * | 2022-03-29 | 2022-06-17 | 华南农业大学 | 基于ct图像的结直肠癌自动分期方法、***、介质及设备 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115830001A (zh) * | 2022-12-22 | 2023-03-21 | 抖音视界有限公司 | 肠道图像处理方法、装置、存储介质及电子设备 |
| CN115830001B (zh) * | 2022-12-22 | 2023-09-08 | 抖音视界有限公司 | 肠道图像处理方法、装置、存储介质及电子设备 |
| CN117036830A (zh) * | 2023-10-07 | 2023-11-10 | 之江实验室 | 一种肿瘤分类模型训练方法、装置、存储介质及电子设备 |
| CN117036830B (zh) * | 2023-10-07 | 2024-01-09 | 之江实验室 | 一种肿瘤分类模型训练方法、装置、存储介质及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110189334B (zh) | 基于注意力机制的残差型全卷积神经网络的医学图像分割方法 | |
| CN111627019B (zh) | 一种基于卷积神经网络的肝脏肿瘤分割方法及*** | |
| CN108898175B (zh) | 基于深度学习胃癌病理切片的计算机辅助模型构建方法 | |
| CN110930416B (zh) | 一种基于u型网络的mri图像***分割方法 | |
| CN110675406A (zh) | 基于残差双注意力深度网络的ct图像肾脏分割算法 | |
| CN111738363B (zh) | 基于改进的3d cnn网络的阿尔茨海默病分类方法 | |
| CN111612754B (zh) | 基于多模态图像融合的mri肿瘤优化分割方法及*** | |
| CN115100165A (zh) | 一种基于肿瘤区域ct图像的结直肠癌t分期方法及*** | |
| CN112116605A (zh) | 一种基于集成深度卷积神经网络的胰腺ct图像分割方法 | |
| CN109035267B (zh) | 一种基于深度学习的图像目标抠取方法 | |
| CN110930378B (zh) | 基于低数据需求的肺气肿影像处理方法及*** | |
| CN113971764B (zh) | 一种基于改进YOLOv3的遥感图像小目标检测方法 | |
| CN114359292A (zh) | 一种基于多尺度和注意力的医学图像分割方法 | |
| CN112348830B (zh) | 基于改进3D U-Net的多器官分割方法 | |
| CN114663440A (zh) | 一种基于深度学习的眼底图像病灶分割方法 | |
| CN112132878A (zh) | 基于卷积神经网络的端到端大脑核磁共振图像配准方法 | |
| CN115565056A (zh) | 基于条件生成对抗网络的水下图像增强方法及*** | |
| CN115375711A (zh) | 基于多尺度融合的全局上下文关注网络的图像分割方法 | |
| CN113706544A (zh) | 一种基于完备注意力卷积神经网络的医学图像分割方法 | |
| CN114998373A (zh) | 基于多尺度损失函数的改进型U-Net云图分割方法 | |
| CN114565628A (zh) | 一种基于边界感知注意的图像分割方法及*** | |
| CN117876679A (zh) | 一种基于卷积神经网络的遥感图像场景分割方法 | |
| CN117437423A (zh) | 基于sam协同学习和跨层特征聚合增强的弱监督医学图像分割方法及装置 | |
| CN117934824A (zh) | 一种超声影像的目标区域分割方法、***及电子设备 | |
| CN116452619A (zh) | 一种基于高分辨率网络与边界增强的mri图像分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |