CN117392389A - 基于mt-sass网络的肾癌mri图像分割分类方法 - Google Patents
基于mt-sass网络的肾癌mri图像分割分类方法 Download PDFInfo
- Publication number
- CN117392389A CN117392389A CN202311396428.8A CN202311396428A CN117392389A CN 117392389 A CN117392389 A CN 117392389A CN 202311396428 A CN202311396428 A CN 202311396428A CN 117392389 A CN117392389 A CN 117392389A
- Authority
- CN
- China
- Prior art keywords
- sdm
- network
- loss
- classification
- segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 17
- 208000008839 Kidney Neoplasms Diseases 0.000 title claims abstract description 14
- 206010038389 Renal cancer Diseases 0.000 title claims abstract description 12
- 201000010982 kidney cancer Diseases 0.000 title claims abstract description 12
- 238000003709 image segmentation Methods 0.000 title claims abstract description 10
- 238000012368 scale-down model Methods 0.000 claims description 46
- 230000011218 segmentation Effects 0.000 claims description 20
- 230000004913 activation Effects 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 9
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 230000003042 antagnostic effect Effects 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 description 12
- 208000006265 Renal cell carcinoma Diseases 0.000 description 4
- 238000012360 testing method Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000002485 urinary effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000005481 NMR spectroscopy Methods 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 102000019040 Nuclear Antigens Human genes 0.000 description 1
- 108010051791 Nuclear Antigens Proteins 0.000 description 1
- 230000008485 antagonism Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 230000004663 cell proliferation Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000009533 lab test Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000001613 neoplastic effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000010827 pathological analysis Methods 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 230000035755 proliferation Effects 0.000 description 1
- 208000019465 refractory cytopenia of childhood Diseases 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
基于MT‑SASS网络的肾癌MRI图像分割分类方法属医学图像分割技术领域，本发明使用的网络结构包含生成器和判别器两个网络，生成器中加入分类头部以实现图像分类，判别器中加入注意力模块，损失函数采用监督损失和对抗损失之和进行计算。本发明使用MT‑SASS网络对肾癌MRI图像进行分割和分类，可充分利用未标记数据，能判断Ki67和肾癌细胞纹理结果的相关性。
Description
技术领域
本发明属医学图像分割技术领域，具体涉及一种在Ki67等级下基于生成对抗网络的肾癌MRI图像的分割和分类方法。
背景技术
肾细胞癌(Renal Cell Carcinoma，RCC)是一种常见的由肾皮质引起的泌尿***癌，是近几年来在泌尿***中发病率较高的肿瘤性疾病。诊断RCC的方法主要为进行实验室检查，影像学检查和病理学检查。Ki67是一种在细胞增殖中发挥作用的核抗原，是目前病理诊断中最常见的增殖标记物之一，其表达定位于细胞核，呈现为棕黄色颗粒。在视野中观察细胞的数目，阳性细胞数小于10％判定为弱阳性，10％-30％判定为阳性，大于10％判定为强阳性。
早期的医学影像处理技术大多是传统机器学习方法，近年来，随着深度学习技术和图形处理器的迅速发展，人们通过使用卷积神经网络对输入的医学图像数据进行特征提取，在医学图像中常见的分类、分割、检测等领域取得优异的成绩。
现有方法中大部分都需要足够多有标签医学数据进行训练，医学图像的标签为了足够可靠，数据需要专业医师进行标注，同时过程中不可避免会产生人为的误差，由于数据的标注成本昂贵且耗费时间，因此临床医学图像数据中无标签数据占据了很大一部分。近年来，利用少量标注数据和大量无标签数据构建网络模型的半监督学习方法发展迅速，通过有效利用大量存在的无标签数据来解决目前标签数据匮乏的问题。
大多数现有的半监督分割方法要么倾向于忽略目标段中的几何约束，导致目标覆盖不完整，要么强加强形状先验，需要额外的对齐。本发明提出了一种基于MT-SASS网络的肾癌MRI图像分割和分类方法，利用丰富的未标记数据并对分割输出施加几何形状约束，并在分割的同时进行分类。在训练过程中，在标记和未标记数据的带符号距离映射(signeddistance map，SDM)之间引入对抗损失，以便网络能够更有效地捕获形状感知特征。
发明内容
本发明的目的是提供一种基于MT-SASS网络的肾癌MRI图像分割和分类方法，能提升分割效果，帮助医生判断Ki67和纹理结果的相关性。
本发明的一种基于MT-SASS网络的肾癌MRI图像分割分类方法，包括下列步骤：
1)构建生成器，使用改进的V-Net网络，包括下列步骤：
1.1V-Net是一种深层的卷积神经网络，使用3D卷积层来捕获体积数据中的局部和全局特征；V-Net网络由一个编码器模块和一个具有三个输出分支的解码器模块组成，其中一个输出分支用于分割映射，一个输出分支用于计算带符号距离映射，简称SDM，一个输出分支用于执行分类任务；编码器模块用于提取输入体积的特征表示，解码器模块用于生成分割和分类结果；
编码器模块包括卷积块和下采样块，而解码器包括上采样块；在解码器的每个上采样块中，来自编码器的特征与当前阶段的特征相加以进行特征融合，并对融合后的特征图使用全局平均池化进行降维，通过两个线性层进行特征变换，最终输出一个长度为3的向量，用于分类任务；解码器还包括输出层，用于生成最终的分割结果；其中，分类头中使用修正线性单元激活函数，在最后的输出层中，使用双曲正切，简称Tanh激活函数；
1.2在V-Net编码器部分并行添加一个轻量级SDM头部，SDM头部由一个3D卷积块和Tanh激活组成；给定输入图像，其数学表达式为：
X∈RH×W×D,
其中：R为全体实数集；H为高度；W为宽度；D为深度；
分割头部生成置信度评分映射，其数学表达式为：
M∈[0,1]H×W×D,
SDM头部生成SDM，其数学表达式为：
S∈[-1,1]H×W×D，
置信度评分映射的生成公式和SDM的生成公式分别为：
M＝fseg(X；θ)和S＝fsdm(X；θ)
其中：fseg表示V-Net网络中分割部分；fsdm表示V-Net网络中SDM部分；θ是分割网络的参数；S中的每个元素表示归一化后对应体素到其最近的表面点的带符号距离；
2)构建判别器网络DAM，包括下列步骤：
判别器网络DAM由混合注意力模块、五个卷积层和一个多层感知器组成，以SDM和输入体积作为输入，通过卷积层将它们融合，并预测其被标记数据的类概率；DAM的损失函数称为对抗损失；
3)综合损失函数
综合损失函数采用监督损失和对抗损失的和进行计算，其中：
监督损失在标记集上，对改进的V-Net网络的损失/>采用一个Dice损失/>SDM损失/>分类损失为/>加权相加得到；
其中：α是和/>两个损失项的加权系数；
其中：yi是网络对输入图像Xi的SDM预测，y′i是真实的SDM值，n是样本数量；
其中：xi是真实的类别标签的独热编码，x′i是网络对类别i的预测概率；
对抗损失该损失在标记集和未标记集上强制SDM预测的一致性，通过区分来自标记集的预测SDM，由于监督，这些预测SDM应该是高质量的，以及来自未标记集的预测SDM；最小化由该判别器引起的对抗损失使网络学习有效的形状感知特征；
其中：D表示判别器，将其参数定义为ζ；
Sn＝fsdm(Xn；θ) (6)
Sm＝fsdm(Xm；θ) (7)
将最终的损失函数定义为：
其中：γ是平衡两个损失项的权重系数。
本发明的有益效果为：本发明提出的MT-SASS网络能有效应用于半监督医学图像分割这一领域，可以使用少部分有标签图像同时完成分割和分类任务，能帮助医生判断Ki67和肾癌细胞纹理结果的相关性。
附图说明
图1为MT-SASS总体网络框架的示意图；
图2为CBAM的结构图；
图3为分割结果图，
其中：(a)为原图；(b)为原图mask；(c)为分割结果；(d)为分割mask；(e)为标签图像；(f)为标签mask。
具体实施方式
下面结合附图描述本发明。
如图1所示，本发明的一种基于MT-SASS网络的肾癌MRI图像分割分类方法，包括下列步骤：
1)获取数据集及预处理，包括下列步骤：
1.1获取包括弱阳性、阳性和强阳性三个等级的肾脏肿瘤的核磁共振T1加权图像；
1.2使用Python程序将DICOM格式的肾脏肿瘤MRI图像转化为nii格式；
1.3将图像按照4:1的比例划分为训练集和测试集，训练集包含18个有标记数据和113个未标记数据，其中与有标记数据三类均匀分布各6个数据；
1.4对图像通过直方图均衡化、随机翻转、随机角度旋转方式进行数据增强，使三个等级的图像数量基本相等，分别为强阳性81个数据，阳性114个数据，弱阳性110个数据；
1.5由数据量和GPU确定iteration＝6000，batch_size＝8；输入图像通道设为:3个RGB通道；鉴别器使用Adam优化器，初始学习率为0.0001；生成器使用SGD(随机梯度下降)优化器初始学习率为0.005；
2)构建生成器，使用改进的V-Net网络，包括下列步骤：
2.1 V-Net是一种深层的卷积神经网络，使用3D卷积层来捕获体积数据中的局部和全局特征；V-Net网络由一个编码器模块和一个具有三个输出分支的解码器模块组成，其中一个输出分支用于分割映射，一个输出分支用于计算带符号距离映射，简称SDM，一个输出分支用于执行分类任务；编码器模块用于提取输入体积的特征表示，解码器模块用于生成分割和分类结果；
编码器模块包括卷积块和下采样块，而解码器包括上采样块；在解码器的每个上采样块中，来自编码器的特征与当前阶段的特征相加以进行特征融合，并对融合后的特征图使用全局平均池化进行降维，通过两个线性层进行特征变换，最终输出一个长度为3的向量，用于分类任务；解码器还包括输出层，用于生成最终的分割结果；其中，分类头中使用修正线性单元激活函数，在最后的输出层中，使用双曲正切，简称Tanh激活函数；
2.2在V-Net编码器部分并行添加一个轻量级SDM头部，SDM头部由一个3D卷积块和Tanh激活组成；给定输入图像，其数学表达式为：
X∈RH×W×D，
其中：R为全体实数集；H为高度；W为宽度；D为深度；
分割头部生成置信度评分映射，其数学表达式为：
M∈[0,1]H×W×D,
SDM头部生成SDM，其数学表达式为：
S∈[-1,1]H×W×D，
置信度评分映射的生成公式和SDM的生成公式分别为：
M＝fseg(X；θ)和S＝fsdm(X；θ),
其中：fseg表示V-Net网络中分割部分；fsdm表示V-Net网络中SDM部分；θ是分割网络的参数；S中的每个元素表示归一化后对应体素到其最近的表面点的带符号距离；
3)构建判别器网络DAM，包括下列步骤：
判别器网络DAM由图2所示的混合注意力模块、五个卷积层和一个多层感知器组成，以SDM和输入体积作为输入，通过卷积层将它们融合，并预测其被标记数据的类概率；DAM的损失函数称为对抗损失；
其中混合注意力模块包含两个独立的子模块，分别是通道注意力模块和空间注意力模块；
设特征F∈RC×H×W，
其中：C为通道数；H为高度；W为宽度；
顺序的可以得到一维的通道注意力图MC C×1×1和二维的空间注意力图Ms 1×H×W；
全部的注意力过程的公式为：
其中：表示按元素级相乘；
4)综合损失函数
综合损失函数采用监督损失和对抗损失的和进行计算，其中：
监督损失在标记集上，对改进的V-Net网络的损失/>采用一个Dice损失/>SDM损失/>分类损失为/>加权相加得到；
其中：α是和/>两个损失项的加权系数；
其中：yi是网络对输入图像Xi的SDM预测，y′i是真实的SDM值，n是样本数量；
其中：xi是真实的类别标签的独热编码，x′i是网络对类别i的预测概率；
对抗损失该损失在标记集和未标记集上强制SDM预测的一致性，通过区分来自标记集的预测SDM，由于监督，这些预测SDM应该是高质量的，以及来自未标记集的预测SDM；最小化由该判别器引起的对抗损失使网络学习有效的形状感知特征；
其中：D表示判别器，将其参数定义为ζ；
Sn＝fsdm(Xn；θ) (6)
Sm＝fsdm(Xm；θ) (7)
将最终的损失函数定义为：
其中：γ是平衡两个损失项的权重系数。
5)分割结果如图3所示，模型在Dice评分上准确率为64％，并且在分类准确率方面表现为67％。在强阳性和阳性数据中模型的分割效果更好，在Dice评分上可以达到81％。
Claims (1)
1.一种基于MT-SASS网络的肾癌MRI图像分割分类方法，其特征在于包括下列步骤：
1)构建生成器，使用改进的V-Net网络，包括下列步骤：
1.1V-Net是一种深层的卷积神经网络，使用3D卷积层来捕获体积数据中的局部和全局特征；V-Net网络由一个编码器模块和一个具有三个输出分支的解码器模块组成，其中一个输出分支用于分割映射，一个输出分支用于计算带符号距离映射，简称SDM，一个输出分支用于执行分类任务；编码器模块用于提取输入体积的特征表示，解码器模块用于生成分割和分类结果；
编码器模块包括卷积块和下采样块，而解码器包括上采样块；在解码器的每个上采样块中，来自编码器的特征与当前阶段的特征相加以进行特征融合，并对融合后的特征图使用全局平均池化进行降维，通过两个线性层进行特征变换，最终输出一个长度为3的向量，用于分类任务；解码器还包括输出层，用于生成最终的分割结果；其中，分类头中使用修正线性单元激活函数，在最后的输出层中，使用双曲正切，简称Tanh激活函数；
1.2在V-Net编码器部分并行添加一个轻量级SDM头部，SDM头部由一个3D卷积块和Tanh激活组成；给定输入图像，其数学表达式为：
X∈RH×W×D
其中：R为全体实数集；H为高度；W为宽度；D为深度；
分割头部生成置信度评分映射，其数学表达式为：
M∈[0,1]H×W×D,
SDM头部生成SDM，其数学表达式为：
S∈[-1,1]H×W×D
置信度评分映射的生成公式和SDM的生成公式分别为：
M＝fseg(X；θ)和S＝fsdm(X；θ)；
其中：fseg表示V-Net网络中分割部分；fsdm表示V-Net网络中SDM部分；θ是分割网络的参数；S中的每个元素表示归一化后对应体素到其最近的表面点的带符号距离；
2)构建判别器网络DAM，包括下列步骤：
判别器网络DAM由混合注意力模块、五个卷积层和一个多层感知器组成，以SDM和输入体积作为输入，通过卷积层将它们融合，并预测其被标记数据的类概率；DAM的损失函数称为对抗损失；
3)综合损失函数
综合损失函数采用监督损失和对抗损失的和进行计算，其中：
监督损失在标记集上，对改进的V-Net网络的损失/>采用一个Dice损失/>SDM损失分类损失为/>加权相加得到；
其中：α是和/>两个损失项的加权系数；
其中：yi是网络对输入图像Xi的SDM预测，y′i是真实的SDM值，n是样本数量；
其中：xi是真实的类别标签的独热编码，x′i是网络对类别i的预测概率；
对抗损失该损失在标记集和未标记集上强制SDM预测的一致性，通过区分来自标记集的预测SDM，由于监督，这些预测SDM应该是高质量的，以及来自未标记集的预测SDM；最小化由该判别器引起的对抗损失使网络学习有效的形状感知特征；
其中：D表示判别器，将其参数定义为ζ；
Sn＝fsdm(Xn；θ) (6)
Sm＝fsdm(Xm；θ) (7)
将最终的损失函数定义为：
其中：γ是平衡两个损失项的权重系数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311396428.8A CN117392389A (zh) | 2023-10-26 | 2023-10-26 | 基于mt-sass网络的肾癌mri图像分割分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311396428.8A CN117392389A (zh) | 2023-10-26 | 2023-10-26 | 基于mt-sass网络的肾癌mri图像分割分类方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117392389A true CN117392389A (zh) | 2024-01-12 |
Family
ID=89469837
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311396428.8A Pending CN117392389A (zh) | 2023-10-26 | 2023-10-26 | 基于mt-sass网络的肾癌mri图像分割分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117392389A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117911798A (zh) * | 2024-03-19 | 2024-04-19 | 青岛奥克生物开发有限公司 | 一种基于图像增强的干细胞质量分类方法及*** |
-
2023
- 2023-10-26 CN CN202311396428.8A patent/CN117392389A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117911798A (zh) * | 2024-03-19 | 2024-04-19 | 青岛奥克生物开发有限公司 | 一种基于图像增强的干细胞质量分类方法及*** |
| CN117911798B (zh) * | 2024-03-19 | 2024-05-28 | 青岛奥克生物开发有限公司 | 一种基于图像增强的干细胞质量分类方法及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhou et al. | High-resolution encoder–decoder networks for low-contrast medical image segmentation | |
| CN109523521B (zh) | 基于多切片ct图像的肺结节分类和病灶定位方法和*** | |
| CN109978850B (zh) | 一种多模态医学影像半监督深度学习分割*** | |
| CN111563897B (zh) | 基于弱监督学习的乳腺核磁影像肿瘤分割的方法及装置 | |
| CN113674281B (zh) | 一种基于深度形状学习的肝脏ct自动分割方法 | |
| CN110310281A (zh) | 一种基于Mask-RCNN深度学习的虚拟医疗中肺结节检测与分割方法 | |
| CN107749061A (zh) | 基于改进的全卷积神经网络脑肿瘤图像分割方法及装置 | |
| CN109087703A (zh) | 基于深度卷积神经网络的腹腔ct图像腹膜转移标记方法 | |
| CN108010013A (zh) | 一种肺ct图像肺结节检测方法 | |
| CN109363698A (zh) | 一种乳腺影像征象识别的方法及装置 | |
| Yuan et al. | Prostate segmentation with encoder-decoder densely connected convolutional network (Ed-Densenet) | |
| CN114494296A (zh) | 一种基于Unet和Transformer相融合的脑部胶质瘤分割方法与*** | |
| CN114693933A (zh) | 基于生成对抗网络和多尺度特征融合的医学影像分割装置 | |
| CN112348800A (zh) | 融合多尺度特征的密集神经网络肺部肿瘤图像识别方法 | |
| CN117392389A (zh) | 基于mt-sass网络的肾癌mri图像分割分类方法 | |
| CN114332572B (zh) | 基于显著图引导分层密集特征融合网络用于提取乳腺病变超声图像多尺度融合特征参数方法 | |
| An et al. | Medical Image Segmentation Algorithm Based on Optimized Convolutional Neural Network‐Adaptive Dropout Depth Calculation | |
| Liu et al. | Automatic segmentation algorithm of ultrasound heart image based on convolutional neural network and image saliency | |
| CN114119516A (zh) | 基于迁移学习和级联自适应空洞卷积的病毒病灶分割方法 | |
| CN115496720A (zh) | 基于ViT机制模型的胃肠癌病理图像分割方法及相关设备 | |
| Banerjee et al. | A CADe system for gliomas in brain MRI using convolutional neural networks | |
| Ma et al. | LCAUnet: A skin lesion segmentation network with enhanced edge and body fusion | |
| Yu et al. | 3D Medical Image Segmentation based on multi-scale MPU-Net | |
| CN116580225A (zh) | 一种基于空间信息驱动的直肠癌ct图像分类方法 | |
| CN115496732A (zh) | 一种半监督心脏语义分割算法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |