CN112434754A - 一种基于图神经网络的跨模态医学影像域适应分类方法 - Google Patents
一种基于图神经网络的跨模态医学影像域适应分类方法 Download PDFInfo
- Publication number
- CN112434754A CN112434754A CN202011467616.1A CN202011467616A CN112434754A CN 112434754 A CN112434754 A CN 112434754A CN 202011467616 A CN202011467616 A CN 202011467616A CN 112434754 A CN112434754 A CN 112434754A
- Authority
- CN
- China
- Prior art keywords
- image data
- domain
- neural network
- target domain
- source domain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 44
- 238000000034 method Methods 0.000 title claims abstract description 37
- 230000003044 adaptive effect Effects 0.000 title claims abstract description 14
- 239000013598 vector Substances 0.000 claims description 33
- 238000012549 training Methods 0.000 claims description 21
- 238000013507 mapping Methods 0.000 claims description 11
- 238000007781 pre-processing Methods 0.000 claims description 6
- 230000001575 pathological effect Effects 0.000 claims description 5
- 238000002372 labelling Methods 0.000 claims description 4
- 206010012689 Diabetic retinopathy Diseases 0.000 claims description 3
- 239000004576 sand Substances 0.000 claims description 3
- 208000017520 skin disease Diseases 0.000 claims description 3
- 238000010186 staining Methods 0.000 claims description 2
- 230000005540 biological transmission Effects 0.000 claims 1
- 230000006870 function Effects 0.000 description 32
- 238000002474 experimental method Methods 0.000 description 11
- 238000012360 testing method Methods 0.000 description 10
- 230000006978 adaptation Effects 0.000 description 9
- 206010006187 Breast cancer Diseases 0.000 description 5
- 208000026310 Breast neoplasm Diseases 0.000 description 5
- 210000001519 tissue Anatomy 0.000 description 5
- 238000004195 computer-aided diagnosis Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 206010028980 Neoplasm Diseases 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000007170 pathology Effects 0.000 description 3
- 206010009944 Colon cancer Diseases 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 208000029742 colonic neoplasm Diseases 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 230000010355 oscillation Effects 0.000 description 2
- 230000001737 promoting effect Effects 0.000 description 2
- 206010025323 Lymphomas Diseases 0.000 description 1
- 206010027476 Metastases Diseases 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012984 biological imaging Methods 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000004043 dyeing Methods 0.000 description 1
- 210000001165 lymph node Anatomy 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000003211 malignant effect Effects 0.000 description 1
- 238000001000 micrograph Methods 0.000 description 1
- 230000011278 mitosis Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于图神经网络的跨模态医学影像域适应分类方法，由于跨模态医学影像呈现出较大的类内差异和较小的类间差异，影响跨模态医学影像数据的收集和标注，而本发明的图神经网络模块可以很好地区分不同领域的医学影像，可以大幅度降低模型振荡，提高分类精度。
Description
技术领域
本发明涉及一种医学影像分类技术领域，具体涉及一种基于图神经网络的跨模态医学影像域适应分类方法。
背景技术
癌症仍然是导致人类死亡的主要原因之一，对疾病及时准确地分级对后期治疗起着至关重要的作用。虽然近年来，医学影像技术取得了飞速的发展，但计算机辅助诊断***(CAD)通常依赖于训练机器学习模型(例如深度卷积神经网络)以及大量标注正确的样本，而大型训练数据集的欠缺对计算机辅助诊断(CAD)***提出了重大挑战。首先，为了收集数据，需要经验丰富的医学影像专家仔细检查数百至数千个千兆字节的图像，这个注释过程非常耗时且劳动强度大。其次，医学影像标注困难，对于同一类型的医学影像数据，由不同设备、成像条件采集的医学影像间仍存在较大差异，在某一数据集上训练得到的深度学习模型无法有效的迁移复用。
近年来，针对上述在医学影像分析中的挑战，已经形成了多种域适应方法。例如，Lafarge等人首先提出基于领域对抗神经网络(DANN)的***解决方案(Maxime W Lafarge,Josien PW Pluim,Koen AJ Eppenhof,PimMoeskops,and MitkoVeta,“Domainadversarialneural networks to address the appearance variability of histopathologyimages,”in Deep Learning in Medical Image Analysis and Multimodal Learningfor Clinical Decision Support,pp.83–91.Springer,2017)，以解决乳腺癌组织病理学图像在有丝***检测中的差异。随后，Wollmann等人利用周期一致的生成对抗网络(CycleGAN)来开发一种域适应方法(Thomas Wollmann,CS Eijkman,and Karl Rohr,“Adversarial domain adaptation to improve automatic breast cancer grading inlymph nodes,”in IEEE International Symposium on Biomedical Imaging.IEEE,2018,pp.582–585)，用于对全切片图像进行分类并对乳腺癌患者的患病水平进行分级。最近，Zhang等人提出了一种深层无监督域适应方法(Yifan Zhang,Hanbo Chen,Ying Wei,Peilin Zhao,Jiezhang Cao,Xinjuan Fan,Xiaoying Lou,Hailing Liu,Jinlong Hou,Xiao Han,et al.,“From whole slide imaging to microscopy:Deep microscopyadaptation network for histopathology cancer image classification,”inInternational Conference on Medical Image Computing and Computer-AssistedIntervention.Springer,2019,pp.360–368)，以将在标记的全切片图像领域上训练的深度模型适应于未标记的显微镜图像领域。
上述对现有方法的介绍表明，目前为医学影像分析而设计的域适应方法主要基于对抗性学习的框架，而该算法效率低下并经常导致模型振荡难以收敛。因此，需要一种对不同领域图像都有效的图像识别方法，同时具有不错的性能并尽量降低模型振荡。
发明内容
为了解决现有技术中存在的问题，本发明的目的在于提供一种基于图神经网络的跨模态医学影像域适应分类方法。
为实现上述目的，本发明提供如下技术方案：一种基于图神经网络的跨模态医学影像域适应分类方法，包括以下步骤：
S1获取跨模态医学影像数据集，并对跨模态医学影像数据集的数据进行分类从分类后的跨模态医学影像数据集中选定源域与目标域的影像数据集，并对源域和目标域中的影像数据标注标签；
S2对源域与目标域的影像数据集进行预处理；
S3利用深度神经网络构建模型主干网络，将步骤S2预处理后的源域与目标域的影像数据输入模型主干网络中，提取影像数据的特征，输出源域与目标域的特征向量；
S4计算源域与目标域特征向量的最大平均差异和对比特征约束的损失函数；
S5将源域与目标域的特征向量作为节点传入高阶图神经网络，在高阶图神经网络中生成融合两域信息的输出向量，实现源域的标签信息传递到目标域，再将输出向量传入softmax层为源域中影像数据生成预测标签。
S6计算总的损失函数，重复步骤S3至S5，通过最小化总的损失函数对构建的模型进行训练，直至模型收敛；
S7将步骤S2预处理后的目标域影像数据输入步骤S6中得到的收敛模型中，模型输出预测的目标域影像数据所属类别的预测标签。
进一步的，步骤S1中，获取跨模态医学影像数据集，确定带标签的跨模态医学影像数据集作为源域的影像数据集
待分类的跨模态医学影像数据集作为目标域的影像数据集
其中，
是源域影像数据集中第i个影像数据，Ns是源域影像数据集中影像数据的个数；
是目标域影像数据集中第j个影像数据，Nt是目标域影像数据集中影像数据的个数，Xs与Xt分别是源域与目标域影像数据的集合。
进一步的，步骤S1中，所述跨模态医学影像数据集包括不同染色条件下、不同组织的病理影像、不同皮肤镜设备采集的皮肤病影像、不同眼底照相机采集的糖尿病性视网膜病变影像。
进一步的，步骤S2中，所述预处理为对选定的源域与目标域的影像数据集中的影像进行裁剪，裁剪的尺寸为n×n，确定影像数据集中的影像数据要分为的类别集合C，其中类别集合C包括两个类别：正样本和负样本。
进一步的，步骤S3中，所述得到特征向量的具体步骤为：
a.使用预训练的深度神经网络作为模型的主干网络；
b.随机选择步骤S2预处理后的源域与目标域影像数据输入到主干网络中；
c.在主干网络中，设置特征空间映射时的阈值T，根据阈值T生成对应的特征向量。
进一步的，步骤S4中，具体包括以下步骤：
a.计算最大平均差异的损失函数，并最小化最大平均差异的损失函数，使源域和目标域中的影像数据提取到相似的特征：
其中，Lmmd表示最大平均差异损失函数；
表示源域影像数据集中第i个影像数据；
是目标域影像数据集中第j个影像数据；φ(x)表示由步骤S3中深度神经网络内非线性映射生成x的特征向量；Hk表示与步骤S3中深度神经网络的非线性映射φ(·)相关的再生核希尔伯特空间；
b.计算对比特征约束损失函数，并最小化对比特征约束损失函数，促进源域和目标域同类别的影像数据间距离缩小，不同类别的影像数据间距离大于d：
其中，Lg为对比特征约束的损失函数；d是预定义的边界值，li与lj分别代表源域与目标域影像数据集中第i个与第j个影像数据的真实类别，φ(·)是经过步骤S3中深度神经网络生成的非线性映射。
进一步的，步骤S5中，使用图神经网络将源域与目标域中相似的影像数据靠近，进而实现将源域影像数据的标签信息传递给目标域的影像数据。
进一步的，步骤S6中，具体包括如下步骤：
a.计算总的损失函数为：L＝Lmmd+Lg+Lc
其中，Lmmd最大平均差异损失函数；Lg为对比特征约束的损失函数，
是由模型输出的源域中影像数据的预测标签与真实标签之间的交叉熵损失，其中y是真实标签，
是步骤S5中所述模型输出的预测标签,
表示模型输出的标签以概率
被预测为某一类时的信息熵，
表示模型输出的标签以概率
被预测为另一类时的信息熵；
b.通过最小化总的损失函数，更新模型的各项参数，直到模型总的损失函数收敛。
进一步的，当收敛模型的softmax层输出的类别预测向量大于设定阈值∈的向量时，所述类别预测向量对应的类为目标域影像数据所属类别的预测标签。
与现有技术相比，本发明至少具有以下有益效果：
本发明提出了一种基于图神经网络的跨模态医学影像域适应分类方法，由于跨模态医学影像呈现出较大的类内差异和较小的类间差异，影响跨模态医学影像数据的收集和标注，而本发明利用深度神经网络作为模型主干网络，结合图神经网络模块并利用softmax层将目标域的影像数据进行分类预测，可以很好地区分不同领域的医学影像，大幅度降低模型振荡，提高跨模态医学影像的分类精度。
本发明得分类方法的训练时长短，模型收敛速度快，目前深度学习训练模型几百个时期的时长一般为一天甚至数天，而本模型只需要数小时即可。
本发明提供的分类方法相比之前基于对抗的算法，本发明对不同医学影像数据集都具有良好的适配性，同时更稳定。
本发明设计的损失函数，在对齐两个领域影像数据集的特征分布差异的同时，还考虑到了类别差异，使得在较难的分类情景下取得了较好的分类效果。
附图说明
图1是本发明所示的医学影像分类方法的流程图。
图2是本发明实施例实验使用的一种医学病理影像CAMELYON16数据集中的一个影像数据。
图3是本发明实施例实验使用的一种医学病理影像BreakHis数据集中的一个影像数据。
图4是CAMELYON16影像数据集作为源域，BreakHis影像数据集作为目标域时，从0到100个不同训练时期中数据的特征聚类的效果。具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行详细地说明。所描述的实施例仅是本发明的一部分实施例。
如图1所示，本实施例公开了一种基于图神经网络的跨模态医学影像域适应分类方法，包括以下步骤：
1)获取由不同成像条件、不同设备采集的跨模态医学影像数据集，如不同染色条件下、不同组织的病理影像，不同皮肤镜设备采集的皮肤病影像，不同眼底照相机采集的糖尿病性视网膜病变影像等，并对影像数据集中的数据进行分类；
具体地：根据得到的医学影像数据集所涉及到的疾病，考虑其特有的等级，对影像数据集中样例进行评级。
2)选定实验时作为源域的影像数据集与目标域的影像数据集，对源域与目标域的影像数据标注标签，然后将源域与目标域影像数据集中的影像数据都进行预处理；
具体地：将选定的影像数据集中的图像裁剪为n×n的大小，其中包含肿瘤或病变区域的图像为正样本类，否则为负样本类。其次，确定训练时可读标签的样本集作为源域的影像数据集
待分类的样本集作为目标域影像数据集
其中，
是源域影像数据集中第i个影像数据，Ns是源域影像数据集中影像数据的个数；
是目标域影像数据集中第j个影像数据，Nt是目标域影像数据集中影像数据的个数，Xs与Xt分别是源域与目标域影像数据的集合。
3)使用现已广泛使用的深度神经网络，例如，VGG、ResNet和AlexNet等构建模型的主干网络，将步骤2)预处理后的源域与目标域的影像数据输入到主干网络中，提取影像数据的特征，输出特征向量；
具体地：使用预训练的深度神经网络作为模型的主干网络，随机选择若干张步骤2)裁剪后的源域与目标域图像，将图像输入到模型的主干网络中，在模型的主干网络中，例如，ResNet-18模型中，设置特征空间映射时的阈值T，根据阈值T生成对应的特征向量。
4)用步骤3)提取到的源域与目标域的特征向量计算最大平均差异(Maximum MeanDiscrepancy，简称为MMD)损失函数，用于减少源域和目标域影像数据的特征之间的差异，并用对比特征约束设计一项损失函数来提高学习到的特征的鉴别性；
具体地：通过最小化最大平均差异(Maximum Mean Discrepancy，简称为MMD)损失函数，使源域和目标域提取到相似的特征，同时使用对比特征约束构建一个损失函数，促进同类别样例间的距离尽可能缩小，不同类别样例间的距离至少大于预定义的边界值d。
a.计算最大平均差异的损失函数，并最小化最大平均差异的损失函数，使源域和目标域中的影像数据提取到相似的特征：
其中，Lmmd表示最大平均差异损失函数；
表示源域影像数据集中第i个影像数据；
是目标域影像数据集中第j个影像数据；φ(x)表示由步骤S3中深度神经网络内非线性映射生成x的特征向量；Hk表示与步骤S3中深度神经网络的非线性映射φ(·)相关的再生核希尔伯特空间；
b.计算对比特征约束的损失函数，并最小化对比特征约束损失函数，促进源域与目标域同类别的影像数据间距离缩小，不同类别的影像数据间距离大于d：
其中，Lg为对比特征约束的损失函数；d是预定义的边界值，li与lj分别代表源域与目标域影像数据集中第i个与第j个影像数据的真实类别，φ(·)是经过步骤S3中深度神经网络生成的非线性映射。
5)将步骤3)生成的两域特征向量作为一个图中的节点，把节点传入高阶图神经网络，源域与目标域的特征向量在高阶图神经网络中融合，使源域的标签信息传递到目标域；高阶图神经网络生成融合源域与目标域信息的输出向量并将输出向量输入softmax层，模型为源域的影像数据生成预测标签。
具体地：在图神经网络中，节点的特征与其相邻的邻居节点的特征相关，因此，使用图神经网络将源域与目标域中相似的影像数据靠近，进而实现将源域影像数据的标签信息传递给目标域的影像数据。
6)计算总的损失函数，重复步骤3)至5)，通过最小化总的损失函数对所构建的模型进行训练，不断更新迭代至模型收敛；
具体地：计算总的损失函数为：L＝Lmmd+Lg+Lc。其中，
是由模型输出的源域中影像数据的预测标签与真实标签的交叉熵损失，通过最小化总的损失函数，更新模型参数，直到模型的总损失函数收敛。
其中，Lmmd最大平均差异损失函数；Lg为对比特征约束的损失函数，y是源域中影像数据的真实标签，
是模型对源域中影像数据输出的预测标签，
表示模型输出的标签以概率
被预测为某一类时的信息熵，
表示模型输出的标签以概率
被预测为另一类时的信息熵。
7)将步骤2)预处理后的目标域影像数据输入步骤6)的收敛模型中进行测试，模型输出对目标域中影像数据所属类别的预测；
具体地，模型中的最后一层softmax层输出类别预测向量，将类别预测向量中大于设定阈值∈的向量所对应的类作为对目标域影像数据所属类别的预测标签。
本发明在实验时设计了多组域适应的实验，其中三个实施例采用的医学影像数据集分别是CAMELYON16、BreakHis、GlaS和DigestPath。这些数据集最初是由不同机构提供并为不同的实际应用而发布的，因此数据集间呈现出的多样外观形成了多种模态的医学影像数据集。
CAMELYON16影像数据集是由荷兰的两个医学中心提供的，该数据集包含***的全切片影像，最初用于自动检测影像中的转移灶；
BreakHis影像数据集是由巴西的一所实验室收集的，该数据集包含乳腺癌组织的显微镜影像数据，主要用于对不同的肿瘤类型进行分类；
GlaS影像数据集是英国的一家医院与病理学家团队共同提供的，该数据集包含良性与恶性的结肠癌影像数据，最初主要用于分割任务；
DigestPath影像数据集是由中国的多家医院与组织病理诊断中心共同制作的，该数据集包含结肠癌的全切片组织影像，旨在自动地对整个组织中病变区域进行分割与分类。
实施例1
利用预处理的开源影像数据集CAMELYON16作为源域，BreakHis数据集作为目标域，对模型进行训练，再用BreakHis数据集中的影像数据作为测试集测试训练结果。
实施例2
利用预处理的开源影像数据集CAMELYON16作为源域，GlaS数据集作为目标域，对模型进行训练，再用GlaS数据集中的影像数据作为测试集测试训练结果。
实施例3
利用预处理的开源影像数据集CAMELYON16作为源域，DigestPath数据集作为目标域，对模型进行训练，再用DigestPath数据集中的影像数据作为测试集测试训练结果。
计算实施例中多组域适应实验的分类精度，分类精度的计算步骤为：
1)记录测试集中所包含的影像数据的个数M；
2)将模型对测试集中影像数据的预测标签与预处理后得到的真实标签进行比对，记录预测标签等于真实标签的个数N；
3)用步骤2)中记录的个数N除以步骤1)中记录的个数M，得到测试时的分类精度R，即
计算结果如表1所示：
表1为多个医学病理影像数据集设计的多组域适应实验的实验结果
其中实施例1中使用开源的组织病理影像数据集CAMELYON16和BreakHis分别作为源域与目标域，通过图2和图3可以明显看出，两个数据集中数据的外观差异十分显著的，并且很难进行线性分类，所以在这样两个领域的数据集上实现领域适应来对医学影像进行分类是十分具有挑战性的。
本实施例在实验时还将实验过程进行了可视化处理，其中，图4是CAMELYON16影像数据集作为源域，BreakHis影像数据集作为目标域，从0到100个不同训练时期中数据的特征聚类效果，根据图4可以清晰地看到，自左向右来看，两个领域中的两个类别特征聚类效果逐渐好转，在训练的初期即第0个训练时期，CAMELYON16(源域)和BreakHis(目标域)中两个类别的特征是互相杂糅在一起的，随着训练的推进，到第100个训练时期时，两个领域中的两个类别的特征间区别明显且彼此分离，此外，源域与目标域中相同类别的特征相互靠近，不同类别的特征彼此远离，这样有助于分类任务的进行。
并且从表1可以看出，由于实施例1中CAMELYON16与BreakHis数据集均为乳腺癌病理影像，两个领域数据分布的差异是三组实验中最小的，并且在三组实验中精度最高。与此同时，在其余两组实验中，由于两域数据分布差异较大，分类难度较高，精度略有降低，但仍然保持较高水平，充分证明了本方法在类内差异较大，类间差异较小的跨模态医学影像域适应分类任务下的可行性。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。
Claims (10)
1.一种基于图神经网络的跨模态医学影像域适应分类方法，其特征在于，包括以下步骤：
S1获取跨模态医学影像数据集，并对跨模态医学影像数据集进行分类，从分类后的跨模态医学影像数据集中选定源域与目标域的影像数据集，并对源域和目标域中的影像数据标注标签；
S2对源域与目标域的影像数据集进行预处理；
S3利用深度神经网络构建模型主干网络，将步骤S2预处理后的源域与目标域的影像数据输入模型主干网络中，提取影像数据的特征，输出源域与目标域的特征向量；
S4计算源域与目标域特征向量的最大平均差异和对比特征约束的损失函数；
S5将源域与目标域的特征向量作为节点传入高阶图神经网络，在高阶图神经网络中生成融合两域信息的输出向量，将输出向量传入softmax层为源域的影像数据生成预测标签；
S6计算总的损失函数，重复步骤S3至S5，通过最小化总的损失函数对构建的模型进行训练，直至模型收敛；
S7将步骤S2预处理后的目标域影像数据输入步骤S6中得到的收敛模型中，模型输出预测的目标域影像数据所属类别的预测标签。
2.根据权利要求1所述的一种基于图神经网络的跨模态医学影像域适应分类方法，其特征在于，步骤S1中，获取跨模态医学影像数据集，确定带标签的跨模态医学影像数据集作为源域的影像数据集
待分类的跨模态医学影像数据集作为目标域的影像数据集
其中，
是源域影像数据集中第i个影像数据，Ns是源域影像数据集中影像数据的个数；
是目标域影像数据集中第j个影像数据，Nt是目标域影像数据集中影像数据的个数，Xs与Xt分别是源域与目标域影像数据的集合。
3.根据权利要求1所述的一种基于图神经网络的跨模态医学影像域适应分类方法，其特征在于，步骤S1中，所述跨模态医学影像数据集包括不同染色条件下、不同组织的病理影像、不同皮肤镜设备采集的皮肤病影像、不同眼底照相机采集的糖尿病性视网膜病变影像。
4.根据权利要求1所述的一种基于图神经网络的跨模态医学影像域适应分类方法，其特征在于，步骤S2中，所述预处理为对选定的源域与目标域的影像数据集中的影像进行裁剪，裁剪的尺寸为n×n，确定影像数据集中的影像数据要分为的类别集合C，其中类别集合C包括两个类别：正样本和负样本。
5.根据权利要求1所述的一种基于图神经网络的跨模态医学影像域适应分类方法，其特征在于，步骤S3中，所述得到特征向量的具体步骤为：
a.使用预训练的深度神经网络作为模型的主干网络；
b.随机选择步骤S2预处理后的源域与目标域影像数据输入到主干网络中；
c.在主干网络中，设置特征空间映射时的阈值T，根据阈值T生成对应的特征向量。
6.根据权利要求1所述的一种基于图神经网络的跨模态医学影像域适应分类方法，其特征在于，步骤S4中，计算最大平均差异的损失函数，并最小化最大平均差异的损失函数，使源域和目标域中的影像数据提取到相似的特征：
其中，Lmmd表示最大平均差异损失函数；
表示源域影像数据集中第i个影像数据；
是目标域影像数据集中第j个影像数据；φ(x)表示由步骤S3中深度神经网络内非线性映射生成x的特征向量；Hk表示与步骤S3中深度神经网络的非线性映射φ(·)相关的再生核希尔伯特空间。
7.根据权利要求1所述的一种基于图神经网络的跨模态医学影像域适应分类方法，其特征在于，步骤S4中，计算对比特征约束损失函数，并最小化对比特征约束损失函数，促进源域和目标域同类别的影像数据间距离缩小，不同类别的影像数据间距离大于d：
其中，Lg为对比特征约束的损失函数；d是预定义的边界值，li与lj分别代表源域与目标域影像数据集中第i个与第j个影像数据的真实类别，φ(·)是经过步骤S3中深度神经网络生成的非线性映射。
8.根据权利要求1所述的一种基于图神经网络的跨模态医学影像域适应分类方法，其特征在于，步骤S5中，使用图神经网络将源域与目标域中相似的影像数据靠近，进而实现将源域影像数据的标签信息传递给目标域的影像数据。
9.根据权利要求1所述的一种基于图神经网络的跨模态医学影像域适应分类方法，其特征在于，步骤S6中，具体包括如下步骤：
a.计算总的损失函数为：L＝Lmmd+Lg+Lc
其中，Lmmd最大平均差异损失函数；Lg为对比特征约束的损失函数，
是由模型输出的源域中影像数据的预测标签与真实标签之间的交叉熵损失，其中y是真实标签，
是步骤S5中所述模型输出的预测标签，
表示模型输出的标签以概率
被预测为某一类时的信息熵，
表示模型输出的标签以概率
被预测为另一类时的信息熵；
b.通过最小化总的损失函数，更新模型的各项参数，直到模型总的损失函数收敛。
10.根据权利要求1所述的一种基于图神经网络的跨模态医学影像域适应分类方法，其特征在于，步骤S7中，当收敛模型的softmax层输出的类别预测向量大于设定阈值∈的向量时，所述类别预测向量对应的类为目标域影像数据所属类别的预测标签。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011467616.1A CN112434754A (zh) | 2020-12-14 | 2020-12-14 | 一种基于图神经网络的跨模态医学影像域适应分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011467616.1A CN112434754A (zh) | 2020-12-14 | 2020-12-14 | 一种基于图神经网络的跨模态医学影像域适应分类方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112434754A true CN112434754A (zh) | 2021-03-02 |
Family
ID=74691227
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011467616.1A Pending CN112434754A (zh) | 2020-12-14 | 2020-12-14 | 一种基于图神经网络的跨模态医学影像域适应分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112434754A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113033088A (zh) * | 2021-03-23 | 2021-06-25 | 浙江工业大学 | 基于深度子域适配迁移网络的风力发电机***故障诊断方法 |
| CN113205522A (zh) * | 2021-04-28 | 2021-08-03 | 华中科技大学 | 一种基于对抗域适应的图像智能裁剪方法及*** |
| CN114974433A (zh) * | 2022-05-26 | 2022-08-30 | 厦门大学 | 一种基于深度迁移学习的循环肿瘤细胞的快速注释方法 |
| CN116758286A (zh) * | 2023-06-25 | 2023-09-15 | 中国人民解放军总医院 | 医学影像分割方法、***、装置、存储介质及产品 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108021936A (zh) * | 2017-11-28 | 2018-05-11 | 天津大学 | 一种基于卷积神经网络vgg16的乳腺肿瘤分类算法 |
| US20180330205A1 (en) * | 2017-05-15 | 2018-11-15 | Siemens Aktiengesellschaft | Domain adaptation and fusion using weakly supervised target-irrelevant data |
| CN109308485A (zh) * | 2018-08-02 | 2019-02-05 | 中国矿业大学 | 一种基于字典域适应的迁移稀疏编码图像分类方法 |
| CN109934261A (zh) * | 2019-01-31 | 2019-06-25 | 中山大学 | 一种知识驱动参数传播模型及其少样本学习方法 |
| CN110458038A (zh) * | 2019-07-19 | 2019-11-15 | 天津理工大学 | 基于双链深度双流网络的小数据跨域动作识别方法 |
| CN110580496A (zh) * | 2019-07-11 | 2019-12-17 | 南京邮电大学 | 一种基于熵最小化的深度迁移学习***及方法 |
| CN111340021A (zh) * | 2020-02-20 | 2020-06-26 | 中国科学技术大学 | 基于中心对齐和关系显著性的无监督域适应目标检测方法 |
| CN111753899A (zh) * | 2020-06-23 | 2020-10-09 | 扬州大学 | 一种自适应的不平衡数据领域适应方法 |
| CN111814977A (zh) * | 2020-08-28 | 2020-10-23 | 支付宝(杭州)信息技术有限公司 | 训练事件预测模型的方法及装置 |
| CN111931865A (zh) * | 2020-09-17 | 2020-11-13 | 平安科技（深圳）有限公司 | 图像分类模型的训练方法、装置、计算机设备及存储介质 |
| CN112016687A (zh) * | 2020-08-20 | 2020-12-01 | 浙江大学 | 一种基于互补伪标签的跨域行人重识别方法 |
-
2020
- 2020-12-14 CN CN202011467616.1A patent/CN112434754A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180330205A1 (en) * | 2017-05-15 | 2018-11-15 | Siemens Aktiengesellschaft | Domain adaptation and fusion using weakly supervised target-irrelevant data |
| CN108021936A (zh) * | 2017-11-28 | 2018-05-11 | 天津大学 | 一种基于卷积神经网络vgg16的乳腺肿瘤分类算法 |
| CN109308485A (zh) * | 2018-08-02 | 2019-02-05 | 中国矿业大学 | 一种基于字典域适应的迁移稀疏编码图像分类方法 |
| CN109934261A (zh) * | 2019-01-31 | 2019-06-25 | 中山大学 | 一种知识驱动参数传播模型及其少样本学习方法 |
| CN110580496A (zh) * | 2019-07-11 | 2019-12-17 | 南京邮电大学 | 一种基于熵最小化的深度迁移学习***及方法 |
| CN110458038A (zh) * | 2019-07-19 | 2019-11-15 | 天津理工大学 | 基于双链深度双流网络的小数据跨域动作识别方法 |
| CN111340021A (zh) * | 2020-02-20 | 2020-06-26 | 中国科学技术大学 | 基于中心对齐和关系显著性的无监督域适应目标检测方法 |
| CN111753899A (zh) * | 2020-06-23 | 2020-10-09 | 扬州大学 | 一种自适应的不平衡数据领域适应方法 |
| CN112016687A (zh) * | 2020-08-20 | 2020-12-01 | 浙江大学 | 一种基于互补伪标签的跨域行人重识别方法 |
| CN111814977A (zh) * | 2020-08-28 | 2020-10-23 | 支付宝(杭州)信息技术有限公司 | 训练事件预测模型的方法及装置 |
| CN111931865A (zh) * | 2020-09-17 | 2020-11-13 | 平安科技（深圳）有限公司 | 图像分类模型的训练方法、装置、计算机设备及存储介质 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113033088A (zh) * | 2021-03-23 | 2021-06-25 | 浙江工业大学 | 基于深度子域适配迁移网络的风力发电机***故障诊断方法 |
| CN113205522A (zh) * | 2021-04-28 | 2021-08-03 | 华中科技大学 | 一种基于对抗域适应的图像智能裁剪方法及*** |
| CN113205522B (zh) * | 2021-04-28 | 2022-05-13 | 华中科技大学 | 一种基于对抗域适应的图像智能裁剪方法及*** |
| CN114974433A (zh) * | 2022-05-26 | 2022-08-30 | 厦门大学 | 一种基于深度迁移学习的循环肿瘤细胞的快速注释方法 |
| CN116758286A (zh) * | 2023-06-25 | 2023-09-15 | 中国人民解放军总医院 | 医学影像分割方法、***、装置、存储介质及产品 |
| CN116758286B (zh) * | 2023-06-25 | 2024-02-06 | 中国人民解放军总医院 | 医学影像分割方法、***、装置、存储介质及产品 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Singh et al. | MetaMed: Few-shot medical image classification using gradient-based meta-learning | |
| Khorram et al. | A new optimized thresholding method using ant colony algorithm for MR brain image segmentation | |
| JP7270058B2 (ja) | 予測的組織パターン特定のためのマルチプルインスタンスラーナ | |
| CN112434754A (zh) | 一种基于图神经网络的跨模态医学影像域适应分类方法 | |
| Yan et al. | Modeling annotator expertise: Learning when everybody knows a bit of something | |
| US20200184252A1 (en) | Deep Learning Network for Salient Region Identification in Images | |
| US20210169576A1 (en) | System and method for identifying comparable cases in preoperative surgical planning | |
| JP5056695B2 (ja) | 類似画像提示装置及びプログラム | |
| Viji et al. | RETRACTED ARTICLE: An improved approach for automatic spine canal segmentation using probabilistic boosting tree (PBT) with fuzzy support vector machine | |
| Sadafi et al. | Multiclass deep active learning for detecting red blood cell subtypes in brightfield microscopy | |
| López-Cruz et al. | Bayesian network modeling of the consensus between experts: An application to neuron classification | |
| Li et al. | Superpixel-guided label softening for medical image segmentation | |
| Mall et al. | Modeling visual search behavior of breast radiologists using a deep convolution neural network | |
| Deshpande et al. | Improved Otsu and Kapur approach for white blood cells segmentation based on LebTLBO optimization for the detection of Leukemia. | |
| Han et al. | Nuclei counting in microscopy images with three dimensional generative adversarial networks | |
| Asay et al. | Digital image analysis of heterogeneous tuberculosis pulmonary pathology in non-clinical animal models using deep convolutional neural networks | |
| Punitha et al. | Detecting COVID-19 from lung computed tomography images: A swarm optimized artificial neural network approach | |
| Bafti et al. | A crowdsourcing semi-automatic image segmentation platform for cell biology | |
| Andrews et al. | A view from somewhere: Human-centric face representations | |
| Cengizler et al. | A nature-inspired search space reduction technique for spine identification on ultrasound samples of spina bifida cases | |
| Mishra et al. | Image based early detection of diabetic retinopathy: A systematic review on Artificial Intelligence (AI) based recent trends and approaches | |
| Mir et al. | Artificial intelligence-based techniques for analysis of body cavity fluids: a review | |
| Atcı et al. | Identifying Diabetic Retinopathy in the Human Eye: A Hybrid Approach Based on a Computer-Aided Diagnosis System Combined with Deep Learning | |
| Mazo et al. | Automatic recognition of fundamental tissues on histology images of the human cardiovascular system | |
| Ganjdanesh et al. | Multimodal genotype and phenotype data integration to improve partial data-based longitudinal prediction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |