CN114418954A

CN114418954A - 一种基于互学习的半监督医学图像分割方法及其***

Info

Publication number: CN114418954A
Application number: CN202111601008.XA
Authority: CN
Inventors: 王如心; 李烨
Original assignee: Shenzhen Institute of Advanced Technology of CAS
Current assignee: Shenzhen Institute of Advanced Technology of CAS
Priority date: 2021-12-24
Filing date: 2021-12-24
Publication date: 2022-04-29
Also published as: WO2023116635A1

Abstract

本发明涉及图像分割识别技术领域，具体涉及一种基于互学习的半监督医学图像分割方法及其***，本发明方法基于互学习算法的技术思路，采用至少两个半监督学习模型进行对偶组合，构建基于互学习的深度半监督学习网络。通过网络中不同子网络(学生网络、教师网络)在训练过程中的交替互相监督，并迫使其输出的类别预测概率保持一致，有效的提高了对无标签样本图像的判断准确性，提高了对标记样本和无标签样本特征提取的鲁棒性。

Description

一种基于互学习的半监督医学图像分割方法及其***

技术领域

本发明涉及图像分割识别技术领域，具体而言，涉及一种基于互学习的半监督医学图像分割方法及其***。

背景技术

在医疗领域，由于人工标注成本高和标签不可避免的模糊性，一定程度上限制了基于人工智能的辅助诊断模型获得更高的精度和更好的泛化能力。然而，为了获得更高的精度对大规模的训练数据进行注释是非常昂贵和耗时的，诸如医学影像数据集，虽然每天产生海量的影像数据，但由于标注本身的专业性以及不可避免的标注时间成本，其中可能只包含一小部分来自专家的标记数据，留下一大部分未标记。这部分未标记数据在监督学习的范式中不能被利用，但实际上这部分数据包含了大量可用的“未显性表达”的信息，结合标注信息，有效的挖掘这部分样本数据具有很高的临床应用价值。所以如何利用有限的标记数据和大量的未标记数据建立有效的模型是当前人工智能模型可泛化的关键挑战之一。

另一方面，在当今飞速发展的大数据时代，每天从不同领域都会产生大量的数据。通过这些不同类型/模态的数据，模型对同一事物的表征也变得更加具体、全面。在医疗领域，医生在诊断一个病人是否有某种疾病，可以汇总病人的各种医学影像数据，查看其医疗记录，或获得临床病理结果，通过综合这些信息得到一个更加精准的判断。但是当前基于人工智能的图像分割方法，大都通过对单一模态数据进行统计分析或机器学习来建模。实际上，仅依靠单种模态的数据难以发现图像中不同层次不同因素之间蕴含的协同语义信息。比如，在判断样本图像的区域和类别时，由于单模态的影像都只能特定的反映某些生理结构或者功能性的改变，判断准确率不能令人满意。而不同模态医学影像数据，如MRI,DT1,fMRI可从各自特定角度提供生理结构区域状态信息，为疾病的诊断提供辅助帮助。但数据的类型和标签属性差异较大，难以通过一个图像分割方法来判断。

现有的半监督学***滑-低密度假设(Smoothness&Low-density assumption)和流形假设(Manifold assumption)。

平滑-低密度假设是指样本数据间的距离相互比较近时，则他们拥有相同的类别且决策边界应该尽量通过数据较为稀疏的地方，避免把稠密的样本分到决策边界的两侧。在这一假设的前提下，学习算法就可以利用大量未标记的样本数据来分析样本空间中样本分布情况，从而指导学习算法对分类边界进行调整，使其尽量通过样本数据布局比较稀疏的区域。

流形假设主要基于输入空间由多个低维流形组成，所有数据点都位于这些流形上，并且位于同一流形上的数据点具有相同的标签。得益于深度学习技术的发展[4-6]，半监督学习方法在过去几年得到了快速发展，比如Dong-Hyun Lee[7]提出了一个非常简单有效的伪标签利用方案。首先在一批有标签和没有标签的图像上同时训练一个模型。以普通的监督的方式对有标签图像进行训练。利用同一模型对一批没有标签的图像进行预测，并使用置信度最大的类作为伪标签。Ding等人[8]通过对抗训练学习生成模型以此逼近实际的数据流形，同时提出了一种新的基于特征相似度的伪标记方法，在统一设置下使用两种可能的伪标签编码，提高了特征的区分性。Laine等人[9]提出了π-Model，对于任何给定的输入，使用不同的正则化预测两次，目标减小两次预测之间的距离，提升模型在不同扰动下的一致性。在π-Model的基础上进一步提出了Temporal Ensembling，其整体框架与π-Model类似，在获取无标签数据的处理上采用了相同的思想，在目标函数的无监督一项中使用时序组合模型，有效地保留了历史信息并稳定了当前值。Xie等人[10]利用自动增强创建一个增强版本的无标签样本。然后用同一模型对增强前后的两个样本标签进行预测，约束这两个预测的分布保持一致性。FixMatch[11]使用交叉熵将弱增强和强增强的无标签数据进行一致性正则化，使用弱增强的数据作为伪标签，通过使用交叉熵进行一致性正则化。

现有的多模态融合的主要目标是缩小模态间的异质性差异，同时保持各模态特定语义的完整性，目前多模态融合架构分为三类[12][13]：联合(Joint)架构、协作(Coordinated)架构和编解码(Encoder-Decoder)架构。联合架构是将单模态表示投影到一个共享语义子空间中，以便能够融合多模态特征；每个单一模态通过一个单独的编码后，被映射到一个共享子空间中，遵循这一策略，在视频分类[14]、情感识别[15]、视觉问答[16]等多模态分类或回归任务中都表现出较优的性能。

目前基于神经网络的联合表示方法展现出了优越的性能，并且能够在无监督的情况下对表示进行预训练。然而，性能的提高取决于训练样本的数量。协同架构包括跨模态相似模型和典型相关分析，其目的是协调子空间中模态间的关联关系；主流的协同方法是基于交叉模态相似性方法,旨在学习一个共享子空间，从而使不同模态表示集的相关性最大化[17]。近年来，神经网络已成为一种常用的构造协调表示的方法。其优势在于能够以端到端的方式共同学习协调的表示[18]。但其缺点是模态融合难度较大，跨模态学习模型不容易实现。编解码架构主要是利用模态映射的中间表示。通常用于将一种模态映射到另一种模态的多模态转换任务中，主要由编码器和解码器两部分组成[19][20]。编解码器架构主要关注共享语义捕获和多模序列的编解码问题。为了更有效地捕获两种模态的共享语义，编码器通常利用一些正则化技术保持模态之间的语义一致性。解码器负责推理高级语义，以保证源模态中语义的正确理解和目标模态中新样本的生成。与其它框架相比，编解码器框架的优点是能够在源模态基础上生成新的目标模态样本。其缺点是每个编码器和解码器只能编码其中一种模态。现有技术存在不足。

参考文献:

[1]Van Engelen J E,Hoos H H.“A survey on semi-supervised learning,”Machine Learning,2020,109(2):373-440.

[2]周志华,王迁.机器学习及其应用,北京:清华大学出版社,2007.

[3]刘建伟，刘媛,罗雄麟.“半监督学习方法,”计算机学报,2015,38(8):1592-1617.

[4]Olsson V,Tranheden W，Pinto J，Svensson,L.“Classmix:Segmentation-based data augmentation for semi-supervised learning，”in Proceedings of theIEEE Winter Conference on Applications of Computer Vision,2021:1369-1378.

[5]Zhai X,Oliver A,Kolesnikov A,Beyer，L.“S4l:Self-supervised semi-supervised learning,”in Proceedings of the IEEE International Conference onComputer Vision，2019:1476-1485.

[6]Wang Q，Li W,Gool L V.“Semi-supervised learning by augmenteddistribution alignment，”in Proceedings of the IEEE International Conferenceon Computer Vision,2019:1466-1475.

[7]Lee D H.“Pseudo-label:The simple and efficient semi-supervisedlearning method for deep neural networks,”in Workshop on challenges inrepresentation learning,ICML,2013,3(2).

[8]Ding G,Zhang S,Khan S,Tang,Z.,Zhang,J.,Porikli,F.“Featureaffinity-based pseudo labeling for semi-supervised person re-identification,”IEEE Transactions on Multimedia,2019,21(11):2891-2902.

[9]Laine S,Aila T.“Temporal ensembling for semi-supervised learning,”in Proceedings of the International Conference on LearningRepresentations.2017.

[10]Xie Q,Dai Z,Hovy E,Luong,M.T,Le,Q.V.“Unsupervised dataaugmentation for consistency training,”arXiv preprint arXiv:1904.12848,2019.

[11]Sohn K et al.“FixMatch:Simplifying Semi-Supervised Learning withConsistency and Confidence,”in Proceedings of the Advances in NeuralInformation Processing Systems,2020,33.

[12]

T,Ahuja C,Morency L P.“Multimodal machine learning:A survey and taxonomy，”IEEE Transactions on Pattern Analysis and MachineIntelligence,2018,41(2):423-443.

[13]Zhang C,Yang Z,He X,Deng,L.“Multimodal intelligence:Representation learning,information fusion,and applications,”IEEE Journal ofSelected Topics in Signal Processing,2020,14(3):478-493.

[14]Qi M,Qin J,Yang Y,Wang,Y.,Luo,J.“Semantics-Aware Spatial-TemporalBinaries for Cross-Modal Video Retrieval，”IEEE Transactions on ImageProcessing，2021，30:2989-3004.

[15]Zhang J，Yin Z，Chen P,Nichele,S.“Emotion recognition using multi-modal data and machine learning techniques:A tutorial and review，”InformationFusion,2020，59:103-126.

[16]Anderson P，He X,Buehler C,Teney，D.，Johnson，M.，Gould，S.，Zhang，L.“Bottom-up and top-down attention for image captioning and visual questionanswering,”in Proceedings of the IEEE Conference on Computer Vision andPattern Recognition,2018:6077-6086.

[17]Zhang J,Peng Y,Yuan M.“Sch-gan:Semi-supervised cross-modalhashing by generative adversarial network,”IEEE Transactions on Cybernetics,2018,50(2):489-502.

[18]Zhang H,Wang Y,Long Y,Yang,L.,Shao,L.“Modality independentadversarial network for generalized zero shot image classification,”NeuralNetworks,2021,134:11-22.

[19]Zhang P,Zhang B,Chen D,Yuan,L.,Wen,F.“Cross-domain correspondencelearning for exemplar-based image translation,”in Proceedings of the IEEEConference on Computer Vision and Pattern Recognition,2020:5143-5153.

[20]Huang X,Liu M Y,Belongie S,et al.Multimodal unsupervised image-to-image translation，”in Proceedings of the European Conference on ComputerVision,2018:172-189.

发明内容

为了解决上述技术问题中的至少一个，本发明基于对半监督学习模型的训练中监督模式的改进，在有限的标注数据资源下，提高网络对标记样本和无标签样本特征提取的鲁棒性。本发明实施例提供了一种基于互学习的半监督医学图像分割方法，包括以下步骤：

S1.引入至少两个半监督学习模型；

S2.两个所述半监督模型以对偶的形式连接，使两个所述半监督模型中的教师网络以及学生网络实现多师生交互，以构建基于互学习的深度半监督学习网络；

S3.为所述基于互学习的深度半监督学习网络输入样本，通过所述教师网络和所述学生网络在训练过程中的交替互相监督，以及所述学生网络中的模仿损失函数，迫使不同的学生网络之间、教师网络之间，以及学生网络-教师网络间的类别预测概率分布保持一致；

所述教师网络的参数由所述学生网络在训练过程中的参数移动平均得到；所述样本包括有标签样本图像和无标签样本图像。

本发明还提供一种基于互学习的半监督医学图像分割***，包括：样本，还包括基于互学习的深度半监督学习网络模型；

所述基于互学习的深度半监督学习网络模型由至少两个半监督学习模型组成；

两个所述半监督模型以对偶的形式连接，使两个所述半监督模型中的教师网络以及学生网络实现多师生交互；

输入所述样本后，所述基于互学习的深度半监督学习网络通过所述教师网络和所述学生网络在训练过程中的交替互相监督，以及所述学生网络中的模仿损失函数，迫使不同的学生网络之间、教师网络之间，以及学生网络-教师网络间的类别预测概率分布保持一致；

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行如上述的医学图像分割方法的步骤。

本发明实施例中的基于互学习的半监督医学图像分割方法及其***，采用至少两个半监督学习模型进行对偶组合，构建基于互学习的深度半监督学习网络。通过网络中不同子网络(学生网络、教师网络)在训练过程中的交替互相监督，并迫使其输出的类别预测概率分布保持一致，有效的提高了对无标签样本图像的判断准确性，提高了对标记样本和无标签样本特征提取的鲁棒性。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明基于互学习的半监督医学图像分割方法的流程图；

图2为本发明基于互学习的深度半监督学习网络的功能示意图；

图3为本发明学生网络进行交叉模态分布对齐的功能示意图；

图4为本发明多水平一致性约束的约束类型。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

参见图1-2，根据本发明一实施例，提供了一种基于互学习的半监督医学图像分割方法，包括以下步骤：

S1.引入至少两个半监督学习模型。

S2.两个所述半监督模型以对偶的形式连接，使两个所述半监督模型中的教师网络以及学生网络实现多师生交互，以构建基于互学习的深度半监督学习网络，实现图像的特征监督与修正。

网络主体构建如下：引入对偶的双半监督学***均得到,其中ε表示指定的权重指数：

具体实施时，在训练过程中，每个学生网络的损失函数由两部分组成：

(1)利用标签样本计算监督学习损失

通常可选用交叉熵损失来表示该监督学习损失；

(2)模仿损失:使不同学生之间、教师之间以及学生-教师间的类别预测概率保持一致(此处不显式的利用标签数据，而是通过迫使不同对象间的输出分布保持一致，无标签的训练样本可通过模仿损失有效的参与到网络的训练过程)。

本发明设计基于互学习的方式，构建基于互学习的深度半监督学习(mean-teacher)网络，提升半监督学习中学生网络和教师网络对标记样本图像和无标签样本图像的特征提取的鲁棒性，实现特征的相互修正。互学习始于用一组基本网络，共同学习求解相同的目标任务。在相互学习网络中，每个子网络有效地汇集了他们对下一个最有可能的类别的集体估计，这有助于得到一个更健壮和泛化能力更强的网络。

进一步的，所述学生网络的损失函数还包括：监督学习损失函数；所述监督学习损失函数通过所述有标签样本图像计算得到。

进一步的，在所述步骤S3中，采用相对熵进行所述类别预测概率分布一致性的度量。

在实际当中采用Kullback-Leibler(相对熵)散度D_KL(.||.)，即相对熵进行教师网络之间(D_KL(T₁||T₂))，学生网络之间(D_KL(S₁||S₂))以及教师-学生网络之间(D_KL(T₁||S₂)以及D_KL(T₂||S₁))预测输出的类别预测分布一致性度量：

在这种基于同伴教学的训练中，网络更新时通过最小化上述损失函数，使得每个分支的教师-学生网络的学习效果都比在单独学习要得到提升，同时通过多师生交互，使得网络的鲁棒性进一步增强。

如图4所示所述步骤S3在所述交替互相监督过程中还包括以下步骤：

S4.考量同类和不同类别的样本以及样本之间的关系，多层级构建一致性约束，从所述无标签样本图像中提取有用的语义信息，可以更加有效地使用无标签样本图像，降低无关的无标签样本图像对算法性能的影响。

进一步的，在所述层级包括：单个样本实例水平、多样本间关系水平和类别水平。

其中，样本实例水平：构建样本及其对应扰动样本预测输出的一致性，例如对样本特征f₁及其扰动后特征f′₁，约束其预测输出值保持一致，定义C₁表示样本实例的一致性，p(f₁)，p(f′₁)表示样本特征f₁和扰动后特征f′₁的预测分布，

表示欧式距离度量。其表达式为：

样本间关系水平：给定多个样本实例

构建关系图

其中V表示多个实例特征的集合，实例特征之间的关系A(i，j)组成边集E，如每条边定义为两相邻实例特征之间的欧式距离

N表示样本实例的数目；

由此同理可构建对应扰动样本实例的关系图

约束其关系矩阵之间的一致性，定义C₂表示样本间关系的一致性，A，A′分别表示样本特征

间及扰动后样本特征

间的关系矩阵，

表示Frobenius范数度量。其表达式为：

类别关系水平：样本间关系水平的一致性刻画了一组样本实例之间的关系(相似度/不相似度)，但是仍缺乏类别信息的有效引入，为了进一步使网络学***的一致性正则约束，首先通过高置信度的伪类标(基于互学习算法可得到)为部分无标签样本标记，由此可计算得到相应的类中心集合

利用对应的扰动样本特征得到扰动后的类中心

计算类中心的相似度矩阵

和扰动后的类中心相似度矩阵S′，

K表示类别数目，约束其相似度矩阵之间的一致性，定义C₃表示类别关系的一致性，

表示Frobenius范数度量。其表达式为：

通过上述多水平的一致性正则约束，有效的挖掘了样本、样本间以及类别间的语义信息，提升半监督模型对无标签样本的有效利用率。综上，整体多水平一致性正则约束C可表达如下：

C＝α₁C₁+α₂C₂+α₃C₃；

α₁，α₂，α₃是平衡参数，用来调制各约束的权重。

在上述实施例中，在互学***一致性约束机制，可以进一步的提高互学习的深度半监督学习网络对于无标签样本图像的语义挖掘，减小无标签样本图像对模型预测结果的不良影响。

如图3所示，为了引入多模态信息，同时避免过于复杂的网络设计所述步骤S3在输入样本时还包括以下步骤：

S5.所述学生网络通过交叉模态分布对齐机制消除不同模态间样本的分布偏移；

所述交叉模态分布对齐机制以最大化平均差异算法度量不同模态之间的特征分布相似度来实现。

本发明设计通过交叉模态分布对齐机制，消除不同模态间的分布偏移。由于互学***均差异(maximum mean discrepancy，MMD)进行交叉模态的分布对齐。假设存在一个公共的低维流形，使得多模态数据可以投影到该子空间中。我们拟采用MMD度量不同模态之间的特征分布相似度。不失一般性，对任意两个模态的特征表示z_i,z_j,MMD可以计算如下：

其中假设z_i,z_j分别是从分布p,q中通过独立同分布采样得到，T表示一个在样本空间上的连续函数集，F表示特征空间映射到实数集上所有函数τ的集合，E表示数学期望，sup(.)表示上确界。本发明中τ选用高斯核函数计算。在训练过程中通过最小化MMD差异，实现交叉模态的分布对齐，进而有效促进了多模态信息的融合。

在上述实施例中，由于教师网络的参数由所述学生网络在训练过程中的参数移动平均得到；因此，学生网络中针对多模态医学影像引入交叉模态分布对齐机制时，教师网络也会相应引入该机制处理多模态样本图像。不仅使得互学习的深度半监督学习网络的样本由单模态向多模态扩展，也可以进一步的消除模态信息的冗余，最大化的实现交叉模态的信息互补，提升模型的预测性能。

进一步的，所述学生网络的损失函数还包括：监督学习损失函数，通过所述有标签样本图像计算得到。

进一步的，所述半监督模型还包括多水平一致性正则模块，用于考量同类和不同类别的样本以及样本之间的关系，多层级构建一致性约束，从所述无标签样本图像中提取有用的语义信息。

进一步的，所述学生网络还包括通过交叉模态分布对齐机制消除不同模态间样本的分布偏移的多模态处理单元。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行如上述任意一项所述的医学图像分割方法的步骤。

综上，本发明的基于互学***一致性正则约束到半监督模型中，同时在模型中的学生网络中采用交叉模态分布匹配，使基于互学***一致性正则约束降低无关的无标签样本对算法性能的影响。在有限标注样本的条件下，最大化提升半监督学习方法对无标签样本图像的利用效率，提升模型的准确率和泛化能力。

此外，上述存储介质以及终端设备中的多条指令处理器加载并执行的具体过程在上述方法中已经详细说明，在这里就不再一一陈述。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims

1.一种基于互学习的半监督医学图像分割方法，其特征在于，包括以下步骤：

S1.引入至少两个半监督学习模型；

2.根据权利要去1所述的医学图像分割方法，其特征在于，所述学生网络的损失函数还包括：监督学习损失函数；所述监督学习损失函数通过所述有标签样本图像计算得到。

3.根据权利要去1所述的医学图像分割方法，其特征在于，在所述步骤S3中，采用相对熵进行所述类别预测概率分布一致性的度量。

4.根据权利要去1所述的医学图像分割方法，其特征在于，所述步骤S3在所述交替互相监督过程中还包括以下步骤：

S4.考量同类和不同类别的样本以及样本之间的关系，多层级构建一致性约束，从所述无标签样本图像中提取有用的语义信息。

5.根据权利要去4所述的医学图像分割方法，其特征在于，在所述层级包括：单个样本实例水平、多样本间关系水平和类别关系水平。

6.根据权利要去1所述的医学图像分割方法，其特征在于，所述步骤S3在输入样本时还包括以下步骤：

7.一种基于互学习的半监督医学图像分割***，包括：样本，其特征在于，还包括基于互学习的深度半监督学习网络模型；

8.根据权利要去7所述的图像分割***，其特征在于，所述学生网络的损失函数还包括：监督学习损失函数，通过所述有标签样本图像计算得到。

9.根据权利要去8所述的图像分割***，其特征在于，所述半监督模型还包括多水平一致性正则模块，用于考量同类和不同类别的样本以及样本之间的关系，多层级构建一致性约束，从所述无标签样本图像中提取有用的语义信息。

10.根据权利要去9所述的图像分割***，其特征在于，所述学生网络还包括通过交叉模态分布对齐机制消除不同模态间样本的分布偏移的多模态处理单元。

11.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行如权利要求1-6任意一项所述的医学图像分割方法的步骤。