CN117951632B - 基于多模态原型网络的pu对比学习异常检测方法及*** - Google Patents

Abstract

本发明公开一种基于多模态原型网络的PU对比学***衡和缺少标注负样本造成的分类偏差，可应用于医疗诊断，辅助医生高效、准确地筛查病症，具有广泛的应用前景。

Description

基于多模态原型网络的PU对比学习异常检测方法及***

技术领域

本发明涉及医疗人工智能技术领域，更具体的说是涉及一种基于多模态原型网络的PU对比学习异常检测方法及***。

背景技术

在当今的医疗诊断领域中，准确迅速地诊断出病人的疾病变得越来越重要。传统的医学诊断方法主要依赖于医生的经验和知识，具有耗时效率低、无法处理大量患者数据、缺乏自动化和智能化的问题。医疗人工智能技术以其在图像识别、自然语言处理和深度学***衡性使得训练一个有效的分类器变得尤为困难，并且偏差较大。

为解决上述问题，现有的多模态异常检测方法大多通过数据增强技术来平衡正负样本，例如通过翻转、切分或添加噪声来人工地增加正样本数量，但这种方式无法充分捕捉数据的内在关联，而且可能引入额外的噪声。除此之外，目前一些先进的方法使用半监督学习对未标注数据进行学习，试图从大量未标注样本中提取有用信息，但通常需要精心设计损失函数和训练策略，面临模型难收敛，易坍塌的问题。

因此，提出一种基于多模态原型网络的PU对比学***衡和资源有限的情境下，实现准确和有效的二分类，是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种基于多模态原型网络的PU对比学***衡性，聚类结果存在偏差，为解决这一问题，通过融合正无标签(PU)学习的自监督对比学习策略对上述聚类结果进行无偏风险估计，判断样本所属类别，旨在从无标签样本中准确地识别出正类、负类样本。

为了实现上述目的，本发明采用如下技术方案：

一方面，本发明公开一种基于多模态原型网络的PU对比学习异常检测方法，包括以下步骤：

采集多模态数据，所述多模态数据包括脑电模态数据和文本模态数据；

构建无偏分类模型，并对所述无偏分类模型进行训练；所述无偏分类模型包括特征提取与融合网络、多模态特征增强的原型网络以及PU对比学***衡性所造成的偏差，实现多模态数据的分类；

将所述多模态数据输入到训练后的无偏分类模型中，输出所述多模态数据所属的类别。

优选的，采集多模态数据包括对所述多模态数据进行预处理；

将所述多模态数据划分为部分标记正样本X_P，和未标记样本X_U，所述部分标记正样本X_P的标签为Y＝+1，所述未标记样本X_U无标签。

优选的，所述特征提取与融合网络包括扩张卷积网络、BERT模型和多头自注意力机制；

所述扩张卷积网络和所述BERT模型分别用于所述脑电模态数据和所述文本模态数据的特征提取；所述多头自注意力机制用于将所述多模态数据的特征进行融合，生成所述融合特征。

优选的，所述多模态特征增强的原型网络通过融合特征计算k类的原型c_k，c_k＝{c_P，c_U}，其中，c_P为所述部分标记正样本X_P的原型即正类原型，c_P∈R^d；c_U为所述未标记样本X_U的原型即未标签原型c_U∈R^d，但因未标签数据中包含正类样本和负类样本，所以未标签原型C_U具有一定的偏差；

计算每个样本x_i与各个原型c_k在嵌入空间中的欧几里德距离，得到二分类的概率分布p_φ(y＝k|x_i)。

优选的，所述多模态特征增强的原型网络的损失函数为：

其中，X为数据样本，O(x_i)为样本x_i的融合特征。

优选的，所述PU对比学习网络将所述融合特征与所述原型C_k进行合并操作得到样本对Z_i；基于所述样本对Z_i构建无偏的风险估计函数，即PU对比学习损失函数。

优选的，将所述融合特征与所述原型C_k进行合并操作得到样本对Z_i，包括：

通过所述部分标记正样本X_P的融合特征O_P与所述正类原型计算得到正样本对 所述未标记样本X_U的融合特征O_U与所述未标签原型c_U计算得到样本对

优选的，所述无偏风险估计函数，即PU对比学习损失函数为：

其中，π_P表示正样本的先验概率。

优选的，将所述多模态数据输入到训练后的所述无偏分类模型中，输出所述多模态数据所属的类别，包括：

将所述多模态数据输入到所述特征提取与融合网络中，生成一个融合特征O_i；

计算所述融合特征O_i与所述多模态特征增强的原型网络中各个原型c_k在嵌入空间中的欧几里德距离，得到样本分类的概率分布p_φ；

根据所述概率分布p_φ判定所述多模态数据所属的类别。

另一方面，本发明还公开一种基于多模态原型网络的PU对比学习异常检测***，用于实现上述基于多模态原型网络的PU对比学习异常检测方法，包括：

数据采集模块，用于采集多模态数据，所述多模态数据包括脑电模态数据和文本模态数据；

模型构建模块，用于构建无偏分类模型，并对所述无偏分类模型进行训练；所述无偏分类模型包括特征提取与融合网络、多模态特征增强的原型网络以及PU对比学***衡性所造成的偏差，实现多模态数据的精准分类；

检测及输出模块，用于将所述多模态数据输入到训练后的无偏分类模型中，输出所述多模态数据所属的类别。

经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于多模态原型网络的PU对比学***衡数据的分类任务，尤其适用于医学领域中正样本稀缺且标注成本高昂的场景，通过分析有限的多模态正样本和大量的无标签数据，能够准确地区分出正样本和负样本，无需耗费昂贵的人工标注成本。另一方面，为了解决无标签样本分类中的偏差问题，本发明将对比学习融合到PU学习中，通过对比学习算法，能够自主挖掘多模态数据内部的特征表示，学习得到面向异常检测的多模态数据的低维特征表示，为下游的多模态分类任务提供高质量的特征。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的基于多模态原型网络的PU对比学习异常检测方法的流程图。

图2为本发明实施例提供的基于多模态原型网络的PU对比学习异常检测***的***架构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

一方面，本发明实施例公开了一种基于多模态原型网络的PU对比学习异常检测方法，如图1所示，包括如下步骤：

S1.采集多模态数据，多模态数据包括脑电模态数据和文本模态数据。

其中，采集多模态数据包括对多模态数据进行预处理；

假设X和Y是数据样本和标签，π_p＝p(Y＝+1)和π_n＝p(Y＝-1)是正样本和负样本的先验概率，且正样本的π_p已知。将多模态数据划分为标记正样本X_P，和未标记样本X_U，标记正样本X_P的标签为Y＝+1，未标记样本X_U缺少标签。

S2.构建无偏分类模型，并对无偏分类模型进行训练；无偏分类模型包括特征提取与融合网络、多模态特征增强的原型网络以及PU对比学习网络。

特征提取与融合网络根据多模态数据生成融合特征，通过多模态特征增强的原型网络对融合特征进行聚类，最后利用PU对比学***衡的多模态数据特征进行分类。

将上述的特征提取与融合网络、多模态特征增强的原型网络以及PU对比学习网络经过部分标注的多模态正样本数据和大量无标签多模态样本进行训练后，可获得一个用于实际推理测试的无偏分类模型，训练过程如图1中白色箭头所示。

具体地，为了构建更全面和具有代表性的多模态融合特征向量，本发明实施例构造了一个包括扩张卷积网络、BERT模型和多头自注意力机制的多模态特征提取与融合网络。

具体而言，扩张卷积网络负责脑电模态数据的特征提取，得到代表样本脑电特征的表示E＝{e₁，e₂，...，e_N}，BERT模型负责文本模态数据的特征提取，得到代表样本文本特征的表示S＝{s₁，s₂，...，s_N}，多头自注意力机制负责将这两个模态的特征进行高效融合，得到脑电和文本信息融合的特征O＝{o₁，o₂，...，o_N}。

扩张卷积网络的架构由一层线性投影层、多个扩张卷积网络和一个输出层组成。线性投影层为全连接层，将脑电数据从其原始特征维度(如3，64或128)映射到64个隐藏通道。扩张卷积网络由4个隐藏块组成，每个隐藏块由RELU层+扩张卷积层+RELU层+扩张卷积层构成。其中，每个隐藏块的扩张卷积通道数为64，卷积核大小为3，第i层扩张卷积的扩张率设为2ⁱ。这4个隐藏块之间通过残差连接进行串联，最终通过一个通道大小为256的输出层进行输出。对于文本模态的预训练BERT模型，设定其输出特征向量的维度为256。

在特征融合阶段，脑电特征表示E与文本特征表示S首先通过拼接操作合并，生成一个维度为512的联合特征向量M＝[m₁，m₂，...，m_N]∈R^N×d，然后由于采用了多头(共8个)的自注意力机制，对于每一个头h，计算三组可训练的参数矩阵

其中d_h是每个头h对应的特征维度，接着计算每个头的注意力分值A_i：

将得到的8个A_i通过拼接操作合并，并与矩阵进行线性变换，以获取最终的融合特征O：

O＝[A₁||A₂||...||_Ak]W₄|

其中||为拼接操作。

本实施例中根据获取融合特征O的方法分别计算标记正样本X_P的融合特征O_P，未标记样本X_U的融合特征O_U以及训练获得的融合特征O_i。

通过多头自注意力机制的加权和优化，最终生成的融合特征O不仅整合了来自脑电和文本数据的丰富信息，还具有更高的代表性和全面性。这一机制强化了模型的能力，使其能更准确地捕捉到不同模态之间的复杂关联，从而得到一个更全面、更具代表性的特征表示。

进一步，为了在特征嵌入空间中实现精准的聚类，本发明使用多模态融合特征增强的原型网络，旨在利用融合了脑电和文本数据的多模态特征获得更有鉴别力的原型。

因本发明任务为仅有部分正样本标签和大量未标记样本条件下的二分类任务，针对这种数据不平衡且缺少标记负样本的问题，为了获取高准确率的分类结果，关键在于学习到具有辨别力的原型，这样不仅可以更好地保留与类别相关的信息，同时还能减轻无标签样本中与正样本较为相似的负样本所带来的偏差性。为了实现这一目标，本发明采用上述提取的多模态融合特征来计算样本与所属类别之间的关系，使用这种多模态融合特征增强的原型网络生成更具鉴别力的原型。

首先通过融合特征O分别计算k类的原型c_k，c_k＝{c_P，c_U}，标记正样本的原型c_P∈R^d，未标记样本的原型c_U∈R^d，计算方式如下：

其中为标记的正样本，为未标记的样本，分别为标记正样本和未标记的融合特征。

因为未标记样本中大部分属于负类，只有π_p为正类，所以未标记样本的原型c_U可当成有偏的负类样本的原型c_N，从而样本标签可当成Y＝-1的伪标签。

然后计算每个样本x_i与各个原型c_k在嵌入空间中的欧几里德距离，从而得到二分类的概率分布p_φ(y＝k|x_i)：

O(x_i)为样本x_i的融合特征，其中k表示类别，本发明中k为2，R^d表示特征空间，其中d为具体的特征维度，y表示等于某个特定类别k的概率。

最后计算数据集中所有样本的损失函数训练多模态特征增强的原型网络，通过最小化负对数概率来进行，并且因目前的原型网络中c_N是有偏的，即多模态特征增强的原型网络的损失函数为：

进一步，为了解决未标记样本所造成的多模态特征增强的原型网络存在偏差性这一问题，本发明引入基于PU学习的对比学习网络，即PU对比学习网络，不仅可以提升原型网络中同类样本间的相似性，降低差异类样本间的相似性，获取类别更为鲜明的特征表示，同时采用无偏的PU学习的策略可以解决未标记样本原型中的正样本数据造成的偏向性，最终获取更具区分度和代表性的特征及原型网络，提升分类任务的准确性。

因本发明的任务只有部分正样本标签和大量无标签样本，为了解决偏差性，采用无偏的PU学习策略，其依靠的是无偏的风险评估器，假设g_φ是任意的决策函数，l_pu是损失函数，那么正样本的经验风险负样本的经验风险那么函数g_φ在传统的具有正样本和负样本的二分类任务上的整体经验风险是：

其中π_P是正样本的类先验概率，π_n是负样本的类先验概率。

而在PU学习进行训练的时候，因数据的分布是通过采样获取的，并且只有正样本，缺少负样本，所以需要通过近似获得，且因所以PU学习的风险评估函数可近似为：

其中和计算如下：

根据定义，应该非负，可在PU学习训练的时候，该近似值在学习后期可能会出现为负数的情况，从而出现过拟合的现象。为了解决这一问题，本发明采用在风险损失函数中引入max操作，具体公式为：

上述公式可得，在π_P已知的条件下，为了进一步降低风险损失函数，需降低即从未标记样本中准确识别出正样本。为了达到这一目的，本发明引入对比学习的方法，借助对比学习自监督地挖掘无标签多模态数据内部的特征表示。

因对比学习方法的关键在于正负样本对的选择。为了构建具有差异化的正负样本对，本实施例将训练获得的融合特征O_i与原型c_k使用函数φ(x)进行合并操作：

其中φ(x)可采用加权平均，拼接，取最大值等多种形式，所得z_i∈R^d。

具体地，通过正样本标签的融合特征O_P与正类原型c_P计算得到 作为正样本对，而未标记样本的融合特征O_U与未标签原型c_U计算得到 因中部分样本为负类，只有π_P概率为正样本，所以可近似为有偏的负样本原型。为了解决有偏性这一问题，结合上述的无偏风险估计方法，构建对比学习损失函数L_cpu，并基于该函数对PU对比学习网络进行优化，对比学习损失函数L_cpu公式如下：

因上述中故公式中需计算

S3.将多模态数据输入到训练后的无偏分类模型中，输出多模态数据所属的类别，具体操作步骤叙述如下：

(1)将采集的脑电、文本多模态数据输入到特征提取与融合网络中，从而生成一个全面且具有代表性的融合特征O_i；

(2)计算该融合特征O_i与多模态原型网络中各个原型c_k在嵌入空间中的欧几里德距离，从而得到样本分类的概率分布p_φ；

(3)根据该概率分布p_φ判定样本所属的类别。

可见，模型训练完成后，在推理阶段仅需要将获取的多模态(脑电、文本)数据作为输入，模型便能准确地判定其所属类别，从而完成在数据不平衡和标签有限环境下的分类任务。

另一方面，本发明还提出一种基于多模态原型网络的PU对比学习异常检测***，参考图2，该***用于实现上述基于多模态原型网络的PU对比学习异常检测方法，包括：

数据采集模块，用于采集多模态数据，多模态数据包括脑电模态数据和文本模态数据；

模型构建模块，用于构建无偏分类模型，并对所述无偏分类模型进行训练；无偏分类模型包括特征提取与融合网络、多模态特征增强的原型网络以及PU对比学***衡性，聚类结果存在一定的偏差，为解决这一问题，最后利用PU对比学习网络对上述有偏聚类结果进行无偏风险估计，纠正产生的偏差，对多模态数据进行分类；

检测及输出模块，用于将多模态数据输入到训练后的无偏分类模型中，输出所述多模态数据所属的类别。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (7)

1.一种基于多模态原型网络的PU对比学习异常检测方法，其特征在于，包括以下步骤：

采集多模态数据，所述多模态数据包括脑电模态数据和文本模态数据；

构建无偏分类模型，并对所述无偏分类模型进行训练；所述无偏分类模型包括特征提取与融合网络、多模态特征增强的原型网络以及PU对比学习网络；所述特征提取与融合网络根据多模态数据生成融合特征，通过所述多模态特征增强的原型网络对所述融合特征进行聚类得到有偏聚类结果，最后利用所述PU对比学习网络对所述有偏聚类结果进行无偏风险估计并纠正偏差，实现所述多模态数据的分类；

其中，所述PU对比学习网络将所述融合特征与原型c_k进行合并操作得到样本对Z_i；基于所述样本对Z_i构建无偏风险估计函数，即PU对比学习损失函数；根据所述PU对比学习损失函数优化所述PU对比学习网络；

将所述融合特征与原型c_k进行合并操作得到样本对Z_i，包括：

通过部分标记正样本X_P的融合特征O_P与正类原型c_P计算得到正样本对 未标记样本X_U的融合特征O_U与未标签原型c_U计算得到样本对 其中c_k＝{c_P，c_U}；

将所述多模态数据输入到训练后的无偏分类模型中，输出所述多模态数据所属的类别，包括：

将所述多模态数据输入到所述特征提取与融合网络中，生成一个融合特征O_i；

计算所述融合特征O_i与所述多模态特征增强的原型网络中各个原型c_k在嵌入空间中的欧几里德距离，得到样本分类的概率分布p_φ；

根据所述概率分布p_φ判定所述多模态数据所属的类别。

2.根据权利要求1所述的一种基于多模态原型网络的PU对比学习异常检测方法，其特征在于，采集多模态数据包括对所述多模态数据进行预处理；

将所述多模态数据划分为部分标记正样本X_P，和未标记样本X_U，所述部分标记正样本X_P的标签为Y＝+1，所述未标记样本X_U无标签。

3.根据权利要求1所述的一种基于多模态原型网络的PU对比学习异常检测方法，其特征在于，所述特征提取与融合网络包括扩张卷积网络、BERT模型和多头自注意力机制；

所述扩张卷积网络和所述BERT模型分别用于所述脑电模态数据和所述文本模态数据的特征提取；所述多头自注意力机制用于将所述多模态数据的特征进行融合，生成所述融合特征。

4.根据权利要求3所述的一种基于多模态原型网络的PU对比学习异常检测方法，其特征在于，所述多模态原型网络通过融合特征计算k类的原型c_k，c_k＝{c_P，c_U}，其中，c_P为所述部分标记正样本X_P的原型即正类原型，c_P∈R^d；c_U为所述未标记样本X_U的原型即未标签原型c_U∈R^d；

计算每个样本x_i与各个原型c_k在嵌入空间中的欧几里德距离，得到二分类的概率分布p_φ(y＝k|x_i)；

其中，k表示类别，y表示等于某个特定类别k的概率，R^d表示特征空间，d为特征维度。

5.根据权利要求4所述的一种基于多模态原型网络的PU对比学习异常检测方法，其特征在于，所述多模态特征增强的原型网络的损失函数为：

其中，X为数据样本，O(x_i)为样本x_i的融合特征。

6.根据权利要求1所述的一种基于多模态原型网络的PU对比学习异常检测方法，其特征在于，所述PU对比学习损失函数为：

其中，π_P表示正样本的先验概率。

7.一种基于多模态原型网络的PU对比学习异常检测***，其特征在于，包括：

数据采集模块，用于采集多模态数据，所述多模态数据包括脑电模态数据和文本模态数据；

模型构建模块，用于构建无偏分类模型，并对所述无偏分类模型进行训练；所述无偏分类模型包括特征提取与融合网络、多模态特征增强的原型网络以及PU对比学习网络；所述特征提取与融合网络根据多模态数据生成融合特征，通过所述多模态特征增强的原型网络对所述融合特征进行聚类得到有偏聚类结果，最后利用所述PU对比学习网络对所述有偏聚类结果进行无偏风险估计并纠正偏差，实现所述多模态数据的分类；

其中，所述PU对比学习网络将所述融合特征与原型c_k进行合并操作得到样本对Z_i；基于所述样本对Z_i构建无偏风险估计函数，即PU对比学习损失函数；根据所述PU对比学习损失函数优化所述PU对比学习网络；

将所述融合特征与原型c_k进行合并操作得到样本对Z_i，包括：

通过部分标记正样本X_P的融合特征O_P与正类原型c_P计算得到正样本对 未标记样本X_U的融合特征O_U与未标签原型c_U计算得到样本对 其中c_k＝{c_P，c_U}；

检测及输出模块，用于将所述多模态数据输入到训练后的无偏分类模型中，输出所述多模态数据所属的类别，包括：

将所述多模态数据输入到所述特征提取与融合网络中，生成一个融合特征O_i；

计算所述融合特征O_i与所述多模态特征增强的原型网络中各个原型c_k在嵌入空间中的欧几里德距离，得到样本分类的概率分布p_φ；

根据所述概率分布p_φ判定所述多模态数据所属的类别。