CN114330572A - 基于对比学习的异常检测方法、***及计算机存储介质 - Google Patents

基于对比学习的异常检测方法、***及计算机存储介质 Download PDF

Info

Publication number
CN114330572A
CN114330572A CN202111666302.9A CN202111666302A CN114330572A CN 114330572 A CN114330572 A CN 114330572A CN 202111666302 A CN202111666302 A CN 202111666302A CN 114330572 A CN114330572 A CN 114330572A
Authority
CN
China
Prior art keywords
abnormal
sample
anomaly detection
output
samples
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111666302.9A
Other languages
English (en)
Inventor
张春慨
左薇
韩培义
刘川意
段少明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Graduate School Harbin Institute of Technology
Original Assignee
Shenzhen Graduate School Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Graduate School Harbin Institute of Technology filed Critical Shenzhen Graduate School Harbin Institute of Technology
Priority to CN202111666302.9A priority Critical patent/CN114330572A/zh
Publication of CN114330572A publication Critical patent/CN114330572A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明提出了一种基于对比学习的异常检测方法、***及计算机存储介质。该方法包括异常检测模型训练阶段和异常检测阶段,其中异常检测模型训练阶段提取输入样本的特征向量,并对特征向量进行判别,根据判别结果计算异常检测模型的对比损失,利用对比损失对异常检测模型进行训练;异常检测阶段将待检测样本集中的样本输入训练好的异常检测模型,将输出的判别结果进行计算,得到异常得分;将所有样本的异常得分进行归一化处理,得到归一化异常得分,通过设置归一化异常得分阈值,判定样本是否异常。本发明在特征空间提取出有区分性的特征,并且判别输出的异常得分具有高区分性,在实际生活中的数据集异常检测上相比其他方法有较大提升。

Description

基于对比学习的异常检测方法、***及计算机存储介质
技术领域
本发明涉及异常检测技术领域,特别是涉及一种基于对比学习的异常检测方法、***及计算机存储介质。
背景技术
当***或者实体有不正常的行为时就会产生异常,因此异常包含了许多有用的信息来反映***或者实体的不正常特征,通过观察异常我们能从另一个角度来研究***,因此异常检测具有很重要的意义,异常检测在实际生活中也具有广泛的应用。例如:
(1)入侵检测***:在许多电脑***中,不同类型的数据是由操作***、网络运行或者用户操作产生的。当有恶意入侵发生时,这些数据就会变得异常,利用异常检测算法通过查找出数据中的异常能检测出这种非法入侵,为检测网络入侵提供了一种新的方案。
(2)银行卡欺诈:由于一些敏感信息如银行***码被盗,现在越来越多银行卡欺诈事件发生。非法使用他人银行卡会显示出一些不同的信息,比如在特殊的地点消费或者巨额消费。这些信息在银行卡交易数据中可以用于异常检测,从而防止进一步的损失。
(3)传感器异常:工厂传感器产生的不正常数据可能表示***的某部分出现了故障,及时发现并对故障维护能够减少工厂的损失。在现实生活中用于检测环境的传感器数据异常也是十分具有研究意义的。
(4)医学诊断:在许多医学应用中,数据来自各种设备,如磁共振成像扫描、正电子发射断层扫描或心电图(ECG)等各种数据,这些数据中的不寻常的模式通常反映了疾病状况,通过检测这些异常数据有助于医生进行疾病判断。
(5)地球科学:通过卫星或遥感等设备可以收集到与天气变化、气候转换或土地覆盖相关的大量数据。这些数据的异常现象提供了有关人类活动或环境趋势可能是引起该变化原因的重要见解,专家通过研究这些数据可能会得到一些意想不到的结果。
因此,及时检测出数据中包含的非正常数据具有重大的意义。异常是“少而不同”的,相比正常数据,异常数据的比例很低,并且异常在不同场景下种类不一而且具有复杂性。目前传统的机器学习异常检测算法虽然能够在无监督场景下进行异常检测,但在时间序列数据表示阶段容易丢失重要信息,并且在进行序列间的距离计算时复杂度高;近年基于深度学习的异常检测算法大量涌现,虽然能够更好地利用神经网络来提取更为复杂的深层特征,但也依赖于大量的正常数据样本进行模型训练。大部分基于深度学习的异常检测算法在训练时只关注正常数据的深度特征提取,当正常样本与异常样本比较相近时,提取的特征不能有效区分正常和异常。而在实际应用场景中其实部分异常数据是已知的,但现有的大多数异常检测算法并没有考虑利用这些先验知识,忽略了异常数据对模型的指导和反馈。
发明内容
本发明针对上述问题,提供了一种基于对比学习的异常检测方法、***及计算机存储介质,以对比学习为切入点,并将异常数据融入到异常检测模型训练中,提出基于对比学习的异常检测方法。从正负样本对和对比损失两方面进行研究:其中正负样本对的设计将更充分地利用场景相关的异常数据;对比损失设计上则以生成高区分性的异常得分为直接目标,指导异常检测模型提取出更具有区分性的特征,保证异常检测模型在抽象的特征空间进行异常检测时,能更容易地将异常数据区分出来。
本发明的第一方面,提供了一种基于对比学习的异常检测方法,方法包括以下步骤:
异常检测模型训练阶段:异常检测模型包括特征提取编码器模块和判别器模块,其中,特征提取编码器模块用于提取输入样本的特征向量,判别器模块用于对特征提取模块输出的特征向量进行判别,输出判别结果;根据判别结果计算异常检测模型的对比损失,利用对比损失对异常检测模型进行训练;
异常检测阶段:将待检测样本集中的样本输入训练好的异常检测模型,将特征提取编码器模块得到的特征向量输入判别器模块,将判别器模块输出的判别结果进行计算,得到异常得分;将待测测样本集中所有样本的异常得分进行归一化处理,得到归一化异常得分,通过设置归一化异常得分阈值,判定样本是否异常。
进一步的,特征提取编码器模块用于提取输入样本的特征向量,具体包括:
特征提取编码器模块包括两个线性全连接网络和编码器,输入样本经编码器输出后,两个线性全连接网络分别对编码器输出计算均值和方差,对均值和方差添加随机噪声,得到特征向量。
进一步的,判别器模块包括三个部分:判别网络Dxz、判别网络Dzz、判别网络Dzf,其中,判别网络Dxz对(x,z)组成的样本对进行判别;判别网络Dzz对(z,z)组成的样本对进行判别;判别网络Dzf对(z,f)组成的样本对进行判别,x表示输入样本,z表示特征提取编码器模块输出的特征向量,f表示特征提取编码器模块中编码器输出向量。
进一步的,判别器模块中将正常样本和正常样本对应的特征向量组成正样本对,将正常样本和异常样本对应的特征向量组成负样本对,判别网络Dxz中正样本对(xnor,znor)对应的输出概率设置为1,负样本对(xnor,zano)对应的输出概率设置为0;判别网络Dzz中正样本对(znor,znor)对应的输出概率设置为1,负样本对(znor,zano)对应的输出概率设置为0;判别网络Dzf中正样本对(znor,fnor)对应的输出概率设置为1,负样本对(znor,fano)对应的输出概率设置为0;其中,xnor表示正常样本,znor表示正常样本的特征向量,zano表示异常样本的特征向量,fnor表示正常样本对应的编码器输出向量,fano表示异常样本对应的编码器输出向量。
进一步的,异常检测阶段异常得分的具体表达式为:
Anoscorei=-(Dxz(xi,zi)+Dzz(zi,zi)+Dzf(zi,fi)),其中Dxz(xi,zi)、Dzz(zi,zi)、Dzf(zi,fi)
分别为判别网络Dxz、判别网络Dzz、判别网络Dzf对样本xi的输出。
进一步的,归一化处理得到归一化异常得分Anoscorei'具体表达式为:
Figure BDA0003448363750000031
其中min(Anoscore)为待检测样本集中最小的异常得分,max(Anoscore)为待检测样本集中最大的异常得分。
本发明的第二方面,提供了一种基于对比学习的异常检测***,***包括:
异常检测模型训练单元,用于对异常检测模型进行训练,异常检测模型包括特征提取编码器模块和判别器模块,其中,特征提取编码器模块用于提取输入样本的特征向量,判别器用于对特征提取模块输出的特征向量进行判别,输出判别结果;根据判别结果计算异常检测模型的对比损失,利用对比损失对异常检测模型进行训练;
异常检测单元,用于对待检测样本集中的样本进行异常检测,将待检测样本集中的样本输入训练好的异常检测模型,将特征提取编码器模块得到的特征向量输入判别器模块,将判别器模块输出的判别结果进行计算,得到异常得分;将待测测样本集中所有样本的异常得分进行归一化处理,得到归一化异常得分,通过设置归一化异常得分阈值,判定样本是否异常。
进一步的,特征提取编码器模块包括两个线性全连接网络和编码器,输入样本经编码器输出后,两个线性全连接网络分别对编码器输出计算均值和方差,对均值和方差添加随机噪声,得到特征向量。
本发明的第三方面,提供了一种基于对比学习的异常检测***,包括:处理器;以及存储器,其中,所述存储器中存储有计算机可执行程序,当由所述处理器执行所述计算机可执行程序时,执行上述基于对比学习的异常检测方法。
本发明的第四方面,提供了一种计算机可读存储介质,其上存储有指令,所述指令在被处理器执行时,使得所述处理器执行上述基于对比学习的异常检测方法。
本发明提供的一种基于对比学习的异常检测方法、***及计算机存储介质,关注在抽象的特征空间对数据区分,模型优化更加简单。该算法在正负样本对的设计时充分地利用场景相关的异常数据;在模型设计上以生成高区分性的异常得分为直接目标设计对比损失,指导模型中特征提取网络提取具有区分性的特征,同时保证判别网络能很好区分正常样本对应的特征向量和异常样本对应的特征向量,从而产生高区分性的异常得分。最终达到的有益效果:与已有的异常检测方法相比,本发明提供的一种基于对比学习的异常检测方法、***及计算机存储介质能在特征空间提取出有区分性的特征,并且判别网络输出的异常得分具有高区分性,在实际生活中的数据集上相比其他方法有较大提升,具有很大的实用价值。
附图说明
图1是本发明实施例的基于对比学习的异常检测方法中异常检测模型训练流程图;
图2是本发明实施例中的基于对比学习的异常检测***结构示意图;
图3是本发明实施例中的计算机设备的架构。
具体实施方式
为进一步对本发明的技术方案作详细说明,本实施例在以本发明技术方案为前提下进行实施,给出了详细的实施方式和具体的步骤。
本发明实施例针对基于对比学习的异常检测方法、***及计算机存储介质。提供了如下实施例:
基于本发明的实施例1
本实施例用于说明本发明解决技术问题的原理和异常检测模型训练步骤,在对比学习思想的指导下,如何使异常检测模型将为正常样本学习到更具有代表性的特征,而对异常样本则提取不到这种特征,因此两者之间的特征表示会具有“高区分性”,使异常检测模型更容易检测出异常样本。好的特征应当能够代表该样本的“独特”信息,可以使用互信息来衡量提取出的信息是否为该类样本所特有的:互信息可以度量两个随机变量之间的相互依赖程度,互信息越大,两者之间相关性越高。
假设X为原始数据集合,x∈X表示某一数据样本,Z为模型提取的特征向量集合,z∈Z表示某一特征向量;
Figure BDA0003448363750000041
表示x的分布,p(z|x)表示x所对应的特征向量分布;
Figure BDA0003448363750000042
Figure BDA0003448363750000043
表示p(z|x)给定后整个Z的分布,则X和Z之间的互信息I(X,Z)如下所示;
Figure BDA0003448363750000044
I(X,Z)表示x和z对应分布的联合分布和独立分布乘积的相对熵,最大化互信息,就是要最大化
Figure BDA0003448363750000045
Figure BDA0003448363750000046
之间的KL散度。除此之外,还需要约束特征向量所在的编码空间,因为散乱的编码空间往往反映模型过拟合,对训练样本学习地太好,实际测试结果可能很差;而规整、连续的编码空间更容易泛化到未知的新样本上,提高模型对未知的新样本的处理能力。因此本发明引入一个标准正态分布的先验分布p(z),并通过最小化p(z)和q(z)的KL散度,约束z服从该先验分布。将上述两部分约束综合考虑,得到损失函数如下述公式所示,式中λ,α,β均为可自主设置的权重,其中λ∈(0,1),α∈(0,1),β∈(0,1),α+β=1。
Figure BDA0003448363750000051
如图1所示,为本发明实施例的基于对比学习的异常检测方法中异常检测模型训练流程图,具体步骤包括异常检测模型训练阶段和异常检测阶段,其中异常检测模型训练阶段:
异常检测模型包括特征提取编码器模块和判别器模块,其中,特征提取编码器模块用于提取输入样本的特征向量,判别器模块用于对特征提取模块输出的特征向量进行判别,输出判别结果;根据判别结果计算异常检测模型的对比损失,利用对比损失对异常检测模型进行训练。
进一步的,特征提取编码器模块用于提取输入样本的特征向量,特征提取编码器模块将输入样本映射到潜在空间,潜在空间的低维向量就是提取出的特征向量,具体包括:特征提取编码器模块包括两个线性全连接网络和编码器,输入样本经编码器输出后,两个线性全连接网络分别对编码器输出计算均值和方差,对均值和方差添加随机噪声,得到特征向量。
具体实施过程中,特征提取编码器模块将输入样本x映射为包含重要信息的潜在向量z,为后续的正负样本对设计提供数据。同时编码器要保证特征向量所在的编码空间是规整连续的。借鉴变分自编码器VAE中的重参技巧,发明人添加两个线性全连接网络对编码器的输出f分别计算其均值μ和方差σ,然后为其添加随机噪声,将f转换为最终的特征向量z。因此相应的KL散度约束可以转换为如下公式lossKL,其中M为正常样本对应的特征向量znor_i的维度,∈为随机噪声,μnor_i和σnor_i为特征向量znor_i对应的均值和方差。
z=μ+σ·∈,(∈~N(0,1))
Figure BDA0003448363750000052
进一步的,判别器模块包括三个部分:判别网络Dxz、判别网络Dzz、判别网络Dzf,其中,判别网络Dxz对(x,z)组成的样本对进行判别;判别网络Dzz对(z,z)组成的样本对进行判别;判别网络Dzf对(z,f)组成的样本对进行判别,x表示输入样本,z表示特征提取编码器模块输出的特征向量,f表示特征提取编码器模块中编码器输出向量。
进一步的,因为好的正负样本对可以帮助异常检测模型在训练过程中更有效地提取出样本的关键特征。由于对比学习是能够学习同类实例之间的共同特征,并且区分出非同类实例,而针对异常检测,可以将正常样本和正常样本划分为同类实例,正常样本和异常样本划分为非同类。同时还希望提取出的特征向量和样本之间的相关性较高,且在该特征表示下正常样本和异常样本更容易区分开,因此,判别器模块中将正常样本和正常样本对应的特征向量组成正样本对,将正常样本和异常样本对应的特征向量组成负样本对,判别网络Dxz中正样本对(xnor,znor)对应的输出概率设置为1,负样本对(xnor,zano)对应的输出概率设置为0;判别网络Dzz中正样本对(znor,znor)对应的输出概率设置为1,负样本对(znor,zano)对应的输出概率设置为0;判别网络Dzf中正样本对(znor,fnor)对应的输出概率设置为1,负样本对(znor,fano)对应的输出概率设置为0;其中,xnor表示正常样本,znor表示正常样本的特征向量,zano表示异常样本的特征向量,fnor表示正常样本对应的编码器输出向量,fano表示异常样本对应的编码器输出向量。
具体实施过程中,判别器模块,用于对特征向量进行判别,输出相应的结果,对于正样本对判别模块应该输出更高的数值,而对于负样本对输出更低的数值,根据该结果可以计算对比损失,用于异常检测模型参数更新,其中,判别网络Dxz对(x,z)组成的样本对进行判定,输出相应的概率得分,其中正样本对(xnor,znor)对应的输出概率Dxz(xnor,znor)设置为1,负样本对(xnor,zano)对应的输出概率Dxz(xnor,zano)设置为0,对应的约束如公式如下:
lossDxz=E[logDxz(xnor,znor)]+E[log(1-Dxz(xnor,zano))]
判别网络Dzz对(z,z)组成的样本对进行判定,输出相应的概率得分。其中正样本对(znor,znor)对应的输出概率Dzz(znor,znor)设置为1;负样本对(znor,zano)对应的输出概率Dzz(znor,zano)设置为0,对应的约束如公式如下:
lossDzz=E[logDzz(znor,znor)]+E[log(1-Dzz(znor,zano))]
判别网络Dzf对(z,f)组成的样本对进行判定,输出相应的概率得分,其中正样本对(znor,fnor)对应的输出概率Dzf(znor,fnor)设置为1,负样本对(znor,fano)对应的输出概率Dzf(znor,fano)设置为0,对应的约束如公式如下:
lossDzf=E[logDzf(znor,fnor)]+E[log(1-Dzf(znor,fano))]
进一步的,根据正负样本对输入到判别网络之后对应的判别器计算出相应的概率,最后根据对比损失lossCLAD计算出整个模型对应的损失,以最小化对比损失为目标,对异常检测模型进行参数更新和优化,对比损失lossCLAD公式lossCLAD中α,β均为可自主设置的权重,优选实施例中,α,β均分权重1,分别为0.5。
lossCLAD=-α·[lossDxz+lossDzz+lossDzf]+β·lossKL
基于本发明的实施例2
本实施例用于在实施例1训练好的异常检测模型基础上提供了异常检测阶段的具体实现步骤,将待检测样本集中的样本输入训练好的异常检测模型,将特征提取编码器模块得到的特征向量输入判别器模块,将判别器模块输出的判别结果进行计算,得到异常得分;将待测样本集中所有样本的异常得分进行归一化处理,得到归一化异常得分,通过设置归一化异常得分阈值,判定样本是否异常。
具体实施过程中,将待检测样本集中的样本xi训练好的异常检测模型,通过特征提取编码器模块得到相应的特征向量zi,接着会得到三个判别网络判别网络Dxz、判别网络Dzz、判别网络Dzf输出的相应概率,概率越大说明提取出的特征更偏向于正常样本所特有特征,然后将概率相加并取反,得到相应的异常得分,异常得分越高越有可能是异常样本,异常检测阶段异常得分的具体表达式为:
Anoscorei=-(Dxz(xi,zi)+Dzz(zi,zi)+Dzf(zi,fi)),其中Dxz(xi,zi)、Dzz(zi,zi)、Dzf(zi,fi)
分别为判别网络Dxz、判别网络Dzz、判别网络Dzf对样本xi的输出。
进一步的,将待测样本集中所有样本的异常得分归一化到[0,1]的区间,越是异常的数据,异常得分越大接近1,归一化处理得到归一化异常得分Anoscorei'具体表达式为:
Figure BDA0003448363750000071
其中min(Anoscore)为待检测样本集中最小的异常得分,max(Anoscore)为待检测样本集中最大的异常得分。
通过设定阈值
Figure BDA0003448363750000072
只要
Figure BDA0003448363750000073
就认为该样本是异常的,优选的,
Figure BDA0003448363750000074
基于本发明的实施例3
以下,参照图2来描述根据本公开实施例1、实施例2的方法对应的***,一种基于对比学习的异常检测***,***100包括:异常检测模型训练单元101,用于对异常检测模型进行训练,异常检测模型包括特征提取编码器模块和判别器模块,其中,特征提取编码器模块用于提取输入样本的特征向量,判别器用于对特征提取模块输出的特征向量进行判别,输出判别结果;根据判别结果计算异常检测模型的对比损失,利用对比损失对异常检测模型进行训练;异常检测单元102,用于对待检测样本集中的样本进行异常检测,将待检测样本集中的样本输入训练好的异常检测模型,将特征提取编码器模块得到的特征向量输入判别器模块,将判别器模块输出的判别结果进行计算,得到异常得分;将待测测样本集中所有样本的异常得分进行归一化处理,得到归一化异常得分,通过设置归一化异常得分阈值,判定样本是否异常。除了上述2个单元以外,***100还可以包括其他部件,然而,由于这些部件与本公开实施例的内容无关,因此在这里省略其图示和描述。
进一步的,特征提取编码器模块包括两个线性全连接网络和编码器,输入样本经编码器输出后,两个线性全连接网络分别对编码器输出计算均值和方差,对均值和方差添加随机噪声,得到特征向量。
一种基于对比学习的异常检测***100的具体工作过程参照上述基于对比学习的异常检测方法实施例1、实施例2的描述,不再赘述。
基于本发明的实施例4
根据本发明实施例的装置也可以借助于图3所示的计算设备的架构来实现。图3示出了该计算设备的架构。如图3所示,计算机***201、***总线203、一个或多个CPU 204、输入/输出202、存储器205等。存储器205可以存储计算机处理和/或通信使用的各种数据或文件以及CPU所执行包括实施例1-实施2方法的程序指令。图3所示的架构只是示例性的,在实现不同的设备时,根据实际需要调整图3中的一个或多个组件。
基于本发明的实施例5
本发明实施例也可以被实现为计算机可读存储介质。根据实施例5的计算机可读存储介质上存储有计算机可读指令。当所述计算机可读指令由处理器运行时,可以执行参照以上附图描述的根据本发明实施例1和实施2的基于对比学习的异常检测方法。
本发明实施例针对以上所述基于对比学习的异常检测方法实施例、***实施例及计算机存储介质实施例,以上5种实施例的结果与当前最优的异常检测算法性能进行比对,实施例在两个UCR公开数据集、MIT-BIH公开数据集以及BIDMC公开数据集的数据上进行。数据集中异常包含一种或多种。每一组心电数据记录了一个人的心跳活动,并且包含一种或多种类型的异常心跳。传感器数据来自不同的传感器设备,如射频(RF)仪器和加速度计。动作数据是从不同的活动中收集到的数据,如行走和持枪动作。图像数据是按顺序从图像中提取的序列数据。
本发明异常检测方法和其他方法性能对比如表一所示,可以看到,本发明提出的基于对比学***均AUC-ROC来看,本发明提出的方法平均得分是最高的,并且相比其他对比算法中最高的平均值有接近8.5%的性能提升。
表一 本发明提出方法Ours和对比方法的AUC-ROC得分(粗体为第一,下划线为第二)
Figure BDA0003448363750000091
综合上述提供的基于对比学习的异常检测方法、***及计算机存储介质,能够提取出有区分性的特征,并且判别网络输出的异常得分具有高区分性,在实际生活中的数据集上相比其他算法有较大提升,具有很大的实用价值。
在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的步骤、方法不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种步骤、方法所固有的要素。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干简单推演或替换,都应当视为属于本发明的保护范围。

Claims (10)

1.一种基于对比学习的异常检测方法,其特征在于,方法包括以下步骤:
异常检测模型训练阶段:异常检测模型包括特征提取编码器模块和判别器模块,其中,特征提取编码器模块用于提取输入样本的特征向量,判别器模块用于对特征提取模块输出的特征向量进行判别,输出判别结果;根据判别结果计算异常检测模型的对比损失,利用对比损失对异常检测模型进行训练;
异常检测阶段:将待检测样本集中的样本输入训练好的异常检测模型,将特征提取编码器模块得到的特征向量输入判别器模块,将判别器模块输出的判别结果进行计算,得到异常得分;将待测测样本集中所有样本的异常得分进行归一化处理,得到归一化异常得分,通过设置归一化异常得分阈值,判定样本是否异常。
2.根据权利要求1所述的异常检测方法,其特征在于,特征提取编码器模块用于提取输入样本的特征向量,具体包括:
特征提取编码器模块包括两个线性全连接网络和编码器,输入样本经编码器输出后,两个线性全连接网络分别对编码器输出计算均值和方差,对均值和方差添加随机噪声,得到特征向量。
3.根据权利要求2所述的异常检测方法,其特征在于,判别器模块包括三个部分:判别网络Dxz、判别网络Dzz、判别网络Dzf,其中,判别网络Dxz对(x,z)组成的样本对进行判别;判别网络Dzz对(z,z)组成的样本对进行判别;判别网络Dzf对(z,f)组成的样本对进行判别,x表示输入样本,z表示特征提取编码器模块输出的特征向量,f表示特征提取编码器模块中编码器输出向量。
4.根据权利要求3所述的异常检测方法,其特征在于,判别器模块中将正常样本和正常样本对应的特征向量组成正样本对,将正常样本和异常样本对应的特征向量组成负样本对,判别网络Dxz中正样本对(xnor,znor)对应的输出概率设置为1,负样本对(xnor,zano)对应的输出概率设置为0;判别网络Dzz中正样本对(znor,znor)对应的输出概率设置为1,负样本对(znor,zano)对应的输出概率设置为0;判别网络Dzf中正样本对(znor,fnor)对应的输出概率设置为1,负样本对(znor,fano)对应的输出概率设置为0;其中,xnor表示正常样本,znor表示正常样本的特征向量,zano表示异常样本的特征向量,fnor表示正常样本对应的编码器输出向量,fano表示异常样本对应的编码器输出向量。
5.根据权利要求4所述的异常检测方法,其特征在于,异常检测阶段异常得分的具体表达式为:Anoscorei=-(Dxz(xi,zi)+Dzz(zi,zi)+Dzf(zi,fi)),其中Dxz(xi,zi)、Dzz(zi,zi)、Dzf(zi,fi)分别为判别网络Dxz、判别网络Dzz、判别网络Dzf对样本xi的输出。
6.根据权利要求5所述的异常检测方法,其特征在于,归一化处理得到归一化异常得分Anoscore′i具体表达式为:
Figure FDA0003448363740000021
其中min(Anoscore)为待检测样本集中最小的异常得分,max(Anoscore)为待检测样本集中最大的异常得分。
7.一种基于对比学习的异常检测***,其特征在于,***包括:
异常检测模型训练单元,用于对异常检测模型进行训练,异常检测模型包括特征提取编码器模块和判别器模块,其中,特征提取编码器模块用于提取输入样本的特征向量,判别器用于对特征提取模块输出的特征向量进行判别,输出判别结果;根据判别结果计算异常检测模型的对比损失,利用对比损失对异常检测模型进行训练;
异常检测单元,用于对待检测样本集中的样本进行异常检测,将待检测样本集中的样本输入训练好的异常检测模型,将特征提取编码器模块得到的特征向量输入判别器模块,将判别器模块输出的判别结果进行计算,得到异常得分;将待测测样本集中所有样本的异常得分进行归一化处理,得到归一化异常得分,通过设置归一化异常得分阈值,判定样本是否异常。
8.根据权利要求7所述的异常检测***,其特征在于,特征提取编码器模块包括两个线性全连接网络和编码器,输入样本经编码器输出后,两个线性全连接网络分别对编码器输出计算均值和方差,对均值和方差添加随机噪声,得到特征向量。
9.一种基于对比学习的异常检测***,其特征在于,包括:处理器;以及存储器,其中,所述存储器中存储有计算机可执行程序,当由所述处理器执行所述计算机可执行程序时,执行权利要求1-6中任一项所述的基于对比学习的异常检测方法。
10.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-6中任一项所述的基于对比学习的异常检测方法。
CN202111666302.9A 2021-12-31 2021-12-31 基于对比学习的异常检测方法、***及计算机存储介质 Pending CN114330572A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111666302.9A CN114330572A (zh) 2021-12-31 2021-12-31 基于对比学习的异常检测方法、***及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111666302.9A CN114330572A (zh) 2021-12-31 2021-12-31 基于对比学习的异常检测方法、***及计算机存储介质

Publications (1)

Publication Number Publication Date
CN114330572A true CN114330572A (zh) 2022-04-12

Family

ID=81020200

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111666302.9A Pending CN114330572A (zh) 2021-12-31 2021-12-31 基于对比学习的异常检测方法、***及计算机存储介质

Country Status (1)

Country Link
CN (1) CN114330572A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114580656A (zh) * 2022-05-06 2022-06-03 北京航空航天大学杭州创新研究院 基于单类对比学习时序异常检测方法及相关装置
CN114724043A (zh) * 2022-06-08 2022-07-08 南京理工大学 基于对比学习的自编码器异常检测方法
CN114881937A (zh) * 2022-04-15 2022-08-09 北京医准智能科技有限公司 一种针对超声切面的检测方法、装置及计算机可读介质
CN116403077A (zh) * 2023-06-07 2023-07-07 中国科学院自动化研究所 异常检测模型训练方法、异常检测方法、装置及电子设备

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114881937A (zh) * 2022-04-15 2022-08-09 北京医准智能科技有限公司 一种针对超声切面的检测方法、装置及计算机可读介质
CN114580656A (zh) * 2022-05-06 2022-06-03 北京航空航天大学杭州创新研究院 基于单类对比学习时序异常检测方法及相关装置
CN114580656B (zh) * 2022-05-06 2022-08-12 北京航空航天大学杭州创新研究院 基于单类对比学习时序异常检测方法及相关装置
CN114724043A (zh) * 2022-06-08 2022-07-08 南京理工大学 基于对比学习的自编码器异常检测方法
CN114724043B (zh) * 2022-06-08 2022-09-02 南京理工大学 基于对比学习的自编码器异常检测方法
CN116403077A (zh) * 2023-06-07 2023-07-07 中国科学院自动化研究所 异常检测模型训练方法、异常检测方法、装置及电子设备
CN116403077B (zh) * 2023-06-07 2023-08-15 中国科学院自动化研究所 异常检测模型训练方法、异常检测方法、装置及电子设备

Similar Documents

Publication Publication Date Title
CN114330572A (zh) 基于对比学习的异常检测方法、***及计算机存储介质
CN108875459B (zh) 一种基于稀疏系数相似的加权稀疏表示人脸识别方法及***
CN110288028B (zh) 心电检测方法、***、设备及计算机可读存储介质
Ng et al. Hybrid ageing patterns for face age estimation
Liao et al. A unified unsupervised gaussian mixture variational autoencoder for high dimensional outlier detection
CN111652290A (zh) 一种对抗样本的检测方法及装置
Porwik et al. An ensemble learning approach to lip-based biometric verification, with a dynamic selection of classifiers
CN112348090A (zh) 一种基于近邻自编码器的近邻异常检测***
CN116522265A (zh) 工业互联网时序数据异常检测方法及装置
Zheng et al. Resnet-based model for cancer detection
Wu et al. ECG classification using ICA features and support vector machines
Xie et al. Intelligent analysis of premature ventricular contraction based on features and random forest
Li et al. A hybrid real-valued negative selection algorithm with variable-sized detectors and the k-nearest neighbors algorithm
Guelta et al. An Improved Behavioral Biometric System based on Gait and ECG signals.
Hassanat et al. Applications review of hassanat distance metric
Qiu et al. Ifvit: Interpretable fixed-length representation for fingerprint matching via vision transformer
CN103942545A (zh) 一种基于双向压缩数据空间维度缩减的人脸识别方法和装置
Liao et al. Automatic classification of heartbeats using ECG signals via higher order hidden Markov model
Sun et al. Undersampling method based on minority class density for imbalanced data
Papavasileiou et al. Gait-based continuous authentication using multimodal learning
CN111107082A (zh) 一种基于深度信念网络的免疫入侵检测方法
CN115063870B (zh) 一种基于面部动作单元的伪造视频人像检测方法
CN114652319B (zh) 一种基于图神经网络的心律失常检测方法
CN114366116A (zh) 一种基于Mask R-CNN网络及心电图的参数获取方法
CN114343665A (zh) 一种基于图卷积空时特征融合选择的心律失常识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination