CN109905187A - 一种非参数异常值检测方法、***及电子设备 - Google Patents

一种非参数异常值检测方法、***及电子设备 Download PDF

Info

Publication number
CN109905187A
CN109905187A CN201711315504.2A CN201711315504A CN109905187A CN 109905187 A CN109905187 A CN 109905187A CN 201711315504 A CN201711315504 A CN 201711315504A CN 109905187 A CN109905187 A CN 109905187A
Authority
CN
China
Prior art keywords
subsequence
mmd
distance
sequence
distribution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711315504.2A
Other languages
English (en)
Inventor
黄晓霞
常杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN201711315504.2A priority Critical patent/CN109905187A/zh
Publication of CN109905187A publication Critical patent/CN109905187A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Complex Calculations (AREA)

Abstract

本申请涉及认知无线电技术领域,特别涉及一种非参数异常值检测方法、***及电子设备。所述非参数异常值检测方法包括:步骤a:计算序列中正常值子序列分布p与异常值子序列分布q之间的第一MMD距离,并计算序列中不能准确表现出正常值子序列分布p的单个子序列与除了该单个子序列以外的其他子序列之间的第二MMD距离;步骤b:根据所述第一MMD距离计算判断阀值;步骤c:判断所述第二MMD距离是否大于判断阀值,如果第二MMD距离大于判断阀值,判定所述第二MMD距离对应的单个子序列是异常值子序列;否则,判定所述第二MMD距离对应的单个子序列是正常值子序列。本申请计算复杂度低,判断准确率高,具有更高的实际应用价值。

Description

一种非参数异常值检测方法、***及电子设备
技术领域
本申请涉及认知无线电技术领域,特别涉及一种非参数异常值检测方法、***及电子设备。
背景技术
现代社会无线通信技术迅猛发展,无线通信及其应用渗透到社会的各个领域,同人们的生活息息相关。尤其是近几年来,移动互联网、车载网络和物联网等新兴技术开始蓬勃发展,智能手机、可穿戴设备和无线充电设备等不同形式的无线产品和业务大量涌现。每种无线产品或业务都需要利用一定的频谱资源完成通信,使得对频谱资源的需求日益强烈。然而,现有频谱资源采用固定频谱分配方式,导致频谱资源分配不平衡、利用率低下。认知无线电作为一种可以有效提高频谱利用率的技术,近年来受到了广泛关注。
在认知无线电网络中,非授权用户基于频谱测量数据进行频谱感知,选择空闲授权频段进行通信,从而提高频谱利用率。由于实际环境影响,频谱测量数据中存在少量异常数据,而这些异常数据会影响空闲授权频段的判断,因此,需要对异常数据进行检测。论文[Y.Li,S.Nitinawarat,and V.V.Veeravalli,“Universaloutlierhypothesis testing,”IEEE Trans.Inf.Theory,vol.60,no.7,pp.4066–4082,Jul.2014]中提出一种非参数检测方法实现异常值检测。假设正常值序列的分布和异常值序列的分布是未知的且是任意分布,该检测方法利用广义似然检验方法在n个序列中检测s个异常序列。该方法存在的缺点在于:
1、针对的p,q分布均是离散分布,没有考虑连续分布情况;
2、分析的序列是固定维度序列,没有考虑其他情况;
3、在验证所提出的方法实验过程中,利用了p和q的经验概率质量函数,使得到的实验结果不具有普遍性。
发明内容
本申请提供了一种非参数异常值检测方法、***及电子设备,旨在至少在一定程度上解决现有技术中的上述技术问题之一。
为了解决上述问题,本申请提供了如下技术方案:
一种非参数异常值检测方法,包括:
步骤a:计算序列中正常值子序列分布p与异常值子序列分布q之间的第一MMD距离,并计算序列中不能准确表现出正常值子序列分布p的单个子序列与除了该单个子序列以外的其他子序列之间的第二MMD距离;
步骤b:根据所述第一MMD距离计算判断阀值;
步骤c:判断所述第二MMD距离是否大于判断阀值,如果第二MMD距离大于判断阀值,判定所述第二MMD距离对应的单个子序列是异常值子序列;否则,判定所述第二MMD距离对应的单个子序列是正常值子序列。
本申请实施例采取的技术方案还包括:在所述步骤a中,所述正常值子序列分布p与异常值子序列分布q之间的第一MMD距离Ddistribute为:
Ddistribute=maxi,jMMD2[Xi,Xj]=MMD2[p,q]
上述公式中,Xi和Xj分别表示序列X中第i个子序列和第j个子序列;
所述单个子序列与除了该单个子序列以外的其他子序列之间的第二MMD距离为:
在上述公式中,Xk表示序列X中不能准确表现出正常值子序列分布p的单个子序列,表示去除Xk的其他子序列,即n为序列X中的子序列个数,1≤k≤n。
本申请实施例采取的技术方案还包括:在所述步骤b中,所述根据第一MMD距离计算判断阀值的计算公式为:
δ=Ddistribute/2。
本申请实施例采取的技术方案还包括:所述步骤b与步骤c之间还包括:计算所述序列的维度,并根据所述第一MMD距离和判断阀值判断维度是否不小于设定的维度下限,如果不小于设定的维度下限,执行步骤c;否则,重新执行步骤a。
本申请实施例采取的技术方案还包括:所述判断维度是否不小于设定的维度下限的公式为:
在上述公式中,η是任意一个正数常量,独立于其他参数值,s是异常子序列,对任意(x,y),都有0≤k(x,y)≤K。
本申请实施例采取的另一技术方案:一种非参数异常值检测***,包括:
距离计算模块:用于计算序列中正常值子序列分布p与异常值子序列分布q之间的第一MMD距离,并计算序列中不能准确表现出正常值子序列分布p的单个子序列与除了该单个子序列以外的其他子序列之间的第二MMD距离;
阀值计算模块:用于根据所述第一MMD距离计算判断阀值;
序列判断模块:用于判断所述第二MMD距离是否大于判断阀值,如果第二MMD距离大于判断阀值,判定所述第二MMD距离对应的单个子序列是异常值子序列;否则,判定所述第二MMD距离对应的单个子序列是正常值子序列。
本申请实施例采取的技术方案还包括:所述正常值子序列分布p与异常值子序列分布q之间的第一MMD距离Ddistribute为:
Ddistribute=maxi,jMMD2[Xi,Xj]=MMD2[p,q]
上述公式中,Xi和Xj分别表示序列X中第i个子序列和第j个子序列;
所述单个子序列与除了该单个子序列以外的其他子序列之间的第二MMD距离为:
在上述公式中,Xk表示序列X中不能准确表现出正常值子序列分布p的单个子序列,表示去除Xk的其他子序列,即n为序列X中的子序列个数,1≤k≤n。
本申请实施例采取的技术方案还包括:所述阀值计算模块根据第一MMD距离计算判断阀值的计算公式为:
δ=Ddistribute/2。
本申请实施例采取的技术方案还包括维度计算模块,所述维度计算模块用于计算所述序列的维度,并根据所述第一MMD距离和判断阀值判断维度是否不小于设定的维度下限,如果不小于设定的维度下限,通过序列判断模块判断所述第二MMD距离是否大于判断阀值;否则,通过距离计算模块重新计算MMD距离。
本申请实施例采取的技术方案还包括:所述维度计算模块判断维度是否不小于设定的维度下限的公式为:
在上述公式中,η是任意一个正数常量,独立于其他参数值,s是异常子序列,对任意(x,y),都有0≤k(x,y)≤K。
本申请实施例采取的又一技术方案为:一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行上述的非参数异常值检测方法的以下操作:
步骤a:计算序列中正常值子序列分布p与异常值子序列分布q之间的第一MMD距离,并计算序列中不能准确表现出正常值子序列分布p的单个子序列与除了该单个子序列以外的其他子序列之间的第二MMD距离;
步骤b:根据所述第一MMD距离计算判断阀值;
步骤c:判断所述第二MMD距离是否大于判断阀值,如果第二MMD距离大于判断阀值,判定所述第二MMD距离对应的单个子序列是异常值子序列;否则,判定所述第二MMD距离对应的单个子序列是正常值子序列。
相对于现有技术,本申请实施例产生的有益效果在于:本申请实施例的非参数异常值检测方法、***及电子设备基于MMD计算不同序列分布之间的距离,并通过阈值判断,实现异常值子序列的准确判断;相对于现有技术,本申请至少具有以下优点:
1、MMD计算复杂度低,易实现且判断准确率高;
2、本申请针对输入序列中的正常值子序列分布p和异常值子序列分布q进行异常值子序列检测,p,q未知,且p,q可以是离散分布也可可以是连续分布,使得本申请具有更高的实际应用价值;
3、针对异常子序列的维度m是可以变化的,只要维度m满足下限要求就可以实现异常值子序列的准确检测。
附图说明
图1是本申请实施例的非参数异常值检测方法的流程图;
图2是本申请实施例的非参数异常值检测***的结构示意图;
图3是本申请实施例的非参数异常值检测方法的验证结果示意图;
图4是本申请实施例提供的非参数异常值检测方法的硬件设备结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本申请,并不用于限定本申请。
MMD(maximum mean discrepancy,最大均值差异)是度量在再生希尔伯特特征空间中两个分布的距离,它用于判断两个序列的分布是否相同。因此,针对非参数异常值检测问题,本申请基于MMD计算不同序列分布之间的距离,并通过阈值判断,实现异常值序列的准确判断。MMD计算方式具体为:
假设序列为X,它有n个子序列Xk,其中1≤k≤n,正常值子序列分布为p,异常值子序列分布为q,异常值子序列的个数为s,0≤s<n,每个子序列的维度为m,序列X分布如下:
假设子序列分布为将每个序列通过映射函数φ(·)映射到再生希尔伯特空间(reproducing kernelH ilbertspace,RKHS)H:
up(·)=Ep[φ(·)φ(x)]=∫k(·,x)dp(x) (2)
在公式(2)中,k(·,x)是核函数。再生希尔伯特特征空间一般是高维特征空间,而高斯核的特征空间是无穷维。
对于分布p和q之间的MMD距离为:
MMD[p,q]=||up-uq||H (3)
MMD2[p,q]=Ex,x'[k(x,x')]-2Ex,y[k(x,y)]+Ey,y'[k(y,y')] (4)
上述公式中,x,x'基于p独立分布,y,y'基于q独立分布。
假设序列X的采样序列为l1,Y的采样序列为l2,则对MMD2[p,q]进行无偏估计可得:
若p和q的分布相同,则MMD2[p,q]接近于0;反之,MMD2[p,q]的值远离0。
具体地,请参阅图1,是本申请实施例的非参数异常值检测方法的流程图。本申请实施例的非参数异常值检测方法包括以下步骤:
步骤100:输入序列X;;
步骤200:基于MMD计算序列X中正常值子序列分布p与异常值子序列分布q之间的第一MMD距离Ddistribute,并计算不能准确表现出正常值子序列分布p的单个子序列Xk与除了单个子序列Xk以外的其他子序列之间的第二MMD距离Dk
在步骤200中,假设输入序列X如公式(1)所示,不同子序列之间的MMD距离D为:
Di,j=MMD2[Xi,Xj] (6)
公式(6)中,Xi和Xj分别表示第i个子序列和第j个子序列。
则正常值子序列分布p和异常值子序列分布q之间的第一MMD距离Ddistribute为:
Ddistribute=maxi,jMMD2[Xi,Xj]=MMD2[p,q] (7)
如果p和q的分布相同,MMD2[p,q]接近于0,则判断该子序列是正常值子序列;反之,MMD2[p,q]的值远离0,则判断该子序列是异常值子序列。本发明针对输入序列中的正常值子序列分布p和异常值子序列分布q进行异常值序列检测,其中,p,q未知,且p,q可以是离散分布也可以是连续分布。
而在输入序列X中多数存在的子序列是正常值子序列,单个子序列不能准确表现出正常值子序列分布p,因此,需要将不能准确表现出正常值子序列分布p的单个子序列和其他子序列进行对比,以降低异常值子序列检测的错误概率。单个子序列与其他子序列之间的第二MMD距离为:
在公式(8)中,Xk表示不能准确表现出正常值子序列分布p的单个子序列,表示去除Xk后的其他子序列,即
步骤300:根据第一MMD距离Ddistribute计算用于判断单个子序列是否是异常值子序列的判断阀值δ;
在步骤300:判断阀值δ的计算公式为:
δ=Ddistribute/2 (9)
步骤400:计算序列X的维度m,并根据第一MMD距离Ddistribute和判断阀值δ判断维度m是否不小于设定的维度下限,如果不小于设定的维度下限,执行步骤500;否则,重新执行步骤200;
在步骤400中,为了能够准确判断出异常值子序列,需要序列X的个数n无限大,然而现实中n是有限的,因此需要用序列X的维度m来保证异常值子序列判断的准确率。本申请针对的序列中异常值子序列的维度m是可以变化,只要维度m满足下限要求就可以实现异常值子序列的准确检测。判断维度m是否不小于设定的维度下限的公式为:
在公式(10)中,η是任意一个正数常量,独立于其他参数值,s是异常子序列,对任意(x,y),都有0≤k(x,y)≤K。
步骤500:判断第二MMD距离Dk是否大于判断阀值δ,如果第二MMD距离Dk大于判断阀值δ,执行步骤600;否则,执行步骤700;
步骤600:判定第二MMD距离Dk对应的单个子序列Xk是异常值子序列;
步骤700:判定第二MMD距离Dk对应的单个子序列Xk是正常值子序列;
上述中,判断单个子序列Xk是否是正常值子序列的判断公式为:
请参阅图2,是本申请实施例的非参数异常值检测***的结构示意图。本申请实施例的非参数异常值检测***包括数据输入模块、距离计算模块、阀值计算模块、维度计算模块和序列判断模块。
数据输入模块:用于输入序列X;
距离计算模块:用于基于MMD计算序列X中正常值子序列分布p和异常值子序列分布q之间的第一MMD距离Ddistribute,并计算不能准确表现出正常值子序列分布p的单个子序列和其他子序列之间的第二MMD距离Dk;其中,设输入序列X如公式(1)所示,不同子序列之间的MMD距离D为:
Di,j=MMD2[Xi,Xj] (6)
则正常值子序列分布p和异常值子序列分布q之间的第一MMD距离Ddistribute为:
Ddistribute=maxi,jMMD2[Xi,Xj]=MMD2[p,q] (7)
如果p和q的分布相同,MMD2[p,q]接近于0,则判断该子序列是正常值子序列;反之,MMD2[p,q]的值远离0,则判断该子序列是异常值子序列。本发明针对输入序列中的正常值子序列分布p和异常值子序列分布q进行异常值序列检测,其中,p,q未知,且p,q可以是离散分布也可以是连续分布。
而在输入序列X中多数存在的子序列是正常值子序列,单个子序列不能准确表现出正常值子序列分布p,因此,需要将不能准确表现出正常值子序列分布p的单个子序列和其他子序列进行对比,以降低异常值子序列检测的错误概率。单个子序列与其他子序列之间的第二MMD距离为:
在公式(8)中,Xk表示序列X中不能准确表现出正常值子序列分布p的单个子序列,表示去除Xk的其他子序列,即
阀值计算模块:用于根据第一MMD距离Ddistribute计算用于判断单个子序列是否是异常值子序列的判断阀值δ;其中,判断阀值δ的计算公式为:
δ=Ddistribute/2 (9)
维度计算模块:用于计算序列X的维度m,并根据第一MMD距离Ddistribute和判断阀值δ判断维度m是否不小于设定的维度下限,如果不小于设定的维度下限,通过序列判断模块判断第二MMD距离Dk是否大于判断阀值δ;其中,为了能够准确判断出异常值子序列,需要序列X的个数n无限大,然而现实中n是有限的,因此需要用序列X的维度m来保证异常值子序列判断的准确率。本申请针对的序列中异常值子序列的维度m是可以变化,只要维度m满足下限要求就可以实现异常值子序列的准确检测。判断维度m是否不小于设定的维度下限的公式为:
在公式(10)中,η是任意一个正数常量,独立于其他参数值,s是异常子序列,对任意(x,y),都有0≤k(x,y)≤K。
序列判断模块:用于判断第二MMD距离Dk是否大于判断阀值δ,如果第二MMD距离Dk大于判断阀值δ,判定第二MMD距离Dk对应的单个子序列Xk是异常值子序列;否则,判定第二MMD距离Dk对应的单个子序列Xk是正常值子序列。
为了验证本申请的可行性和准确性,通过以下实施例进行验证,验证结果如图3所示。该实施例中,输入序列中正常值子序列分布p是N(0,1)分布,异常值子序列分布q是Laplace(1,1)分布,输入子序列个数n=40,异常值子序列个数是s=1,高斯核的宽度为1.35。实验结果表明,随着m/logn的增大,异常值子序列判断错误的概率逐渐降低。当m/logn高于某个阈值时,错误概率收敛为0。这验证了本申请对维度m下限的推断。
图4是本申请实施例提供的非参数异常值检测方法的硬件设备结构示意图。如图4所示,该设备包括一个或多个处理器以及存储器。以一个处理器为例,该设备还可以包括:输入***和输出***。
处理器、存储器、输入***和输出***可以通过总线或者其他方式连接,图4中以通过总线连接为例。
存储器作为一种非暂态计算机可读存储介质,可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块,从而执行电子设备的各种功能应用以及数据处理,即实现上述方法实施例的处理方法。
存储器可以包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需要的应用程序;存储数据区可存储数据等。此外,存储器可以包括高速随机存取存储器,还可以包括非暂态存储器,例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中,存储器可选包括相对于处理器远程设置的存储器,这些远程存储器可以通过网络连接至处理***。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入***可接收输入的数字或字符信息,以及产生信号输入。输出***可包括显示屏等显示设备。
所述一个或者多个模块存储在所述存储器中,当被所述一个或者多个处理器执行时,执行上述任一方法实施例的以下操作:
步骤a:计算序列中正常值子序列分布p与异常值子序列分布q之间的第一MMD距离,并计算序列中不能准确表现出正常值子序列分布p的单个子序列与除了该单个子序列以外的其他子序列之间的第二MMD距离;
步骤b:根据所述第一MMD距离计算判断阀值;
步骤c:判断所述第二MMD距离是否大于判断阀值,如果第二MMD距离大于判断阀值,判定所述第二MMD距离对应的单个子序列是异常值子序列;否则,判定所述第二MMD距离对应的单个子序列是正常值子序列。
上述产品可执行本申请实施例所提供的方法,具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节,可参见本申请实施例提供的方法。
本申请实施例提供了一种非暂态(非易失性)计算机存储介质,所述计算机存储介质存储有计算机可执行指令,该计算机可执行指令可执行以下操作:
步骤a:计算序列中正常值子序列分布p与异常值子序列分布q之间的第一MMD距离,并计算序列中不能准确表现出正常值子序列分布p的单个子序列与除了该单个子序列以外的其他子序列之间的第二MMD距离;
步骤b:根据所述第一MMD距离计算判断阀值;
步骤c:判断所述第二MMD距离是否大于判断阀值,如果第二MMD距离大于判断阀值,判定所述第二MMD距离对应的单个子序列是异常值子序列;否则,判定所述第二MMD距离对应的单个子序列是正常值子序列。
本申请实施例提供了一种计算机程序产品,所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,使所述计算机执行以下操作:
步骤a:计算序列中正常值子序列分布p与异常值子序列分布q之间的第一MMD距离,并计算序列中不能准确表现出正常值子序列分布p的单个子序列与除了该单个子序列以外的其他子序列之间的第二MMD距离;
步骤b:根据所述第一MMD距离计算判断阀值;
步骤c:判断所述第二MMD距离是否大于判断阀值,如果第二MMD距离大于判断阀值,判定所述第二MMD距离对应的单个子序列是异常值子序列;否则,判定所述第二MMD距离对应的单个子序列是正常值子序列。
本申请实施例的非参数异常值检测方法、***及电子设备基于MMD计算不同序列分布之间的距离,并通过阈值判断,实现异常值子序列的准确判断;相对于现有技术,本申请至少具有以下优点:
1、MMD计算复杂度低,易实现且判断准确率高;
2、本申请针对输入序列中的正常值子序列分布p和异常值子序列分布q进行异常值子序列检测,p,q未知,且p,q可以是离散分布也可可以是连续分布,使得本申请具有更高的实际应用价值;
3、针对异常子序列的维度m是可以变化的,只要维度m满足下限要求就可以实现异常值子序列的准确检测。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (11)

1.一种非参数异常值检测方法,其特征在于,包括:
步骤a:计算序列中正常值子序列分布p与异常值子序列分布q之间的第一MMD距离,并计算序列中不能准确表现出正常值子序列分布p的单个子序列与除了该单个子序列以外的其他子序列之间的第二MMD距离;
步骤b:根据所述第一MMD距离计算判断阀值;
步骤c:判断所述第二MMD距离是否大于判断阀值,如果第二MMD距离大于判断阀值,判定所述第二MMD距离对应的单个子序列是异常值子序列;否则,判定所述第二MMD距离对应的单个子序列是正常值子序列。
2.根据权利要求1所述的非参数异常值检测方法,其特征在于,在所述步骤a中,所述正常值子序列分布p与异常值子序列分布q之间的第一MMD距离Ddistribute为:
Ddistribute=maxi,jMMD2[Xi,Xj]=MMD2[p,q]
上述公式中,Xi和Xj分别表示序列X中第i个子序列和第j个子序列;
所述单个子序列与除了该单个子序列以外的其他子序列之间的第二MMD距离为:
在上述公式中,Xk表示序列X中不能准确表现出正常值子序列分布p的单个子序列,表示去除Xk的其他子序列,即n为序列X中的子序列个数,1≤k≤n。
3.根据权利要求2所述的非参数异常值检测方法,其特征在于,在所述步骤b中,所述根据第一MMD距离计算判断阀值的计算公式为:
δ=Ddistribute/2。
4.根据权利要求3所述的非参数异常值检测方法,其特征在于,所述步骤b与步骤c之间还包括:计算所述序列的维度,并根据所述第一MMD距离和判断阀值判断维度是否不小于设定的维度下限,如果不小于设定的维度下限,执行步骤c;否则,重新执行步骤a。
5.根据权利要求4所述的非参数异常值检测方法,其特征在于,所述判断维度是否不小于设定的维度下限的公式为:
在上述公式中,η是任意一个正数常量,独立于其他参数值,s是异常子序列,对任意(x,y),都有0≤k(x,y)≤K。
6.一种非参数异常值检测***,其特征在于,包括:
距离计算模块:用于计算序列中正常值子序列分布p与异常值子序列分布q之间的第一MMD距离,并计算序列中不能准确表现出正常值子序列分布p的单个子序列与除了该单个子序列以外的其他子序列之间的第二MMD距离;
阀值计算模块:用于根据所述第一MMD距离计算判断阀值;
序列判断模块:用于判断所述第二MMD距离是否大于判断阀值,如果第二MMD距离大于判断阀值,判定所述第二MMD距离对应的单个子序列是异常值子序列;否则,判定所述第二MMD距离对应的单个子序列是正常值子序列。
7.根据权利要求6所述的非参数异常值检测***,其特征在于,所述正常值子序列分布p与异常值子序列分布q之间的第一MMD距离Ddistribute为:
Ddistribute=maxi,jMMD2[Xi,Xj]=MMD2[p,q]
上述公式中,Xi和Xj分别表示序列X中第i个子序列和第j个子序列;
所述单个子序列与除了该单个子序列以外的其他子序列之间的第二MMD距离为:
在上述公式中,Xk表示序列X中不能准确表现出正常值子序列分布p的单个子序列,表示去除Xk的其他子序列,即n为序列X中的子序列个数,1≤k≤n。
8.根据权利要求7所述的非参数异常值检测***,其特征在于,所述阀值计算模块根据第一MMD距离计算判断阀值的计算公式为:
δ=Ddistribute/2。
9.根据权利要求8所述的非参数异常值检测***,其特征在于,还包括维度计算模块,所述维度计算模块用于计算所述序列的维度,并根据所述第一MMD距离和判断阀值判断维度是否不小于设定的维度下限,如果不小于设定的维度下限,通过序列判断模块判断所述第二MMD距离是否大于判断阀值;否则,通过距离计算模块重新计算MMD距离。
10.根据权利要求9所述的非参数异常值检测***,其特征在于,所述维度计算模块判断维度是否不小于设定的维度下限的公式为:
在上述公式中,η是任意一个正数常量,独立于其他参数值,s是异常子序列,对任意(x,y),都有0≤k(x,y)≤K。
11.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行上述1至5任一项所述的非参数异常值检测方法的以下操作:
步骤a:计算序列中正常值子序列分布p与异常值子序列分布q之间的第一MMD距离,并计算序列中不能准确表现出正常值子序列分布p的单个子序列与除了该单个子序列以外的其他子序列之间的第二MMD距离;
步骤b:根据所述第一MMD距离计算判断阀值;
步骤c:判断所述第二MMD距离是否大于判断阀值,如果第二MMD距离大于判断阀值,判定所述第二MMD距离对应的单个子序列是异常值子序列;否则,判定所述第二MMD距离对应的单个子序列是正常值子序列。
CN201711315504.2A 2017-12-11 2017-12-11 一种非参数异常值检测方法、***及电子设备 Pending CN109905187A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711315504.2A CN109905187A (zh) 2017-12-11 2017-12-11 一种非参数异常值检测方法、***及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711315504.2A CN109905187A (zh) 2017-12-11 2017-12-11 一种非参数异常值检测方法、***及电子设备

Publications (1)

Publication Number Publication Date
CN109905187A true CN109905187A (zh) 2019-06-18

Family

ID=66942952

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711315504.2A Pending CN109905187A (zh) 2017-12-11 2017-12-11 一种非参数异常值检测方法、***及电子设备

Country Status (1)

Country Link
CN (1) CN109905187A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8583573B1 (en) * 2010-10-19 2013-11-12 The United States Of America As Represented By The Secretary Of The Navy Nonparametric mine line detection using spatial analysis
CN105808923A (zh) * 2016-02-29 2016-07-27 北京航空航天大学 一种数据序列的异常检测方法和装置
CN106303763A (zh) * 2015-05-22 2017-01-04 中兴通讯股份有限公司 一种异常pon终端的检测方法及装置
CN106354695A (zh) * 2016-08-22 2017-01-25 北京理工大学 一种仅输出线性时变结构模态参数辨识方法
CN107273505A (zh) * 2017-06-20 2017-10-20 西安电子科技大学 基于非参数贝叶斯模型的监督跨模态哈希检索方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8583573B1 (en) * 2010-10-19 2013-11-12 The United States Of America As Represented By The Secretary Of The Navy Nonparametric mine line detection using spatial analysis
CN106303763A (zh) * 2015-05-22 2017-01-04 中兴通讯股份有限公司 一种异常pon终端的检测方法及装置
CN105808923A (zh) * 2016-02-29 2016-07-27 北京航空航天大学 一种数据序列的异常检测方法和装置
CN106354695A (zh) * 2016-08-22 2017-01-25 北京理工大学 一种仅输出线性时变结构模态参数辨识方法
CN107273505A (zh) * 2017-06-20 2017-10-20 西安电子科技大学 基于非参数贝叶斯模型的监督跨模态哈希检索方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
SHAOFENG ZOU 等: "Nonparametric Detection of Anomalous Data Streams", 《IEEE TRANSACTIONS ON SIGNAL PROCESSING》 *
YUN LI 等: "Universal Outlier Hypothesis Testing", 《IEEE TRANSACTIONS ON INFORMATION THEORY》 *
赵天辉: "基于非参数回归分析的工业负荷异常值识别与修正方法", 《电力***自动化》 *

Similar Documents

Publication Publication Date Title
US9224104B2 (en) Generating data from imbalanced training data sets
US11488055B2 (en) Training corpus refinement and incremental updating
US10289819B2 (en) Active authentication of users
CN106453437B (zh) 一种设备识别码获取方法及装置
AU2019232799A1 (en) Service processing method and apparatus
WO2019114422A1 (zh) 一种模型整合方法及装置
US9116879B2 (en) Dynamic rule reordering for message classification
US9612641B2 (en) Adjusting the connection idle timeout in connection pools
CN106682906B (zh) 一种风险识别、业务处理方法和设备
CN110929799B (zh) 用于检测异常用户的方法、电子设备和计算机可读介质
US10567398B2 (en) Method and apparatus for remote malware monitoring
US11704680B2 (en) Detecting fraudulent user accounts using graphs
US20240160694A1 (en) Root cause analysis using granger causality
CN112685799B (zh) 设备指纹生成方法、装置、电子设备和计算机可读介质
US11706289B1 (en) System and method for distributed management of hardware using intermediate representations of systems to satisfy user intent
US10320636B2 (en) State information completion using context graphs
US20210241164A1 (en) Distributed hyperparameter tuning and load balancing for mathematical models
US20150156132A1 (en) Determining Available User Interface Functionality Based on Backend Server Load
US20210240368A1 (en) Automatically Determining Sizing Configurations for Storage Components Using Machine Learning Techniques
WO2023011093A1 (zh) 任务模型的训练方法、装置、电子设备及存储介质
TWI792923B (zh) 使用基於用戶互動歷史之模型來增強移動設備中之用戶驗證之電腦實施方法、電腦系統及電腦程式產品
CN109905187A (zh) 一种非参数异常值检测方法、***及电子设备
CN114676272A (zh) 多媒体资源的信息处理方法、装置、设备及存储介质
CN109800823B (zh) 一种pos终端的聚类方法及装置
CN113869904A (zh) 可疑数据识别方法、装置、电子设备、介质和计算机程序

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190618

RJ01 Rejection of invention patent application after publication