CN104156473B - 一种基于ls‑svm的传感器检测数据异常片段检测方法 - Google Patents

一种基于ls‑svm的传感器检测数据异常片段检测方法 Download PDF

Info

Publication number
CN104156473B
CN104156473B CN201410422006.8A CN201410422006A CN104156473B CN 104156473 B CN104156473 B CN 104156473B CN 201410422006 A CN201410422006 A CN 201410422006A CN 104156473 B CN104156473 B CN 104156473B
Authority
CN
China
Prior art keywords
data
svm
length
fragment
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410422006.8A
Other languages
English (en)
Other versions
CN104156473A (zh
Inventor
刘大同
彭宇
宋歌
庞景月
彭喜元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN201410422006.8A priority Critical patent/CN104156473B/zh
Publication of CN104156473A publication Critical patent/CN104156473A/zh
Application granted granted Critical
Publication of CN104156473B publication Critical patent/CN104156473B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00Testing or monitoring of control systems or parts thereof
    • G05B23/02Electric testing or monitoring
    • G05B23/0205Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0243Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults model based detection method, e.g. first-principles knowledge model
    • G05B23/0254Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults model based detection method, e.g. first-principles knowledge model based on a quantitative model, e.g. mathematical relationships between inputs and outputs; functions: observer, Kalman filter, residual calculation, Neural Networks

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Debugging And Monitoring (AREA)

Abstract

一种基于LS‑SVM的传感器检测数据异常片段检测方法,涉及航天器监测数据异常检测领域。本发明是为了解决现有的单个测试点的异常检测方式难以判断时间序列中出现的短期趋势或模式出现的变化或异常的问题。该方法包括:1、设置所需检测置信概率p,检测片段长度n,片段内异常点最小个数m,2、从t0时刻起对时间序列长度n内的数据进行点异常检测置信概率为p的LS‑SVM点异常检测,获得时间序列长度n内的预测残差和数据的异常点的个数,3、根据残差和数据的异常点的个数确定异常点存在的位置。它可应用在航空航天飞行器监控领域。

Description

一种基于LS-SVM的传感器检测数据异常片段检测方法
技术领域
本发明涉及一种基于LS-SVM的传感器检测数据异常片段检测方法。属于航天器监测数据异常检测领域。
背景技术
随着国防现代化建设的快速发展和国家安全的迫切需要,我国对各类航天器的需求不断增长,并且对航天器功能的完备性和可靠性提出了更高的要求。为了确保此类航天设备的高可靠和长寿命,在设计、研制、生产、使用、维护的过程中,始终离不开大量的测试工作。以卫星为例,作为一类大型多功能复杂***,在一颗卫星诞生、发射、在轨维护的全寿命周期中,将会有大量的测试数据被记录下来,这些数据往往是以时间序列,特别是多维时间序列的形式存在。如果能对这些时间序列数据进行科学、有效的分析和处理,发现数据中的异常,就能为卫星的状态实时监测和健康维护提供依据。随着航天器数量的增加以及设计复杂度的逐渐提高,故障事件的数量以及故障率也有明显增幅。测试所得的时间序列数据中的异常与航天器工作模式的变化是否隐含故障演化或潜在故障发生有着密切联系,仅仅通过传统可靠性工程方法手段,依托专家个人经验的人工分析方法已经难以对数据进行充分处理,这不仅是信息的浪费,同时也难以满足航天器安全可靠运行对数据挖掘和分析处理的需求。因此,如何实时、有效的对时间序列数据进行异常检测分析,对航天器工作模式、运行状况以及健康程度的判断有至关重要的作用。本课题从以卫星为代表的各类航天器测试数据的异常检测的应用需求出发,针对诸多领域出现的时间序列的异常检测问题展开研究。
最小二乘支持向量机(Least Square Support Vector Machine,LS-SVM)作为支持向量机的一种改进算法,具有模型训练效率高、学***台。基于LS-SVM算法的以上优点以及实验室对此算法的前期积累,决定采用这种算法进行对时间序列异常检测方法的研究。
综上,基于LS-SVM的时间序列异常检测方法研究对航天器等复杂***的状态监测和异常检测应用具有重要的参考价值和实际意义。
发明内容
本发明是为了解决现有的单个测试点的异常检测方式难以判断时间序列中出现的短期趋势或模式出现的变化或异常的问题。现提供一种基于LS-SVM的传感器检测数据异常片段检测方法。
一种基于LS-SVM的传感器检测数据异常片段检测方法,它包括如下步骤:
步骤一、设定所需检测的置信度c,时间序列长度n和最小异常点出现个数m,并且n和m的设定满足置信度c的限制,n和m均为正整数;
步骤二、从t0时刻起对时间序列长度n内的数据进行点异常检测置信概率为p的LS-SVM点异常检测,获得时间序列长度n内的预测残差和数据的异常点的个数;
步骤三、判断步骤二中长度为n的时间序列中异常点的个数是否为至少m个异常点,即|En(t0)|≥m,m为正整数,|En(t0)|表示时间序列片段,如果是,则该时间序列长度为n的时间序列中存在异常数据,执行步骤四,如果否,则对t0+1时刻的数据执行步骤二;
步骤四、异常数据存在的时间范围为[t0-n+1,t0];
步骤五、判断步骤二中是否有从t0时刻起以及相连的至少前六时刻的预测残差出现持续上升或者持续下降,如果是,则时间序列长度n内存在异常数据,执行步骤六,如果否,则对t0+1时刻的数据执行步骤二;
步骤六、异常数据存在的时间范围为[t0-h,t0],其中h>=6;
步骤七、将步骤四和步骤六获得异常数据存在的时间范围取并集,确定数据异常片段存在的时间范围为[t0-n+1,t0]∪[t0-h,t0],判断是否全部检测结束,如果是,执行步骤八,如果否,则对t0+1时刻的数据执行步骤二;
步骤八、结束。
本发明的有益效果为:本发明通过以时间序列长度n内的时间序列片段进行整体异常的估计,综合考虑此段时间内的整体异常情况,实现了异常片段的检测,并给出了异常片段出现的置信概率,以此发觉时间序列中出现的短期模式异常。它可应用在航空航天飞行器监控领域。
附图说明
图1为具体实施方式一所述的一种基于LS-SVM的传感器检测数据异常片段检测方法的流程图;
图2为具体实施例中异常点存在时间序列片段中的位置示意图,其中,●表示异常点,○表示正常点。
具体实施方式
具体实施方式一:参见图1说明本实施方式,本实施方式所述的一种基于LS-SVM的传感器检测数据异常片段检测方法,它包括如下步骤:
步骤一、设定所需检测的置信度c,时间序列长度n和最小异常点出现个数m,并且n和m的设定满足置信度c的限制,n和m均为正整数;
步骤二、从t0时刻起对时间序列长度n内的数据进行点异常检测置信概率为p的LS-SVM点异常检测,获得时间序列长度n内的预测残差和数据的异常点的个数;
步骤三、判断步骤二中长度为n的时间序列中异常点的个数是否为至少m个异常点,即|En(t0)|≥m,m为正整数,|En(t0)|表示时间序列片段,如果是,则该时间序列长度为n的时间序列中存在异常数据,执行步骤四,如果否,则对t0+1时刻的数据执行步骤二;
步骤四、异常数据存在的时间范围为[t0-n+1,t0];
步骤五、判断步骤二中是否有从t0时刻起以及相连的至少前六时刻的预测残差出现持续上升或者持续下降,如果是,则时间序列长度n内存在异常数据,执行步骤六,如果否,则对t0+1时刻的数据执行步骤二;
步骤六、异常数据存在的时间范围为[t0-h,t0],其中h>=6;
步骤七、将步骤四和步骤六获得异常数据存在的时间范围取并集,确定数据异常片段存在的时间范围为[t0-n+1,t0]∪[t0-h,t0],判断是否全部检测结束,如果是,执行步骤八,如果否,则对t0+1时刻的数据执行步骤二;
步骤八、结束。
本实施方式中,当残差出现持续上升或持续下降时,则有较高几率出现了异常情况。连续h个残差出现依次上升或者依次下降的情况的概率:
一般选择h=7,则此时判定此段时间内的时间序列片段发生异常的概率至少为1-0.0004=99.96%。
具体实施方式二:本实施方式是对具体实施方式一所述的一种基于LS-SVM的传感器检测数据异常片段检测方法作进一步说明,本实施方式中,步骤一中时间序列长度n、最小异常点出现个数m和置信度c,且三者关系满足以下公式:
P(|En(t0)|≥m)>c,
其中,在长度为n的时间序列片段中,至少出现m个异常点的概率P(|En(t0)|≥m)表示为P(|En(t0)|≥m)=P(m)+P(m+1)+…+P(n),P(m)为长度为n的时间序列长度中出现m个异常值的概率,P(|En(t0)|)为长度为n的时间序列片段中出现|En(t0)|个异常点的概率,此片段为异常片段的概率至少为1-P,E(t0)=[O(t0-n+1),O(t0-n+2),…,O(t0)]T,O(t0)表示t0时刻的观测值是否为异常点,O(t0)=1为异常点,O(t0)=0为正常点,采用En(t0)的二范数作为片段的异常点出现的个数,表示为:
式中,i为正整数。
具体实施方式三、本实施方式是对具体实施方式一所述的一种基于LS-SVM的传感器检测数据异常片段检测方法作进一步说明,本实施方式中,步骤二中从t0时刻起对时间序列长度n内的数据进行点异常检测置信概率为p的LS-SVM点异常检测,获得时间序列长度n内的数据的异常点的个数的方法为:
步骤二一:设定训练数据集,对训练数据集中的数据进行相空间重构,获得输入向量与输出向量;
步骤二二:利用Z-zeros方法对获得的输入向量与输出向量进行归一化处理,将所述输入向量与输出向量归一化至[-1,1]范围内;
步骤二三:选取LS-SVM算法的核函数,并设定LS-SVM预测模型的参数,根据步骤二二归一化处理后的输入向量与输出向量训练LS-SVM回归模型,从而获得LS-SVM预测模型;
步骤二四:对预测模型输入预测向量得到预测输出,当下一时刻预测值来临,取下一时刻预测值与此时刻的预测输出值的残差,判断残差是否超出所得的正常预测误差的范围,如果是,则此时刻数据标记为异常,如果否,则此时刻数据标记为正常。
具体实施方式四、本实施方式是对具体实施方式三所述的一种基于LS-SVM的传感器检测数据异常片段检测方法作进一步说明,本实施方式中,
所述LS-SVM预测模型为:
其中,K(x,xi)为径向基核函数;b为偏差量,αi是拉格朗日乘子α的数组元素,y为LS-SVM预测模型的输出的预测值,新观测到的数据的观测值xi∈Rn
具体实施例:
在n=6、m=3、p(t0)=1%时,长度为6的片段中至少出现3个异常值的概率为:
P(|E6(t0)|≥3)=P(3)+P(4)+…+P(6)=0.02%,
因此,一旦所检测的片段中出现了3个以及以上的异常点,则此片段出现异常的概率1-0.02%=99.8%。图2中即为此类异常情况下,片段异常检测的的一个例子,其中两线段之间区域表示所检测时间序列片段[0,10],有99.98%的可能性出现了异常。
1、采用Ma等人提出的仿真数据集,引用此数据集进行片段异常检测的实验验证。
未添加异常时,序列x0表示为:
其中,N=1200,n0为均值为0、标准差0.1的高斯噪声。
向原序列中添加异常片段e1得到序列x1,向原序列中添加异常片段e1与e2得到序列x2。e1为均值为0,标准差为0.5的高斯噪声,添加在600~620处;
e2添加在820~870处。
使用Ma仿真序列,异常片段添加范围为[600,620]∪[820,870]。验证实验在PC平台下完成,采用的实验仿真环境为Matlab2013a。使用数据集2中前400点作为训练集,后800点作为测试集。输入向量构造时取前嵌入维数20,采用RBF核函数。使用工具包LS-SVM1.8自带寻优函数选择超参数,LS-SVM参数寻优结果为C=1.57532,σ=10.3102。
为了验证异常值替换策略对异常检测结果的影响,我们对检测出的异常点分别采用不处理和用预测值替换异常值的方式进行实验。下文中简称为无替换策略和有替换策略。
(1)无替换策略
检测出异常点后,在进行下一步预测时,不使用预测值替换出现异常的真实值。
策略1:
实际值与预测值残差超出误差阈值的序列值共有61个,即检测出61个异常点,发生时间如下:
t=471,500,570,601,605,606,609,610,613,614,616,617,618,619,620,622,623,624,649,650,715,725,811,820,821,822,823,824,825,826,827,828,829,830,831,832,833,834,845,846,847,849,850,851,852,853,854,855,856,857,858,859,860,861,862,863,864,865,934,1051,1056
在长度为6时间序列片段中,出现了3个以及3个以上异常点,异常片段检测结果:t=[601,627]∪[820,837]∪[845,868]
片段异常模式2即残差值出现7个以上持续上升情况的发生时间:
t=837,838,839,840,841,842,843,844,845,846,847
综合以上两种异常情况,最终检测出的异常片段范围为:t=[601,627]∪[820,868]。
与真实的异常范围[600,620]∪[820,870]能够很好对应,表明本方法能够比较成功的检测出异常片段发生的时间。
检测结果的异常持续长度比真实的异常片段范围多出较多。分析出现这种情况的原因主要有两种。第一种可能是因为在使用异常值构造之后的输入向量,影响预测准确性。针对此种可能可以采用异常值替换策略,将检测出的异常值用预测值进行替换,之后再用以新的输入向量的构造。第二种可能是所使用的异常点的检测算法的误检率比较高,将正常值判断成了异常值。针对此种情况则需要对点异常检测算法进行一定优化。
检测出异常点后,在进行下一步预测时,不使预测值替换真实值。
策略2:
实际值与预测值残差超出误差阈值的序列值共有41个,即检测出41个异常点,发生时间如下:
t=500,570,601,605,606,609,610,613,614,616,617,618,620,649,725,811,820,822,824,825,826,827,832,833,850,853,854,855,856,857,858,860,861,862,864,934
在长度为6时间序列片段中,出现了3个以及3个以上异常点,异常片段检测结果:t=[601,622]∪[820,837]∪[846,868]。
残差值出现7个以上持续上升情况的发生时间:
t=837,838,839,840,841,842,843,844,845,846,847
可以看出,在t=[837,847]时间内,真实值与预测值残差出现持续上升情况,判断此段时间出现了片段异常。
综合以上两种异常情况,最终检测出的异常片段范围为:t=[601,622]∪[820,868]。
与真实的异常范围[600,620]∪[820,870]相差很小,几乎准确的检测除了聚集异常的出现时间和持续长度。
对比使用异常点检测策略1得出的实验结果,使用策略2得出的结果更加准确,说明了片段异常检测方法的检测效果是受异常点检测方法影响,异常点检测方法越优,同样条件下片段检测的效果就越好。
(2)有替换策略
由于基于LS-SVM预测的异常检测算法的输入向量是采用历史值构造,如果历史值出现异常难免会对之后预测结果造成影响,从而使检测结果出现不准。基于以上考虑,我们将已检测出的异常值用预测值替换后再用于构造输入向量。
基于LS-SVM的异常片段检测是在进行异常点检测时使用策略1,
残差值出现未7个以上持续上升情况的发生时间。
实际值与预测值残差超出误差阈值的序列值共有54个,即检测出54个异常点,发生时间如下:
t=471,500,570,601,605,606,609,610,613,614,615,616,617,618,649,650,715,725,811,820,821,822,823,824,825,826,827,828,829,830,831,832,833,834,845,846,847,850,851,852,853,854,855,856,857,858,859,860,861,862,863,864,865,934
片段异常模式1的检测结果:t=[601,621]∪[820,837]∪[845,868]。
将点异常检测策略2应用于异常片段检测,使用预测值代替检测出的异常值。
基于LS-SVM的异常片段检测是在进行异常点检测时使用的策略2,
残差值出现未7个以上持续上升情况的发生时间,即没有出现第二种异常情况。
实际值与预测值残差超出误差阈值的序列值共有34个,即检测出34个异常点,发生时间如下:
t=601,605,606,609,610,613,614,616,617,618,811,820,822,824,825,826,827,831,832,833,850,851,853,854,855,856,857,858,860,861,862,863,864,865
片段异常模式1检测结果:t=[601,621]∪[820,836]∪[850,868]。
采用替换策略后的检测结果与不替换相比,检测出的异常片段范围更小,与真实结果相比吻合程度没有不替换的效果好。
2、此为来自于美国航空航天局(NASA)公开的航天飞机中某电磁阀进行开关实验时的状态数据。每个周期的原数据包含1000个采样点,其正常和异常已由NASA专家工程师已进行了正常和异常的标注。为了提高算法效率,实验中进行了均匀重采样,每周期仅采用200点来表示。
对真实数据集3即航天飞机Marotta序列进行异常片段检测。使用数据集3中三个正常周期作为训练集。输入向量构造时取前嵌入维数20,采用RBF核函数。使用工具包LS-SVM1.8自带寻优函数选择超参数,LS-SVM参数寻优结果为C=1.57532,σ2=10.3102。与对Ma数据集的实验设计类似,在对真实数据集3,航天飞机Marotta值时间序列的异常片段检测也分别使用基于两种不同点异常检测策略进行实验,并且进行异常值替换和不替换策略进行对比。
(1)不采用异常值替换策略
检测出异常点后,在进行下一步预测时,不使用预测值替换出现异常的真实值。点异常检测方法采用点异常检测策略1。
长度为6时间序列片段中,出现了3个以及3个以上异常点,异常片段检测结果:t=[257,280]∪[308,334]∪[507,525]∪[527,535]。
残差值出现7个以上持续上升情况的发生时间:t=[296,303]∪[520,527];残差值出现7个以上持续上升情况的发生时间:t=[266,280]∪[305,316]。
综合以上两种异常情况,最终检测出的异常片段范围为:t=[257,280]∪[296,303]∪[305,334]∪[507,535]。
在长度为6时间序列片段中,出现了3个以及3个以上异常点,异常片段检测结果:t=[257,279]∪[309,325]∪[507,524]
残差值出现7个以上持续上升情况的发生时间与使用策略1相同。残差值出现7个以上持续上升情况的发生时间:t=[296,303]∪[520,527];残差值出现7个以上持续上升情况的发生时间:t=[266,280]∪[305,316]。
综合以上两种异常情况,最终检测出的异常片段范围为:t=[257,280]∪[296,303]∪[305,325]∪[507,527]。
与使用点异常检测策略1为基础的检测结果相比,范围略有缩小,与真实异常情况更加吻合,基本完全检测出所有异常片段出现的位置。
(2)采用异常值替换策略替换策略
在进行替换策略后,预测结果出现了严重失真,异常检测的结果失去意义。说明对于此数据集,此种策略并不适用。
在实际应用中,用预测值代替真实值是有较大风险的,因为预测的误差会累积到之后的新值预测中,是预测失真进而使异常检测算法失效。
3、使用真实数据集4,黑龙江哈尔滨市2010年1月1月4日至2月28日,共56天,8周的话务量数据作为检测对象进行实验。
(1)无替换策略
检测出异常点后,在进行下一步预测时,不使用预测值替换出现异常的真实值。点异常检测方法采用策略1。
在长度为6时间序列片段中,出现了3个以及3个以上异常点,异常片段检测结果:t=[139,150]∪[152,173]∪[176,196]∪[207,214]∪[231,236]∪[498,503]。
将上述检测结果转化到真实日期发现检测出的结果如表3-1所示:
表3-1 异常检测结果时间对应表(不替换,策略1)
点异常检测方法采用点异常检测策略2。
本次检测未发现残差连续上升或连续下降7个以及7以上的片段。
实际值与预测值残差超出误差阈值的序列值共有60个,即检测出60个异常点,发生时间如下:
在长度为6时间序列片段中,出现了3个以及3个以上异常点,异常片段检测结果:t=[139,150]∪[156,174]∪[176,197]∪[207,213]。
将上述检测结果转化到真实日期发现检测出的结果如表3-2所示:
表3-2 异常检测结果时间对应表(不替换,策略2)
由于春节假期属于国家法定节假日,并且这个特殊节日对中国人有着较为特殊的意义。结果中可以看出,在除夕夜至大年初一凌晨,真实话务量比预测值高出了很多,发生的时间与国人打电话相互拜年的习惯时间几乎吻合。在节假日期间,话务量要明显小于工作日,检测出的异常片段较为合理。
对比使用异常点检测策略1得出的实验结果,使用策略2得出的结果更加准确,说明了片段异常检测方法的检测效果是受异常点检测方法影响,异常点检测方法越优,同样条件下片段检测的效果就越好。本章的实验结果也再次证明了在第二章中提出异常点检测策略2算法的优越性。
(2)有替换策略
由于基于LS-SVM预测的异常检测算法的输入向量是采用历史值构造,如果历史值出现异常难免会对之后预测结果造成影响,从而使检测结果出现不准。基于以上考虑,我们将已检测出的异常值用预测值替换后再用于构造输入向量。
基于LS-SVM的异常片段检测是在进行异常点检测时使用点异常检测策略1。
在长度为6时间序列片段中,出现了3个以及3个以上异常点,异常片段检测结果:t=[58,63]∪[82,87]∪[107,119]∪[129,134]∪[138,149]∪[152,168]∪[176,192]∪[200,216]∪[224,240]∪[249,264]∪[275,280]∪[499,506]。
残差值出现7个以上持续上升情况的发生时间:t=[113,121]∪[145,152]。
综合以上两种异常情况的检测结果,最终检测出的异常片段范围为:t=[58,63]∪[82,87]∪[107,121]∪[129,134]∪[138,168]∪[176,192]∪[200,216]∪[224,240]∪[249,264]∪[275,280]∪[499,506]。最终的检测结果对应的日期和时间见表3-2。
表3-2 异常检测结果时间对应表(替换,策略1)
表3-2(续表)
根据实验结果可以看出,替换后检测结果范围扩大了许多,不仅包括了除夕到初六共七天法定节假日,还多出了元宵节。
将点异常检测策略2应用于异常片段检测,
在长度为6时间序列片段中,出现了3个以及3个以上异常点,异常片段检测结果:t=[58,63]∪[82,87]∪[136,150]∪[152,168]∪[176,192]∪[201,216]∪[224,240]∪[250,260]∪[498,506]。
残差值出现7个以上持续上升情况的发生时间:t=[145,154]。
综合以上两种异常情况的检测结果,最终检测出的异常片段范围为:t=[58,63]∪[82,87]∪[136,168]∪[176,192]∪[201,216]∪[224,240]∪[250,260]∪[498,506]
最终的检测结果对应的日期和时间见表3-3。
表3-3 异常检测结果时间对应表(不替换,策略2)
采用预测值替换检测出的异常值后,两种策略的检测出的异常片段均变多了。使用策略1采取替换策略范围多出了初五、初六,策略2多检测除了初四初五。根据常识,春节期间法定节假日是除夕到初六,发现采用替换策略后检测结果可能更加准确。
以上三个数据集进行的实验说明本文所提出的异常检测方法能较好的检测出时间序列中的异常片段的出现。异常值替换策略的使用存在风险,在一些应用场合,采用替换可以提高检测效果,但是有时会使整个算法失效。替换策略带来的风险比起效果提升程度大许多,在实际应用中并不能轻易使用。

Claims (4)

1.一种基于LS-SVM的传感器检测数据异常片段检测方法,其特征在于,它包括如下步骤:
步骤一、设定所需检测的置信度c,时间序列长度n和最小异常点出现个数m,并且n和m的设定满足置信度c的限制,n和m均为正整数;
步骤二、从t0时刻起对时间序列长度n内的数据进行点异常检测置信概率为p的LS-SVM点异常检测,获得时间序列长度n内的预测残差和数据的异常点的个数;
步骤三、判断步骤二中长度为n的时间序列中异常点的个数是否为至少m个异常点,即|En(t0)|≥m,m为正整数,|En(t0)|表示长度为n的时间序列片段中异常点的个数,如果是,则该时间序列长度为n的时间序列中存在异常数据,执行步骤四,如果否,则对t0+1时刻的数据执行步骤二;
步骤四、异常数据存在的时间范围为[t0-n+1,t0];
步骤五、判断步骤二中是否有从t0时刻起以及相连的至少前六时刻的预测残差出现持续上升或者持续下降,如果是,则时间序列长度n内存在异常数据,执行步骤六,如果否,则对t0+1时刻的数据执行步骤二;
步骤六、异常数据存在的时间范围为[t0-h,t0],其中h>=6;
步骤七、将步骤四和步骤六获得异常数据存在的时间范围取并集,确定数据异常片段存在的时间范围为[t0-n+1,t0]∪[t0-h,t0],判断是否全部检测结束,如果是,执行步骤八,如果否,则对t0+1时刻的数据执行步骤二;
步骤八、结束。
2.根据权利要求1所述的基于LS-SVM的传感器检测数据异常片段检测方法,其特征在于,步骤一中时间序列长度n、最小异常点出现个数m和置信度c,且三者关系满足以下公式:
P(|En(t0)|≥m)>c,
其中,在长度为n的时间序列片段中,至少出现m个异常点的概率P(|En(t0)|≥m)表示为P(|En(t0)|≥m)=P(m)+P(m+1)+…+P(n),P(m)为长度为n的时间序列长度中出现m个异常值的概率,P(|En(t0)|)为长度为n的时间序列片段中出现|En(t0)|个异常点的概率,此片段为异常片段的概率至少为1-P,E(t0)=[O(t0-n+1),O(t0-n+2),…,O(t0)]T,O(t0)表示t0时刻的观测值是否为异常点,O(t0)=1为异常点,O(t0)=0为正常点,采用En(t0)的二范数作为片段的异常点出现的个数,表示为:
| E n ( t 0 ) | = Σ i = 0 n - 1 O ( t 0 - i )
式中,i为正整数。
3.根据权利要求1所述的基于LS-SVM的传感器检测数据异常片段检测方法,其特征在于,步骤二中从t0时刻起对时间序列长度n内的数据进行点异常检测置信概率为p的LS-SVM点异常检测,获得时间序列长度n内的数据的异常点的个数的方法为:
步骤二一:获取时间序列长度n内的观测数据,对观测数据进行相空间重构,获得输入向量与输出向量;
步骤二二:利用Z-zeros方法对N对输入向量与输出向量进行归一化处理,将所述输入向量与输出向量归一化至[-1,1]范围内,选取前N对输入向量与输出向量作为训练数据,其余的作为测试数据,所述N为正整数;
步骤二三:选取LS-SVM算法的核函数,并设定LS-SVM预测模型的参数,根据步骤二二归一化处理后的输入向量与输出向量训练LS-SVM回归模型,从而获得LS-SVM预测模型;
步骤二四:对预测模型输入预测向量得到预测输出,当下一时刻预测值来临,取下一时刻预测值与此时刻的预测输出值的残差,判断残差是否超出在点异常检测置信概率p下所得的正常预测误差的范围,如果是,则此时刻数据标记为异常,如果否,则此时刻数据标记为正常。
4.根据权利要求3所述的基于LS-SVM的传感器检测数据异常片段检测方法,其特征在于,
所述LS-SVM预测模型为:
y = Σ i = 1 N α i K ( x , x i ) + b
其中,K(x,xi)为径向基核函数;b为偏差量,αi是拉格朗日乘子α的数组元素,y为LS-SVM预测模型的输出的预测值,新观测到的数据的观测值xi∈Rn
CN201410422006.8A 2014-08-25 2014-08-25 一种基于ls‑svm的传感器检测数据异常片段检测方法 Active CN104156473B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410422006.8A CN104156473B (zh) 2014-08-25 2014-08-25 一种基于ls‑svm的传感器检测数据异常片段检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410422006.8A CN104156473B (zh) 2014-08-25 2014-08-25 一种基于ls‑svm的传感器检测数据异常片段检测方法

Publications (2)

Publication Number Publication Date
CN104156473A CN104156473A (zh) 2014-11-19
CN104156473B true CN104156473B (zh) 2017-05-03

Family

ID=51881971

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410422006.8A Active CN104156473B (zh) 2014-08-25 2014-08-25 一种基于ls‑svm的传感器检测数据异常片段检测方法

Country Status (1)

Country Link
CN (1) CN104156473B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106125643A (zh) * 2016-06-22 2016-11-16 华东师范大学 一种基于机器学习技术的工控安防方法
CN107092582B (zh) * 2017-03-31 2021-04-27 江苏方天电力技术有限公司 一种基于残差后验的异常值在线检测及置信度评估方法
CN108801322A (zh) * 2018-07-06 2018-11-13 哈尔滨工业大学 用于无人机飞行控制***微机电***传感器的可靠性评估方法
CN109408772A (zh) * 2018-10-11 2019-03-01 四川长虹电器股份有限公司 对连续性数据中的异常数据的恢复方法
CN109697207B (zh) * 2018-12-25 2020-08-28 苏州思必驰信息科技有限公司 时序数据的异常监控方法及***
CN110071913B (zh) * 2019-03-26 2020-10-02 同济大学 一种基于无监督学习的时间序列异常检测方法
CN113646718B (zh) * 2019-03-27 2024-04-30 日产自动车株式会社 异常探测装置及异常探测方法
CN111612082B (zh) * 2020-05-26 2023-06-23 河北小企鹅医疗科技有限公司 检测时间序列中异常子序列的方法及设备
CN111783356B (zh) * 2020-06-29 2024-03-29 清华大学深圳国际研究生院 一种基于人工智能的石油产量预测方法和装置
CN111967508A (zh) * 2020-07-31 2020-11-20 复旦大学 基于显著图的时间序列异常点检测方法
CN113051825B (zh) * 2021-03-29 2022-08-05 中国人民解放军92859部队 一种海底趋势面的动态ls-svm构建方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7853072B2 (en) * 2006-07-20 2010-12-14 Sarnoff Corporation System and method for detecting still objects in images
CN102288398A (zh) * 2011-05-16 2011-12-21 南京航空航天大学 基于支持向量机的动量轮故障检测装置及方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7853072B2 (en) * 2006-07-20 2010-12-14 Sarnoff Corporation System and method for detecting still objects in images
CN102288398A (zh) * 2011-05-16 2011-12-21 南京航空航天大学 基于支持向量机的动量轮故障检测装置及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
移动通信话务量多步预测的LS_SVM方法研究;王少军;《仪器仪表学报》;20110630;第32卷(第6期);第1258-1264页 *

Also Published As

Publication number Publication date
CN104156473A (zh) 2014-11-19

Similar Documents

Publication Publication Date Title
CN104156473B (zh) 一种基于ls‑svm的传感器检测数据异常片段检测方法
Wang et al. Burst detection in district metering areas using deep learning method
US9441988B2 (en) System and method for identifying likely geographical locations of anomalies in a water utility network
Cochran et al. Earthquake early warning ShakeAlert system: Testing and certification platform
KR102169561B1 (ko) 데이터 클린징 시스템 및 공급물 조성을 추론하기 위한 방법
US8988236B2 (en) System and method for failure prediction for rod pump artificial lift systems
CN104156615A (zh) 基于ls-svm的传感器检测数据点异常检测方法
CN112083244B (zh) 综合化航空电子设备故障智能诊断***
CN103974311A (zh) 基于改进高斯过程回归模型的状态监测数据流异常检测方法
CN102789545A (zh) 基于退化模型匹配的涡轮发动机剩余寿命的预测方法
CN103345593A (zh) 面向传感器单数据流的聚集异常检测方法
CN110348150A (zh) 一种基于相关概率模型的故障检测方法
CN114169254A (zh) 基于短期建筑能耗预测模型的异常能耗诊断方法及***
CN114925536A (zh) 机载***phm测试性建模与诊断策略优化方法和装置
CN114997313B (zh) 一种海洋在线监测数据的异常检测方法
Tamilselvan et al. Optimization of wind turbines operation and maintenance using failure prognosis
KR20140137210A (ko) 지능형 생산정 위치 선정 전산 시스템 및 이를 이용한 생산정 위치 선정 방법
Drew et al. Hydrologic characteristics of freshwater mussel habitat: Novel insights from modeled flows
CN101382474A (zh) 一种桥梁结构安全的综合评价方法
Li et al. Meteorological radar fault diagnosis based on deep learning
CN103337000B (zh) 一种油气集输***安全监测预警方法
EP2956751B1 (en) Method and monitoring device for monitoring a structure
Wang et al. Prognosis-informed wind farm operation and maintenance for concurrent economic and environmental benefits
Linder et al. Evaluating statistical models to measure environmental change: A tidal turbine case study
CN106371419A (zh) 用于监视控制回路的运行的诊断装置和诊断方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant