CN108733812B - 基于全局信息的时间序列数据中异常数据点的识别方法 - Google Patents
基于全局信息的时间序列数据中异常数据点的识别方法 Download PDFInfo
- Publication number
- CN108733812B CN108733812B CN201810489464.1A CN201810489464A CN108733812B CN 108733812 B CN108733812 B CN 108733812B CN 201810489464 A CN201810489464 A CN 201810489464A CN 108733812 B CN108733812 B CN 108733812B
- Authority
- CN
- China
- Prior art keywords
- speed
- change rate
- data
- data point
- speed change
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 25
- 238000000034 method Methods 0.000 title claims abstract description 15
- 238000009826 distribution Methods 0.000 claims abstract description 28
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000010354 integration Effects 0.000 claims 1
- 238000007418 data mining Methods 0.000 description 3
- 238000004140 cleaning Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
Images
Landscapes
- Testing And Monitoring For Control Systems (AREA)
- Testing Or Calibration Of Command Recording Devices (AREA)
- Complex Calculations (AREA)
Abstract
本发明公开了基于全局信息的时间序列数据中异常数据点的识别方法,包括步骤:获取原始时间序列数据及各数据点的观测值;计算各数据点的观测值变化速度和各数据点的速度变化率;根据各数据点的速度变化率,计算原始时间序列数据的平均速度变化率,统计各数据点的速度变化率的离散概率分布,并对离散概率分布进行拟合得到概率密度函数;根据时间序列数据的值变化速度约束和数据点的速度变化率,检测异常数据点。将时间序列数据的平均速度变化率和速度变化率的概率分布作为全局信息,充分反应了时间序列数据的整体特性,通过查找违背整体特性的数据点能够对异常数据点进行有效识别,识别出异常数据点。该方法对时间序列数据中突发异常数据点能准确识别。
Description
技术领域
本发明属于数据清洗领域,更为具体地讲,涉及一种基于全局信息的时间序列数据中异常数据点的识别方法。
背景技术
随着信息技术的发展,数据无时无刻不在产生和使用。各行各业的数据在不断地增长,数据已经在人们的生活中成为了十分重要的角色。由于各种各样的传感器被广泛使用,日常生活中越来越多的时间序列数据被采集和应用,例如气温数据和GPS轨迹数据。因为这些数据中蕴含着丰富的信息,使得时间序列数据挖掘成为了当今的一个热门研究课题。然而,与此同时脏数据也广泛存在于时间序列数据中,低质量的时间序列数据给数据挖掘和分析带来了巨大的影响。毫无疑问,通过清洗时间序列数据,从而提高时间序列数据的数据质量,可以有效地改善数据挖掘的结果,具有重要意义。
其中,如何从时间序列数据中检测突发异常点,是数据清洗中的一项重要内容。由于传感器错误和其他原因,导致时间序列数据中通常存在一些错误的数据点。而这些错误的异常数据点的位置通常难以判断,使得时间序列数据清洗成为极具挑战性的问题。基于平滑的方法通常用于消除序列中的异常数据点,如简单移动平均(SMA)和指数加权移动平均(EWMA)。然而,这类方法仅对序列中的所有数据点都进行平滑处理,难以有效判断异常点的位置。
综上,目前在识别时间序列数据中的突发异常数据点时,存在难以有效准确的判断异常数据点的位置的问题,从而影响对异常数据点的识别。
发明内容
本发明的目的在于克服现有技术的不足,提供一种基于全局信息的时间序列数据中异常数据点的识别方法,实现对时间序列数据中突发异常数据点的准确识别。
为实现上述发明目的,本发明一种基于全局信息的时间序列数据中异常数据点的识别方法,包括以下步骤:
S1:获取原始时间序列数据;
S2:根据所述原始时间序列数据中各数据点的观测值,计算各数据点的观测值变化速度,并根据各数据点的观测值变化速度计算出各数据点的速度变化率;
S4:检测异常数据点:在原始时间序列数据中,如果min{1-p(ui-1),p(ui-1)}、min{1-p(ui),p(ui)}和min{1-p(ui+1),p(ui+1)}都小于则第i个数据点将被识别为异常数据点,其中,p(ui-1)为速度变化率小于第i-1个数据点的速度变化率ui-1的概率,其值为从负无穷到速度变化率ui-1对概率密度函数进行积分得到的值,p(ui)为速度变化率小于第i个数据点的速度变化率ui的概率,其值为从负无穷到速度变化率ui对概率密度函数进行积分得到的值,p(ui+1)为速度变化率小于第i+1个数据点的速度变化率ui+1的概率,其值为从负无穷到速度变化率ui+1对概率密度函数进行积分得到的值,为速度变化率小于速度变化率的概率,其值为从负无穷到速度变化率对概率密度函数进行积分得到的值,为速度变化率小于速度变化率的概率,其值为从负无穷到速度变化率对概率密度函数进行积分得到的值,smax和smin分别为最大和最小的值变化速度约束。
本发明的目的是这样实现的:
本发明通过获取原始时间序列数据及所述原始时间序列数据中各数据点的观测值;根据所述原始时间序列数据中各数据点的观测值,计算各数据点的观测值变化速度和各数据点的速度变化率;根据所述各数据点的速度变化率,计算所述原始时间序列数据的平均速度变化率,统计所述各数据点的速度变化率的离散概率分布,并对所述离散概率分布进行拟合得到概率密度函数;根据时间序列数据的值变化速度约束和数据点的速度变化率,检测异常数据点。由于时间序列数据的观测值变化速度的分布大多没有规律,本发明在观测值变化速度的基础上继续计算速度变化率,发现速度变化率的分布基本符合正太分布,进而使用正太分布进行拟合。将时间序列数据的平均速度变化率和速度变化率的概率分布作为全局信息,充分反应了时间序列数据的整体特性,通过查找违背整体特性的数据点能够对异常数据点进行有效识别。
附图说明
图1是本发明基于全局信息的时间序列数据中异常数据点的识别方法的总体流程图。
具体实施方式
下面结合附图对本发明的具体实施方式进行描述,以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是,在以下的描述中,当已知功能和设计的详细描述也许会淡化本发明的主要内容时,这些描述在这里将被忽略。
实施例
如图1所示,本发明基于全局信息的时间序列数据中异常数据点的识别方法,其具体步骤包括:
S101:获取原始时间序列数据:
获取包含异常点的原始时间序列数据x={<t1,x1>,<t2,x2>,...,<tn,xn>},其中,ti表示第i个数据点的观测时间,xi表示第i个数据点的观测值,i=1、2、3……n。表1是本实施例中的原始时间序列数据表。
表1
S102:计算各数据点的观测值变化速度和数据点的速度变化率
根据所述原始时间序列数据中各数据点的观测值,计算各数据点的观测值变化速度,并根据各数据点的观测值变化速度计算出各数据点的速度变化率:
原始时间序列数据中第i个数据点xi的观测值变化速度计算公式为数据点的速度变化率计算公式为其中,ti表示第i个数据点的观测时间,ti-1表示第i-1个数据点的观测时间,xi表示第i个数据点的观测值,xi-1表示第i-1个数据点的观测值,vi表示第i个数据点的观测值变化速度,vi-1表示第i-1个数据点的观测值变化速度。
由于时间序列数据的观测值变化速度的分布大多没有规律,本发明在观测值变化速度的基础上继续计算速度变化率,发现速度变化率的分布基本符合正太分布,进而在接下来的步骤中使用正太分布进行拟合。
表2是本实施例中的原始时间序列数据的观测值变化速度和速度变化率表。
表2
S103:拟合速度变化率的概率分布
表3是本实施例中的原始时间序列数据的速度变化率离散概率分布表。
速度变化率 | 概率 |
(-∞,-0.2) | 0.04545 |
[-0.2,-0.1) | 0.1364 |
[-0.1,0) | 0.4545 |
[0,0.1) | 0.2273 |
[0.1,0.2) | 0.04545 |
[0.2,+∞) | 0.0909 |
表3
使用正太分布拟合速度变化率的离散概率分布得到概率密度函数,计算公式为:
时间序列数据的平均速度变化率和速度变化率的概率分布作为一种全局信息,充分反应了时间序列数据的整体特性。
S104:异常数据点检测
检测异常数据点:在原始时间序列数据中,如果min{1-p(ui-1),p(ui-1)}、min{1-p(ui),p(ui)}和min{1-p(ui+1),p(ui+1)}都小于则第i个数据点将被识别为异常数据点。
其中,p(ui-1)为速度变化率小于第i-1个数据点的速度变化率ui-1的概率,其值为从负无穷到速度变化率ui-1对概率密度函数进行积分得到的值,p(ui)为速度变化率小于第i个数据点的速度变化率ui的概率,其值为从负无穷到速度变化率ui对概率密度函数进行积分得到的值,p(ui+1)为速度变化率小于第i+1个数据点的速度变化率ui+1的概率,其值为从负无穷到速度变化率ui+1对概率密度函数进行积分得到的值,为速度变化率小于速度变化率的概率,其值为从负无穷到速度变化率对概率密度函数进行积分得到的值,为速度变化率小于速度变化率的概率,其值为从负无穷到速度变化率对概率密度函数进行积分得到的值,即:
其中,smax和smin分别为最大和最小的值变化速度约束,根据具体实施情况确定。
在本步骤中,通过查找违背上述整体特性的数据点能够对异常数据点进行有效识别。
本实施例中,变化速度的最大值smax=0.1和最小值smin=-0.1,根据速度变化率概率分布的概率密度函数得到:
表4是本实施例中的异常点检测结果
表4
尽管上面对本发明说明性的具体实施方式进行了描述,以便于本技术领域的技术人员理解本发明,但应该清楚,本发明不限于具体实施方式的范围,对本技术领域的普通技术人员来讲,只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内,这些变化是显而易见的,一切利用本发明构思的发明创造均在保护之列。
Claims (2)
1.一种基于全局信息的时间序列数据中异常数据点的识别方法,其特征在于,包括以下步骤:
S1:获取传感器采集的时间序列数据作为原始时间序列数据;
S2:根据所述原始时间序列数据中各数据点的观测值,计算各数据点的观测值变化速度,并根据各数据点的观测值变化速度计算出各数据点的速度变化率;
S4:检测异常数据点:在原始时间序列数据中,如果min{1-p(ui-1),p(ui-1)}、min{1-p(ui),p(ui)}和min{1-p(ui+1),p(ui+1)}都小于则第i个数据点将被识别为异常数据点,其中,p(ui-1)为速度变化率小于第i-1个数据点的速度变化率ui-1的概率,其值为从负无穷到速度变化率ui-1对概率密度函数进行积分得到的值,p(ui)为速度变化率小于第i个数据点的速度变化率ui的概率,其值为从负无穷到速度变化率ui对概率密度函数进行积分得到的值,p(ui+1)为速度变化率小于第i+1个数据点的速度变化率ui+1的概率,其值为从负无穷到速度变化率ui+1对概率密度函数进行积分得到的值,为速度变化率小于速度变化率的概率,其值为从负无穷到速度变化率对概率密度函数进行积分得到的值,为速度变化率小于速度变化率的概率,其值为从负无穷到速度变化率对概率密度函数进行积分得到的值,smax和smin分别为最大和最小的值变化速度约束。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810489464.1A CN108733812B (zh) | 2018-05-21 | 2018-05-21 | 基于全局信息的时间序列数据中异常数据点的识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810489464.1A CN108733812B (zh) | 2018-05-21 | 2018-05-21 | 基于全局信息的时间序列数据中异常数据点的识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108733812A CN108733812A (zh) | 2018-11-02 |
CN108733812B true CN108733812B (zh) | 2021-09-14 |
Family
ID=63938672
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810489464.1A Active CN108733812B (zh) | 2018-05-21 | 2018-05-21 | 基于全局信息的时间序列数据中异常数据点的识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108733812B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115062270B (zh) * | 2022-06-10 | 2024-05-31 | 浙江工商大学 | 基于最大似然的缺失值填充的传感器数据处理方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103065466A (zh) * | 2012-11-19 | 2013-04-24 | 北京世纪高通科技有限公司 | 一种交通异常状况的检测方法和装置 |
CN103226589A (zh) * | 2012-10-15 | 2013-07-31 | 北京大学 | 获取图像的紧凑全局特征描述子的方法及图像检索方法 |
CN104793605A (zh) * | 2015-04-10 | 2015-07-22 | 北京金控自动化技术有限公司 | 一种利用正态分布判定设备故障的方法 |
CN104849728A (zh) * | 2015-05-12 | 2015-08-19 | 北京航空航天大学 | 地基增强***的完好性评估方法 |
CN105071983A (zh) * | 2015-07-16 | 2015-11-18 | 清华大学 | 一种面向云计算在线业务的异常负载检测方法 |
CN105119734A (zh) * | 2015-07-15 | 2015-12-02 | 中国人民解放军防空兵学院 | 基于健壮多元概率校准模型的全网络异常检测定位方法 |
CN106571039A (zh) * | 2016-08-22 | 2017-04-19 | 中海网络科技股份有限公司 | 一种高速公路违章行为自动抓拍*** |
CN106909793A (zh) * | 2017-03-03 | 2017-06-30 | 北京北青厚泽数据科技有限公司 | 检验服从近似正态分布的时间序列的异常的方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
SG11201400490RA (en) * | 2011-09-08 | 2014-06-27 | Tokyo Inst Tech | Method and program for detecting change-point of time series data, and method and program for predicting probability density distribution of future time-series data values |
-
2018
- 2018-05-21 CN CN201810489464.1A patent/CN108733812B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103226589A (zh) * | 2012-10-15 | 2013-07-31 | 北京大学 | 获取图像的紧凑全局特征描述子的方法及图像检索方法 |
CN103065466A (zh) * | 2012-11-19 | 2013-04-24 | 北京世纪高通科技有限公司 | 一种交通异常状况的检测方法和装置 |
CN104793605A (zh) * | 2015-04-10 | 2015-07-22 | 北京金控自动化技术有限公司 | 一种利用正态分布判定设备故障的方法 |
CN104849728A (zh) * | 2015-05-12 | 2015-08-19 | 北京航空航天大学 | 地基增强***的完好性评估方法 |
CN105119734A (zh) * | 2015-07-15 | 2015-12-02 | 中国人民解放军防空兵学院 | 基于健壮多元概率校准模型的全网络异常检测定位方法 |
CN105071983A (zh) * | 2015-07-16 | 2015-11-18 | 清华大学 | 一种面向云计算在线业务的异常负载检测方法 |
CN106571039A (zh) * | 2016-08-22 | 2017-04-19 | 中海网络科技股份有限公司 | 一种高速公路违章行为自动抓拍*** |
CN106909793A (zh) * | 2017-03-03 | 2017-06-30 | 北京北青厚泽数据科技有限公司 | 检验服从近似正态分布的时间序列的异常的方法 |
Non-Patent Citations (2)
Title |
---|
无线传感器网络中基于模式频繁度的异常检测方法;施晓斌等;《信息技术与网络安全》;20180110(第1期);70-75 * |
面向移动用户的乘客需求预测***;周春姐等;《计算机研究与发展》;20151015;143-148 * |
Also Published As
Publication number | Publication date |
---|---|
CN108733812A (zh) | 2018-11-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110895526A (zh) | 一种大气监测***中数据异常的修正方法 | |
CN112348237B (zh) | 一种动态钻井数据异常趋势检测方法 | |
CN116304898B (zh) | 基于机器学习的传感器数据智能存储*** | |
CN116881745B (zh) | 基于大数据的压力变送器异常监测方法 | |
CN116992393B (zh) | 一种基于工业物联网的安全生产监测方法 | |
CN110287827B (zh) | 一种基于数据关联性的桥梁应变数据异常值识别方法 | |
CN113670616B (zh) | 一种轴承性能退化状态检测方法及*** | |
CN113342610B (zh) | 一种时序数据异常检测方法、装置、电子设备及存储介质 | |
CN108733812B (zh) | 基于全局信息的时间序列数据中异常数据点的识别方法 | |
CN105389648A (zh) | 一种常减压装置稳态工况的判别方法 | |
CN111353131B (zh) | 一种码载偏离度阈值计算的方法 | |
CN118010939B (zh) | 一种智能化甲醛检测方法 | |
CN117216484B (zh) | 基于多维数据分析的环境数据监测方法 | |
CN116821836B (zh) | 基于多传感器的轮轴瓦异常状态监测方法及*** | |
CN116304963B (zh) | 一种适用于地质灾害预警的数据处理*** | |
CN113436190A (zh) | 一种基于车道线曲线系数的车道线质量计算方法、装置及汽车 | |
CN106814608B (zh) | 基于后验概率分布的预测控制自适应滤波算法 | |
CN116760728A (zh) | 一种面向高速数据流的通用流级过滤方法 | |
CN106778515B (zh) | 一种法兰轴向漏磁阵列信号自动识别方法 | |
CN113836813B (zh) | 一种基于数据分析的高炉风口漏水检测方法 | |
CN114529803A (zh) | 一种指针仪表识别增强检测方法 | |
CN115859007B (zh) | 一种石化仪表采样数据滑窗约束容错滤波降噪方法和装置 | |
CN117433591B (zh) | 基于多传感器数据的自动化设备监测*** | |
CN106525184B (zh) | 光电直读水表的精确读数方法 | |
CN109492659B (zh) | 一种用于心电、脑电波形对比的计算曲线相似度的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |