CN108459920A - 一种试验数据野值的辨识与修正方法 - Google Patents
一种试验数据野值的辨识与修正方法 Download PDFInfo
- Publication number
- CN108459920A CN108459920A CN201810072773.9A CN201810072773A CN108459920A CN 108459920 A CN108459920 A CN 108459920A CN 201810072773 A CN201810072773 A CN 201810072773A CN 108459920 A CN108459920 A CN 108459920A
- Authority
- CN
- China
- Prior art keywords
- data
- outlier
- mod
- test data
- identification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/006—Identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
- G06F11/0793—Remedial or corrective actions
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Automatic Analysis And Handling Materials Therefor (AREA)
- Investigating Or Analysing Biological Materials (AREA)
Abstract
本发明涉及一种试验数据野值的辨识与修正方法,包括如下步骤:采集试验数据序列;将数据序列去除初始均值;逐点野值识别;修正野值;恢复初始值。利用上述步骤,完成试验数据野值的辨识与修正,能够解决斑点型野值的人工处理会带来判读效率低、判读精度差、数据缺失等问题,有效地辨识和修复试验数据野值。
Description
技术领域
本发明涉及数据处理技术领域,尤其涉及一种试验数据野值的辨识与修正方法。
背景技术
试验数据是研究和分析设备工作性能指标的原始依据,试验数据数据质量的优劣直接影响数据处理分析结果、设备工作性能客观评估等。然而,数据从采集、编码、传输直至接收的过程要经历非常复杂的外部环境,譬如:记录器***误差、电磁干扰和随机干扰等因素,数据不可避免地存在野值点或发生数据缺失的现象。在进行试验数据分析时,必须对数据进行预处理,准确辨识野值并进行修正,才能确保数据分析的有效性。
试验数据的野值一般包括孤立型野值和斑点型野值,孤立型野值以孤立点的形式出现,而斑点型野值往往以斑点状形式出现,连续多个采样点的数据异常。现有的野值识别方法大多利用时间序列中信号的时间相关性、数据统计特性对野值进行辨识,通过多项式外推拟合、最小二乘估计等方法进行修正。
这些方法对孤立型野值是很有效的,但对具有时间相关特性的斑点型野值却无法有效地识别。在实际处理过程中,斑点型野值的处理往往需要结合数据平滑性、递归趋势等数据先验信息进行主观性判读,然后直接剔除。斑点型野值的人工处理会带来判读效率低、判读精度差、数据缺失等问题,导致数据分析失效。因此,有效地辨识和修复试验数据野值,是数据处理领域亟待解决的难点。
发明内容
鉴于上述的分析,本发明旨在提供一种试验数据野值的辨识与修正方法,用以解决现有技术利用人工处理斑点型野值会带来判读效率低、判读精度差、数据缺失的问题。
本发明的目的主要是通过以下技术方案实现的:
一种试验数据野值的辨识与修正方法,其特征在于,包括以下步骤:
采集试验数据序列和时间序列;
将采集到的试验数据序列除去初始均值,得到修正数据xMOD:xMOD=x-Mx;
对去除初始均值的数据序列,顺序逐点判断野值;
将判断为野值的数据进行修正。
本发明有益效果如下:采用本方法检验判断野值,不但能检验出孤立型野值,也能解决现有技术对检验斑点型野值不敏感的缺陷,与人工检验相比大大提高了野值判断的效率,实现了试验数据野值的自动判断与修正。
在上述方案的基础上,本发明还做了如下改进:
进一步,所述试验数据序列表示为x=[x1,…,xk,…,xm],时间序列表示为t=[t1,…,tk,…,tm],其中1≤k≤m,时间序列t和数据序列x均包含m个数值,tk和xk分别为第k个时间点与第k个试验数据值。
采用上述进一步方案的有益效果是:将采集到的实验数据序列与时间序列一一对应,可以在确定野值的同时对应相应的时间点。有效提高检验效率,避免数据混乱。
进一步,所述顺序逐点判断野值包括:
计算第k点数据的估计值;
计算修正数据xMOD的标准差,根据标准差与估计值判断该点数据是否为野值。
采用上述进一步方案的有益效果是:逐点判断野值不但能检测出孤立型野值,还可以避免现有技术利用平滑性、递归性无法检验斑点型野值的缺陷。
进一步,所述第k点数据的估计值的计算公式为:
采用上述进一步方案的有益效果是:计算k点的估计值与实际值的做差,可以根据得到的差值的大小判断是否超出正常变动范围。
进一步,所述修正数据的标准差为std(xMOD),并引入判定系数λ,判断xk是否为野值;
如果时,判定其为野值;如果时,判定xk为正常值。
采用上述进一步方案的有益效果是:如果k的估计值与实际值的差值的大小在允许的差值范围内,则判断该数据是正常的,若超出允许的范围内,则判断为野值。
进一步,所述野值数据修正包括:
三次样条插值法得到更新的修正值;
将更新的修正值去除均值。
采用上述进一步方案的有益效果是:利用三次样条插值法的得到的值平滑的曲线,更符合数据序列的趋势。将得到的值去除均值可以安置在去均序列中。及时更新数据使得后续判断野值基于平滑的数据曲线,能更好的减小误差。
进一步,所述三次样条插值法的具体实施过程为:调用Matlab函数spline,利用xk之前的k-1个数据,对第k点数据xk进行修正,得到更新的修正值
采用上述进一步方案的有益效果是:用MATLAB直接调用Spline函数(此函数采用三次样条插值法)可以得到一条平滑的曲线,使得估计值更适合原数据趋势的变化。
进一步,所述更新的修正值去除均值是将每次得到更新的修正数据xMOD′,需要按照下式进行去均值处理:
xMOD″=xMOD′-mean(xMOD′),xMOD″为去均值后的数据。
采用上述进一步方案的有益效果是:将每次更新的数据去均处理,即可以适应对应点的值。方便后续统一恢复数据序列。
进一步,还包括重复判断数据序列中野值与修正野值数据,直到最后一个数据。
采用上述进一步方案的有益效果是:逐点判断数据序列中的野值,避免丢失遗漏数据的情况。
进一步,还包括对去均值后的数据恢复初始均值Mx,得到最终数据xMOD 最终:xMOD 最终=xMOD″+Mx。
采用上述进一步方案的有益效果是:将数据序列恢复原序列的大小,完成实验数据序列的修正。
本发明中,上述各技术方案之间还可以相互组合,以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述,并且,部分优点可从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图仅用于示出具体实施例的目的,而并不认为是对本发明的限制,在整个附图中,相同的参考符号表示相同的部件。
图1为本发明提供的一种试验数据野值的辨识与修正方法的基本流程示意图;
图2为一个具体实施例的试验数据示意图;
图3为一个具体实施例的修正试验数据示意图。
具体实施方式
下面结合附图来具体描述本发明的优选实施例,其中,附图构成本申请一部分,并与本发明的实施例一起用于阐释本发明的原理,并非用于限定本发明的范围。
实施例一:
本发明的一个具体实施例,公开了一种试验数据野值的辨识与修正方法。
本发明对试验数据野值的辨识与修正方法主要包括以下步骤:
步骤1、将试验数据的时间序列表示为t=[t1,…,tk,…,tm],数据序列表示为x=[x1,…,xk,…,xm]导入MATLAB工作区,其中:1≤k≤m,时间序列t和数据序列x均包含m个数值,tk和xk分别为第k个时间点与第k个试验数据值;
步骤2、计算数据序列的初始均值Mx,在野值辨识之前进行去均值处理,得到修正数据xMOD:xMOD=x-Mx;
步骤3、对xMOD顺序逐点进行野值辨识。从数据序列的第五个数据开始,对数据序列进行逐点顺序拟合;第k点数据的估计值记为计算估计值与原始数据xk的差值绝对值,判断xk是否为野值,如果为野值,实施步骤4操作;如果不是野值,跳至步骤5,继续处理下一个数据xk+1;
优选地,所述步骤3包括如下步骤:
步骤301、按照下式计算第k点数据的估计值:
步骤302、计算xMOD的标准差std(xMOD)作为判据,并引入判定系数λ(λ的选用范围为1~5之间),判断xk是否为野值;如果时,判定其为野值;如果时,判定xk为正常值,继续处理下一个数据xk+1。
步骤4、采用三次样条插值法修正野值xk,得到第k点的修正值用替换掉xk,得到更新的修正数据并去除均值;
具体地,所述步骤4包括如下步骤:
步骤401、三次样条插值法的具体实施过程为:调用Matlab函数spline,利用xk之前的k-1个数据,对第k点数据xk进行修正,得到修正值
步骤402、每次得到更新的修正数据需要按照下式进行去均值处理:
xMOD″=xMOD′-mean(xMOD′),xMOD″为去均值后的数据。
步骤5、重复步骤3~步骤4操作,直至完成最后一个数据xm的野值辨识与修正;
步骤6、恢复数据的初始均值Mx,得到最终数据xMOD 最终:xMOD 最终=xMOD″+Mx。从而实现了试验数据野值的辨识与修正,修正的试验数据为xMOD。
实施例二:
本实施例对采用实施例一所述试验数据野值的辨识与修正方法进行详细说明。
步骤1、模拟试验数据,并将模拟的数据导入到MATLAB工作区。按照如下方式构造数值信号时间序列t和数据序列x,模拟包含孤立型野值与斑点型野值的试验数据。
数值信号的具体形式如下:
t=0.001:0.001:2s;
x=e-2tsin(2π4t);
x(100:200:1900)=2,人为地将0.1s,0.3s,...,1.9s的数据值定义为2,模拟孤立型野值;人为地将0.5s~0.55s、1s~1.05s的数据定义为均匀噪声,模拟斑点型野值;试验数据示意图如图2所示,可见数据包含多个孤立型野值与两处斑点型野值,需要进行野值辨识修正。
步骤2、计算数据序列的取初始均值Mx,在野值辨识之前进行去均值处理,得到修正数据xMOD:xMOD=x-Mx。
步骤3、对xMOD顺序逐点进行野值辨识。从数据序列的第五个数据开始,对数据序列进行逐点顺序拟合;第k点数据的估计值记为计算估计值与原始数据xk的差值绝对值,判断xk是否为野值,
优选地,所述步骤3包括如下步骤:
步骤301、按照下式计算第k点数据的估计值:
步骤302、计算xMOD的标准差std(xMOD)作为判据,并引入判定系数λ(λ的选用范围为1~5之间),判断xk是否为野值;如果时,判定其为野值;如果时,判定xk为正常值,继续处理下一个数据xk+1。
优选地,λ的取值为3。
如果为野值,实施步骤4操作;如果不是野值,跳至步骤5,继续处理下一个数据xk+1。
步骤4、调用Matlab函数spline,利用xk之前的k-1个数据,对第k点数据xk进行修正,得到修正值
每次得到更新的修正数据需要按照下式进行去均值处理:
xMOD″=xMOD′-mean(xMOD′),xMOD″为去均值后的数据。
步骤5、重复步骤3~步骤4操作,直至完成最后一个数据xm的野值辨识与修正。
步骤6、恢复数据的初始均值Mx:得到最终数据xMOD 最终:xMOD 最终=xMOD″+Mx。
从而实现了试验数据野值的辨识与修正,修正的试验数据为xMOD 最终。
如图3所示,在上述1-6步的处理后其孤立型野值和斑点野值消失,并且不影响原正常数据的大小。
综上所述,本发明实施例提供了一种试验数据野值的辨识与修正方法,解决了斑点型野值的人工处理会带来判读效率低、判读精度差、数据缺失等问题,有效地辨识和修复试验数据野值。
本领域技术人员可以理解,实现上述实施例方法的全部或部分流程,可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于计算机可读存储介质中。其中,所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种试验数据野值的辨识与修正方法,其特征在于,包括以下步骤:
采集试验数据序列和时间序列;
将采集到的试验数据序列除去初始均值,得到修正数据xMOD:xMOD=x-Mx;
对去除初始均值的数据序列,顺序逐点判断野值;
将判断为野值的数据进行修正。
2.根据权利要求1所述的试验数据野值的辨识与修正方法,其特征在于,所述试验数据序列表示为x=[x1,…,xk,…,xm],时间序列表示为t=[t1,…,tk,…,tm],其中1≤k≤m,时间序列t和数据序列x均包含m个数值,tk和xk分别为第k个时间点与第k个试验数据值。
3.根据权利要求2所述的试验数据野值的辨识与修正方法,其特征在于,所述顺序逐点判断野值包括:
计算第k点数据的估计值;
计算修正数据xMOD的标准差,根据标准差与估计值判断该点数据是否为野值。
4.根据权利要求3所述的试验数据野值的辨识与修正方法,其特征在于,所述第k点数据的估计值的计算公式为:
5.根据权利要求3所述的试验数据野值的辨识与修正方法,其特征在于,所述修正数据的标准差为std(xMOD),并引入判定系数λ,判断xk是否为野值;
如果时,判定其为野值;如果时,判定xk为正常值。
6.根据权利要求1所述的试验数据野值的辨识与修正方法,其特征在于,所述野值数据修正包括:
三次样条插值法得到更新的修正值;
将更新的修正值去除均值。
7.根据权利要求6所述的试验数据野值的辨识与修正方法,其特征在于,所述三次样条插值法的具体实施过程为:调用Matlab函数spline,利用xk之前的k-1个数据,对第k点数据xk进行修正,得到更新的修正值
8.根据权利要求6所述的试验数据野值的辨识与修正方法,其特征在于,所述更新的修正值去除均值是将每次得到更新的修正数据xMOD′,需要按照下式进行去均值处理:
xMOD″=xMOD′-mean(xMOD′),xMOD″为去均值后的数据。
9.根据权利要求1所述的试验数据野值的辨识与修正方法,其特征在于,还包括重复判断数据序列中野值与修正野值数据,直到最后一个数据。
10.根据权利要求8所述的试验数据野值的辨识与修正方法,其特征在于,还包括对去均值后的数据恢复初始均值Mx,得到最终数据xMOD 最终:xMOD 最终=xMOD″+Mx。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810072773.9A CN108459920B (zh) | 2018-01-24 | 2018-01-24 | 一种试验数据野值的辨识与修正方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810072773.9A CN108459920B (zh) | 2018-01-24 | 2018-01-24 | 一种试验数据野值的辨识与修正方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108459920A true CN108459920A (zh) | 2018-08-28 |
CN108459920B CN108459920B (zh) | 2021-06-22 |
Family
ID=63239014
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810072773.9A Active CN108459920B (zh) | 2018-01-24 | 2018-01-24 | 一种试验数据野值的辨识与修正方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108459920B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110188810A (zh) * | 2019-05-23 | 2019-08-30 | 西北工业大学 | 一种基于密度聚类的在线野值检测、识别与修正方法 |
CN111736626A (zh) * | 2020-06-22 | 2020-10-02 | 中国人民解放军国防科技大学 | 一种平稳弹道数据处理方法 |
CN113127968A (zh) * | 2021-03-12 | 2021-07-16 | 上海宇航***工程研究所 | 基于运载火箭的评价方法 |
CN113326878A (zh) * | 2021-05-28 | 2021-08-31 | 深圳华创电科技术有限公司 | 一种航迹量测数据中野值的剔除方法、装置和计算机设备 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104200113A (zh) * | 2014-09-10 | 2014-12-10 | 山东农业大学 | 基于高斯过程的物联网数据不确定性度量、预测与野值剔除方法 |
CN106524993A (zh) * | 2016-10-11 | 2017-03-22 | 北京农业智能装备技术研究中心 | 一种动态野值点检测方法及装置 |
-
2018
- 2018-01-24 CN CN201810072773.9A patent/CN108459920B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104200113A (zh) * | 2014-09-10 | 2014-12-10 | 山东农业大学 | 基于高斯过程的物联网数据不确定性度量、预测与野值剔除方法 |
CN106524993A (zh) * | 2016-10-11 | 2017-03-22 | 北京农业智能装备技术研究中心 | 一种动态野值点检测方法及装置 |
Non-Patent Citations (3)
Title |
---|
张文超等: "GNSS导航定位结果野值检测与修正", 《信息工程大学学报》 * |
徐利娜: "靶场外弹道数据处理中的实时野值剔除算法", 《应用光学》 * |
藏月进等: "导引头在线野值剔除与平滑方法研究", 《兵器装备工程学报》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110188810A (zh) * | 2019-05-23 | 2019-08-30 | 西北工业大学 | 一种基于密度聚类的在线野值检测、识别与修正方法 |
CN111736626A (zh) * | 2020-06-22 | 2020-10-02 | 中国人民解放军国防科技大学 | 一种平稳弹道数据处理方法 |
CN113127968A (zh) * | 2021-03-12 | 2021-07-16 | 上海宇航***工程研究所 | 基于运载火箭的评价方法 |
CN113326878A (zh) * | 2021-05-28 | 2021-08-31 | 深圳华创电科技术有限公司 | 一种航迹量测数据中野值的剔除方法、装置和计算机设备 |
Also Published As
Publication number | Publication date |
---|---|
CN108459920B (zh) | 2021-06-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108459920A (zh) | 一种试验数据野值的辨识与修正方法 | |
CN106505557B (zh) | 一种遥测错误辨识方法及装置 | |
CN111123188A (zh) | 基于改进最小二乘法的电能表综合检定方法及*** | |
CN112581463A (zh) | 图像缺陷的检测方法、装置、电子设备、存储介质及产品 | |
CN111695620B (zh) | 一种电力***时间序列异常数据检测与修正方法及*** | |
CN104537034A (zh) | 基于时间序列分析的输变电设备的状态监测数据清洗方法 | |
CN111913803A (zh) | 一种基于akx混合模型的服务负载细粒度预测方法 | |
US5627760A (en) | Method and apparatus for real time recursive parameter energy management system | |
CN109271319B (zh) | 一种基于面板数据分析的软件故障的预测方法 | |
CN115800272B (zh) | 基于拓扑识别的电网故障分析方法、***、终端及介质 | |
WO2022120995A1 (zh) | 一种基于PoW共识机制的设备算力评价方法及*** | |
WO2019019429A1 (zh) | 一种虚拟机异常检测方法、装置、设备及存储介质 | |
CN110298570B (zh) | 配电网***拓扑状态辨识方法、装置、存储介质及设备 | |
CN103885867B (zh) | 一种模拟电路性能的在线评价方法 | |
CN107958120B (zh) | 一种基于幂级数展开的***戴维南等值参数计算方法 | |
CN111538654B (zh) | 一种软件可靠性测试方法、***、存储介质 | |
CN117237678A (zh) | 用电行为异常检测方法、装置、设备及存储介质 | |
CN111259338B (zh) | 元器件失效率修正方法、装置、计算机设备及存储介质 | |
CN109581194B (zh) | 一种电子***故障测试策略动态生成方法 | |
CN114386510A (zh) | 一种电力***量测错误辨识方法及*** | |
CN112988892B (zh) | 一种分布式***热点数据的管理方法 | |
CN112766076B (zh) | 一种电力负荷超短期预测方法、***、设备及存储介质 | |
CN110244563B (zh) | 一种神经网络内模控制器模型失配识别及在线更新方法 | |
CN111198499B (zh) | 同期算法实时评估方法、***及存储介质 | |
CN107491576B (zh) | 基于性能退化数据的导弹部件可靠性分析方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |