CN112284440B - 一种传感器数据偏差自适应修正方法 - Google Patents

Abstract

本发明提供了传感器数据分析技术领域的一种传感器数据偏差自适应修正方法，包括如下步骤：步骤S10、获取各传感器的监测数据，并基于所述监测数据的变化趋势对各传感器进行故障的初始判断；步骤S20、基于所述监测数据创建各传感器的数学模型，利用所述数学模型对各传感器偏差的监测数据进行在线分析和自适应修正，实现精准判断；步骤S30、对修正后的所述监测数据进行验证。本发明的优点在于：实现对传感器数据偏差进行实时分析和修正，极大的提高了传感器异常的检出率以及检测效率，极大的降低了传感器的误报率。

Description

一种传感器数据偏差自适应修正方法

技术领域

本发明涉及传感器数据分析技术领域，特别指一种传感器数据偏差自适应修正方法。

背景技术

随着信息技术和传感器技术的发展，信息化、自动化、智能化程度的不断加深，传感器作为现场信息获取和处理的重要支撑，在制造业、环境监测、国防、物流等各领域的应用愈加广泛。传感器采集数据的质量好坏直接影响到自动化、智能化水平。然而，由于传感器长期处于露天等恶劣环境中，环境因素、节点突发故障、网络结构损坏等因素使得传感器出现零点漂移等故障，导致传感器误报或漏报，降低传感器数据可靠性和检测质量。随着使用时间变久，传感器物理配件故障的概率也逐渐升高，对后期通过传感器数据进行传感器性能分析、***安全分析等带来严重影响。利用传感器采集的现场设备、环境等信息是监测、控制***的基础，而传感器数据出现异常对监测准确性、***控制可靠性都会产生重要危害。因此，开展针对传感器数据的可靠性分析和对偏差数据的自适应修正相关研究具有重要的经济意义和工程应用价值，可实现在信息获取后第一时间完成数据质量的评估和处理，为后期数据挖掘、故障诊断、故障定位、故障预警等工作奠定良好的数据基础。

针对传感器数据偏差的修正，传统上存在基于最近邻的方法、基于分类的方法、基于聚类的方法、基于频谱分析的方法：

基于最近邻的方法是使用几个定义良好的距离概念来计算彼此之间的距离(相似性距离)，如果数据与其相邻数据的距离过大，则将其标记为异常值，但对于多模和高维数据集，各数据间距离的计算复杂度会呈现几何倍数增长，代价昂贵。

基于分类的方法是使用一组数据样本来学习分类模型，再根据分类模型将测试样本划分到已学习的分类模型中，但计算复杂性和选择合适的核函数是模型的学习的主要瓶颈。

基于聚类的方法是将相似的样本分到具有相似行为的类别中，如果样本不属于某个类别，或者他们的集群比其他集群小得多，则将他们标记为异常值，该方法可以在增量模型中使用，扩展性比较好，当新样本输入***时能及时发现异常值，然而需要依赖集群宽度的选择，且在多变量数据中计算样本之间的距离代价很大。

基于频谱分析的方法是利用主成分找到数据中的正常行为模式，需要先构建前几个最主要成分的组合，不符合这种结构的样本则被视为异常值，但是在分析中依赖正常模式的相关矩阵，而准确估计相关矩阵的计算成本非常高昂。

综上所述，传统上的传感器数据偏差修正方法存在计算复杂度高，在大规模数据下容易形成数据灾难，严重影响传感器节点检测效率，无法满足传感器数据实时分析和修正需求的问题。因此，如何提供一种传感器数据偏差自适应修正方法，实现对传感器数据偏差的实时分析和修正，提高传感器异常的检出率以及检测效率，降低传感器的误报率，成为一个亟待解决的问题。

发明内容

本发明要解决的技术问题，在于提供一种传感器数据偏差自适应修正方法，实现对传感器数据偏差进行实时分析和修正，提高传感器异常的检出率以及检测效率，降低传感器的误报率。

本发明是这样实现的：一种传感器数据偏差自适应修正方法，包括如下步骤：

步骤S10、获取各传感器的监测数据，并基于所述监测数据的变化趋势对各传感器进行故障的初始判断；

步骤S20、基于所述监测数据创建各传感器的数学模型，利用所述数学模型对各传感器偏差的监测数据进行在线分析和自适应修正；

步骤S30、对修正后的所述监测数据进行验证。

进一步地，所述步骤S10具体为：

获取各传感器的监测数据，设定一时间段，在所述时间段内基于监测数据绘制各传感器的监测变量与时间的变化趋势图，基于所述变化趋势图的变化趋势对各传感器进行故障的初始判断。

进一步地，所述步骤S20具体包括：

步骤S21、设各所述监测数据共有L个时刻，设定一阈值n，n为正整数；当L＜n时，进入步骤S22；当L＝n时，进入步骤S23；当L＞n时，进入步骤S24；

步骤S22、继续获取各传感器的监测数据，并令L＝L+1；

步骤S23、对各传感器的监测数据进行离线可靠性分析和偏差数据修正；

步骤S24、对各传感器的监测数据进行在线可靠性分析和偏差数据修正。

进一步地，所述步骤S23具体包括：

步骤S231、设定一第一比例阈值以及一第二比例阈值；连续读取各时刻的监测数据(x_kt1,x_kt2,...,x_ktn)，计算(x_kt1,x_kt2,...,x_ktn)中取值为0的比例

判断所述

是否大于第一比例阈值，若是，则判断所述监测数据对应的传感器状态为异常，并进入步骤S232；若否，则判断所述监测数据对应的传感器状态为正常，并进入步骤S233；

步骤S232、计算状态为异常的传感器的比例

判断所述

是否大于第二比例阈值，若是，说明所述监测数据的数据量太少，不能进行修正，并结束流程；若否，则进入步骤S233；

步骤S233、基于(x_kt1,x_kt2,...,x_ktn)为各传感器分别创建一监测变量与时间的数学模型f_k(t)，所述数学模型f_k(t)为分段多项式函数；

步骤S234、利用状态正常的传感器的数学模型f_k(t)分别对状态异常的传感器的监测数据进行拟合，计算各传感器拟合的均方根误差RMSE_k(k＝1,2,...,N-1)，计算各传感器的均方根误差与其他传感器的均方根误差平均值之差：

其中N表示传感器的总个数，k表示当前传感器的编号，N和k均为正整数；

步骤S235、计算各传感器

是否成立，若是，则判断传感器状态为正常，并结束流程；若否，则通过E_RMSE_k找到与状态异常的传感器拟合误差最小的传感器IndexMin_k；其中λ表示调整系数；

步骤S236、判断状态异常的传感器的

是否大于第一比例阈值，若是，则将同一时刻状态正常的传感器的监测数据的均值

作为修正值；若否，则进入步骤S237；其中m表示状态正常的传感器的数量，x_kt表示监测数据；

步骤S237、设定一阈值δ，计算各状态异常的传感器中，各时刻的监测数据与所有监测数据均值的相对误差

判断|RE_kt|＞δ是否成立，若是，则该时刻的监测数据为偏差数据，利用传感器IndexMin_k对应的拟合值

进行修正，并进入步骤S30；若否，则结束流程。

进一步地，所述步骤S24具体包括：

步骤S241、设置大小为s的滑动窗口，读取所述滑动窗口内各时刻的监测数据x_kt，判断监测数据x_kt中取值为0的比例

是否大于第一比例阈值，若是，则判断所述监测数据对应的传感器状态为异常，并进入步骤S242；若否，则判断所述监测数据对应的传感器状态为正常，并进入步骤S243；

步骤S242、判断状态为异常的传感器的比例

是否大于第二比例阈值，若是，说明所述监测数据的数据量太少，不能进行修正，并结束流程；若否，则进入步骤S243；

步骤S243、计算监测数据与拟合值的误差

计算各时刻的监测数据与所有监测数据均值的相对误差

步骤S244、判断

且|RE_kt|＞δ是否成立，若是，则传感器状态异常，并进入步骤S245；若否，则传感器状态正常，结束流程；

步骤S245、判断状态异常的传感器的

是否大于第一比例阈值，若是，则将同一时刻状态正常的传感器的监测数据的均值

作为修正值；若否，则将传感器IndexMin_k对应的拟合值

作为修正值；剔除所述滑动窗口首端的数据，将修正值加入所述滑动窗口末端，并进入步骤S30。

进一步地，所述步骤S30具体为：

在所述时间段内基于修正后的监测数据绘制各传感器的监测变量与时间的变化趋势图，基于所述变化趋势图的变化趋势，对修正后的所述监测数据进行验证。

本发明的优点在于：

通过基于传感器的监测数据变化趋势对各传感器进行故障的初始判断，即初步判断传感器的状态为正常还是异常，再基于监测数据创建各传感器的数学模型，利用数学模型对各传感器偏差的监测数据进行修正，最终再基于监测数据的变化趋势对修正后的监测数据进行验证，实现对传感器数据偏差进行实时分析和修正，极大的提高了传感器异常的检出率以及检测效率，极大的降低了传感器的误报率；即本发明在无标准参考值的情况下，通过对放置于同一区域的多个传感器的监测数据采用交叉验证的方式进行传感器状态的判断，并通过对异常传感器的偏差数据进行自适应修正，实现了对传感器数据的在线监控和实时处理，计算成本低，保证了传感器数据的质量，为传感器故障诊断和寿命预测奠定基础，与传统的传感器数据分析方法相比，增强了对传感器状态变化的适应能力，提高了稳定性和可靠性。

附图说明

下面参照附图结合实施例对本发明作进一步的说明。

图1是本发明一种传感器数据偏差自适应修正方法的流程图。

图2是本发明原始的监测数据示意图之一。

图3是本发明离线偏差数据修正示意图。

图4是本发明原始的监测数据示意图之二。

图5是本发明在线偏差数据修正示意图。

具体实施方式

请参照图1至图5所示，本发明一种传感器数据偏差自适应修正方法的实施例之一，包括如下步骤：

步骤S10、获取各传感器的监测数据，并基于所述监测数据的变化趋势对各传感器进行故障的初始判断；即通过定性分析进行直观的判断，得到一个传感器工作状态的基本结论；

步骤S20、基于所述监测数据创建各传感器的数学模型，利用所述数学模型对各传感器偏差的监测数据进行在线分析和自适应修正；即通过定量分析建立数学模型进行严谨的统计分析，得到一个传感器工作状态的精确结论；

步骤S30、对修正后的所述监测数据进行验证；即定量分析与定性分析结论相互验证，得出最终结论。

所述步骤S10具体为：

获取各传感器的监测数据，设定一时间段，在所述时间段内基于监测数据绘制各传感器的监测变量与时间的变化趋势图，基于所述变化趋势图的变化趋势对各传感器进行故障的初始判断。即如果某个传感器的变化趋势图的变化趋势和别的传感器均不相同，且数值相差较大，则判断该传感器状态异常，例如9个变化趋势是逐渐变大，其中1个是逐渐变小，则这个传感器状态异常。

所述步骤S20具体包括：

步骤S21、设各所述监测数据共有L个时刻，设定一阈值n，L和n为正整数；

当L＜n时，进入步骤S22；当L＝n时，进入步骤S23；当L＞n时，进入步骤S24；

步骤S22、继续获取各传感器的监测数据，并令L＝L+1；

步骤S23、对各传感器的监测数据进行离线可靠性分析和偏差数据修正；

步骤S24、对各传感器的监测数据进行在线可靠性分析和偏差数据修正。

所述步骤S23具体包括：

步骤S231、设定一第一比例阈值以及一第二比例阈值；连续读取各时刻的监测数据(x_kt1,x_kt2,…,x_ktn)，计算(x_kt1,x_kt2,…,x_ktn)中取值为0的比例

判断所述

是否大于第一比例阈值，若是，则判断所述监测数据对应的传感器状态为异常，并进入步骤S232；若否，则判断所述监测数据对应的传感器状态为正常，并进入步骤S233；所述第一比例阈值优选为95％，所述第二比例阈值优选为90％；

步骤S232、计算状态为异常的传感器的比例

判断所述

是否大于第二比例阈值，若是，说明所述监测数据的数据量太少，不能进行修正，并结束流程；若否，则进入步骤S233；步骤S231与步骤S232为可靠性分析的初步判断；

步骤S233、基于(x_kt1,x_kt2,...,x_ktn)为各传感器分别创建一监测变量与时间的数学模型f_k(t)，所述数学模型f_k(t)为分段多项式函数；

步骤S234、利用状态正常的传感器的数学模型f_k(t)分别对状态异常的传感器的监测数据进行拟合，计算各传感器拟合的均方根误差RMSE_k(k＝1,2,…,N-1)，计算各传感器的均方根误差与其他传感器的均方根误差平均值之差：

其中N表示传感器的总个数，k表示当前传感器的编号，N和k均为正整数；

步骤S235、计算各传感器

是否成立，若是，则判断传感器状态为正常，并结束流程；若否，则通过E_RMSE_k找到与状态异常的传感器拟合误差最小的传感器IndexMin_k；其中λ表示调整系数；步骤S233至步骤S235为可靠性分析的精准判断；

步骤S236、判断状态异常的传感器的

是否大于第一比例阈值，若是，则将同一时刻状态正常的传感器的监测数据的均值

作为修正值，因为0值占比偏高，通过拟合值与测量值比较判断异常设备的方法没有意义；若否，则进入步骤S237；其中m表示状态正常的传感器的数量，x_kt表示监测数据；

步骤S237、设定一阈值δ，计算各状态异常的传感器中，各时刻的监测数据与所有监测数据均值的相对误差

判断|RE_kt|＞δ是否成立，若是，则该时刻的监测数据为偏差数据，利用传感器IndexMin_k对应的拟合值

进行修正，更新状态异常的传感器的数学模型f_k(t)，并进入步骤S30；若否，则结束流程。

所述步骤S24具体包括：

步骤S241、设置大小为s的滑动窗口，读取所述滑动窗口内各时刻的监测数据x_kt，判断监测数据x_kt中取值为0的比例

是否大于第一比例阈值，若是，则判断所述监测数据对应的传感器状态为异常，并进入步骤S242；若否，则判断所述监测数据对应的传感器状态为正常，并进入步骤S243；所述滑动窗口即一个时间段；

步骤S242、判断状态为异常的传感器的比例

是否大于第二比例阈值，若是，说明所述监测数据的数据量太少，不能进行修正，并结束流程；若否，则进入步骤S243；步骤S241与步骤S242为可靠性分析的初步判断；

步骤S243、计算监测数据与拟合值的误差

计算各时刻的监测数据与所有监测数据均值的相对误差

步骤S244、判断

且|RE_kt|＞δ是否成立，若是，则传感器状态异常，并进入步骤S245；若否，则传感器状态正常，结束流程；ε表示误差系数，为正数；步骤S243至步骤S244为可靠性分析的精准判断；

步骤S245、判断状态异常的传感器的

是否大于第一比例阈值，若是，则将同一时刻状态正常的传感器的监测数据的均值

作为修正值，因为0值占比偏高，通过拟合值与测量值比较判断异常设备的方法没有意义；若否，则将传感器IndexMin_k对应的拟合值

作为修正值；剔除所述滑动窗口首端的数据，将修正值加入所述滑动窗口末端，并进入步骤S30。

所述步骤S30具体为：

在所述时间段内基于修正后的监测数据绘制各传感器的监测变量与时间的变化趋势图，基于所述变化趋势图的变化趋势，对修正后的所述监测数据进行验证。

本发明一种传感器数据偏差自适应修正方法的实施例之二，选取放置在同一区域的若干个传感器在同一时间段内的湿度等9个变量的实时采集数据进行分析，样本量为7002，数据量阈值设为2000，包括如下步骤：

步骤1、实时获取传感器的湿度等9个变量的采集数据，数据量标记为L，然后对数据量L大小进行判断，如果数据量L小于设定阈值，则保存已读数据，并继续获取新数据，直到数据量L大于等于设定阈值时进行下一步定性分析；

步骤2、根据实时获取的各传感器1-L个样本数据绘制湿度等9个变量的数据变化曲线，通过对同一变量各传感器数据对比，得到传感器状态的基本结论；

步骤3、在定性分析基础上进行精确的定量分析，包括离线分析阶段和在线分析阶段，在数据量L等于阈值时进行离线分析，对存在的偏差数据进行修正，建立初始各变量与时间的数学模型；当数据量L大于阈值后每个时刻均进行在线分析，对偏差数据进行自适应修正并不断更新各变量的数学模型，得到该时刻传感器状态的精确结论；

步骤4、对上述步骤2和步骤3的结论进行相互验证，得到传感器状态的最终结论；

步骤5、判断是否停止获取新的样本数据，如果停止则结束执行，否则继续获取新的样本数据，令数据量L＝L+1，并执行上述步骤2-4。

重复执行若干次试验的离线可靠性评估结果为(以湿度变量为例)：

从上表可以看出经过交叉验证得到设备ZKY00042、ZKY00043的拟合误差最小值大于异常的判断阈值，即传感器ZKY00042、ZKY00043存在异常。图2所示定性分析结果可以看出传感器ZKY00042在整个时间段的数值范围与其他传感器数值范围存在明显差异，传感器ZKY00043在前1/3时间段内数值与其他传感器数据范围存在明显差异。因此，通过对定性分析与定量分析结果的相互验证得出传感器ZKY00042和ZKY00043为异常传感器。

离线的偏差数据修正结果为(以湿度变量为例)：

状态	Averge_SD	Max_SD
			修正前	3.8689	6.9631
修正后	1.2980	6.0947

从上表可以看出修正前湿度各时刻数据的标准差平均值为3.8689，修正后该值变为1.2980，具有明显下降。同样地，标准差的最大值也从6.9631下降到6.0947。图3为偏差数据修正的结果，可以看出修正后各设备的湿度变量数据变化趋势和数值范围基本保持一致，验证了偏差数据修正方法的有效性。

在线的偏差数据自适应修正结果为(以湿度变量为例)：

状态	Averge_SD	Max_SD
			修正前	1.0626	3.7803
修正后	1.0413	2.6796

从上表可以看出修正前湿度各时刻数据的标准差平均值为1.0626，标准差的最大值为3.7803，修正后分别变为1.0413和2.6796，均具有明显下降。图4和图5分别为原始数据和进行偏差数据自适应修正后的数据，可以看出图4中当前时刻传感器ZKY00042的原始数据明显小于其他传感器的数值，属于偏差数据，图5中当前时刻传感器ZKY00042的偏差数据已经得到修正，恢复到正常的数据范围内，与定量分析的结果一致。

综上所述，本发明的优点在于：

通过基于传感器的监测数据变化趋势对各传感器进行故障的初始判断，即初步判断传感器的状态为正常还是异常，再基于监测数据创建各传感器的数学模型，利用数学模型对各传感器偏差的监测数据进行修正，最终再基于监测数据的变化趋势对修正后的监测数据进行验证，实现对传感器数据偏差进行实时分析和修正，极大的提高了传感器异常的检出率以及检测效率，极大的降低了传感器的误报率；即本发明在无标准参考值的情况下，通过对放置于同一区域的多个传感器的监测数据采用交叉验证的方式进行传感器状态的判断，并通过对异常传感器的偏差数据进行自适应修正，实现了对传感器数据的在线监控和实时处理，计算成本低，保证了传感器数据的质量，为传感器故障诊断和寿命预测奠定基础，与传统的传感器数据分析方法相比，增强了对传感器状态变化的适应能力，提高了稳定性和可靠性。

虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。

Claims (4)

1.一种传感器数据偏差自适应修正方法，其特征在于：包括如下步骤：

步骤S10、获取各传感器的监测数据，并基于所述监测数据的变化趋势对各传感器进行故障的初始判断；

步骤S20、基于所述监测数据创建各传感器的数学模型，利用所述数学模型对各传感器偏差的监测数据进行在线分析和自适应修正；

步骤S30、对修正后的所述监测数据进行验证；

所述步骤S20具体包括：

步骤S21、设各所述监测数据共有L个时刻，设定一阈值n，n为正整数；当L＜n时，进入步骤S22；当L＝n时，进入步骤S23；当L＞n时，进入步骤S24；

步骤S22、继续获取各传感器的监测数据，并令L＝L+1；

步骤S23、对各传感器的监测数据进行离线可靠性分析和偏差数据修正；

步骤S24、对各传感器的监测数据进行在线可靠性分析和偏差数据修正；

所述步骤S23具体包括：

步骤S231、设定一第一比例阈值以及一第二比例阈值；连续读取各时刻的监测数据(x_kt1,x_kt2,…,x_ktn)，计算(x_kt1,x_kt2,…,x_ktn)中取值为0的比例

判断所述

是否大于第一比例阈值，若是，则判断所述监测数据对应的传感器状态为异常，并进入步骤S232；若否，则判断所述监测数据对应的传感器状态为正常，并进入步骤S233；

步骤S232、计算状态为异常的传感器的比例

判断所述

是否大于第二比例阈值，若是，说明所述监测数据的数据量太少，不能进行修正，并结束流程；若否，则进入步骤S233；

步骤S233、基于(x_kt1,x_kt2,…,x_ktn)为各传感器分别创建一监测变量与时间的数学模型f_k(t)，所述数学模型f_k(t)为分段多项式函数；

步骤S234、利用状态正常的传感器的数学模型f_k(t)分别对状态异常的传感器的监测数据进行拟合，计算各传感器拟合的均方根误差RMSE_k(k＝1,2,…,N-1)，计算各传感器的均方根误差与其他传感器的均方根误差平均值之差：

其中N表示传感器的总个数，k表示当前传感器的编号，N和k均为正整数；

步骤S235、计算各传感器

是否成立，若是，则判断传感器状态为正常，并结束流程；若否，则通过E_RMSE_k找到与状态异常的传感器拟合误差最小的传感器IndexMin_k；其中λ表示调整系数；

步骤S236、判断状态异常的传感器的

是否大于第一比例阈值，若是，则将同一时刻状态正常的传感器的监测数据的均值

作为修正值；若否，则进入步骤S237；其中m表示状态正常的传感器的数量，x_kt表示监测数据；

步骤S237、设定一阈值δ，计算各状态异常的传感器中，各时刻的监测数据与所有监测数据均值的相对误差

判断|RE_kt|＞δ是否成立，若是，则该时刻的监测数据为偏差数据，利用传感器IndexMin_k对应的拟合值

进行修正，并进入步骤S30；若否，则结束流程。

2.如权利要求1所述的一种传感器数据偏差自适应修正方法，其特征在于：所述步骤S10具体为：

获取各传感器的监测数据，设定一时间段，在所述时间段内基于监测数据绘制各传感器的监测变量与时间的变化趋势图，基于所述变化趋势图的变化趋势对各传感器进行故障的初始判断。

3.如权利要求1所述的一种传感器数据偏差自适应修正方法，其特征在于：所述步骤S24具体包括：

步骤S241、设置大小为s的滑动窗口，读取所述滑动窗口内各时刻的监测数据x_kt，判断监测数据x_kt中取值为0的比例

是否大于第一比例阈值，若是，则判断所述监测数据对应的传感器状态为异常，并进入步骤S242；若否，则判断所述监测数据对应的传感器状态为正常，并进入步骤S243；

步骤S242、判断状态为异常的传感器的比例

是否大于第二比例阈值，若是，说明所述监测数据的数据量太少，不能进行修正，并结束流程；若否，则进入步骤S243；

步骤S243、计算监测数据与拟合值的误差

计算各时刻的监测数据与所有监测数据均值的相对误差

步骤S244、判断

且|RE_kt|＞δ是否成立，若是，则传感器状态异常，并进入步骤S245；若否，则传感器状态正常，结束流程；

步骤S245、判断状态异常的传感器的

是否大于第一比例阈值，若是，则将同一时刻状态正常的传感器的监测数据的均值

作为修正值；若否，则将传感器IndexMin_k对应的拟合值

作为修正值；剔除所述滑动窗口首端的数据，将修正值加入所述滑动窗口末端，并进入步骤S30。

4.如权利要求2所述的一种传感器数据偏差自适应修正方法，其特征在于：所述步骤S30具体为：

在所述时间段内基于修正后的监测数据绘制各传感器的监测变量与时间的变化趋势图，基于所述变化趋势图的变化趋势，对修正后的所述监测数据进行验证。

Images