CN110727669A - 一种电力***传感器数据清理装置及清理方法 - Google Patents

Abstract

本发明属于无线传感器网与神经网络技术领域，具体涉及一种电力***传感器数据清理装置及清理方法，主要用于解决如何区分由事件发生造成的异常数据和由环境等其它因素造成的异常数据。本发明包括：异常数据检测模块、异常数据分类模块和噪声数据修复模块。本发明构建了一种传感器数据清理模型，用于清理传感器数据，它将传感器数据进行分类，分成正常数据、噪声数据和故障数据，并完成了噪声数据的修复，去除了噪声数据的干扰，用其进行故障诊断分类可以大大增强准确率。该方法具有实时性，能够快速清理实时传送过来的数据；并具有通用性，可以适用于大部分的工业传感器网络。

Description

一种电力***传感器数据清理装置及清理方法

技术领域

本发明属于无线传感器网与神经网络技术领域，具体涉及一种电力***传感器数据清理装置及清理方法，主要用于解决如何区分由事件发生造成的异常数据和由环境等其它因素造成的异常数据。

背景技术

电力***各种设施的实时状态监测对安全生产管理非常重要。设备的监测数据可用于确定操作设备是否正常运行或发生何种故障。互联网的快速发展使得许多设备被各种类型的传感器自动监控，无线传感器网络技术也已经成功地应用在各大工厂中，传感器数据可以通过网络进行统一的传输，极大地节省了人工成本并改善了实时监控。然而，各种因素，如环境因素，传感器硬件性能，无线传输干扰等，导致监控数据容易出现异常。其次，由于监测设备状态的变化，如出现故障等，也会导致传感器数据出现异常。由于这两种异常有些极为相似，在进行数据清理时会大大降低状态分析和故障检测的精度，这些故障数据和噪声数据都属于异常数据。显然，这些数据对于判断设备是否有故障非常重要。

由于噪声数据和故障数据往往十分相似，因此，在数据清理期间不应直接平滑或丢弃异常数据。

发明内容

为解决传感器异常数据中的噪声数据和故障数据十分相似导致的用传感器数据进行精度状态分析和故障检测的准确性偏低的问题，本发明提出了一种电力***传感器数据清理装置及方法，可以分类故障数据与噪声数据，并修复噪声数据，提高精度状态分析和故障检测的准确性。

为实现上述发明目的，本发明是采用以下技术方案：

一种电力***传感器异常数据清理装置，包括：异常数据检测模块、异常数据分类模块和噪声数据修复模块；

异常数据检测模块检测电力***传感器异常数据；

异常数据分类模块用于将传感器异常数据分为噪声数据和故障数据；

噪声数据修复模块将噪声数据拟合为正常数据，再将噪声数据替换为对应的SDAE拟合的数据，完成修复。

所述异常数据检测模块利用传感器正常数据对SDAE进行训练，学习传感器正常数据的特征，对传感器正常数据进行拟合，将SDAE拟合数据与原数据的差值的最大值作为判断数据是否正常的阈值；当有新数据输入时，将新数据输入SDAE进行拟合，求出拟合数据与原数据的差值，差值大于阈值的数据判断为异常数据。

所述异常数据分类模块用于将传感器数据集X按照时间划分为m个窗口X＝{L₁,...,L_m}，计算每个窗口内传感器数据之间的相关度，对于异常数据，找出同时刻所有异常数据并记录这些异常数据所在传感器与传感器i在该窗口内的相关度；当时刻t至少存在w-1个异常数据，且这些异常数据所在传感器时间序列与传感器的时间序列的相关度均大于最小相关度阈值时，认定该数据为故障数据；若不满足该条件，则为噪声数据；建立包括正常数据、故障数据和噪声数据的数据类别矩阵。

所述传感器i与传感器j之间的相关度RT_ij的计算公式为：

其中，x_ij表示第i个传感器的j时刻的数据，X__it是传感器在窗口内第t个数据，X__jt是传感器j在窗口内第t个数据，每个窗口长度为s。

所述噪声数据修复模块用于建立数据矩阵Y＝{y_ij},令Y＝X；找出数据类别矩阵中k_ij＝1的数据x_ij，令

数据矩阵Y为修复完成的数据集。

所述的一种电力***传感器异常数据清理装置的数据清理方法，包括：

将待清理的新数据输入训练好的SDAE，输出拟合后的数据；将拟合的数据与原数据做差，差值超过所规定的阈值的数据为异常数据；

对每个异常数据，查找同一时刻其他传感器是否存在异常数据，记录在同一时刻出现异常的其他传感器；计算该传感器与记录的其他传感器之间的相关度，若相关度大于规定的阈值，则判定它们之间具有强相关性；若与该传感器具有强相关性的传感器的数量大于规定的数目阈值，则该传感器该时刻的异常数据是故障数据；否则，为噪声数据；

对每一个噪声数据，找出其对应的SDAE拟合的数据；用拟合数据替换噪声数据，完成修复。

所述异常数据检测的具体步骤包括：

S1:收集传感器正常数据，学习传感器正常数据的特征，对传感器正常数据进行拟合；

S2:计算拟合正常数据时SDAE拟合数据与原数据的差值，将差值序列做直方图，画出其正态分布曲线，取置信区间0.99，得出上阈值Th_L和下阈值Th_U；

S3：假设新数据为X＝{x_ij}，其中x_ij表示第i个传感器的j时刻的数据，将数据输入SDAE，对数据进行拟合,得到拟合数据

其中

表示第i个传感器的j时刻的拟合数据，将拟合数据与原数据做差，求得差值

其中d_ij表示第i个传感器的j时刻的拟合数据与原数据的差值；

S4：将差值与阈值比较，若Th_L＜d_ij＜Th_U，则x_ij为正常数据，k_ij＝0，否则，x_ij为异常数据，k_ij＝1。

所述异常数据分类的具体步骤包括：

S1：将传感器数据集X按照时间划分为m个窗口X＝{L₁,...,L_m}，其中每个窗口

L_j＝{X_1j,...,X_nj}^T,X_ij＝{xi,(j-1)×s+1,...,xi,j×s}，

每个窗口长度为s；

S2:计算每个窗口内传感器数据之间的相关度；

S3:对于k_it＝1的异常数据x_it，找出t时刻所有的异常数据并记录这些异常数据所在传感器与传感器i在该窗口内的相关度；当时刻t至少存在w-1个异常数据，且这些异常数据所在传感器时间序列与传感器的时间序列的相关度均大于最小相关度阈值时，即Num((RT_ij＞RT_min)&(k_jt＝1))＞w-1，认定该数据为故障数据，令k_it＝2；若不满足该条件，则为噪声数据，k_it＝1不变；

S4：建立数据类别矩阵K＝{k_ij},k_ij∈{0,1,2}，k_ij＝0表明数据x_ij为正常数据，k_ij＝1表明数据x_ij为噪声数据，k_ij＝2表明数据x_ij为故障数据。

所述传感器i与传感器j之间的相关度RT_ij的计算公式为：

其中，x_ij表示第i个传感器的j时刻的数据，X__it是传感器在窗口内第t个数据，X__jt是传感器j在窗口内第t个数据，每个窗口长度为s。

所述噪声数据修复的具体步骤如下：

S1：建立数据矩阵Y＝{y_ij},令Y＝X；

S2：找出数据类别矩阵中k_ij＝1的数据x_ij，令

S3：使用数据矩阵Y作为修复完成的数据集。

本发明具有如下优点及有益效果：

本发明构建了一种传感器数据清理模型，用于清理传感器数据，它将传感器数据进行分类，分成正常数据、噪声数据和故障数据，并完成了噪声数据的修复，去除了噪声数据的干扰，用其进行故障诊断分类可以大大增强准确率。该方法具有实时性，能够快速清理实时传送过来的数据。并具有通用性，可以适用于大部分的工业传感器网络。

附图说明

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及具体实施例对本发明作进一步的详细描述，但应当理解为本发明的保护范围并不受具体实施方式的限制。

图1为本发明实施例的方法流程图；

图2为本发明将5个传感器时间序列数据划分为几个窗口的示意图。

具体实施方式

本发明是一种电力***传感器数据清理装置及清理方法，如图1所示，图1为本发明实施例的方法流程图。

本发明电力***传感器数据清理装置分为三个阶段：异常数据检测模块、异常数据分类模块和噪声数据修复模块。这三个阶段从前至后依次运行，完成数据清理的任务。

异常数据检测模块采用三层叠加去噪自编码机SDAE检测电力***传感器异常数据；

异常数据分类模块用于将传感器异常数据分为噪声数据和故障数据，利用传感器数据之间的相关性对异常数据分类，同一时刻的多个传感器数据同时被判定为异常数据则将其认定为故障数据，否则为噪声数据；

噪声数据修复模块利用SDAE将噪声数据拟合为正常数据，再将噪声数据替换为对应的SDAE拟合的数据，完成修复。

所述异常数据检测阶段负责将传感器数据中异常数据检测出来；通过应用传感器正常数据对三层叠加去噪自编码机SDAE进行训练，可以令三层叠加去噪自编码机SDAE学习到传感器数据的特征，并可以对传感器数据进行拟合。记录三层叠加去噪自编码机SDAE拟合正常数据时的差值的最大值，作为判断正常、异常数据的阈值。当有新数据到来时，将数据输入SDAE进行拟合，求出拟合数据与原数据的差值，差值大于阈值的数据判断为异常数据。

所述异常数据分类阶段负责将异常数据分为噪声数据和故障数据，通过利用传感器数据之间的相关性，将之前检测出的异常数据进行分类，同一时刻的多个相关传感器数据同时被判定为异常数据则将其认定为故障数据，否则为噪声数据。

所述噪声数据修复阶段负责将上阶段判别出来的噪声数据修复为正常数据，令其不影响后续的数据分析处理工作。通过利用三层叠加去噪自编码机SDAE可以将噪声拟合为正常数据的特性，将噪声数据替换为对应的三层叠加去噪自编码机SDAE拟合的数据，完成修复。

本发明一种电力***传感器异常数据清理装置的数据清理方法，将数据进行分类，然后，修复噪声数据，同时保留正常数据和故障数据以分析设备故障。具体包括：

异常数据检测，用正常传感器数据训练三层叠加去噪自编码机SDAE；将待清理的新数据输入训练好的SDAE，输出拟合后的数据；将拟合的数据与原数据做差，差值超过所规定的阈值的数据为异常数据；

异常数据分类：对每个异常数据，查找同一时刻其他传感器是否存在异常数据，记录在同一时刻出现异常的其他传感器；计算该传感器与记录的其他传感器之间的相关度，若相关度大于规定的阈值，则判定它们之间具有强相关性；若与该传感器具有强相关性的传感器的数量大于规定的数目阈值，则该传感器该时刻的异常数据是故障数据；否则，为噪声数据；

异常数据修复：对每一个噪声数据，找出其对应的SDAE拟合的数据；用拟合数据替换噪声数据，完成修复。

所述异常数据检测模块的具体步骤包括：

提前收集传感器正常数据，用于训练三层叠加去噪自编码机SDAE，可以令三层叠加去噪自编码机SDAE学习到传感器正常数据的特征，并可以对传感器正常数据进行拟合。

记录三层叠加去噪自编码机SDAE拟合正常数据时的差值的最大值，作为判断正常、异常数据的阈值。由于有误差的存在，我们不能直接取最大值，首先计算拟合正常数据时三层叠加去噪自编码机SDAE拟合数据与原数据的差值，将差值序列做直方图，画出其正态分布曲线，取置信区间0.99，得出上阈值Th_L和下阈值Th_U。

假设新数据为X＝{x_ij}，其中x_ij表示第i个传感器的j时刻的数据，将数据输入三层叠加去噪自编码机SDAE，三层叠加去噪自编码机SDAE便可根据之前学习的特征对数据进行拟合,得到拟合数据

其中表示第i个传感器的j时刻的拟合数据。将拟合数据与原数据做差，求得差值

其中d_ij表示第i个传感器的j时刻的拟合数据与原数据的差值。

将差值与阈值比较，若Th_L＜d_ij＜Th_U，则x_ij为正常数据，k_ij＝0，否则，x_ij为异常数据，k_ij＝1。

所述异常数据分类模块的具体步骤包括：

将传感器数据集X按照时间划分为m个窗口X＝{L₁,...,L_m}，其中每个窗口L_j＝{X_1j,...,X_nj}^T,X_ij＝{xi,(j-1)×s+1,...,xi,j×s}，每个窗口长度为s，图2所示为对5个传感器数据进行的窗口划分，图中窗口长度为200。可以看出L₃窗口内各传感器之间的相关度明显与其他窗口的相关度不同，因此，划分窗口后再进行相关度计算是十分有必要的。

计算每个窗口内传感器数据之间的相关度，传感器i与传感器j之间的相关度RT_ij的计算公式为：

对于k_it＝1的异常数据x_it，找出t时刻所有的异常数据并记录这些异常数据所在传感器与传感器i在该窗口内的相关度。只有在时刻t，至少存在w-1个异常数据，且这些异常数据所在传感器时间序列与传感器的时间序列的相关度均大于最小相关度阈值时，即

Num((RT_ij＞RT_min)&(k_jt＝1))＞w-1，认定该数据为故障数据，令k_it＝2；若不满足该条件，则为噪声数据，k_it＝1不变。

自此，数据类别矩阵K＝{k_ij},k_ij∈{0,1,2}建立完毕，异常数据的分类完成：k_ij＝0表明数据x_ij为正常数据，k_ij＝1表明数据x_ij为噪声数据，k_ij＝2表明数据x_ij为噪声数据。

所述噪声数据修复模块的具体步骤包括：

建立数据矩阵Y＝{y_ij},令Y＝X。找出数据类别矩阵中k_ij＝1的数据x_ij，令

矩阵Y便为修复完成的数据集。

本领域内的技术人员应明白：本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (10)

1.一种电力***传感器异常数据清理装置，其特征在于：包括：异常数据检测模块、异常数据分类模块和噪声数据修复模块；

异常数据检测模块检测电力***传感器异常数据；

异常数据分类模块用于将传感器异常数据分为噪声数据和故障数据；

噪声数据修复模块将噪声数据拟合为正常数据，再将噪声数据替换为对应的SDAE拟合的数据，完成修复。

2.根据权利要求1所述的一种电力***传感器异常数据清理装置，其特征在于：所述异常数据检测模块利用传感器正常数据对SDAE进行训练，学习传感器正常数据的特征，对传感器正常数据进行拟合，将SDAE拟合数据与原数据的差值的最大值作为判断数据是否正常的阈值；当有新数据输入时，将新数据输入SDAE进行拟合，求出拟合数据与原数据的差值，差值大于阈值的数据判断为异常数据。

3.根据权利要求1所述的一种电力***传感器异常数据清理装置，其特征在于：所述异常数据分类模块用于将传感器数据集X按照时间划分为m个窗口X＝{L₁,...,L_m}，计算每个窗口内传感器数据之间的相关度，对于异常数据，找出同时刻所有异常数据并记录这些异常数据所在传感器与传感器i在该窗口内的相关度；当时刻t至少存在w-1个异常数据，且这些异常数据所在传感器时间序列与传感器的时间序列的相关度均大于最小相关度阈值时，认定该数据为故障数据；若不满足该条件，则为噪声数据；建立包括正常数据、故障数据和噪声数据的数据类别矩阵。

4.根据权利要求3所述的一种电力***传感器异常数据清理装置，其特征在于，传感器i与传感器j之间的相关度RT_ij的计算公式为：

其中，x_ij表示第i个传感器的j时刻的数据，X__it是传感器在窗口内第t个数据，X__jt是传感器j在窗口内第t个数据，每个窗口长度为s。

5.根据权利要求3所述的一种电力***传感器异常数据清理装置，其特征在于，噪声数据修复模块用于建立数据矩阵Y＝{y_ij},令Y＝X；找出数据类别矩阵中k_ij＝1的数据x_ij，令

数据矩阵Y为修复完成的数据集。

6.一种采用如权利要求1-5之一所述的一种电力***传感器异常数据清理装置的数据清理方法，包括：

将待清理的新数据输入训练好的SDAE，输出拟合后的数据；将拟合的数据与原数据做差，差值超过所规定的阈值的数据为异常数据；

对每个异常数据，查找同一时刻其他传感器是否存在异常数据，记录在同一时刻出现异常的其他传感器；计算该传感器与记录的其他传感器之间的相关度，若相关度大于规定的阈值，则判定它们之间具有强相关性；若与该传感器具有强相关性的传感器的数量大于规定的数目阈值，则该传感器该时刻的异常数据是故障数据；否则，为噪声数据；

对每一个噪声数据，找出其对应的SDAE拟合的数据；用拟合数据替换噪声数据，完成修复。

7.根据权利要求6所述的数据清理方法，其特征在于：异常数据检测的具体步骤包括：

S1:收集传感器正常数据，学习传感器正常数据的特征，对传感器正常数据进行拟合；

S2:计算拟合正常数据时SDAE拟合数据与原数据的差值，将差值序列做直方图，画出其正态分布曲线，取置信区间0.99，得出上阈值Th_L和下阈值Th_U；

S3：假设新数据为X＝{x_ij}，其中x_ij表示第i个传感器的j时刻的数据，将数据输入SDAE，对数据进行拟合,得到拟合数据

其中

表示第i个传感器的j时刻的拟合数据，将拟合数据与原数据做差，求得差值

其中d_ij表示第i个传感器的j时刻的拟合数据与原数据的差值；

S4：将差值与阈值比较，若Th_L＜d_ij＜Th_U，则x_ij为正常数据，k_ij＝0，否则，x_ij为异常数据，k_ij＝1。

8.根据权利要求7所述的数据清理方法，其特征在于：

所述异常数据分类的具体步骤包括：

S1：将传感器数据集X按照时间划分为m个窗口X＝{L₁,...,L_m}，其中每个窗口L_j＝{X_1j,...,X_nj}^T,X_ij＝{x_i,(j-1)×s+1,...,x_i,j×s}，每个窗口长度为s；

S2:计算每个窗口内传感器数据之间的相关度；

S3:对于k_it＝1的异常数据x_it，找出t时刻所有的异常数据并记录这些异常数据所在传感器与传感器i在该窗口内的相关度；当时刻t至少存在w-1个异常数据，且这些异常数据所在传感器时间序列与传感器的时间序列的相关度均大于最小相关度阈值时，即Num((RT_ij＞RT_min)&(k_jt＝1))＞w-1，认定该数据为故障数据，令k_it＝2；若不满足该条件，则为噪声数据，k_it＝1不变；

S4：建立数据类别矩阵K＝{k_ij},k_ij∈{0,1,2}，k_ij＝0表明数据x_ij为正常数据，k_ij＝1表明数据x_ij为噪声数据，k_ij＝2表明数据x_ij为故障数据。

9.根据权利要求8所述的数据清理方法，其特征在于：

传感器i与传感器j之间的相关度RT_ij的计算公式为：

其中，x_ij表示第i个传感器的j时刻的数据，X__it是传感器在窗口内第t个数据，X__jt是传感器j在窗口内第t个数据，每个窗口长度为s。

10.根据权利要求7所述的数据清理方法，其特征在于：

所述噪声数据修复的具体步骤如下：

S1：建立数据矩阵Y＝{y_ij},令Y＝X；

S2：找出数据类别矩阵中k_ij＝1的数据x_ij，令

S3：使用数据矩阵Y作为修复完成的数据集。

Images