CN113591401A - 一种基于时间序列分解的电力变压器数据清洗方法 - Google Patents

Abstract

本发明公开了一种基于时间序列分解的电力变压器数据清洗方法，该方法包括：S1，根据变压器的监测数据，获得原始的时间序列，并对时间序列中的缺失数据、冲突数据进行初步检测；S2，采用变分模态分解算法对时间序列进行分解，利用时间序列与表征趋势项的模态分量相减得到残差序列，异常值在残差序列中得到更好的表征；S3，利用DBCSAN聚类算法对残差序列进行聚类分析，得到时间序列的异常数据点；S4，剔除时间序列的异常数据点，为保证时间序列的连续完整，采用SVR对数据进行清洗重构。本发明针对电力变压器监测数据异常构建了异常数据识别以及数据修复重构的完整数据清洗流程。

Description

一种基于时间序列分解的电力变压器数据清洗方法

技术领域

本发明涉及电力变压器数据清洗技术领域，特别是涉及一种基于时间序列分解的电力变压器数据清洗方法。

背景技术

电力变压器作为电力***中电能转换的核心设备，其运行状态关乎电网运行安全与社会用电稳定。在线监测技术是反映变压器运行状态的重要手段，随着电力物联网等相关技术的快速发展，各种监测手段也在广泛应用，为时序预测以及状态评估提供了重要的数据支撑。监测数据的数据状态信息通过监测装置的采集、传输后形成按照时间先后顺序排列的连续完整的时间序列，但受环境干扰、运行工况等因素的影响，监测数据中不可避免的出现异常数据。为确保状态评估的数据质量，异常检测与数据清洗发挥着关键性作用。

根据电力变压器和监测设备的运行特征，数据异常通常包含有不同模式。包括由传感装置或通信***受到运行环境干扰、记录失误等因素影响而产生的缺失数据值、偏离数据期望的孤立噪声值、不变数据值、暂时性迁移数据等。此类异常信息与变压器自身无关，为保证后续状态评估工作的数据质量，需要对其进行数据清洗。

当前面向输变电设备的异常检测和数据清洗研究涉及基于聚类、基于密度、基于统计等多种方法。已有的研究方法如孤立森林算法、3σ准则、DBSCAN聚类等对于平稳监测数据具有较好的识别效果，但对于存在趋势变动或周期性变化的非平稳监测序列则难以准确地检测识别其中的异常数据，并且当前方法较多集中于异常数据的检测识别，对于数据的补全清洗研究较少。

发明内容

本发明的目的是提供一种基于时间序列分解的电力变压器数据清洗方法，针对电力变压器监测数据异常构建了异常数据识别以及数据修复重构的完整数据清洗流程。

为实现上述目的，本发明提供了如下方案：

一种基于时间序列分解的电力变压器数据清洗方法，包括以下步骤：

S1，根据变压器的监测数据，获得原始的时间序列，并对时间序列中的缺失数据、冲突数据进行初步检测；

S2，采用变分模态分解算法对时间序列进行分解，利用时间序列与表征趋势项的模态分量相减得到残差序列，异常值在残差序列中得到更好的表征；

S3，利用DBCSAN聚类算法对残差序列进行聚类分析，得到时间序列的异常数据点；

S4，剔除时间序列的异常数据点，为保证时间序列的连续完整，采用SVR对数据进行清洗重构。

进一步的，所述所述步骤S2，采用变分模态分解算法对时间序列进行分解，利用时间序列与表征趋势项的模态分量相减得到残差序列，异常值在残差序列中得到更好的表征，具体包括：

将时间序列分解为k个不同中心频率的模态分量BIMF，其中，第一个模态分量BIMF0项反映了序列的发展趋势，利用原始序列与分解后的BIMF0项序列做差，异常值在残差项中相较于原始序列得到更好的表征：

res_t＝x_t-x₀

式中，res_t为残差项，x_t为原始序列，x₀为趋势项。

进一步的，所述步骤S3，利用DBCSAN聚类算法对残差序列进行聚类分析，得到时间序列的异常数据点，具体包括：

将前述时间序列分解得到的残差项作为DBCSAN聚类算法的输入数据集；

首先设定DBCSAN聚类算法的参数Eps和Min Pts，对数据集中的数据p进行判断，如果点p为核心点，找出其所有密度可达数据对象；若p不是核心点，且没有数据点对p密度可达，则p标记为噪声数据；将核心点的所有密度可达点都归为聚类簇，重复上述步骤，直至遍历整个数据集；

对不属于正常聚类簇的少量异常数据点进行标识，其中异常数据点包括上述噪声数据。

进一步的，所述步骤S4中，为保证时间序列的连续完整，采用SVR对数据进行清洗重构，具体包括：

对前述步骤中识别的缺失数据、冲突数据以及异常值等进行剔除并标记其在时间序列中的位置作为待清洗数据，然后采用基于SVR预测的方法对相应位置的待清洗数据进行修复补全，以预测数据替换原数据，确保时间序列的连续性、完整性。

根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明提供的基于时间序列分解的电力变压器数据清洗方法，首先对监测数据中的缺失数据、冲突数据，如油色谱数据中存在的负值等进行检测剔除；然后针对当前方法难以有效识别清洗非平稳监测序列中的离群点、孤立点，引入了变分模态分解方法对原始监测数据进行分解，以削弱不同尺度信息间的相互影响，利用原始监测序列减去表征趋势变动的低频分量，得到残差序列，使噪声值、突变值在残差序列中得到更好的表征，进而利用DBSCAN聚类对残差序列进行异常检测；为保证时序数据的完整连续，在剔除异常数据后，利用支持向量回归机(SVR)对时间序列进行清洗重构；

综上，该方法针对传统异常检测手段难以有效识别清洗非平稳监测序列中的离群点、孤立点的不足，采用变分模态分解去除趋势项，并结合DBSCAN聚类算法使表现在残差项中的异常信息得到有效检测；在有效识别剔除异常数据点的基础上，通过引入SVR回归重构异常数据点，确保了时序数据的完整连续，完善了数据清洗框架。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明基于时间序列分解的电力变压器数据清洗方法的流程图；

图2为本发明实施例异常值在残差序列中得到更好的表征示意图；

图3为本发明实施例利用SVR预测算法进行重构清洗的结果示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种基于时间序列分解的电力变压器数据清洗方法，针对电力变压器监测数据异常构建了异常数据识别以及数据修复重构的完整数据清洗流程；其中，对于存在周期性等趋势变化的监测序列，通过时间序列分解去除趋势项，使得异常信息得到更好的表征，便于利用DBSCAN聚类等异常检测手段识别异常。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

如图1所示，本发明提供的基于时间序列分解的电力变压器数据清洗方法，包括以下步骤：

S1，根据变压器的监测数据，获得原始的时间序列，并对时间序列中的缺失数据、冲突数据进行初步检测；

S2，采用变分模态分解算法对时间序列进行分解，利用时间序列与表征趋势项的模态分量相减得到残差序列，异常值在残差序列中得到更好的表征；具体包括：

将时间序列分解为k个不同中心频率的模态分量BIMF，例如BIMF0，BIMF1，BIMF2，...，BIMFk其中，第一个模态分量BIMF0项反映了序列的发展趋势，利用原始序列与分解后的BIMF0项序列做差，异常值在残差项中相较于原始序列得到更好的表征：res_t＝x_t-x₀

式中，res_t为残差项，x_t为原始序列，x₀为趋势项。

S3，利用DBCSAN聚类算法对残差序列进行聚类分析，得到时间序列的异常数据点；具体包括：

将前述时间序列分解得到的残差项作为DBCSAN聚类算法的输入数据集；

首先设定DBCSAN聚类算法的参数Eps和Min Pts，对数据集中的数据p进行判断，如果点p为核心点，找出其所有密度可达数据对象；若p不是核心点，且没有数据点对p密度可达，则p标记为噪声数据；将核心点的所有密度可达点都归为聚类簇，重复上述步骤，直至遍历整个数据集；

对不属于正常聚类簇的少量异常数据点进行标识，其中异常数据点包括上述噪声数据。

S4，剔除时间序列的异常数据点，为保证时间序列的连续完整，采用SVR对数据进行清洗重构，具体包括：

对前述步骤中识别的缺失数据、冲突数据以及异常值等进行剔除并标记其在时间序列中的位置作为待清洗数据，然后采用基于SVR预测的方法对相应位置的待清洗数据进行修复补全，以预测数据替换原数据，确保时间序列的连续性、完整性。

其中，所述变分模态分解(VMD)是一种自适应的信号分解方法，能够将非平稳的复杂信号分解为k个不同中心频率的模态分量(bandlimited intrinsic mode functions,BIMF)。VMD的主要步骤如下：

1)构造受约束的变分模型，输入信号f经VMD分解为k个模态分量，各模态的估计带宽之和最小作为约束条件，即：

式中，K为模态函数总个数；δ(t)为狄拉克函数；{u_k}为分解后的k个分量；{ω_k}为各分量的频率中心。

2)拉格朗日变换，引入二次惩罚因子α和增广拉格朗日函数以消除变分模型的约束性，表达式为：

3)交替更新，通过以下2个更新方程求解：

式中，n表示迭代次数，

分别表示f(ω)、

λⁿ(ω)、

的傅里叶变换。

所述DBSCAN(density-based spatial clustering of applications withnoise)聚类分析是一种典型的基于密度的聚类算法，与K-means等基于分割的聚类方法不同的是，DBSCAN算法不需要预先指定聚类簇的个数。该算法的基本原理就是通过样本间的紧密程度来进行聚类，将紧密相连的样本点化为一类，直至遍历所有样本点。DBSCAN聚类的主要设定参数包括Eps和Min Pts，Eps表征了某一样本的邻域距离阈值，Min Pts则表征某一样本的距离为Eps的邻域中样本个数的阈值。DBSCAN聚类包含以下重要定义：

1)Eps邻域：给定对象p以Eps为半径所确定的区域即为该对象的Eps邻域；

2)核心点：如果给定对象的Eps邻域内包含至少Min Pts个数目的样本点，则称其为一个核心点；

3)直接密度可达：给定一个对象集合D，如果p在q的Eps邻域内，而q是一个核心点，则称对象p是从对象q出发直接密度可达的；

4)密度可达：如果存在一个对象链P₁,…,P_i,…,P_n,满足P₁＝p和P_n＝q，P_i是从P_i+1关于Eps和Min Pts直接密度可达的，则称对象p是从对象q关于Eps和Min Pts密度可达的；

5)密度相连：如果存在对象o，并使对象p和q都是从o关于Eps和Min Pts密度可达的，那么对象p到q是关于Eps和Min Pts密度相连的。

DBSCAN聚类的具体实现流程为：首先设定参数Eps和Min Pts，对数据p进行判断，如果点p为核心点，找出其所有密度可达数据对象；若p不是核心点，且没有数据点对p密度可达，则p标记为噪声数据；将核心点的所有密度可达点都归为聚类簇，重复上述步骤，直至遍历整个数据集。

支持向量回归机(Support Vector Regression，SVR)模型是一种基于回归思想的预测方法，SVR以支持向量机SVM(SupportVectorMachine，SVM)为基础实现，SVR的本质思想就是将低维空间数据非线性映射到高维空间中，在高维空间中进行线性回归来实现预测。监测数据为(x_i,y_i)，则回归函数为：

其中，ω为权值向量，

为非线性映射向量，b为偏置，通过求解下式得到最优的ω和b值。

其中，C表示惩罚系数，ξ_i、

为松弛变量。上述凸优化函数对应的约束条件：

其中，ε为超出误差，引入拉格朗日乘子α_i和

求解此带约束的凸优化函数，优化后的回归函数也即SVR预测函数为：

其中，g为核函数K(x,x_i)的核参数。

为验证方法的有效性，选择变压器温度监测数据为例进行分析，原序列中均为正常监测数据，为验证方法的有效性，随机添加了5处异常。首先通过VMD算法对原序列进行分解，随后利用原序列减去趋势项得到残差序列，添加异常后的原序列、趋势项以及残差项如图2所示。

异常数据在残差序列中得到更明显的表征，进一步利用DBSCAN算法检测残差序列中的异常，并在图中进行标识，可见异常值均可以被有效的检测。随后剔除原序列中相应位置的异常值，利用SVR预测算法进行重构清洗，结果如图3所示，确保了序列的完整连续。

本发明提供的基于时间序列分解的电力变压器数据清洗方法，针对传统异常检测手段难以有效识别清洗非平稳监测序列中的离群点、孤立点的不足，采用变分模态分解去除趋势项，并结合DBSCAN聚类算法使表现在残差项中的异常信息得到有效检测；在有效识别剔除异常数据点的基础上，通过引入SVR回归重构异常数据点，确保了时序数据的完整连续，完善了数据清洗框架。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (4)

1.一种基于时间序列分解的电力变压器数据清洗方法，其特征在于，包括以下步骤：

S1，根据变压器的监测数据，获得原始的时间序列，并对时间序列中的缺失数据、冲突数据进行初步检测；

S2，采用变分模态分解算法对时间序列进行分解，利用时间序列与表征趋势项的模态分量相减得到残差序列，异常值在残差序列中得到更好的表征；

S3，利用DBCSAN聚类算法对残差序列进行聚类分析，得到时间序列的异常数据点；

S4，剔除时间序列的异常数据点，为保证时间序列的连续完整，采用SVR对数据进行清洗重构。

2.根据权利要求1所述的基于时间序列分解的电力变压器数据清洗方法，其特征在于，所述步骤S2，采用变分模态分解算法对时间序列进行分解，利用时间序列与表征趋势项的模态分量相减得到残差序列，异常值在残差序列中得到更好的表征，具体包括：

将时间序列分解为k个不同中心频率的模态分量BIMF，其中，第一个模态分量BIMF0项反映了序列的发展趋势，利用原始序列与分解后的BIMF0项序列做差，异常值在残差项中相较于原始序列得到更好的表征：

res_t＝x_t-x₀

式中，res_t为残差项，x_t为原始序列，x₀为趋势项。

3.根据权利要求1所述的基于时间序列分解的电力变压器数据清洗方法，其特征在于，所述步骤S3，利用DBCSAN聚类算法对残差序列进行聚类分析，得到时间序列的异常数据点，具体包括：

将前述时间序列分解得到的残差项作为DBCSAN聚类算法的输入数据集；

首先设定DBCSAN聚类算法的参数Eps和Min Pts，对数据集中的数据p进行判断，如果点p为核心点，找出其所有密度可达数据对象；若p不是核心点，且没有数据点对p密度可达，则p标记为噪声数据；将核心点的所有密度可达点都归为聚类簇，重复上述步骤，直至遍历整个数据集；

对不属于正常聚类簇的少量异常数据点进行标识，其中异常数据点包括上述噪声数据。

4.根据权利要求1所述的基于时间序列分解的电力变压器数据清洗方法，其特征在于，所述步骤S4中，为保证时间序列的连续完整，采用SVR对数据进行清洗重构，具体包括：

对前述步骤中识别的缺失数据、冲突数据以及异常值等进行剔除并标记其在时间序列中的位置作为待清洗数据，然后采用基于SVR预测的方法对相应位置的待清洗数据进行修复补全，以预测数据替换原数据，确保时间序列的连续性、完整性。

Images