CN102651116A - 一种电力负荷数据精细化处理方法 - Google Patents

Abstract

本发明公开了一种用于电网控制领域的电力负荷数据精细化处理方法，包括下列步骤：采集电力负荷数据：对电力负荷数据中的缺失数据点进行识别和数据补全；输出数据补全结果；对电力负荷数据中的奇异值数据点进行识别和数据修正；输出数据修正结果。其技术效果是：通过对电力负荷数据中的缺失数据点进行数据补全，对电力负荷数据中的奇异值数据点进行数据修正，从而提高电力负荷数据的质量，为下一步电力负荷数据的挖掘和分析提供基础。

Description

一种电力负荷数据精细化处理方法

技术领域

本发明涉及一种用于电网控制领域的电力负荷数据精细化处理方法。

背景技术

近些年来，由于计算机管理信息***普遍应用于各行各业，积累的数据量日益增大，为使这些数据发挥其应有的作用，为相关行业的管理、决策提供强有力的支持，提高经济和社会效益，由此诞生了数据挖掘、知识发现，其方法和技术强调面向应用，因此，其应用效果日渐彰显，越来越受到业内人士的注意和重视。

参与数据挖掘数据的质量，是挖掘出精确、实用的信息的前提。电力行业中用于电网管理的数据相当庞杂，从获取得到的实际数据情况来看，碰到的主要问题是电力负荷数据中存在着相当数量的缺失数据和奇异值。因此对所获取得到的电力负荷数据进行预处理，进行所述缺失数据进行补全并对所述奇异值的识别和修正，是对电网进行科学管理和调度的前提之一。在对所述缺失数据和所述奇异值进行相关的补全和修正后，才可以为下一步数据分析算法提供更加高质量的数据。

发明内容

本发明的目的是为了克服现有技术的不足，提供一种电力负荷数据精细化处理方法，其能为下一步数据的挖掘和分析提供高质量的数据。

实现上述目的的一种技术方案是：一种电力负荷数据精细化处理方法，包括下列步骤：

S1步骤：采集电力负荷数据；

S2步骤：对电力负荷数据中的缺失数据点进行识别和数据补全；

S3步骤：输出数据补全结果；

S4步骤：对电力负荷数据中的奇异值数据点进行识别和数据修正；

S5步骤：输出数据修正结果。

进一步的，所述S2步骤中，采用S21-S28方法中的一种方法，对所述缺失数据点进行数据补全；

S21：算术平均值法；

S22：邻近有效数据点算术平均值法；

S23：邻近有效数据点中位数法；

S24：线性内插估值法；

S25：线性回归估值法；

S26：删除缺失数据点法；

S27：非线性回归估值法；

S28：常数替代法。

再进一步的，所述S2步骤中，对所述S21-S28方法进行选择的步骤为：

依次采用S21-S28方法对所述缺失数据点进行补全；

依次计算经S21-S28方法进行数据补全后的所述电力负荷数据的均方差；

在所述S21-S28方法中，选择所述电力负荷数据的均方差最小的方法对所述缺失数据进行补全。

进一步的，所述S4步骤中，对所述奇异值数据点进行识别和数据修正的方法为S41-S43方法中的一种：

S41：误差阈值识别法；

S42：Z标准分数替代法；

S43：上升下降速率识别法。

再进一步的，所述S41方法包括下列三种形式：

指定若干个数值为奇异值，并由指定数据替代奇异值；

指定一个数值范围内的数值为奇异值，并由指定数据代替奇异值；

指定一个数值范围及一个数值为奇异值，并由指定数据代替奇异值。

采用了本发明的一种电力负荷数据精细化处理方法的技术方案，即采集电力负荷数据；对电力负荷数据中缺失数据点进行识别和补全；对电力负荷数据中的奇异值数据点进行识别和数据修正的电力负荷数据精细化处理方法。其技术效果是：其能够去除电力负荷数据中的缺失数据，修正电力负荷数据中的奇异值，提高电力负荷数据的质量，为下一步电力负荷数据的挖掘和分析提供基础。

附图说明

图1为本发明的一种电力负荷数据精细化处理方法的流程示意图。

具体实施方式

请参阅图1，为了能更好地对本发明的技术方案进行理解，下面通过具体地实施例，并结合附图进行详细地说明：

本发明中的一种电力负荷数据精细化处理方法包括下列步骤：

S1步骤：采集电力负荷数据；

S2步骤：对电力负荷数据中的缺失数据点进行识别和数据补全；

S3步骤：输出数据补全结果；

S4步骤：对电力负荷数据中的奇异值数据点进行识别和数据修正；

S5步骤：输出数据修正结果。

在本实施例中，S2步骤中对所述电力负荷数据中的缺失数据点的数据统一标记为inf。

S2步骤中，对所述缺失数据点进行数据补全的方法主要有八种，S2步骤中可由用户选择其中的一种方法对所述缺失数据点进行数据补全。这些方法主要用于对电力负荷数据中的零星的缺失数据点进行补全。

S21：算术平均值法。

所述算术平均值法的基本思路是将电力负荷数据的数据点分成两类，一类是有数值数据的有效数据点，另外一类是统一标记为inf的缺失数据点。求出所有所述有效数据点的数值数据的算术平均值，对所述缺失数据点进行数据补全。

算例：原始电力负荷数据为[1；2；inf；inf；inf；6；7；inf；9；10]，其中所述有效数据点的数值数据为[1；2；6；7；9；10]，所述缺失数据点的数据为[inf；inf；inf；inf]，取所述有效数据点的数值数据的算术平均值为5.83，替代所述缺失数据点的数据inf，得到数据补全结果为[1；2；5.83；5.83；5.83；6；7；5.83；9；10]。

S22：邻近有效数据点算术平均值法。

所述邻近有效数据点算术平均值法的基本思路为：将所述邻近有效数据点定义为与所述缺失数据点最为接近的四个有效数据点。通常在所述缺失数据点前后各取两个与所述缺失数据点最为接近的有效数据点，如果所述缺失数据点前没有有效数据点，则以该缺失数据点后与所述缺失数据点最为接近的四个有效数据点为邻近有效数据点。然后，求这四个有效数据点的数值数据的算术平均值对所述缺失数据点进行数据补全。

算例：原始电力负荷数据为[6；inf；inf；inf；2；1；inf；1；12；11；13；8；7；4；6；7；1]。其中前三个缺失数据点的邻近有效数据点的数值数据均为[6；2；1；1]，第四个缺失数据点的邻近有效数据点的数值数据为[2；1；1；12]，则前三个所述缺失数据点的数值数据补全为2.50，第四个所述缺失数据点的数值数据补全为4.00，数据补全结果为[6；2.50；2.50；2.50；2；1；4.00；1；12；11；13；8；7；4；6；7；1]。

S23：邻近有效数据点中位数法。

所述邻近有效数据点在这里的定义是与在所述邻近有效数据点算术平均值法中的定义是相同的。所述中位数计算方法为：将四个所述邻近有效数据点的数值数据按从小到大的顺序依次排列，取第二个数和第三个数电数值数据的算术平均值为中位数。

算例：原始电力负荷数据为[6；inf；inf；inf；2；1；inf；1；12；11；13；8；7；4；6；7；1]，其中前三个所述缺失数据的邻近有效数据点的数值数据均为[6；2；1；1]，所述邻近有效数据点的数值数据按照从小到大排列为[1；1；2；6]，得到所述中位数为1.50，代入前三个所述缺失数据进行数据补全；第四个所述缺失数据的邻近有效数据点的数值数据为[2；1；1；12]，所述邻近有效数据点的数值数据按照从小到大排列[1；1；2；12]，得到所述中位数为1.50，代入第四个所述缺失数据点进行数据补全；数据补全结果为[6；1.50；1.50；1.50；2；1；1.50；1；12；11；13；8；7；4；6；7；1]。

S24：线性内插估值法。

所述线性内插估值法的基本思路为：取距离所述缺失数据点最为接近的两个有效数据点的数值数据，以这两个有效数据点的数值数据的算术平对所述缺失数据点进行数据补全。

算例：原始电力负荷数据为[6；inf；inf；inf；2；1；inf；1；12；11；13；8；7；4；6；7；1]，其中距离第一个缺失数据点最为接近的两个有效数据点的数值数据为[6；2]，两个有效数据点的数值数据的算术平均值为4；而距离第三个缺失数据点最为接近的两个有效数据点的数值数据为[6；2]，因为6所在的有效数据点与第三个缺失数据点的距离为3，1所在的有效数据点与第三个缺失数据点的距离为2；这两个有效数据点的数值数据的算术平均值为1.50。最终，数据补全结果为[6；4；4；1.50；2；1；1；1；12；11；13；8；7；4；6；7；1]。

S25：线性回归估值法。

线性回归估值法是以时间或者序号为自变量，以电力负荷数据中有效数据点的数值数据为应变量；对所述有效数据点的数值数据进行线性拟合，得到拟合直线的参数，进而得到直线方程；随后将与所述缺失数据点的对应的时间点或者序号，代入所述直线方程，得到所述缺失数据点的数值数据的估计值，对所述缺失数据点进行数据补全。

算例：原始电力负荷数据为[5；6；inf；i nf；inf；5；5；inf；7；6；6；5]，对应序号为[1；2；3；4；5；6；7；8；9；10；11；12]，有效数据点的数值数据为[5；6；5；5；7；6；6；6；5]，对应序号为[1；2；6；7；9；10；11；12]，对上述数值数据进行线性拟合，得到拟合直线的参数为[0.0411；5.3268]，进而得到拟合直线方程；将与缺失数据点对应的序号[3；4；5；8]代入所述拟合直线方程，得到所述缺失数据点的数值数据的估计值为[5.4502；5.4913；5.5325；5.6558]，最终得到数据补全结果为[5；6；5.4502；5.4913；5.5324；5；5；5.6558；7；6；6；5]。

S26：删除缺失数据点法。

所述删除缺失数据点法的基本思路是：删除所有缺失数据点，同时新建第二列数据，保留与有效数据点的对应时间或者对应序号。

算例：原始电力负荷数据为[5；6；inf；inf；inf；2；1；inf；1；12；11；13；8；7；4；6；7；1]，对应序号为[1；2；3；4；5；6；7；8；9；10；11；12；13；14；15；16；17；18]，原始电力负荷数据中，删除缺失数据点，保留有效数据点后，得到的数值数据为[5，6，2，1，1，12，11，13，8，7，4，6，7，1]，同时新建第二列数据，保留与所述有效数据点的对应序号为[1，2，6，7，9，10，11，12，13，14，15，16，17，18]，从而得到的数据补全结果为[5；6；2；1；1；12；11；13；8；7；4；6；7；1；1；2；6；7；9；10；11；12；13；14；15；16；17；18]。

S27：非线性回归估值法。

非线性回归估值法基本思路是以时间或者序号为自变量，以电力负荷数据中有效数据点的数值数据为应变量；对所述有效数据点的数值数据进行非线性拟合，得到拟合曲线的参数，进而得到曲线方程；随后将与所述缺失数据点的对应的时间点或者序号，代入所述曲线方程，得到所述缺失数据点的数值数据的估计值，对所述缺失数据点进行数据补全。

算例：原始电力负荷数据为[5；6；inf；inf；inf；5；5；inf；7；6；6；5]，对应序号为[1；2；3；4；5；6；7；8；9；10；11；12]，有效据点的数值数据为[5；6；5；5；7；6；6；6；5]，对应序号为[1；2；6；7；9；10；11；12]，如对上述数值数据进行二次函数拟合，得到拟合曲线的参数为[-0.00820，0.14550，5.1196]，从而得到拟合曲线方程，将与所述缺失数据点对应的序号[3；4；5；8]代入所述拟合曲线方程，得到所述缺失数据点的数值数据的估计值为[5.482，5.570，5.642，5.758]，最终得到数据补全结果为[5；6；5.482；5.570；5.642；5；5；5.758；7；6；6；5]。

S28：常数替代法。

所述常数替代法的思路是以用户指定的常数对缺失数据点进行数据补全。

算例：原始电力负荷数据为[5；6；inf；inf；inf；5；5；inf；7；6；6；5]，用户指定的常数为8，最终数据补全结果为[5；6；8；8；8；5；5；8；7；6；6；5]。

对于所述S21-S28方法进行，可以采取如下步骤，进行选择：

依次采用S21-S28方法对所述缺失数据点进行补全；

依次计算经S21-S28方法进行数据补全后的所述电力负荷数据的均方差；

在所述S21-S28方法中，选择所述电力负荷数据的均方差最小的方法对所述缺失数据进行补全。

由于同一用户在短时间内，电力负荷数据不会发生较大的改变，所以电力负荷数据中出现由大块缺失数据点组成缺失数据块时，采用相似日数据补全的方法对所述缺失数据块进行数据补全。

奇异值，也可成为极端值，是指电力负荷数据中与整体数据相距太远的极值，由于它们的影响，常常会扭曲统计结果，导致分析错误。存在奇异值的数据点称为奇异值数据点，通常对奇异值数据点的进行识别和数据修正方法通常有三类：

S41：误差阈值识别法。

所述误差阈值识别法的思路是：奇异值通常较正常值明显偏大或明显变小，存在由错误代码代替正常数值的可能，故可由用户指定将一定范围内的数值或某一数值确定为奇异值。

该类方法，可由用户指定若干个，通常是一个至三个数值为奇异值，并由指定数据数替代奇异值；

算例：原始电力负荷数据为[5；6；1111；1122；1133；5；5；1122；7；6；6；5]；先由用户指定电力负荷数据中的奇异值的数量为三个，再分别确定第一个奇异值1111，第二个奇异值1122，第三个奇异值1133，最后由用户确定的指定数据来来对这三个奇异值数据点进行数据修正，在本例中所述指定数据为7，最终数据修正结果为[5；6；7；7；7；5；5；7；7；6；6；5]。

该类方法，也可由用户指定某一个取值范围内的数值为奇异值，并由指定数据替代奇异值；

算例：原始电力负荷数据为[5；6；1111；1122；1133；5；5；1122；7；6；6；5]，用户可将奇异值的上限指定为2000，用户可将奇异值的下限指定为1000，用户确定的指定数据来替代奇异值数据点的电力负荷数据。在本例中所述指定数据为7，最终得到的数据修正结果为[5；6；7；7；7；5；5；7；7；6；6；5]。

该类方法，也可以由用户指定某一个数值范围和某一个数值为奇异值，用指定数替代奇异值；

算例：原始数据为[5；6；1111；1122；1133；5；5；1122；7；6；6；2255]，用户可将奇异值的上限指定为2000，用户可将奇异值的下限指定为1000，同时确定2255也为奇异值，用户确定的指定数据来替代奇异值数据点的电力负荷数据。在本例中所述指定数据为7，最终得到的数据修正结果为[5；6；7；7；7；5；5；7；7；6；6；7]。

S42：第二类方法将原始电力负荷数据转换成标准Z分数。

其基本思路：将原始电力负荷数据转换成为标准Z分数，Z分数是一种标准常态分配分数。

Z分数可以根据公式

计算得到。

其中u为电力负荷数据的算术平均值，x为电力负荷数据，σ为电力负荷数据的均方差。

算例：原始电力负荷数据为[5；6；1111；1122；1133；5；5；1122；7；6；6；5]，经过换算，u＝377.7500，σ＝549.6854，最终得到的数据修正结果为[-0.6781；-0.6763；1.3339；1.3540；1.3740；-0.6781；-0.6781；1.3540；-0.6745；-0.6763；-0.6763；-0.6781]。

S43：上升下降速率检测法

电力负荷数据中某些数据点的电力负荷数据与其邻近数据点的电力负荷数据偏离过大，即变化率过大，这些偏离过大的电力负荷数据有时也是奇异值。因此可由用户对所述变化率的极限值进行指定，如出现变化率过大，可通过对周围数据进行线性拟合估值，代替所述奇异值数据点的电力负荷数据，进行数据修正。

本实施例中，变化率过大定义：当有N个电力负荷数据点时，如果要对第i个电力负荷数据点的电力负荷数据进行变化率判断，取该第i个电力负荷数据点的四个邻近数据点的电力负荷数据的算术平均值作为基准，如果该第i个电力负荷数据的电力负荷数据相比该算术平均值上升或者下降百分比的由用户指定的临界变化率时，则认为是变化率过大。当i＝1时，取第二、三、四、五点；i＝2时，取第一、三、四、五点；i＝N-1时，第N、N-2、N-3、N-4点；i＝N时，取第N-1，N-2，N-3，N-4点；其余取第i-2，i-1，i+1，i+2点作为邻近数据点。

算例：原始电力负荷数据为[10；10；13；10；10；11；10；16；10；10；9；10]，假定用户指定的临界变化率为0.2。由计算可得，变化率过大的奇异值数据点一共有两个：第三点和第八点，数值分别为13和16。变化率为分别为0.3和0.561。故对这两点进行线性拟合，得到第三点的拟合值为10；同理，得到第八点的拟合值为10.25。最终得到的数据修正结果为[10；10；10.00；10；10；11；10；10.25；10；10；9；10]。

在通过采集电力负荷数据；对电力负荷数据中的缺失数据点进行识别和数据补全；对电力负荷数据中的奇异值数据点进行识别和数据修正后，去除了电力负荷数据中的缺失数据，修正了电力负荷数据中的奇异值，提高电力负荷数据的质量，为下一步电力负荷数据的挖掘和分析提供基础。

本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，而并非用作为对本发明的限定，只要在本发明的实质精神范围内，对以上所述实施例的变化、变型都将落在本发明的权利要求书范围内。

Claims (5)

1.一种电力负荷数据精细化处理方法，其特征在于：所述电力负荷数据精细化处理方法包括下列步骤：

S1步骤：采集电力负荷数据；

S2步骤：对电力负荷数据中的缺失数据点进行识别和数据补全；

S3步骤：输出数据补全结果；

S4步骤：对电力负荷数据中的奇异值数据点进行识别和数据修正；

S5步骤：输出数据修正结果。

2.根据权利要求1所述的一种电力负荷数据精细化处理方法，其特征在于：

所述S2步骤中，采用S21-S28方法中的一种方法，对所述缺失数据点进行数据补全；

S21：算术平均值法；

S22：邻近有效数据点算术平均值法；

S23：邻近有效数据点中位数法；

S24：线性内插估值法；

S25：线性回归估值法；

S26：删除缺失数据点法；

S27：非线性回归估值法；

S28：常数替代法。

3.根据权利要求2所述的一种电力负荷数据精细化处理方法，其特征在于：S2步骤中，对所述S21-S28方法进行选择的步骤为：

依次采用S21-S28方法对所述缺失数据点进行补全；

依次计算经S21-S28方法进行数据补全后的所述电力负荷数据的均方差；

在所述S21-S28方法中，选择所述电力负荷数据的均方差最小的方法对所述缺失数据进行补全。

4.根据权利要求1至3中任意一项所述的一种电力负荷数据精细化处理方法，其特征在于：所述S4步骤中，对所述奇异值数据点进行识别和数据修正的方法为S41-S43方法中的一种：

S41：误差阈值识别法；

S42：Z标准分数替代法；

S43：上升下降速率识别法。

5.根据权利要求4所述的一种电力负荷数据精细化处理方法，其特征在于：所述S41方法包括下列三种形式：

指定若干个数值为奇异值，并由指定数据替代奇异值；

指定一个数值范围内的数值为奇异值，并由指定数据代替奇异值；

指定一个数值范围及一个数值为奇异值，并由指定数据代替奇异值。