CN101795138A

CN101795138A - 电力广域测量高密度时间序列数据的压缩处理方法

Info

Publication number: CN101795138A
Application number: CN 201010034265
Authority: CN
Inventors: 杨东; 许君德; 吴京涛
Original assignee: Beijing Sifang Automation Co Ltd; Beijing Sifang Engineering Co Ltd
Current assignee: Beijing Sifang Automation Co Ltd; Electric Power Dispatch Control Center of Guizhou Power Grid Co Ltd
Priority date: 2010-01-19
Filing date: 2010-01-19
Publication date: 2010-08-04
Anticipated expiration: 2030-01-19
Also published as: CN101795138B

Abstract

一种电力***广域测量***(WAMS)中高密度时间序列数据采用字典类算法压缩前的预处理方法和高密度曲线数据的稀疏处理方法，所述预处理方法是指待压缩浮点数据的定点化和增量化处理，包括以下步骤：根据WAMS数据精度要求，定义各类量测的转换系数，对所有浮点数乘上转换系数后取整，形成整型定点数据序列；将定点数据序列的相邻点依次作差得到增量数据序列；对增量数据序列通过LZW算法进行压缩，解压时顺次反向处理。所述曲线数据稀疏处理包括以下步骤：在曲线数据超过一定点数后，提取数据序列；对数据序列用旋转门压缩算法进行压缩；根据压缩得到的关键点数值和关键点间被压缩点数处理时标；当曲线缩放至点数限制以下时，绘制原始曲线。

Description

电力***广域测量***高密度时间序列数据的压缩处理方法

技术领域

本发明属于电力***调度自动化领域，特别是涉及一种动态安全监测过程中高密度时间序列数据的压缩处理方法。

背景技术

电力***广域测量***(以下简称WAMS)是由PMU和调度中心的监测主站组成的一套调度自动化***。该***能够为调度员和运行分析人员提供电网运行的动态过程。随着WAMS应用的推广和实用化建设，WAMS数据已经成为电网事件分析的必要信息，过期数据被要求完全存储，事件数据甚至被要求长期存储，供事后分析和研究。

由于WAMS的动态数据具有高速度、高密度、高精度的特点，平均每个监测点每秒钟传输50帧，甚至100帧动态数据，对于大电网来说，产生的数据是海量的，这些数据如果直接存储，将占用大量的磁盘空间。同时，由于数据的高密度、高精度，所存储的数据会有很多重复特征，因此，如何高效存储WAMS动态数据，并实现高效的分析检索是一项值得研究的技术。申请人之前申请的专利《电网广域测量***(WAMS)中动态数据压缩存储方法》(专利公开号：200710179274)曾提出动态数据无损压缩存储方法，该方法已经成为WAMS动态数据存储的必要手段，但是，随着WAMS建设的发展，数据量越来越庞大，庞大的数据量对数据存取效率、压缩率，以及数据曲线的绘制都提出了更高的要求。

本发明基于实践和积累，提出了实现高压缩率、高效绘制数据曲线的方法。

发明内容

本发明的目的是为了在WAMS数据实际精度要求范围内，不损失原始精度的前提下，对待压缩数据进行预处理，进一步提高压缩率和压缩效率。其具体实现方法如下：

一种电力***广域测量***WAMS中待压缩数据的处理方法，所述方法包括对待压缩数据顺次进行浮点数据定点化和定点数据增量化处理，得到定点增量数据序列，再通过无损压缩算法进行压缩、存储，解压时，通过增量还原和转换系数还原处理，得到原始浮点数值；其特征在于，所述处理方法包括以下步骤：

(1)根据WAMS量测精度要求，设置转换系数。转换系数是用来实现待压缩浮点数据和整型定点数之间数值转换的一个常数，待压缩浮点数据乘上转换系数并取整，可得到整型定点数，整型定点数除上转换系数，可得到浮点数，转换系数的取值是保证浮点数据精度在转换前后是否丢失的关键因素，本发明中转换系数取WAMS量测精度指标的倒数，如频率的精度指标为0.001Hz，转换系数应为1000；

(2)将电力***广域测量***量测数据中的待压缩浮点数逐一乘上各自的转换系数，取整数为有效数，舍弃小数；

(3)将得到的整数以时标为序组成整型定点数据序列；

(4)对整型定点数据序列从第二个数开始，顺次对前一个数值作差，得到差值序列；

(5)将整型定点数据序列第一个数和差值序列组成增量定点数据序列；

(6)将得到的增量定点数据序列输入字典压缩算法，完成压缩；

(7)将所述转换系数与压缩算法返回的数据帧组成用来存储的结果数据；

(8)通过数据ID和数据时标组成的索引管理数据存储地址，将结果数据存入文件。

其中所述转换系数成为存入数据文件的结果数据的一部分。

对经过所述预处理后的数据在压缩、存储后的解压步骤为：

根据数据ID和数据时标索引查询数据存储地址，提取存储的结果数据，放到数据处理缓存；

将数据缓存中分解为转换系数和数据DATA，对数据DATA用无损压缩的解压算法进行数据解压，得到定点增量数据序列；

将增量数据序列中的第二个数加上第一个数，得到第二个数的整型定点数值，第三个加上第二个数的整型定点数，得到第三个数的整型定点数，依次完成所有增量数据到原始整型定点数的转换；

将得到的整型定点数除上转换系数后，转换为浮点数，得到可用原始数据。

本发明还公开了一种电力***广域测量***(WAMS)中高密度时间序列数据曲线绘制的稀疏处理方法。通过有损压缩方法，在保留曲线特征的前提下，对高密度数据曲线进行稀疏绘制，低密度数据曲线进行完全绘制，满足快速曲线分析需求。所述稀疏处理方法具体采用以下技术方案：

一种电力***广域测量***中高密度时间序列数据曲线稀疏处理方法，所述方法对超过设定点数限制的曲线数据进行稀疏化处理，采用旋转门算法进行压缩，并对压缩得到的关键点数据置上原始时标，绘制关键点数据序列曲线作为高密度稀疏曲线；

其特征在于，所述稀疏处理方法包括以下步骤：

(1)根据曲线分析需求，设定稀疏门槛值、即点数限制和压缩精度门槛值；

(2)根据所述压缩精度门槛值，在曲线数据序列的点数超过点数限制时，采用旋转门算法进行压缩，不超过点数限制则不对数据进行压缩；压缩得到的结果包括曲线关键点数据序列，和关键点间被压缩点数序列；

(3)根据被稀疏曲线的连续时标信息和关键点间被压缩点数序列，对关键点数据序列重置时标，时标为原始数据对应时标；

(4)用稀疏得到的带时标关键点数据序列绘制稀疏曲线；

(5)当选择稀疏后曲线某区域进行区域曲线放大显示时，当其点数小于所述稀疏门槛值时，直接使用所选择区域内的压缩前的原始曲线，反之，使用压缩稀疏后的曲线。

根据稀疏门槛值、即点数限制能够切换稀疏曲线和原始数据曲线，方便趋势分析和精确过程分析的选择。

本发明提出的WAMS动态数据压缩处理方法能够对电力***动态数据存储的压缩率和压缩效率进行改善，并提供了动态数据曲线绘制的稀疏处理手段，提高了曲线绘制与分析的速度。

附图说明

下面结合附图及具体实施示例对本发明再作进一步详细的说明。

图1包含定点化和增量化预处理过程的压缩流程；

图2高密度曲线稀疏处理流程；

图3数据存储结构示意图；

具体实施方式

浮点数经过计算和转换后，会存在计算误差和小数末位的随机残值，因此，浮点数通常不会相等，数学计算中往往用差值小于一个很小的数值来判断浮点数的相等，这里将这个特点定义为浮点数的相似性差，相似性差给无损压缩算法带来很大影响。以LZW等字典类压缩算法为例，当数据相似性差时，压缩处理会成倍地增加统计和循环次数，从而降低压缩率和压缩效率。WAMS数据的采集环节对数据有最高精度要求，如频率精度为±0.001Hz，小数点后第4位的频率数值其实不在精度要求范围内，而且不可信，如果剔除第4位以后的小数，不会影响WAMS数据的使用精度，而且可以大大提高数据相似性。因此，本发明通过转换系数(转换系数是用来实现待压缩浮点数据和整型定点数之间数值转换的一个常数，待压缩浮点数据乘上转换系数并取整，可得到整型定点数，整型定点数除以转换系数，可得到浮点数。转换系数的取值是保证浮点数据精度在转换前后是否丢失的关键因素，本发明中转换系数取WAMS量测精度指标的倒数，如频率的精度指标为0.001Hz，转换系数应为1000)将采样的浮点数据转换为整型定点数，生成定点数据序列，有效提高了数据的相似度。

除精度要求外，WAMS数据的另一个特征是：在稳态情况下，连续采样数据的增量往往是相似的。电力***运行中，大部分数据属于稳态数据，因此，相邻数据的增量的相似性非常高。本发明通过对定点数据序列进行增量化处理，得到增量定点数据序列，进一步提高了数据相似度。

在同时进行定点化和增量化处理后，对得到的增量定点数据序列用LZW等字典类压缩算法进行压缩，压缩率和压缩效率由于数据相似度的提高，可得到大幅提高。

图1动态数据存取过程示意图。如图1所示，电力***广域测量***(WAMS)中待压缩数据的预处理方法如下：

(1)取得原始数据；

(2)对原始数据通过转换系数进行定点化转换处理：将待压缩浮点数逐一乘上各自的转换系数，取整数为有效数，舍弃小数；将得到的整数以时标为序组成整型定点数据序列；

(3)对定点数据序列进行增量化处理：对整型定点数据序列从第二个数开始，顺次对前一个数值作差，得到差值序列；将整型定点数据序列第一个数和差值序列组成增量定点数据序列；

(4)对定点增量数据序列用LZW压缩算法压缩；

(5)将数据ID和时标TIMESTAMP组成索引，将数据转换系数COEFF和压缩得到的数据DATA组帧；

(6)过数据ID和数据时标组成的索引管理数据存储地址，将结果数据存入文件。

动态数据存储过程采用了单一流向的处理方法，顺次完成定点化和增量化预处理、数据压缩、数据组织、数据存储，简单高效的处理保证了高速度、高精度、高密度的动态数据存储效率。在数据应用时则按照数据查询、数据解析、数据解压、增量数据恢复、浮点数据恢复、数据应用的过程串行处理。

电力***数据具有动态连续性，会随着时间连续变化，相邻点之间的变化往往是相似的，在WAMS中，数据采样有一定的精度限制，如频率最高精度为0.001Hz，但是，在数值表示和处理中，浮点数除了如频率的0.001Hz的精度以外，还会由于计算误差、转换误差等因素产生＜0.001Hz的残值，当用单字节表示浮点数时，将导致末位不一样的，这会影响LZW类似的字典压缩算法，影响字典大小，影响统计操作次数等，从而影响压缩率和压缩效率，同时，连续数据相邻点之间的变化值相近，取得变化值后，数据序列的相似性也能提高，原始数据序列则无法达到变化值的相似度，因此，如果能够消除无用残值，并利用好相邻点间的变化值，对基于LZW类似的字典压缩算法非常有意义。本发明总结该规律，采用如下方法实现待压缩数据的处理：

(1)找到原始数据对应转换系数；

(2)将浮点数逐一乘上转换系数，取整数为有效数，舍弃小数；

(3)将得到的整数以时标为序组成整型定点数据序列；

(5)将整型定点数据序列第一个数和差值序列组成增量数据序列；

本发明还公开了一种电力***广域测量***(WAMS)中高密度时间序列数据曲线绘制的稀疏处理方法。高密度是WAMS数据曲线的特点之一，以每秒50帧的上传速率为例，1分钟曲线有3000点，在实际应用中往往会用到数十分钟，甚至数小时的曲线，需要绘制的点数将达到数十万以上。如果完全绘制到曲线图中，曲线绘制效率会非常低，而实际曲线分析时，高密度曲线更关注的是曲线趋势，只需要能看到关键的曲线特征，因此，将曲线数据进行稀疏是允许的，也是必要的。

对数据稀疏有两种方法，一种是等间隔取点，另一种是通过算法不等间隔取点。等间隔取点计算简单，而且处理时间序列数据时标非常方便，但是曲线关键特征不会等间隔出现，因此，本发明选择不等间隔取点法进行稀疏。除关键点特征外，WAMS数据曲线的时标也是必须考虑的，这要求稀疏算法不但能够给出关键点的数据序列，而且要方便恢复关键点时标。旋转门算法是一种拐点法，该算法在设定的死区范围内，将数据线性化，而将死区外的数据作为线性化的拐点，从拐点起，数据序列变成另一种斜率，进入下一段线性化，拐点就是曲线中的关键点，刚好能够满足曲线稀疏要求，因此，本发明基于旋转门算法，实现了一种能够找出关键点数据序列，并根据关键点间被压缩点数处理时标信息，得到带时标关键点数据序列的稀疏处理方法。

当高密度曲线数据被稀疏后，曲线分析可能需要选择其中的某个变化点进行详细分析，详细分析的局部曲线如果仍采用稀疏数据，则容易对精细分析造成影响，因此，当选择的点数小于一定数量(可设定)时，曲线数据不再稀疏处理，直接绘制原始曲线。

图2是高密度曲线稀疏处理流程图。WAMS高密度时间序列数据，数据量大，有时标要求，在生成曲线进行分析时，有下列要求：

1)曲线绘制速度快；

2)高密度曲线关注关键变化特征，关键变化特征不可丢失；

3)精细分析保留原始数据的特征。

如图2所示，数据压缩的过程如下：

(2)根据所述压缩精度门槛值，在曲线数据序列的点数超过点数限制时，采用旋转门算法进行压缩，不超过门槛值则不对数据进行压缩；压缩得到的结果包括曲线关键点数据序列，和关键点间被压缩点数序列；

(4)用稀疏得到的带时标关键点数据序列绘制稀疏曲线；

(5)当选择稀疏后曲线某区域进行区域曲线放大显示时，当其点数小于所述稀疏门槛值时，直接使用所选择区域内的压缩前的原始曲线，反之，使用压缩稀疏后的曲线；

对于点数超过一定规模的曲线，任何曲线绘制方法都解决不了速度问题，因此，必须通过特殊处理方法来将曲线数据点进行稀疏，本发明所采用的算法为旋转门算法，是一种快速高效的有损压缩算法，该算法在精度要求范围内，将曲线线性化，保留关键变化特征，得到拐点曲线，是实现曲线稀疏的最好选择。本发明基于WAMS数据精确时标要求和该算法的特点在标准旋转门算法基础上做了改进，改进后具有以下特点：

1)能够输出拐点的浮点数据序列；

2)能够输出拐点间被压缩点数的整形数据序列；

3)基于两个数据序列和原始数据时标，对浮点数据序列各数据点找回准确时标。

数据压缩以全部待稀疏曲线数据序列为输入进行压缩处理，返回一个float型数据序列和一个int型数据序列，处理时标后投入使用，实现流程如下：

(1)得到需要稀疏的曲线数据序列和旋转门压缩算法精度门槛值；

(2)根据精度要求对曲线数据序列进行压缩，得到压缩结果，结果包括曲线关键点数据序列，和关键点间被压缩点数序列；

(4)用稀疏得到的带时标关键点数据序列绘制系数曲线。

在应用时，不是所有曲线都需要进行稀疏处理，因此，需要定义一个稀疏点数门槛值，当点数超过门槛值时，采用稀疏处理，反之，直接使用原始曲线。

图3是数据预处理后经LZW算法压缩后的数据存储结构示意图。WAMS数据具有信息内容简单、高速性和海量性三个特点，这三个特点对存储效率有着很高的要求，本发明采用了基于B+树算法的文件存储方法，该方法主要包括以下几个特点：

1)采用B+树算法进行数据存储和访问；

2)采用关键字有序存储，关键字可以为任意的数据结构；

3)支持对数据查询、***、删除的常数级速度。

参见图3，KEY是一个数据结构，在WAMS动态数据中，至少需要ID和TIMESTAMP两个信息，在实施过程中KEY的结构如下：

Struct KEY_DATA

{

int iDataID；

int iMinute；

}；

其中，iDataID为数据索引ID值，iMinute为数据时间标志TIMESTAMP。

根据使用经验，动态数据每一分钟压缩一次为最佳，因此对于压缩数据，每分钟以一个KEY进行索引，根据iDataID和iMinute两个信息存储和查询数据，数据存储和查询采用B+树算法。

在数据存储结构中，COEFF用来表示数据转换系数，该信息用于在数据读取时还原数值转换结果，将定点数据恢复为浮点数据，DATA则是经过数据压缩后的数据包，该数据包只有经过压缩算法解压后才能使用。

以上是对本发明的优选实施例的详细说明。尽管所示和所述的典型实施例被表现为最优选，应当明白在不脱离下述权利要求限定的本公开的范围内可以进行各种改变和修改。

Claims

1.一种电力***广域测量***WAMS中待压缩数据的处理方法，所述方法包括对待压缩数据顺次进行浮点数据定点化和定点数据增量化处理，得到定点增量数据序列，再通过无损压缩算法进行压缩、存储，在解压时，通过增量还原和转换系数还原处理，得到原始浮点数值；其特征在于，所述处理方法包括以下步骤：

(1)根据WAMS量测精度要求，设置转换系数：所述转换系数是用来实现待压缩浮点数据和整型定点数之间数值转换的一个常数，待压缩浮点数据乘上转换系数并取整，可得到整型定点数，整型定点数除以转换系数，可得到浮点数；

(3)将得到的整数以时标为序组成整型定点数据序列；

2.根据权利要求1所述的待压缩数据的处理方法，其中所述转换系数成为存入数据文件的结果数据的一部分。

3.根据权利要求1-2所述的待压缩数据的处理方法，经过所述处理后的数据在压缩、存储后的解压步骤为：

将数据处理缓存分解为转换系数和数据DATA，对数据DATA用无损压缩的解压算法进行数据解压，得到定点增量数据序列；

将得到的整型定点数除以转换系数后，转换为浮点数，得到可用原始数据。

4.一种电力***广域测量***中高密度时间序列数据曲线稀疏处理方法，所述方法对超过设定点数限制的曲线数据进行稀疏化处理，采用旋转门算法进行压缩，并对压缩得到的关键点数据置上原始时标，绘制关键点数据序列曲线作为高密度稀疏曲线；其特征在于，所述稀疏处理方法包括以下步骤：

(1)根据曲线分析需求，设定稀疏门槛值，即点数限制和压缩精度门槛值；

(2)根据所述压缩精度门槛值对曲线数据序列采用旋转门算法进行压缩，得到压缩结果，结果包括曲线关键点数据序列，和关键点间被压缩点数序列；

(4)用稀疏得到的带时标关键点数据序列绘制稀疏曲线；

(5)当选择稀疏后曲线某区域进行区域曲线放大显示时，若其点数小于所述稀疏门槛值时，直接使用所选择区域内的压缩前的原始曲线，反之，使用压缩稀疏后的曲线。

5.根据权利要求4所述的高密度时间序列曲线数据稀疏处理方法，其特征在于：根据稀疏门槛值、即点数限制能够切换稀疏曲线和原始数据曲线，方便趋势分析和精确过程分析的选择。