CN105812802A - 一种基于稀疏编解码的电力大数据的压缩传输方法 - Google Patents

Abstract

本发明涉及一种基于稀疏编解码的电力大数据的压缩传输方法，所述方法包括(1)启动***；(2)传送数据；(3)稀疏编码；(4)标量量化；(5)自适应算术编码；(6)保存编码；(7)判断是否调用原数据；(8)自适应算术解码；(9)反量化；(10)稀疏解码；(11)处理数据。本发明将输入的电力大数据转化为稀疏编码的方式进行输出。在数据的传送过程之中通过转化得到的存储量极小的数据编码。本发明能够有效降低数据的存储量，同时也便于找出数据的内在结构和本质特征，也有利于数据的备份和后续运算。

Description

一种基于稀疏编解码的电力大数据的压缩传输方法

技术领域

本发明涉及一种电力大数据传输方法，具体讲涉及一种基于稀疏编解码的电力大数据的压缩传输方法。

背景技术

电力信息技术将向数据信息应用的智能融合方向发展，其运行模式将迈向为以服务为中心的新阶段，同时，企业数据资产的价值不断被发掘，信息化条件下的企业生产和决策将更加智能化。“大数据”正是新形势下技术融合型发展和应用智能化理念的集中体现，具有应对数据体量巨大、数据类型繁多、价值密度低和处理速度快等数据特征的技术架构，及以行业内外高附加值的内容增值服务为目标的应用模式，其核心就是信息资源的开发利用。电力大数据是指通过传感器、智能设备、视频监控设备、音频通信设备、移动终端等各种信息获取渠道收集到的，海量的，结构化、半结构化、非结构化的，且相互间存在关联关系的业务数据集合。随着科技的发展以及大量信息***的推广和深化应用，用户体验需求正在不断增长，在这过程中所积累的数据和服务也越来越多，趋于海量，传统的数据库已经无法满足如此庞大的数据存储要求。在目前数据量呈***式增长的大数据背景下，使用高效的压缩编码方式来处理大数据，有效地降低存储空间是非常有意义的。

稀疏编码能够为电力大数据的存储提供有效的解决办法。稀疏编码的概念主要来自于神经生物学。生物学家提出，哺乳类动物在长期的进化中，生成了能够快速，准确，低代价地表示自然图像的视觉神经方面的能力。我们直观地可以想象，我们的眼睛每看到的一副画面都是上亿像素的，而每一副图像我们都只用很少的代价重建与存储，我们把它叫做稀疏编码。将稀疏编码算法应用到电力大数据当中正好可以解决数据存储能力有限、数据展现能力不足以及数据互动能力难以满足电力大数据要求等问题。

发明内容

针对现有技术的不足，本发明提出一种基于稀疏编解码的电力大数据的压缩传输方法，为了解决数据存储量大的问题，提出的稀疏编码方法能够大大节约数据的存储空间，降低了对硬件存储的需求，节约了硬件成本，同时也有利于便捷的数据管理。

本发明的目的是采用下述技术方案实现的：

一种基于稀疏编解码的电力大数据的压缩传输方法，其改进之处在于，所述方法包括

(1)启动***；

(2)传送数据；

(3)稀疏编码；

(4)标量量化；

(5)自适应算术编码；

(6)保存编码；

(7)判断是否调用原数据；

(8)自适应算术解码；

(9)反量化；

(10)稀疏解码；

(11)处理数据。

优选的，所述稀疏编码表示如下：

$x=\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{a}_i{\mathrm{\φ}}_i,$

其中，x∈Rⁿ，Ф＝[φ₁,φ₂，...,φ_m]∈R^n×m；x为输入的数据，Ф是用于数据表示的字典，a＝[α₁,α₂,...,α_m]^T∈R^m为稀疏编码系数。

优选的，所述步骤(3)包括对待传输的数据进行稀疏编码，获得稀疏编码系数向量a＝[α₁,α₂,...,α_m]^T。

优选的，所述步骤(4)包括对浮点数的稀疏编码系数a＝[α₁,α₂,...,α_m]^T的每一系数分量进行标量量化，生成整数值的编码系数d_i，记量化间隔为Δ，量化公式如下：

$d_i=\mathrm{round}\left(\frac{{\mathrm{\α}}_i}{\mathrm{\Δ}}\right)$

其中，round(·)将输入值映射为最近的整数。

优选的，所述步骤(5)包括设置数据格式记录量化后非零系数的位置与系数值，对数据记录进行无损的自适应的算术编码。

进一步地，所述算术编码将整个输入的消息编码为一个小数，将要编码的字符串按字符逐一编码，将当前的区间分成若干子区间，每个子区间的长度与当前上下文下可能出现的对应字符的概率成正比，每次编码后产生的区间的下限low为前一个字符编码后的区间下限与前一区间长度current_range乘以当前字符所在区间下限Low[current]的和，即：

Low＝Low+current_range*Low[current]；

上限high为刚刚新产生的下限low与前一区间长度乘以当前字符的下限之和，即：

High＝Low+current_range*High[current]。

优选的，所述步骤(6)包括保存自适应算术编码生成的二进制编码数据。

优选的，所述步骤(8)包括应用自适应的算术解码算法恢复出非零大稀疏的位置与量化值，算术解码过程根据数据判定其所在区间，进而判定为何字符，包含设置区间下限、设置子区间下限与逐一解码成字符，将区间下限赋值给子区间下限初值，子区间长度为各字符概率，当最后判定区间字符是结束符“#”时候循环终止，解码完成。

优选的，所述步骤(9)包括进行反量化操作，重建非零系数的系数值α′_i，α′_i＝d_iΔ。

优选的，所述步骤(10)包括执行稀疏解码操作，对非零系数位置进行补零操作，得到m维稀疏编码向量α′，进行重建，解码重建后的数据为：其中，_Ф是编码端使用的字典。

优选的，所述步骤(3)与(10)中的字典Ф通过一系列电力数据样本预先训练得到，学习模型为：

其中，第一项是重构输入数据的代价值，第二项的l₁范数是为了保证稀疏性对于分解系数的系数惩罚，λ是正则化参数，C为一个常数，在优化时，我们将α_i(1≤i≤k)和Ф固定其中一个，优化另一个，如此交替，直到收敛，获得用于电力数据稀疏表示的字典Ф。

优选的，

(12.1)采用高斯随机阵初始化Ф，将Ф中每一列都归一化；

(12.2)固定Ф，更新α_i(1≤i≤k)：

(12.3)固定α_i(1≤i≤k)，更新Ф：

(12.3)迭代次数t＝t+1，迭代(12.2)和(12.3)直到收敛。

与现有技术比，本发明的有益效果为：

本发明将输入的电力大数据转化为稀疏编码的方式进行输出。在数据的传送过程之中，传递的不再是之前采集得来的数据，而仅仅只是通过转化得到的存储量极小的数据编码。这种方法最主要的优点就是能够有效降低数据的存储量，同时也便于找出数据的内在结构和本质特征，也有利于数据的备份和后续运算。

附图说明

图1为本发明提供的一种基于稀疏编解码的电力大数据的压缩传输方法流程图。

具体实施方式

下面结合附图对本发明的具体实施方式作进一步的详细说明。

本发明一种基于稀疏编解码的电力大数据的压缩传输方法，提出了利用稀疏编码的方式对电力行业大数据进行处理。电力大数据的稀疏编码是指在通过已知训练样本获得字典的前提下，将电力数据进行稀疏表示。由于获得的字典可以看作是一组超完备基，我们可以用一组基的线性组合来表示原始数据，而且规定只需要较少的几个基就将数据表示出来。在获得稀疏编码的基础上，构造标量量化器，设计数据格式记录量化后非零大系数的位置与值，并对其进行无损的自适应算术编码，进一步降低数据存储量。这种方法能够充分地表示数据的内在结构和特征，大大降低了数据的存储量，并且提高了数据的后续处理效率。

其中，稀疏编码可以表示如下：

$x=\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{a}_i{\mathrm{\φ}}_i,$

其中，x∈Rⁿ，Ф＝[φ₁,φ₂，...,φ_m]∈R^n×m。x为输入的数据，Ф是字典，a＝[α₁,α₂,...,α_m]^T∈R^m是稀疏编码系数。

编码端可以看到输入的数据集被分解成了多个基元的线性组合。在实际求解过程中，我们通常是求解以下的一个代价函数：

$\underset{\mathrm{\α}}{\max }{\left|\right|x-\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{a}_i{\mathrm{\φ}}_i\left|\right|}_2^2+\mathrm{\λ}{\left|\right|a\left|\right|}_1$

上述第一项是重构输入数据的代价值，第二项的l₁范数是为了保证稀疏性对于分解系数的系数惩罚，λ是正则化参数。由于l₁范数的稀疏性约束，求解后获得的系数α在保证尽可能重建原数据x的同时，只含有少数的非零大系数，为后续的编码奠定了良好的基础。

编码端对于求到的稀疏编码α，进一步对它做自适应编码处理。相比之前的稀疏编码，经自适应编码处理之后得到的结果又一次大大减少了所需存储空间。两次编码工作完全可以将复杂的、高维的数据压缩成简单的码的形式。

本发明一种基于稀疏编解码的电力大数据的压缩传输方法，具体流程如下：

1)对待传输的数据进行稀疏编码，获得稀疏编码系数向量a＝[α₁,α₂,...,α_m]^T。

2)对浮点数的稀疏编码系数a＝[α₁,α₂,...,α_m]^T的每一系数分类α_i(1≤i≤m)进行标量量化，生成整数值的编码系数d_i。记量化间隔为Δ，量化公式如下：

$d_i=\mathrm{round}\left(\frac{{\mathrm{\α}}_i}{\mathrm{\Δ}}\right)$

其中，round()将输入值映射为最近的整数。

3)设置数据格式记录量化后非零系数的位置与系数值，假设量化后有K个非零大系数，非零系数的位置(即原子序号)记为p_i(1≤i≤K)，具体格式如下:

p1

.

.

.

EOF

d1

.

.

.

EOF为设定的编码标记，表明位置编码的结束和量化值编码的开始，#为整个数据记录的结束标志。并对该数据记录进行无损的自适应的算术编码。

算术编码将整个输入的消息编码为一个数，一个满足(0.0≤n<1.0)的小数n。将要编码的字符串按字符逐一编码，整个过程将当前的区间分成若干子区间，每个子区间的长度与当前上下文下可能出现的对应字符的概率成正比。每次编码后产生的区间的下限(low)为前一个字符编码后的区间下限与前一区间长度current_range乘以当前字符所在区间下限Low[current]的和，即：

Low＝Low+current_range*Low[current]

上限(high)为刚刚新产生的下限low与前一区间长度乘以当前字符的下限之和，即：

High＝Low+current_range*High[current]。

该过程的伪代码如下：

lower_bound＝0

upper_bound＝1

whiletherearestillcoefficientstoencode

currentrange＝high–low；

high＝low+(current_range×upperboundofnewsymbol)

low＝low+(current_range×lowerboundofnewsymbol)

endwhile

4)保存自适应算术编码生成的二进制编码数据。

解码端对于传过来的数据，进行解码工作，重建出数据，具体的解码流程如下：

5)应用自适应的算术解码算法恢复出非零大稀疏的位置p_i(1≤i≤K)与量化值d_i(1≤i≤K)。算术解码过程根据数据判定其所在区间，进而判定为何字符。包含设置区间下限、设置子区间下限与逐一解码成字符，将区间下限赋值给子区间下限初值，子区间长度为各字符概率。当最后判定区间字符是结束符“#”时候循环终止，解码完成。

自适应算术解码过程的伪代码如下：

encodedvalue＝encodedinput

whilebitstreamisnotfullydecoded

current_range＝High[current]-Low[current]

encodedvalue＝(encodedvalue-Low[current])÷current_range

endwhile

6)进行反量化操作，重建非零系数的系数值α′_i，如下：

α′_i＝d_iΔ

7)执行稀疏解码操作，对非零系数位置进行补零操作，得到m维稀疏编码向量α′，并按如下公式进行重建，解码重建后的数据为：

$x^{\&prime;}=\mathrm{\&Phi;}{\mathrm{\&alpha;}}^{\&prime;}=\underset{i=1}{\overset{m}{\mathrm{\&Sigma;}}}{a}_i^{\&prime;}{\mathrm{\&phi;}}_i$

其中Ф是编码端使用的字典。

8)编码端与解码中使用的字典Ф对电力数据的压缩效率具有直接的关系，如何选择字典Ф是一个关键问题。本专利针对电力数据的特性，由一系列电力数据训练样本事先训练得到。字典Ф的学习模型为：

C是一个常数，在优化时，我们将α_i(1≤i≤k)和Ф固定其中一个，优化另一个，如此交替，直到收敛。整个优化过程如下：

8.1)采用高斯随机阵初始化Ф，将Ф中每一列都归一化。

固定Ф，更新α_i(1≤i≤k)：

${\mathrm{\&alpha;}}_i^t=\arg \underset{{\mathrm{\&alpha;}}_i}{\min }{\left|\right|x_i-{\mathrm{\&Phi;\&alpha;}}_i\left|\right|}_2^2+\mathrm{\&lambda;}{\left|\right|{\mathrm{\&alpha;}}_i\left|\right|}_1$

可以用线性规划的方法进行求解。

8.2)固定α_i(1≤i≤k)，更新Ф：

8.3)这是一个带约束的二次规划问题，有许多优化方法。

8.4)迭代次数t＝t+1，迭代8.2)和8.3)直到收敛。

实施例

编码端首先训练与测试样本近似的训练集，得到过完备字典，用于对输入图像进行稀疏表示。具体流程如下：

1)对于输入图像，我们将输入图像分成若干块(本实验输入图像的大小为128*128，每个小块的大小为5*5，自左向右，自上到下，保证相邻块之间有2个像素的重叠。

2)对输入图像中的每一数据块y在字典Ф上进行稀疏编码，获取编码系数α，如下：

$\mathrm{\&alpha;}=\min {\left|\right|y-\mathrm{\&Phi;\&alpha;}\left|\right|}_2^2+\mathrm{\&lambda;}{\left|\right|\mathrm{\&alpha;}\left|\right|}_1$

3)，对浮点数的稀疏编码系数a＝[α₁,α₂,...,α_m]^T的每一系数分类α_i(1≤i≤m)进行标量量化，生成整数值的编码系数d_i。

4)设置数据格式记录量化后非零系数的位置与系数值，并对该数据记录无损的自适应的算术编码。

5)保存自适应算术编码生成的二进制编码数据。

6)应用自适应的算术解码算法恢复出非零大稀疏的位置p_i(1≤i≤K)与量化值d_i(1≤i≤K)，自适应的算术解码过程主要进行判定区间的工作，就是根据数据判定其所在区间，进而判定为何字符。

7)进行反量化操作，重建非零系数的系数值α′_i，反量化方法如下：

α′_i＝d_iΔ

8)执行稀疏解码操作，对非零系数位置进行补零操作，得到m维稀疏编码向量α′，并按如下公式进行重建，解码重建后的数据为：

$x^{\&prime;}={\mathrm{\&Phi;\&alpha;}}^{\&prime;}=\underset{i=1}{\overset{m}{\mathrm{\&Sigma;}}}{a}_i^{\&prime;}{\mathrm{\&phi;}}_i$

其中Ф是编码端使用的字典。

本实施例所做实验的计算机配置为：64位的操作***、16GB的内存、英特尔处理器，软件运行环境为MATLABR2012a版本。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，所属领域的普通技术人员参照上述实施例依然可以对本发明的具体实施方式进行修改或者等同替换，这些未脱离本发明精神和范围的任何修改或者等同替换，均在申请待批的本发明的权利要求保护范围之内。

Claims (12)

1.一种基于稀疏编解码的电力大数据的压缩传输方法，其特征在于，所述方法包括

(1)启动***；

(2)传送数据；

(3)稀疏编码；

(4)标量量化；

(5)自适应算术编码；

(6)保存编码；

(7)判断是否调用原数据；

(8)自适应算术解码；

(9)反量化；

(10)稀疏解码；

(11)处理数据。

2.如权利要求1所述的一种基于稀疏编解码的电力大数据的压缩传输方法，其特征在于，所述稀疏编码表示如下：

$x=\underset{i=1}{\overset{m}{\mathrm{\&Sigma;}}}{a}_i{\mathrm{\&phi;}}_i,$

其中，x∈Rⁿ，Φ＝[φ₁,φ₂，...,φ_m]∈R^n×m；x为输入的数据，Φ是用于数据表示的字典，a＝[α₁,α₂,...,α_m]^T∈R^m为稀疏编码系数。

3.如权利要求1所述的一种基于稀疏编解码的电力大数据的压缩传输方法，其特征在于，所述步骤(3)包括对待传输的数据进行稀疏编码，获得稀疏编码系数向量a＝[α₁,α₂,...,α_m]^T。

4.如权利要求1所述的一种基于稀疏编解码的电力大数据的压缩传输方法，其特征在于，所述步骤(4)包括对浮点数的稀疏编码系数a＝[α₁,α₂,...,α_m]^T的每一系数分量进行标量量化，生成整数值的编码系数d_i，记量化间隔为Δ，量化公式如下：

$d_i=\mathrm{round}\left(\frac{{\mathrm{\&alpha;}}_i}{\mathrm{\&Delta;}}\right)$

其中，round(·)将输入值映射为最近的整数。

5.如权利要求1所述的一种基于稀疏编解码的电力大数据的压缩传输方法，其特征在于，所述步骤(5)包括设置数据格式记录量化后非零系数的位置与系数值，对数据记录进行无损的自适应的算术编码。

6.如权利要求5所述的一种基于稀疏编解码的电力大数据的压缩传输方法，其特征在于，所述算术编码将整个输入的消息编码为一个小数，将要编码的字符串按字符逐一编码，将当前的区间分成若干子区间，每个子区间的长度与当前上下文下可能出现的对应字符的概率成正比，每次编码后产生的区间的下限low为前一个字符编码后的区间下限与前一区间长度current_range乘以当前字符所在区间下限Low[current]的和，即：

Low＝Low+current_range*Low[current]；

上限high为刚刚新产生的下限low与前一区间长度乘以当前字符的下限之和，即：

High＝Low+current_range*High[current]。

7.如权利要求1所述的一种基于稀疏编解码的电力大数据的压缩传输方法，其特征在于，所述步骤(6)包括保存自适应算术编码生成的二进制编码数据。

8.如权利要求1所述的一种基于稀疏编解码的电力大数据的压缩传输方法，其特征在于，所述步骤(8)包括应用自适应的算术解码算法恢复出非零大稀疏的位置与量化值，算术解码过程根据数据判定其所在区间，进而判定为何字符，包含设置区间下限、设置子区间下限与逐一解码成字符，将区间下限赋值给子区间下限初值，子区间长度为各字符概率，当最后判定区间字符是结束符“#”时候循环终止，解码完成。

9.如权利要求1所述的一种基于稀疏编解码的电力大数据的压缩传输方法，其特征在于，所述步骤(9)包括进行反量化操作，重建非零系数的系数值α′_i，α′_i＝d_iΔ。

10.如权利要求1所述的一种基于稀疏编解码的电力大数据的压缩传输方法，其特征在于，所述步骤(10)包括执行稀疏解码操作，对非零系数位置进行补零操作，得到m维稀疏编码向量α′，进行重建，解码重建后的数据为：其中，Φ是编码端使用的字典。

11.如权利要求1所述的一种基于稀疏编解码的电力大数据的压缩传输方法，其特征在于，所述步骤(3)与(10)中的字典Φ通过一系列电力数据样本预先训练得到，学习模型为：

其中，第一项是重构输入数据的代价值，第二项的l₁范数是为了保证稀疏性对于分解系数的系数惩罚，λ是正则化参数，C为一个常数，在优化时，我们将α_i(1≤i≤k)和Φ固定其中一个，优化另一个，如此交替，直到收敛，获得用于电力数据稀疏表示的字典Φ。

12.如权利要求11所述的一种基于稀疏编解码的电力大数据的压缩传输方法，其特征在于，

(12.1)采用高斯随机阵初始化Φ，将Φ中每一列都归一化；

(12.2)固定Φ，更新α_i(1≤i≤k)： ${\mathrm{\&alpha;}}_i^t=\arg \underset{{\mathrm{\&alpha;}}_i}{\min }{\left|\right|x_i-\mathrm{\&Phi;}{\mathrm{\&alpha;}}_i\left|\right|}_2^2+\mathrm{\&lambda;}{\left|\right|{\mathrm{\&alpha;}}_i\left|\right|}_1;$

(12.3)固定α_i(1≤i≤k)，更新Φ：

(12.3)迭代次数t＝t+1，迭代(12.2)和(12.3)直到收敛。