CN107634937A - 一种无线传感网数据压缩方法、设备及其存储设备 - Google Patents

Abstract

本发明提供了一种无线传感网数据压缩方法、设备及其存储设备，所述方法包括采用RBM神经网络构建生成式模型；输入预训练数据对所述生成式模型进行RBM逐层数据压缩预训练；构建初步编解码网络模型；结合AE模型，采用深度压缩算法对所述初步编解码网络模型进行再训练；得到所述预训练数据的高压缩率和高重构精度。一种存储设备，所述存储设备存储指令及数据用于实现所述一种无线传感网数据压缩方法。一种无线传感网数据压缩设备，所述设备包括处理器及所述存储设备；所述处理器加载并执行所述存储设备中的指令及数据用于实现所述的一种方法。本发明可以获得待处理数据的高压缩率及高重构精度。

Description

一种无线传感网数据压缩方法、设备及其存储设备

技术领域

本发明涉及深度学习技术领域，具体涉及一种无线传感网数据压缩方法、设备及其存储设备。

背景技术

近年来，在全球信息化大潮的推动下无线传感网(WSN)技术发展水平不断进步。WSN节点也更加偏向于嵌入式、价格便宜、智能化。在监测区域中放置许多传感器节点，通过无线通信将它们连接到互联网上，WSN在监测、遥控和传感智能等高科技应用领域中已开始发挥着重要作用。WSN最为重要的功能就是进行监测数据采集，WSN把人类和物理环境相连接，WSN的部署越来越广泛，以实现连续监测和感知物理世界的物理变量。对WSN而言，如何设计节省能耗、消除冗余的数据压缩方案是业内关注的焦点所在。

发明内容

为了解决上述问题，本发明提供了一种无线传感网数据压缩方法、设备及其存储设备，主要思路是两次构建神经网络模型，并采用深度神经网络技术，经过反复迭代训练，从而有效压缩了数据规模，并且能够获得较高的数据重构精度。

本发明提供的技术方案是：一种无线传感网数据压缩方法，所述方法包括步骤：采用RBM神经网络构建生成式模型；输入预训练数据对所述生成式模型进行RBM逐层数据压缩预训练；构建初步编解码网络模型；结合AE模型，采用深度压缩算法对所述初步编解码网络模型进行再训练；得到所述预训练数据的高压缩率和高重构精度。一种存储设备，所述存储设备存储指令及数据用于实现所述一种无线传感网数据压缩方法。一种无线传感网数据压缩设备，所述设备包括处理器及所述存储设备；所述处理器加载并执行所述存储设备中的指令及数据用于实现所述的一种方法。

本发明的有益效果是：本发明提供了一种无线传感网数据压缩方法、设备及其存储设备，首先通过采用四层RBM神经网络构建生成式模型并对该模型进行数据压缩预训练，然后构建初步编解码网络模型并采用深度压缩算法对该模型进行再训练，最后获得待处理数据的高压缩率及高重构精度。

附图说明

图1是本发明实施例中无线传感网数据压缩方法的整体流程图；

图2是本发明实施例中生成式模型RBM逐层数据压缩预训练流程图；

图3是本发明实施例中对初步编解码网络模型进行再训练流程图；

图4是本发明实施例采用RBM神经网络构建生成式模型示意图；

图5是本发明实施例中初步编解码网络模型示意图；

图6是本发明实施例中待处理数据预处理示意图；

图7是本发明实施例的硬件设备工作示意图；

图8是本发明实施例中RBM预训练算法重构温度数据示意图；

图9是本发明实施例中RBM预训练后测试节点温度数据重构误差示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地描述，下文中提到的具体技术细节，如：方法，设备等，仅为使读者更好的理解技术方案，并不代表本发明仅局限于以下技术细节。

本发明的实施例提供了一种无线传感网数据压缩方法、设备及其存储设备，通过两次模型构建和两次对模型的训练，可以获得待处理数据的高压缩率及高重构精度。请参阅图1，图1是本发明实施例中无线传感网数据压缩方法的整体流程图，所述方法由一种无线传感网数据压缩设备实现，具体步骤包括：

S101：采用RBM神经网络构建生成式模型；所述RBM神经网络包括神经元和层属权重。

S102：输入预训练数据对所述生成式模型进行RBM逐层数据压缩预训练；所述预训练数据包含在待处理数据中；所述待处理数据经过预处理；所述预处理具体包括：采用三倍标准差法剔除待处理数据中的异常数据；采用max-min归一化方法消除所述待处理数据间的数量级差异。

S103：构建初步编解码网络模型。

S104：结合AE模型，采用深度压缩算法对所述初步编解码网络模型进行再训练。

S105：得到所述预训练数据的高压缩率和高重构精度。重构的误差度量标准为：

参见图2，图2是本发明实施例中生成式模型RBM逐层数据压缩预训练流程图，具体包括以下步骤：

S201：对于栈式RBM网络所有权重和偏置参数，以分布N(0,1)随机初始化W^(l)，

S202：设定迭代次数初始变量iter＝0，初始化ΔW^(l):＝0,Δb^(l):＝0,l＝2,3,...,lay。

S203：对训练集中所有隐藏层单元经过马尔科夫随机场状态转移后，求出条件分布并从中采样

S204：对训练集中所有隐藏层单元经过马尔科夫随机场状态转移后，求出条件分布并从中采样

S205：根据能量模型的条件分布概率分别求出ΔW，

S206：刷新参数及

在上述步骤中，输入为给定训练样本数据集S，集合S中向量个数T，RBM最大迭代次数maxiter＝10，学习率α＝0.1以及CD-k算法参数k＝1，可视层和隐藏层节点数m,n，以分布N(0，1)初始化偏置和权重矩阵W；输出为更新后的偏置和权重矩阵W。RBM逐层数据压缩预训练中的能量模型为：

参见图3，图3是本发明实施例中对初步编解码网络模型进行再训练流程图，具体包括以下步骤：

S301：对于AE网络所有权重和偏置参数，以分布N(0,1)随机初始化W^(l)，

S302：设定迭代次数初始变量iter＝0，初始化ΔW^(l):＝0,Δb^(l):＝0,l＝2,3,...,lay。

S303：对于训练集合中的每一个训练样本，进行前向传播，得到l＝2,3,...,lay各层神经元激活值。

S304：求第lay层精度。

S305：对于l＝2,...,lay-1的各层，求各节点精度，计算偏导数值。

S306：对于l＝2,3,...,lay的各层，更新W^(l)，

S307：iter＝iter+1。

S308：如果iter＜bpmaxiter，则从第一步重新执行，否则执行完毕，输出最终的第lay层精度结果。

在上述步骤中，输入为训练集S及样本数T，AE迭代次数为bpmaxiter，学习率为α，惩罚系数为λ，AE层数lay，AE每层节点数S_l，l＝1,2,…,lay；输出为学习算法更新之后的偏置向量和权重矩阵W。再训练过程隐藏层神经元激活函数为sigmoid函数，sigmoid函数计算公式为：

输出层神经元激活函数使用线性函数，线性函数计算公式为：

f(x)＝k·x+b

单个样本训练代价函数为：

参见图4，图4是本发明实施例采用RBM神经网络构建生成式模型示意图，包括：第一层RBM神经网络层401及其权重W1、第二层RBM神经网络层402及其权重W2、第三层RBM神经网络层403及其权重W3及第四层RBM神经网络层404及其权重W4。由图中可见，每层神经元的数量分别为120、100、50、25及12个。

参见图5，图5是本发明实施例中初步编解码网络模型示意图，包括：RBM神经网络构建的生成式模型501及对称转置后的RBM神经网络构建的生成式模型502。

参见图6，图6是本发明实施例中待处理数据预处理示意图,包括温度轴601(单位为摄氏度)、时间轴602(采样周期为31秒)、原始温度序列603、设阈值后温度序列604、三倍标准差后温度序列605及归一化后温度序列606。所述待处理数据为温度数据，所述温度数据来源于加州大学无线传感器网络研究团队从2004年2月28日至4月5日在实验室安放58个节点(传感器)收集的环境数据信息，具有气象板的节点每31秒收集一次时间戳拓扑信息以及温度、湿度、光照和电压值，共3308442个温度数据。由于节点故障，出现很多100℃以上的高温和-30℃以下的低温。根据WSN实验室的先验知识，取阈值为5℃和45℃，进行温度数据预处理，通过三倍标准差法剔除异常数据。为了减少压缩模型输入数据之间数量级的差异，使算法收敛更快，用max-min归一化将原始数据映射到[0,1]，max为节点流数据最大值，min为最小值。经过上述对于每个节点的温度预处理后，以节点7的温度数据(图6所示)作为模型的训练集。

参见图7，图7是本发明实施例的硬件设备工作示意图，所述硬件设备具体包括：一种无线传感网数据压缩设备701、处理器702及存储设备703。

一种无线传感网数据压缩设备701：所述一种无线传感网数据压缩设备501实现所述一种无线传感网数据压缩方法。

处理器702：所述处理器702加载并执行所述存储设备703中的指令及数据用于实现所述的一种无线传感网数据压缩方法。

存储设备703：所述存储设备703存储指令及数据；所述存储设备703用于实现所述的一种无线传感网数据压缩方法。

参见图8，图8是本发明实施例中RBM预训练算法重构温度数据示意图，包括：温度轴801(单位为摄氏度)、时间轴802(采样周期为31秒)、重构温度数据803及原始数据804。RBM预训练迭代次数取为maxepoch＝10，输入向量维度为120时，得到的训练样本精度，为了让温度数据变化更为明显，图8显示的是每隔120个数据点，即每隔约2个小时的温度数据，共显示120个。由图8可以看出，RBM预训练的结果已经能够使输出的重构数据比较好地接近于原始温度数据，而在数据突变处拟合不好，需要学习数据的更精细的高阶特征。

参见图9，图9是本发明实施例中RBM预训练后测试节点温度数据重构误差示意图，包括：温度数据测试误差轴901(单位为摄氏度)、节点标号轴902、节点温度数据误差值903。由图9可见，除45号故障节点和节点5、57这两个没有数据的节点外，绝大部分节点的测试精度都能控制在0.5x10¹数量级内。

采用初步编解码网络模型进行数据训练和重构。分别用1～11号节点作为训练节点，RBM迭代次数为10次，AE中BP算法maxepoch＝200，得到节点在隐藏特征维数为5,15,30,60,120即压缩倍数为24,8,4,2,1时的训练数据重构误差：

表1同一节点在不同压缩率下的重构误差(训练误差)

由实验结果可知：在单个节点，随着隐藏特征维数的增加，即压缩倍数的减小，节点的训练重构误差并没有明显的增大或减少，这说明进行深度学习算法得到的是数据固有属性，固有特征表现在权值矩阵上而与压缩后的维数无关，本算法具有很强的鲁棒性。这是深层压缩方法与浅层压缩方法的不同之处，浅层压缩方法往往是随着压缩倍数增大重构误差会发生明显增大，同时也体现了同一节点温度序列在时间上的相关性。在相同隐藏层特征维数下，即相同压缩倍数时，不同节点的重构误差近似趋同，这说明了深度学习模型的通用性，同样的模型能够学习到不同节点的时间序列的波动性。

为验证栈式RBM模型的泛化性能和不同节点之间的空间相关性，先用节点7的数据做训练，无线传感网中的58个节点均在此训练的网络参数下进行测试，这在深度学习中被称为迁移学习。同时，将上述得到的各个节点的测试误差与单独对每个节点进行训练，即每个节点都有本节点流数据所对应的训练模型的权值参数，将两个实验得到的各个节点的重构误差作为对比，验证算法在不同节点上的模型迁移学习的能力。隐藏层特征维数均为12维，即压缩倍数为10，RBM算法maxepoch＝10，AE中BP算法maxepoch＝200。

表2不同节点上的模型迁移学习(节点1～节点24)

表3不同节点上的模型迁移学习(节点25～节点48)

表4不同节点上的模型迁移学习(节点49～节点58)

测试误差与每个节点自己训练得到的训练误差十分接近，说明同一WSN各节点处的数据空间相关性高，也验证了栈式RBM网络学习模型有一定的泛化能力。

通过执行本发明的实施例，本发明权利要求里的所有技术特征都得到了详尽阐述。

区别于现有技术，本发明的实施例提供了一种无线传感网数据压缩方法、设备及其存储设备，首先通过采用四层RBM神经网络构建生成式模型并对该模型进行数据压缩预训练，然后构建初步编解码网络模型并采用深度压缩算法对该模型进行再训练，最后获得待处理数据的高压缩率及高重构精度。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种无线传感网数据压缩方法，所述方法由一种无线传感网数据压缩设备实现，其特征在于：包括以下步骤：采用RBM神经网络构建生成式模型；输入预训练数据对所述生成式模型进行RBM逐层数据压缩预训练；构建初步编解码网络模型；结合AE模型，采用深度压缩算法对所述初步编解码网络模型进行再训练；得到所述预训练数据的高压缩率和高重构精度。

2.如权利要求1所述的一种无线传感网数据压缩方法，其特征在于：所述RBM神经网络包括神经元和层属权重。

3.如权利要求1所述的一种无线传感网数据压缩方法，其特征在于：所述预训练数据包含在待处理数据中；所述待处理数据经过预处理。

4.如权利要求3所述的一种无线传感网数据压缩方法，其特征在于：所述预处理具体包括：采用三倍标准差法剔除待处理数据中的异常数据；采用max-min归一化方法消除所述待处理数据间的数量级差异。

5.如权利要求4所述的一种无线传感网数据压缩方法，其特征在于：所述输入预训练数据对所述生成式模型进行RBM逐层数据压缩预训练步骤具体包括：对于栈式RBM网络所有权重和偏置参数，以分布N(0,1)随机初始化W^(l)，，l＝1,2,…,lay；设定迭代次数初始变量iter＝0，初始化ΔW^(l):＝0,Δb^(l):＝0,l＝2,3,...,lay；对训练集中所有隐藏层单元经过马尔科夫随机场状态转移后，求出条件分布并从中采样对训练集中所有隐藏层单元经过马尔科夫随机场状态转移后，求出条件分布并从中采样根据能量模型的条件分布概率分别求出ΔW：刷新参数

6.如权利要求5所述的一种无线传感网数据压缩方法，其特征在于：输入为给定训练样本数据集S，集合S中向量个数T，RBM最大迭代次数maxiter＝10，学习率α＝0.1以及CD-k算法参数k＝1，可视层和隐藏层节点数m,n，以分布N(0,1)初始化偏置和权重矩阵W；输出为更新后的偏置和权重矩阵W。

7.如权利要求1所述的一种无线传感网数据压缩方法，其特征在于：所述结合AE模型，采用深度压缩算法对所述初步编解码网络模型进行再训练步骤具体包括：对于AE网络所有权重和偏置参数，以分布N(0,1)随机初始化W^(l)，l＝1,2,…,lay；设定迭代次数初始变量iter＝0，初始化ΔW^(l):＝0,Δb^(l):＝0,l＝2,3,...,lay；对于训练集合中的每一个训练样本，进行前向传播，得到l＝2,3,...,lay各层神经元激活值；求第lay层精度；对于l＝2,...,lay-1的各层，求各节点精度，计算偏导数值；对于l＝2,3,...,lay的各层，更新W^(l)，iter＝iter+1；如果iter＜bpmaxiter，则从第一步重新执行，否则执行完毕，输出最终的第lay层精度结果。

8.如权利要求7所述的一种无线传感网数据压缩方法，其特征在于：输入为训练集S及样本数T，AE迭代次数为bpmaxiter，学习率为α，惩罚系数为λ，AE层数lay，AE每层节点数S_l，l＝1,2,…,lay；输出为学习算法更新之后的偏置向量和权重矩阵W。

9.一种存储设备，其特征包括：所述存储设备存储指令及数据用于实现权利要求1～8所述的一种无线传感网数据压缩方法。

10.一种无线传感网数据压缩设备，其特征在于：包括：处理器及所述存储设备；所述处理器加载并执行所述存储设备中的指令及数据用于实现权利要求1～8所述的一种无线传感网数据压缩方法。