CN110446173A - 一种高效节能的星载无线传感网数据压缩方法 - Google Patents
一种高效节能的星载无线传感网数据压缩方法 Download PDFInfo
- Publication number
- CN110446173A CN110446173A CN201910700088.0A CN201910700088A CN110446173A CN 110446173 A CN110446173 A CN 110446173A CN 201910700088 A CN201910700088 A CN 201910700088A CN 110446173 A CN110446173 A CN 110446173A
- Authority
- CN
- China
- Prior art keywords
- network
- data
- cbn
- vae
- energy
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000013144 data compression Methods 0.000 title claims abstract description 25
- 238000012549 training Methods 0.000 claims abstract description 24
- 238000004364 calculation method Methods 0.000 claims abstract description 11
- 210000002569 neuron Anatomy 0.000 claims description 31
- 230000006870 function Effects 0.000 claims description 20
- 238000009966 trimming Methods 0.000 claims description 18
- 239000011159 matrix material Substances 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 238000013526 transfer learning Methods 0.000 claims description 6
- 230000005856 abnormality Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000015572 biosynthetic process Effects 0.000 claims description 2
- 238000013136 deep learning model Methods 0.000 claims description 2
- 238000013507 mapping Methods 0.000 claims description 2
- 230000000717 retained effect Effects 0.000 claims description 2
- 238000005265 energy consumption Methods 0.000 abstract description 15
- 238000004891 communication Methods 0.000 abstract description 8
- 238000007906 compression Methods 0.000 description 14
- 230000006835 compression Effects 0.000 description 14
- 238000013138 pruning Methods 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 10
- 238000012360 testing method Methods 0.000 description 9
- 238000011160 research Methods 0.000 description 8
- 238000010801 machine learning Methods 0.000 description 6
- 238000011084 recovery Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 210000005036 nerve Anatomy 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 230000007123 defense Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 241000854291 Dianthus carthusianorum Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/061—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using biological neurons, e.g. biological neurons connected to an integrated circuit
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/04—Protocols for data compression, e.g. ROHC
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W28/00—Network traffic management; Network resource management
- H04W28/02—Traffic management, e.g. flow control or congestion control
- H04W28/06—Optimizing the usage of the radio link, e.g. header compression, information sizing, discarding information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/38—Services specially adapted for particular environments, situations or purposes for collecting sensor information
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Molecular Biology (AREA)
- Signal Processing (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Neurology (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Computer Security & Cryptography (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
本发明公开了一种高效节能的星载无线传感网数据压缩方法，包括以下步骤：步骤一、采集无线传感网各个终端感知节点的流数据；步骤二、对流数据进行预处理；步骤三、构建D‑CRBM网络计算层的计算方法；步骤四、将D‑CRBM网络计算层与变分混合编码器结合构建CBN‑VAE网络；步骤五、训练CBN‑VAE网络，得模型参数，构建压缩模型；步骤六、采用压缩模型对无线传感网数据进行压缩。本发明有效的降低了无线传感网的节点通信能耗、存储能耗和计算能耗。
Description
技术领域
本发明涉及人工智能技术领域。更具体地说，本发明涉及一种高效节能的星载无线传感网数据压缩方法。
背景技术
无线传感网(Wireless Sensor Networks，简称WSN)是一种集感测、计算、通信能力于一体的智能设备。WSN因为部署简单、自动采集数据、实时处理数据、自组网多跳无线通信、及对恶劣环境良好的适应性等特点，被认为将成为未来航空探测重要技术。开展深空探测由于距离地球远、环境复杂，相比近地乃至月球探测活动，技术难度更高、风险更大，需进一步突破一批新的核心技术，其中，自主导航控制、能源与推进、测控通信、进入下降与着陆、新型数据采集设备等是急需突破和掌握的关键技术，通过航天器将无线传感网节点飞撒于星球表面进行环境信息的数据采集技术也是我国现阶段航天技术的研究热点之一。作为航天大国之一的中国在比月球更远的深空探测领域尚属空白，在该领域不仅面临着与美、欧、俄等传统航天强国差距拉大，而且还面临着被印度等新兴航天国家超越的现实，深空探测领域从月球到行星的发展历程中承前启后的关键环节，也是未来迈向更远深空的必由之路，目前，世界的许多军事与科技强国都正在对WSN在军事空天领域的应用进行积极探索，欧洲与美国的许多大学与政府组织，例如美国国防部高级研究计划署、欧洲航天技术中心、美国国家航空航天局、美国科学家联盟、美国国防部等，都已投入大量人力物力进行研究，我国在近几年航天事业的蓬勃发展态势下，对于WSN在航天与军事等领域的应用研究需求也就显得越来越迫切。研发具有可靠性、有效性和实时性的WSN航天器成为我国在军事和空天事业发展中非常重要的关键技术之一，在大多数情况下，传感器节点板载无线电收发器是能量消耗的主要原因，能源问题一直是限制无线传感器网络广泛使用的瓶颈，因此，降低通信能耗已成为无线传感器网络研究的热点之一。
数据压缩可以有效地减少WSN的数据量和通信能量消耗，一些数据压缩算法侧重于基于时间序列的去近似数据，这些压缩算法将数据样本转换为一组系数以简化数据表示，例如离散傅氏变换的快速算法(FFT)和小波变换算法(WT)，该压缩算法的性能取决于编码输入数据所需的系数数量，算法系数越多，性能越好，但计算能耗会越高；轻量级时间压缩算法(LTC)是一种有效且简单的有损压缩技术，适用于栖息地监测，LTC在由控制旋钮限制的每个读数中引入了少量误差，该误差的界限越大，压缩的节省越大；Marcelloni等人提出了一种改进的差分脉冲编码调制(DPCM)方案来压缩传感数据，它具有比LTC更好的压缩效果；Donoho提出的压缩感知(CS)方法，为无线传感器网络中的数据压缩提供了新的方向，当原始数据在基础上稀疏时，CS方法可以使用较少的测量来恢复大量原始数据，由于使用稀疏二进制矩阵，CS可以大大降低***成本，CS要求信号在某个水平上是稀疏的或可压缩的，否则信号不能被重建；目前有许多用于快速重建和可靠精度的信号恢复算法，例如基追踪(BP)、正交匹配追踪(OMP)和分段OMP(StOMP)，BP具有高计算复杂度，不能用于大规模应用，OMP和StOMP在信号恢复中采用自下而上的方法，其复杂程度远低于BP，但是，它们需要更多测量并且缺乏恢复保证。
机器学习(ML)是一种人工智能技术，具有出色的数学拟合能力。近年来，卷积神经网络(CNN)在各个领域表现出惊人的能力，促进了ML在各个领域的广泛应用，变分自动编码器(VAE)和受限玻尔兹曼机(RBM)是由ML设计的数据生成模型，它们使用计算方法通过检测和描述训练数据中的一致性和模式来提高模型性能，CNN可以通过多层迭代卷积提取更深入，更丰富的数据隐藏信息；主成分分析(PCA)算法是一种来自机器学习的降维技术，可用于压缩无线传感器网络簇头的簇数据。Masiero等人将PCA压缩与数据聚合相结合，以组合来自许多传感器节点的信息；Mousavi等人讨论了ML方法和CS的结合，它使用前馈深度神经网络结构来辅助CS信号重建；Qiu等人提出了一种数据压缩算法，它将堆叠自动编码器(SAE)与集群路由协议相结合；Liu等人研究了受限玻尔兹曼机(RBM)和自动编码器的组合，并提出了Stacked RBM-AE压缩方案。大型深度卷积网络也已应用于数据压缩，但大多数研究目前仅限于图像压缩领域，对于无线传感器网络，大多数人使用RBM或完全连接层，很少有人研究使用卷积网络来压缩传感数据。缺乏研究的一个重要原因是深度卷积网络的计算消耗很大，并且难以应用于具有有限计算能力的传感器节点，Yildirim等人使用深度卷积网络来压缩心电图信号，但网络需要大量的计算，综上所述，寻找一种高效节能的利用卷积神经网络计算的压缩模型应用于WSN数据压缩是很有必要的。
发明内容
本发明的一个目的是解决至少上述问题，并提供至少后面将说明的优点。
本发明还有一个目的是提供一种高效节能的星载无线传感网数据压缩方法，有效的降低了无线传感网的节点通信能耗、存储能耗和计算能耗。
为了实现根据本发明的这些目的和其它优点，提供了一种高效节能的星载无线传感网数据压缩方法，包括以下步骤：
步骤一、采集无线传感网各个传感器节点的流数据；
步骤二、对流数据进行预处理；
步骤三、构建D-CRBM网络计算层的计算方法；
步骤四、将D-CRBM网络计算层与变分混合编码器结合构建CBN-VAE网络；
步骤五、训练CBN-VAE网络，得模型参数，构建压缩模型；
步骤六、采用压缩模型对无线传感网数据进行压缩。
优选的是，步骤一中所述的流数据为温度流数据，所述温度流数据为传感器节点收集的环境温度数据信息，所述传感器节点每31秒收集一次时间戳。
优选的是，步骤二中流数据的预处理方法为：保留温度区间在-5℃和45℃之间的温度数据，用三倍标准差法剔除异常温度数据，再将剔除后保留的温度数据归一化映射到[0,1]区间。
优选的是，步骤三中D-CRBM网络计算层的计算方法为：将D-CRBM网络计算层的输入与多个卷积核进行卷积计算，得到卷积结果，对卷积结果进行维度变换，使用最大池化对维度变换后的卷积结果进行下采样，构建索引矩阵，用于在重构数据时恢复最大池化之前的数据，其中，卷积的步长与卷积核的大小相等。
优选的是，步骤四中构建CBN-VAE网络的方法为：依次使用多个D-CRBM网络计算层、最大池化层、全连接层进行编码，将编码网络输出的高斯分布的均值和方差，通过变分采样生成解码网络的输入，CBN-VAE的解码网络由编码网络翻转得到，形成CBN-VAE网络。
优选的是，步骤五中模型参数的获取方法为：将预处理的流数据形成序列作为CBN-VAE网络的训练数据集，使用BP算法对深度学习模型权重参数进行微调，得模型参数。
优选的是，步骤五之后步骤六之前还包括：检测训练后的CBN-VAE网络的数据重构精度。
优选的是，步骤五之后步骤六之前还包括：验证不同传感器节点上的压缩模型迁移学习能力，其方法为：将其中一个传感器节点的压缩模型应用在其它传感器节点上进行重构数据，检测其它传感器节点上的重构数据与利用其它传感器节点自身压缩模型重构数据之间的差异值。
优选的是，步骤五之后步骤六之前还包括：对CBN-VAE网络中的神经元进行重要性评估，裁减掉重要性低的神经元，得精简网络，其中，所述的重要性评估方法为：计算CBN-VAE网络中各个神经元的重要性分数，将神将元重要性分数低于修剪阈值的神经元记为重要性低的神经元，对其进行裁剪。
本发明至少包括以下有益效果：本发明有效的降低了无线传感网的节点通信能耗、存储能耗和计算能耗，设计的D-CRBM网络计算层与传统卷积相比可以有效减少卷积网络的参数量和计算量，CBN-VAE网络具有良好的压缩率和鲁棒性，提高了无线传感网的生命工作周期。
本发明的其它优点、目标和特征将部分通过下面的说明体现，部分还将通过对本发明的研究和实践而为本领域的技术人员所理解。
附图说明
图1为本发明其中一个技术方案中的数据压缩方法的流程示意图；
图2为本发明其中一个技术方案中的其中一个传感器节点的温度流数据的处理示图；
图3为本发明其中一个技术方案中的D-CRBM网络计算层；
图4为本发明其中一个技术方案中的最大池化和池化降维后数据恢复方案；
图5为本发明其中一个技术方案中的CBN-VAE网络结构；
图6为本发明其中一个技术方案中的CBN-VAE网络的重构结果；
图7为本发明其中一个技术方案中的CBN-VAE网络的迁移学习能力；
图8为本发明其中一个技术方案中的采用多种修剪方法对CBN-VAE网络进行不同比率的神经元裁剪后网络的重构误差变化示意图。
具体实施方式
下面结合附图和实施例对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。
本实施例提供一种高效节能的星载无线传感网数据压缩方法，如图1所示，包括以下步骤：
步骤一、采集无线传感网各个终端感知节点的流数据；
所述的流数据为温度流数据，温度流数据为传感器节点收集的环境温度数据信息，所述传感器节点每31秒收集一次时间戳；
本实施例的温度流数据来源于加州大学无线传感器网络研究团队从2004年2月28日至4月5日在实验室安放54个传感器节点收集的共3308442个温度数据。
步骤二、对流数据进行预处理；
所述的流数据为温度流数据，对温度流数据的预处理方法为：以传感器节点7的温度数据作为模型的训练集，去除数据值小于-5℃和大于45℃的异常数据，保留温度区间在-5℃和45℃之间的温度数据，后用三倍标准差法剔除异常温度数据，再将剔除后保留的温度数据归一化映射到[0,1]区间，如图2所示，归一化处理减少向压缩模型输入的温度数据之间数量级的差异，使算法收敛更快。
步骤三、构建下采样-卷积RBM，即D-CRBM网络计算层，D-CRBM网络计算层的结构如图3所示；
D-CRBM网络计算层是学习原始传感网数据的隐藏数学特征和减少网络参数的重要单元，D-CRBM是具有下采样的卷积RBM(CRBM)，CRBM的基本结构是标准RBM，它是一个无向图结构，由两层组成：输入层v和隐藏层h，CRBM和标准RBM之间的不同在于计算输入层和隐藏层的神经元状态的方法。对于标准RBM而言，通过直接将输入和权重矩阵相乘来获得输入层和隐藏层的神经元状态，由于权重矩阵的数量是1，因此神经元状态是唯一的；在CRBM中，计算输入层和隐藏层的神经元状态的方法是卷积计算，标准RBM仅使用一个权重矩阵来计算神经元状态，而CRBM使用多个卷积核来计算，所以，在计算多个卷积核之后，CRBM生成多个相应的神经元状态，这与标准RBM的状态结果相反，因此，需要对卷积结果进行处理。本实施例将多个卷积结果连接成一个并将其用作神经元状态，保留CRBM的无向图结构，同时最小化卷积有用信息的丢失，同时，CRBM的无向图特性允许CRBM进行信息的双向传输，也就是说，卷积输入也可以通过卷积结果计算获得，这对于标准卷积层而言是无法实现的。对于输入大小为Xw×Xh×Ci且卷积核大小为Kw×Kh×Ci×Co的标准卷积层，标准卷积层输出的卷积结果的大小为Ow×Oh×Co，其中Ow＝Xw-Kw，Oh＝Xh-Kh卷积的步长为1，而对于与标准卷积层参数相同的CRBM网络计算层，CRBM输出的卷积结果大小为其中卷积步长为1。
D-CRBM网络计算层的计算方法为：输入大小为Xw×Xh×Ci的网络参数，经由CRBM计算，然后对CRBM计算结果进行最大池化(max-pooling)，其中，CRBM计算时卷积步长设置与卷积核的尺寸相同，池化的区域大小为2×1，卷积步长设置与卷积核的宽度相同可以减少由卷积内核重复计算相同数据引起的冗余。在max-pooling之后，构造索引矩阵存储max-pooling结果形成max-pooling结果的位置索引，索引矩阵用于在重构数据时恢复最大池化之前的数据，索引矩阵是二值化矩阵，由0和1组成，索引矩阵的使用方法如图4所示，索引矩阵的尺寸与最大池化的输出尺寸大小相同，对于最大池化的重构部分，根据最大池化输出中的值和索引矩阵中的相应索引值依次恢复最大池化之前的数据。
步骤四、结合D-CRBM网络计算层构建CBN-VAE网络；
依次使用多个D-CRBM网络计算层、最大池化层、全连接层进行编码，将编码网络输出的高斯分布的均值和方差，通过变分采样生成解码网络的输入，CBN-VAE的解码网络部分由编码网络部分翻转得到，解码网络的参数与编码网络的参数相同，CBN-VAE的编解码部分构建如图5所示。
步骤五、训练CBN-VAE网络，得模型参数，构建压缩模型；
训练CBN-VAE网络时，将步骤一中传感器节点7归一化后的温度序列作为CBN-VAE网络的训练数据集，使用BP算法对CBN-VAE网络进行训练，得模型参数，根据模型参数构建压缩模型，BP算法流程如下：
算法中，xi是输入的训练数据集，x′i是网络输出，μ2和logσ2是编码网络输出的均值和方差。
步骤六、采用压缩模型对无线传感网数据进行压缩。
步骤五之后步骤六之前还包括对训练后的CBN-VAE网络检测其重构精度、验证模型参数的迁移学习能力和进一步优化CBN-VAE网络等三种操作，分别如下所示：
(1)检测训练后的CBN-VAE网络的数据重构精度
选取传感器节点7的温度数据作为测试集，对CBN-VAE网络训练迭代50次，CBN-VAE网络训练完成后，从传感器节点7的温度数据的测试集中选取6000个样本点对CBN-VAE网络性能进行测试；
测试结果如图6所示，图6中虚线为测试集中的原始温度数据、实线为CBN-VAE网络重构的温度数据，尽管CBN-VAE网络将测试集采样点的总数以120个采样点的小批量形式输入进行训练，但在通过多个不同大小的卷积核进行特征提取后，CBN-VAE网络仍然可以单独近似拟合所有采样点的数值，避免了由于输入数据的尺寸过大而导致的网络对单个采样点的拟合性能降低；本实施例记录了传感器节点7测试集中所有采样点的重构结果，测试集采样点的总数为8520，对于传感器节点7测试集中的所有采样点，CBN-VAE网络的最大重构误差为1.2301℃，最小重构误差小于0.0001℃，平均重构误差为0.0678℃，对于这8520个采样点，大部分采样点的重建误差值小于0.1℃，重建误差超过1.0℃的采样点只有18个，重建误差超过0.1℃的采样点只有868，重构数据非常逼近原始数据的趋势和数值，表明CBN-VAE网络具有较高的重构精度。
(2)验证本实施例不同传感器节点上压缩模型的迁移学习能力
为验证CBN-VAE网络的泛化性能和不同节点之间的空间相关性，采用传感器节点7的温度数据进行训练，得模型参数，然后使用该模型参数的压缩模型测试无线传感网中的其它传感器节点，这在深度学习中被称为迁移学习，同时，单独对无线传感网中的每个传感器节点进行训练，即每个传感器节点都有本传感器节点流数据所对应的模型参数，计算CBN-VAE网络在各个传感器节点的最佳重构误差，将传感器节点7和传感器节点7的模型参数应用到其它传感器节点得到的各个传感器节点的重构误差作为对比，验证模型参数对应的压缩模型在不同节点上的迁移学习能力；
对CBN-VAE网络迭代训练50次，实验结果如图7所示，在传感器节点2处获得最优压缩性能，平均重构误差为0.0387℃，表明即使传感器节点未被单独训练，利用传感器节点7的温度数据训练得到的模型参数也可以直接用于其它传感器节点的压缩模型，同时也表明CBN-VAE网络深度学习的隐藏数学特征对于邻近的相同类别的数据而言是共同的，CBN-VAE网络对所有传感器节点都具有良好的压缩性能。对于所有传感器节点的重构误差而言，大多数使用传感器节点自身对应参数的CBN-VAE网络重构误差均低于0.1℃；对于使用传感器节点自身的网络参数，其压缩性能通常略优于使用传感器节点7的网络参数；对于所有传感器节点而言，图7中圆标所在的线表示应用传感器节点7的CBN-VAE网络的重构数据、三角标所在的线表示自身节点对应的CBN-VAE网络的重构数据，之间的数值差异的最小误差为0.0003℃、最大误差为0.067℃；对于位于传感器节点7附近的节点，例如传感器节点4～10，使用不对应于传感器节点自身的CBN-VAE网络参数所对应的CBN-VAE网络，并不会显著减少重构误差；以上结果证明CBN-VAE网络具有良好的转移学习能力，在应用CBN-VAE网络时，只需要训练一个传感器节点的压缩模型，将该传感器节点应用于其它所有传感器节点，可进一步减少传感器节点训练时的计算消耗。
(3)对CBN-VAE网络中的神经元进行重要性评估，裁减掉重要性低的神经元，得精简网络。
对于CBN-VAE网络而言，其网络参数通常是冗余的，需要进一步简化CBN-VAE网络，本实施例中使用神经元修剪方法来进一步减少网络参数数量和计算消耗，本实施例将网络参数修剪问题等同于神经元分类问题，将网络中的所有神经元分为两类：可修剪和不可修剪，具体来说，就是用决策树的分类思想对CBN-VAE网络中的所有神经元进行分类，然后删除类别为可修剪的神经元，最后通过迭代微调和修剪的过程来恢复网络能力，与其它神经元修剪方法相比，该修剪神经元的方法必须以神经元对整个神经网络的重要性为指导，修剪算法流程如下：
算法中的ACCo是原始网络重构误差，ACCp是当Ni,j被修剪后的网络重构误差，计算修剪阈值，将位于修剪阈值外的神将元重要性分数记为重要性低的神经元，对其进行裁剪，裁剪后得精简网络；
在相同的修剪率下将本实施例的神经元修剪方法的修剪结果与其它常用方法进行比较，记录以不同的修剪率修剪CBN-VAE网络对应的重构误差，压缩模型重构误差的结果如图8所示，由传感器节点7的温度数据采用压缩模型训练，对于每种修剪方法得到的修剪后的CBN-VAE网络，都对其进行了重新训练，微调和修剪过程的迭代次数为5次，图8中Random代表随机修剪、Mag代表按照权重的幅值进行修剪；
由图8可知，当修剪率为50％时，本实施例的修剪方法的重构误差为0.0971℃，Random和Mag的网络重构误差分别为0.6145℃和0.3624℃；当修剪率为80％时，本实施例的修剪方法的网络重构误差仅为0.3032℃，Random和Mag的重构误差均超过1.5℃；结果表明，本实施例的修剪方法比Random和Mag方法有明显的优势，本实施例的修剪方法可以准确识别CBN-VAE网络中的冗余神经元，使用本实施例的修剪方法修剪40％的网络参数不会影响CBN-VAE网络的重构精度，使用本实施例的修剪方法修剪CBN-VAE网络可以进一步减少网络参数和计算消耗。
综上所述，本实施例提出了一种高效节能的星载无线传感网数据压缩方法，该方法首先将具有下采样功能的高效卷积结构D-CRBM与变分混合编码器(VAE)结合构造出数据压缩网络CBN-VAE，然后使用处理过的传感数据集作为网络的训练集，进行迭代训练，提高数据压缩率和重构精度，最后对网络中的神经元进行重要性评估，裁减掉重要性低的神经元，得到裁剪后的精简网络。本发明有效的降低了无线传感网的节点通信能耗、存储能耗和计算能耗，设计的D-CRBM与传统卷积相比可以有效减少卷积网络的参数量和计算量，CBN-VAE具有良好的压缩率和鲁棒性，提高了无线传感网的生命工作周期，所提出的神经元修剪方法可以更好的修剪神经网络。
尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的图例和实施例。
Claims (9)
1.一种高效节能的星载无线传感网数据压缩方法，其特征在于，包括以下步骤：
步骤一、采集无线传感网各个传感器节点的流数据；
步骤二、对流数据进行预处理；
步骤三、构建D-CRBM网络计算层的计算方法；
步骤四、将D-CRBM网络计算层与变分混合编码器结合构建CBN-VAE网络；
步骤五、训练CBN-VAE网络，得模型参数，构建压缩模型；
步骤六、采用压缩模型对无线传感网数据进行压缩。
2.如权利要求1所述的高效节能的星载无线传感网数据压缩方法，其特征在于，步骤一中所述的流数据为温度流数据，所述温度流数据为传感器节点收集的环境温度数据信息，所述传感器节点每31秒收集一次时间戳。
3.如权利要求2所述的高效节能的星载无线传感网数据压缩方法，其特征在于，步骤二中流数据的预处理方法为：保留温度区间在-5℃和45℃之间的温度数据，用三倍标准差法剔除异常温度数据，再将剔除后保留的温度数据归一化映射到[0,1]区间。
4.如权利要求1所述的高效节能的星载无线传感网数据压缩方法，其特征在于，步骤三中D-CRBM网络计算层的计算方法为：将D-CRBM网络计算层的输入与多个卷积核进行卷积计算，得到卷积结果，对卷积结果进行维度变换，使用最大池化对维度变换后的卷积结果进行下采样，构建索引矩阵，用于在重构数据时恢复最大池化之前的数据，其中，卷积的步长与卷积核的大小相等。
5.如权利要求1所述的高效节能的星载无线传感网数据压缩方法，其特征在于，步骤四中构建CBN-VAE网络的方法为：依次使用多个D-CRBM网络计算层、最大池化层、全连接层进行编码，将编码网络输出的高斯分布的均值和方差，通过变分采样生成解码网络的输入，CBN-VAE的解码网络由编码网络翻转得到，形成CBN-VAE网络。
6.如权利要求1所述的高效节能的星载无线传感网数据压缩方法，其特征在于，步骤五中模型参数的获取方法为：将预处理的流数据形成序列作为CBN-VAE网络的训练数据集，使用BP算法对深度学习模型权重参数进行微调，得模型参数。
7.如权利要求1～6任一项所述的高效节能的星载无线传感网数据压缩方法，其特征在于，步骤五之后步骤六之前还包括：检测训练后的CBN-VAE网络的数据重构精度。
8.如权利要求1～6任一项所述的高效节能的星载无线传感网数据压缩方法，其特征在于，步骤五之后步骤六之前还包括：验证不同传感器节点上的压缩模型迁移学习能力，其方法为：将其中一个传感器节点的压缩模型应用在其它传感器节点上进行重构数据，检测其它传感器节点上的重构数据与利用其它传感器节点自身压缩模型重构数据之间的差异值。
9.如权利要求1～6任一项所述的高效节能的星载无线传感网数据压缩方法，其特征在于，步骤五之后步骤六之前还包括：对CBN-VAE网络中的神经元进行重要性评估，裁减掉重要性低的神经元，得精简网络，其中，所述的重要性评估方法为：计算CBN-VAE网络中各个神经元的重要性分数，将神将元重要性分数低于修剪阈值的神经元记为重要性低的神经元，对其进行裁剪。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910700088.0A CN110446173B (zh) | 2019-07-31 | 2019-07-31 | 一种高效节能的星载无线传感网数据压缩方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910700088.0A CN110446173B (zh) | 2019-07-31 | 2019-07-31 | 一种高效节能的星载无线传感网数据压缩方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110446173A true CN110446173A (zh) | 2019-11-12 |
| CN110446173B CN110446173B (zh) | 2021-08-27 |
Family
ID=68432394
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910700088.0A Expired - Fee Related CN110446173B (zh) | 2019-07-31 | 2019-07-31 | 一种高效节能的星载无线传感网数据压缩方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110446173B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111630787A (zh) * | 2020-04-07 | 2020-09-04 | 东莞理工学院 | 基于深度学习的mimo多天线信号传输与检测技术 |
| CN112153659A (zh) * | 2020-08-21 | 2020-12-29 | 中国地质大学（武汉） | 高效节能的星载无线传感器网络数据压缩模型的构建方法 |
| CN112192318A (zh) * | 2020-09-28 | 2021-01-08 | 北京天泽智云科技有限公司 | 机加工刀具状态监控方法和*** |
| CN112532400A (zh) * | 2020-11-27 | 2021-03-19 | 中国工程物理研究院电子工程研究所 | 一种基于udp组播通信协议的单层平面自组网方法 |
| CN117394353A (zh) * | 2023-12-08 | 2024-01-12 | 国网天津市电力公司电力科学研究院 | 一种配电网负荷转供与恢复方法及装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105245608A (zh) * | 2015-10-23 | 2016-01-13 | 同济大学 | 基于自编码网络的车联网网络节点筛选及其通达性路由构建方法 |
| JP2018061091A (ja) * | 2016-10-03 | 2018-04-12 | 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ | データ圧縮装置、データ再現装置、データ圧縮方法、データ再現方法及びデータ転送方法 |
| CN107977703A (zh) * | 2016-10-21 | 2018-05-01 | 辉达公司 | 用于修剪神经网络以实现资源有效推理的***和方法 |
| US20180189641A1 (en) * | 2017-01-04 | 2018-07-05 | Stmicroelectronics S.R.L. | Hardware accelerator engine |
| CN109074512A (zh) * | 2016-02-05 | 2018-12-21 | 渊慧科技有限公司 | 使用神经网络压缩图像 |
| CN109525598A (zh) * | 2018-12-26 | 2019-03-26 | 中国地质大学（武汉） | 一种基于变分混合的无线传感网深度容错压缩方法及*** |
| CN109766843A (zh) * | 2019-01-14 | 2019-05-17 | 河海大学常州校区 | 基于改进的受限玻尔兹曼机的肌电信号特征提取方法 |
-
2019
- 2019-07-31 CN CN201910700088.0A patent/CN110446173B/zh not_active Expired - Fee Related
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105245608A (zh) * | 2015-10-23 | 2016-01-13 | 同济大学 | 基于自编码网络的车联网网络节点筛选及其通达性路由构建方法 |
| CN109074512A (zh) * | 2016-02-05 | 2018-12-21 | 渊慧科技有限公司 | 使用神经网络压缩图像 |
| JP2018061091A (ja) * | 2016-10-03 | 2018-04-12 | 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ | データ圧縮装置、データ再現装置、データ圧縮方法、データ再現方法及びデータ転送方法 |
| CN107977703A (zh) * | 2016-10-21 | 2018-05-01 | 辉达公司 | 用于修剪神经网络以实现资源有效推理的***和方法 |
| US20180189641A1 (en) * | 2017-01-04 | 2018-07-05 | Stmicroelectronics S.R.L. | Hardware accelerator engine |
| CN109525598A (zh) * | 2018-12-26 | 2019-03-26 | 中国地质大学（武汉） | 一种基于变分混合的无线传感网深度容错压缩方法及*** |
| CN109766843A (zh) * | 2019-01-14 | 2019-05-17 | 河海大学常州校区 | 基于改进的受限玻尔兹曼机的肌电信号特征提取方法 |
Non-Patent Citations (2)
| Title |
|---|
| QIYING FENG 等: "Compressed auto-encoder building block for deep learning network", 《2016 3RD INTERNATIONAL CONFERENCE ON INFORMATIVE AND CYBERNETICS FOR COMPUTATIONAL SOCIAL SYSTEMS (ICCSS)》 * |
| 张艳霞: "基于受限玻尔兹曼机的深度学习模型及其应用", 《中国优秀硕士学位论文全文数据库（电子期刊）信息科技辑》 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111630787A (zh) * | 2020-04-07 | 2020-09-04 | 东莞理工学院 | 基于深度学习的mimo多天线信号传输与检测技术 |
| CN112153659A (zh) * | 2020-08-21 | 2020-12-29 | 中国地质大学（武汉） | 高效节能的星载无线传感器网络数据压缩模型的构建方法 |
| CN112192318A (zh) * | 2020-09-28 | 2021-01-08 | 北京天泽智云科技有限公司 | 机加工刀具状态监控方法和*** |
| CN112192318B (zh) * | 2020-09-28 | 2022-07-19 | 北京天泽智云科技有限公司 | 机加工刀具状态监控方法和*** |
| CN112532400A (zh) * | 2020-11-27 | 2021-03-19 | 中国工程物理研究院电子工程研究所 | 一种基于udp组播通信协议的单层平面自组网方法 |
| CN112532400B (zh) * | 2020-11-27 | 2022-06-07 | 中国工程物理研究院电子工程研究所 | 一种基于udp组播通信协议的单层平面自组网方法 |
| CN117394353A (zh) * | 2023-12-08 | 2024-01-12 | 国网天津市电力公司电力科学研究院 | 一种配电网负荷转供与恢复方法及装置 |
| CN117394353B (zh) * | 2023-12-08 | 2024-05-14 | 国网天津市电力公司电力科学研究院 | 一种配电网负荷转供与恢复方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110446173B (zh) | 2021-08-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110446173A (zh) | 一种高效节能的星载无线传感网数据压缩方法 | |
| Zhang et al. | Fully-fuzzy supervised classification of sub-urban land cover from remotely sensed imagery: statistical and artificial neural network approaches | |
| CN109884419B (zh) | 一种智慧电网电能质量在线故障诊断方法 | |
| CN103295198B (zh) | 基于冗余字典和结构稀疏的非凸压缩感知图像重构方法 | |
| CN113065649B (zh) | 一种复杂网络拓扑图表示学习方法、预测方法及服务器 | |
| CN107784318A (zh) | 一种应用于多视角聚类的鲁棒性相似图表示的学习方法 | |
| CN112364719A (zh) | 一种遥感图像目标快速检测方法 | |
| CN105701512A (zh) | 一种基于bbo-mlp和纹理特征的图像分类方法 | |
| CN112084934A (zh) | 基于骨骼数据双通道深度可分离卷积的行为识别方法 | |
| Yuan et al. | STGAN: Spatio-temporal generative adversarial network for traffic data imputation | |
| CN112700104B (zh) | 一种基于多模态分类的震区滑坡易发性评价方法 | |
| CN105808689A (zh) | 一种基于人工神经网络的水系实体语义相似性度量方法 | |
| Cui et al. | Deep neural network based sparse measurement matrix for image compressed sensing | |
| CN109785409A (zh) | 一种基于注意力机制的图像-文本数据融合方法和*** | |
| Watkins et al. | Image compression: Sparse coding vs. bottleneck autoencoders | |
| CN115392323A (zh) | 基于云边协同的轴承故障监测方法及*** | |
| CN116596151A (zh) | 基于时空图注意力的交通流量预测方法及计算设备 | |
| CN108805280A (zh) | 一种图像检索的方法和装置 | |
| CN111079691A (zh) | 一种基于双流网络的剪枝方法 | |
| Li et al. | A structure-parameter-adaptive (SPA) neural tree for the recognition of large character set | |
| CN116091492B (zh) | 一种图像变化像素级检测方法与*** | |
| CN117496345A (zh) | 一种基于CVCUnet的多地形多波段耕地的提取方法 | |
| CN108615053A (zh) | 基于粒子群优化的流形svm模拟电路故障诊断方法 | |
| Tarakanov et al. | A comparison of immune and neural computing for two real-life tasks of pattern recognition | |
| CN116170874A (zh) | 一种鲁棒性WiFi指纹室内定位方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210827 |