CN112163668B - 一种基于预测和云边协同的减少时间序列数据传输量方法 - Google Patents

Abstract

本发明公开了一种基于预测和云边协同的减少时间序列数据传输量方法，涉及工业自动化领域。包括以下步骤：建立，训练，与优化预测模型；传输预测模型和初始的模型输入数据，预测模型同步更新；数据发送方产生预测值并将其与当前时刻的真实值比较从而决定是否向数据接收方发送真实值；数据接收方根据当前时刻是否接收到数据发送方的数据决定使用预测值还是接收到的真实值来作为当前时刻的值；数据发送方和数据接收方使用滑动窗口更新模型输入数据。本发明在保证数据准确性的前提下，尽可能多的减少数据传输量。

Description

一种基于预测和云边协同的减少时间序列数据传输量方法

技术领域

本发明涉及工业自动化领域，尤其涉及一种基于预测和云边协同的减少时间序列数据传输量方法。

背景技术

在工业4.0的背景下，工厂里的传感器和数据传输任务快速增长，信息的传输量越来越大，这会对网络带宽带来巨大的压力，导致信息传输的延迟增大，增加网络开销。同时，为减少云端存储压力，降低任务时延，充分利用边缘端的计算资源而提出的边缘计算也正受到广泛关注。面对云边之间传输的大量数据，如何对云和边进行协同，充分利用边缘端的计算资源来降低数据传输量就显得尤为重要。

现有的用来减少数据传输量的方法一般可以分为两类。第一类是缩小数据本身的大小，第二类是降低数据传输的频率。第一类又分为三种方法：第一种方法是由于不同的数据格式将导致数据量不同，如JSON比XML少，人类不可读的二进制格式是最少的。第二种方法是只发送重要数据，如改变的值，而不发送不重要的和可重构的，而重构的实现则产生该方法下的子方法，即发送方和接收方使用相同的字典，里面包括常用的不变量，如工程常量和错误提示字符串，以及其对应的键，发送时发送简写的键即可。第三种方法是使用压缩算法对内容进行压缩，如数列的迭代和递归表达式就是对数列的一种压缩(即找到某种意义上的规律和重复)。而第二类也分为三种方法：第一种是只在数据发生变化才对其进行发送，第二种是为了实现仅通过关键的(如变化的)数据而重构整个完整数据而在接收方存储相应信息(如上次的值)，第三种用于减少原始数据的精度以及采样频率也可完成的任务。

其中与本发明最相近似的实现方案如下：对于数据发送方，若当前时刻的原始真实值与前一时刻的值的差值小于阈值，则不发送当前时刻的数据；若当前时刻与前一时刻的值的差值大于阈值，则发送当前时刻的数据。对于数据接收方，若当前时刻没有接收到数据，则默认该时刻的数据等于前一时刻的值，使用前一时刻的值作为当前时刻的值；若当前时刻接收到了由数据发送方发送过来的原始真实值，则将接收到的原始真实值作为当前时刻的值，这样最后数据接收方还原出来的数据由两部分组成：一部分是由拥有原始真实值的数据发送方判断过的，与真实值差值小于阈值的预测值(假设当前值等于上一个时刻的值，由于数据发送方和数据接收方都是基于这一假设以及相同的历史数据，所以它们得到的预测值是相同的，故数据接收方最后基于历史数据和假设所得到的预测值其与真实值的差值是小于阈值的)；另一部分是由数据发送方判断，预测值与原始真实值差值大于阈值而必须进行发送的原始真实值。这一方法能够在保证最后数据接收方所还原出来的数据与真实数据的差值在规定的阈值范围内的同时，减少变化小于阈值的那部分数据的传输量。但由于该方案使用的预测机制过于简单(即假设当前值等于上一个时刻的值)，而使用该机制减少的数据传输的量又与数据的预测精度直接相关，所以该方案只对平稳的，几乎不波动的数据的数据传输量有比较明显的减少效果，而对于不断变化的数据收效甚微。

当前仅由前一时刻的值来决定当前时刻的值，没有结合时序性数值间的关系充分地利用历史数据；使用的预测方法过于简单，基于当前时刻的值等于前一时刻的值的假设来进行预测，只能适用于平稳的，几乎不发生波动的数据；使用的预测方法是静态的，不能随着时间的推移不断调整和优化预测模型；没有考虑云边协同以充分利用边缘端的计算资源进一步降低数据传输量。

因此，本领域的技术人员致力于开发一种基于预测和云边协同的减少时间序列数据传输量方法。在保证数据准确性的前提下，尽可能多的减少数据传输量。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是在保证数据准确性的前提下，尽可能多的减少数据传输量。针对现有技术的缺点，主要解决了没有结合时序性数值间的关系充分地利用历史数据进行预测从而导致预测方式简单，预测精度不高的问题；同时解决了现有技术预测方法简单，使用效果有限，适用范围窄，只能适用于平稳的，几乎不发生波动的数据的问题；其次解决了预测方法和预测模型无法随时间推移不断调整优化的问题；最后考虑云边协同，充分地利用了边缘端的计算资源进一步降低了数据传输量。

为实现上述目的，本发明提供了一种基于预测和云边协同的减少时间序列数据传输量方法，包括以下步骤：

步骤1、预测模型的建立，训练，与优化；

步骤2、传输预测模型和初始的模型输入数据，预测模型同步更新；

步骤3、数据发送方产生预测值并将其与当前时刻的真实值比较从而决定是否向数据接收方发送真实值；

步骤4、数据接收方根据当前时刻是否接收到数据发送方的数据决定使用预测值还是接收到的真实值来作为当前时刻的值；

步骤5、数据发送方和数据接收方使用滑动窗口更新模型输入数据，转所述步骤3。

进一步地，所述步骤1包括以下步骤：

步骤1.1、结合数据特点建立预测模型；

步骤1.2、使用历史数据建立数据集；

步骤1.3、使用数据集对模型进行训练，获得预测模型；

步骤1.4、随着时间的推移，历史数据不断增多，转所述步骤1.2。

进一步地，所述步骤2包括以下步骤：

步骤2.1、预测模型传输和握手确认；

步骤2.2、模型初始输入数据传输；

步骤2.3、预测模型同步更新。

进一步地，所述步骤3：数据发送方使用预测模型和模型输入数据A获得的当前时刻的预测值b，同时数据发送方获得当前时刻数据的真实值c；若|b-c|<＝阈值，则不向数据接收方发送数据；否则，向数据接收方发送当前时刻的真实值c。

进一步地，所述步骤4：数据接收方如果在当前时刻没有接收到数据发送方发送过来的真实值，则使用预测模型和模型输入数据得到当前数据的预测值，并作为当前时刻的值；若当前时刻接收到数据发送方发送过来的真实值，则使用真实值作为当前时刻的值。

进一步地，所述预测模型的预测方法包括LSTM，线性回归，周期因子法，时间卷积网络，BP神经网络。

进一步地，所述预测模型训练位置包括边缘端和云端。

进一步地，所述预测模型训练位置包括数据发送方和数据接收方。

进一步地，所述预测模型使用的传输协议包括wifi，蓝牙，MQTT，MQTT+，5G，NB-IoT，ZigBee，LTE，MQTT-SN。

进一步地，所述数据传输使用的传输协议包括wifi，蓝牙，MQTT，MQTT+，5G，NB-IoT，ZigBee，LTE，MQTT-SN。

在本发明的较佳实施方式中，本发明主要开发一种基于长短期记忆网络LSTM和云边协同的数据传输量减少方法。主要包括以下步骤：

步骤一：预测模型的建立，训练，与优化：该步骤主要可以分为以下4步：

S1，结合数据特点建立预测模型；

S2，使用历史数据建立数据集；

S3，使用数据集对模型进行训练，获得预测模型；

S4，随着时间的推移，历史数据不断增多，转S2。

具体的，由于本发明针对的是对延迟要求不高的，按时间序列传输的数据，故选择LSTM网络作为预测模型。它为每个时刻建立一个网络，前一个时刻的输出作为下一个时刻的输入，以最后一个时刻网络的输出作为整个LSTM网络的输出，特别适合处理时序数据。并通过门的设计，对信息按重要程度进行保留，克服了传统循环神经网络RNN只能记忆短期信息的缺陷。

S1，边缘设备如网关按时间间隔不断获得下层传感器所采集到的数据，可以知道这些数据均为时序数据。结合这一特点，搭建LSTM网络，取一段时间如T个时刻的时序数据作为网络的输入，每一个时刻所对应网络的输入即这一时刻的数据，整个网络的输出为这段时间的下一个时刻的数据；

S2，将采集到的历史数据，使用滑动窗口，每T个时刻的时序数据作为一个输入，下一个时刻的数据作为标签，将历史数据按输入和对应标签的形式制作成数据集，并按比例划分成训练集和测试集；

S3，使用训练集对模型进行训练，由于训练过程具有一定的随机性，所以进行多次训练，并利用测试集进行数据传输量减少的本地测试，即将测试集所涉及的时间段内的数据使用滑动窗口生成模型输入数据，并使用预测模型预测下一时刻数据，若预测值与真实值的差值小于等于阈值，使用预测值替代下一时刻的数据，数据减少个数加1；否则真实数据个数加1。数据减少个数加真实数据个数即总的数据个数，数据减少个数除以总的数据个数即数据传输量减少比例。从多个训练模型中选择数据传输量减少比例最高的模型作为预测模型；

S4，数据发送方即边缘按时间间隔不断的获得下层传感器传来的数据，随着时间的推移，历史数据将不断增多，当数据增加量达到设定值时，重新制作数据集进行模型训练，由于随着模型的迭代，其每次优化训练所获得的提升将越来越低，若该次所获得的最好预测模型的数据传输量减少比例比上次获得的数据传输量减少比例的增加量小于阈值，则以后都不再训练和优化模型。当数据传输量减少比例比上次下发模型的数据传输量减少比例的增加量大于等于设定值时，向数据接收方发送新的预测模型。

步骤二：预测模型和初始模型输入数据传输，预测模型的同步更新：该步骤主要可以分为以下3步：

S1，预测模型传输和握手确认；

S2，模型初始输入数据传输；

S3，预测模型同步更新。

具体的，在数据发送方训练好模型以后，它需要将预测模型下发到数据接收方并需要保证在接下来的预测阶段与数据接收方使用的是同一个预测模型，这里借鉴TCP协议中经典的三次握手的方式来进行模型的同步确认：首先数据发送方向数据接收方发送初始预测模型或者后续更新的预测模型，和载入或切换该预测模型来进行数据预测的时间点；数据接收方在收到模型和时间点后回复一个确认信号；数据发送方在收到数据接收方的确认信号后，回复数据接收方一个结束信号。中间任何一个过程没有收到回复都进行重发。在三次握手以后，数据发送方和数据接收方在约定的时间载入或切换新的预测模型来进行数据的预测。由于这里使用的是LSTM网络，所以需要先有T个时刻的数据作为模型的初始输入数据，后面的模型输入数据使用滑动窗口即可得到，若接收方有模型初始输入数据则不需要等待数据发送方向其发送T个时刻的数据后再进行预测，否则需要先由数据发送方向其传输T个时刻的数据作为模型初始输入数据。预测模型的同步更新是当数据发送方在满足步骤一S4中的条件，向其发送了新的预测模型后，按照步骤二S1中所确定的时间载入新的预测模型并使用新的预测模型进行预测。

S1，在两种情况下需要传输预测模型，一是刚开始数据接收方没有预测模型的时候，二是之后数据发送方在满足步骤一S4中条件后，决定向数据接收方发送新的预测模型并进行模型同步更新的时候。在这两种情况下，数据发送方和数据接收方都通过以下的三次握手的方式来进行模型的确认和同步：首先由数据发送方向数据接收方发送预测模型和载入或切换该预测模型来进行数据预测的时间点并等待数据接收方的回复，如等待超时则重新发送预测模型和新的载入或切换该预测模型来进行数据预测的时间点；数据接收方在收到数据发送方发送的预测模型和时间点后，回复数据发送方确认信号，并等待数据发送方回复结束信号，等待超时则重传确认信号；数据发送方在收到数据接收方的确认信号后，向数据接收方回复结束信号。三次握手结束以后，数据发送方和数据接收方都确保对方拥有正常的收发功能，同样的预测模型和约定好的相同的模型切换时间点。之后数据发送方和数据接收方便可以在约定好的时间同时载入或切换该预测模型来进行同步的数据预测。

S2，由于这里使用的是LSTM网络预测模型，所以需要T个时刻的数据作为预测模型的初始输入，来获得下一个时刻数据的预测值，之后只需要根据后面的规则，使用滑动窗口，更新模型输入数据即可不断迭代获得之后的预测值。如果刚开始数据接收方没有预测模型的初始输入数据，则需要等待数据发送方向其发送达到T个连续时刻的数据方可使用预测模型进行预测，若刚开始数据接收方有当前时刻的前T个连续时刻的数据则可直接使用模型进行预测，典型的如切换模型时，此时不需要再发送模型的初始输入数据。

S3，当数据接收方收到数据发送方在满足步骤一S4中的条件后向其按照步骤二S1中规则发送的新的预测模型和该模型的切换时间后，在三次握手后，按约定的切换时间载入和切换预测模型，实现和数据发送方预测模型的同步更新，同时使用新的预测模型进行预测。

步骤三：数据发送方产生预测值并将其与当前时刻的真实值比较从而决定是否向数据接收方发送真实值：

数据发送方使用预测模型和模型输入数据A获得的当前时刻的预测值b，同时数据发送方获得当前时刻数据的真实值c。此时数据发送方拥有当前时刻数据的预测值b和真实值c，若|b-c|<＝阈值，则不向数据接收方发送数据；否则，向数据接收方发送当前时刻的真实值c。典型场景中，边缘获得由下层传感器定时采集的真实的时序数据，并使用本发明设计的数据传输方法将其上传给云。边缘作为数据发送方，云作为数据接收方，边缘利用真实值训练预测模型，并由边缘向云发送数据和预测模型。

步骤四：数据接收方根据当前时刻是否接收到数据发送方的数据决定使用预测值还是接收到的真实值来作为当前时刻的值：

数据接收方如果在当前时刻没有接收到数据发送方发送过来的真实值，则使用预测模型和模型输入数据A得到当前数据的预测值d，并以d作为当前时刻的值，由于使用的是同样的输入数据A和同样的预测模型，所以有|d-c|<＝阈值；若当前时刻接收到数据发送方发送过来的真实值c，则使用真实值c作为当前时刻的值。

步骤五：数据发送方和数据接收方使用滑动窗口更新模型输入数据，转步骤三：

数据发送方在判断完|b-c|是否小于等于阈值以后，若|b-c|<＝阈值，则以b作为当前时刻的数据，滑动窗口，取包括当前数据b在内的之前的T个连续的时序数据作为下一个时刻的预测模型输入数据，更新模型输入数据A。若|b-c|>阈值，则以c作为当前时刻的数据，滑动窗口，更新模型输入数据A；数据接收方若在当前时刻没有接收到数据发送方发送过来的真实值，则使用预测值d作为当前值，有d＝b，滑动窗口，更新模型输入数据A。若数据接收方在当前时刻接收到了数据发送方发送过来的真实值c，则使用c作为当前值，滑动窗口，更新模型输入数据A。通过上面的描述可知，数据发送方和数据接收方在每个时刻的模型输入数据A都是相同的，又由于步骤二保证了每个时刻使用的预测模型也是相同的，所以每个时刻发送方的预测值b和接收方的预测值d都是相同的，这也就能够保证最后接收方所得到的，由预测值和真实值组合成的数据中，任何时刻数据的值与真实值的差值都是小于等于阈值的。同时所有与真实值相差小于等于阈值的数据都不需要发送，从而减少了这部分数据的传输量。

总的来说，在工业4.0的背景下，工厂里的传感器不断增多，数据传输量不断增大，数据传输量减少的重要性不断上升。本发明针对对延迟要求不高的，按时间序列传输的数据，首先由数据发送方如边缘侧基于历史数据训练得到长短期记忆网络预测模型，然后将模型和初始的模型输入数据发送给数据接收方如云端。然后数据发送方和数据接收方使用相同的预测模型和模型输入数据对当前值进行预测，而数据发送方拥有当前时刻的真实值，由其判断预测值与真实值的偏差是否小于阈值，若小于阈值则不发送数据，数据接收方使用预测值作为当前值；若大于阈值则向数据接收方发送真实值，数据接收方使用接收到的真实值作为当前值。同时数据发送方和数据接收方均使用滑动窗口不断更新模型输入数据并保持其始终相同。不断迭代进入下一个周期。随着数据发送方的历史数据不断增多，其不断地调整优化预测模型，并周期性的发送给数据接收方实现预测模型的不断优化更新，从而进一步提高预测精度和数据传输减少量。

本发明结合时序性数值间的关系充分地利用历史数据，解决了现有技术仅由前一时刻的值来决定当前时刻的值的问题，提高了预测精度；结合数据的时序性特点，搭建LSTM网络模型来进行数据的预测，解决了现有技术预测方法过于简单导致的精度不高，数据减少量有限，适用范围窄，只能适用于平稳的，几乎不发生波动的数据的问题。大大扩大了该机制的适用范围；让数据发送方利用不断增多的历史数据，持续调整优化预测模型，并与数据接收方周期性的同步更新预测模型，解决了预测方法和模型无法随时间推移不断调整优化的问题，能够随着数据量的积累不断优化预测模型，提高预测精度，从而不断提高数据量的减少比例；考虑云边协同，结合边不断采集传感器数据，并将其上传到云的场景，在该场景中边作为数据发送方，利用自身计算资源不断训练，运行，和优化模型，云运行由边传输过来的，训练好的模型。由于云需要连接很多的边缘设备，所以需要运行很多不同的模型。通过云边协同，充分利用边缘端的计算资源来降低数据传输量。

本发明与现有技术相比较，具有如下显而易见的实质性特点和显著优点：

1、结合时序性数据间的关系充分挖掘和利用历史数据中的信息，提高了预测精度。

2、结合数据的时序性特点，搭建LSTM网络模型来进行数据的预测，解决了现有技术预测方法过于简单导致的精度不高，数据减少量有限，适用范围窄，只能适用于平稳的，几乎不发生波动的数据的问题。大大扩大了该机制的适用范围。

3、解决了预测方法和模型无法随时间推移不断调整优化的问题，能够随着数据量的积累不断优化预测模型，提高预测精度，从而不断提高数据量的减少比例。

4、考虑云边协同，配合协同云边，充分利用边缘端的计算资源来降低数据传输量。

以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。

附图说明

图1是本发明的一个较佳实施例的基于预测和云边协同的减少时间序列数据传输量的方法流程图；

图2是本发明的一个较佳实施例的LSTM网络结构图；

图3是本发明的一个较佳实施例的基于预测和云边协同的减少时间序列数据传输量的方法典型场景。

具体实施方式

以下参考说明书附图介绍本发明的多个优选实施例，使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现，本发明的保护范围并非仅限于文中提到的实施例。

在附图中，结构相同的部件以相同数字标号表示，各处结构或功能相似的组件以相似数字标号表示。附图所示的每一组件的尺寸和厚度是任意示出的，本发明并没有限定每个组件的尺寸和厚度。为了使图示更清晰，附图中有些地方适当夸大了部件的厚度。

本发明提出一种基于长短期记忆网络和云边协同的数据传输量减少方法。涉及工业物联网，边缘计算，工业自动化。如图1所示，它主要包括以下步骤：

步骤一：预测模型的建立，训练，与优化：该步骤主要可以分为以下4步：

S1，结合数据特点建立预测模型；

S2，使用历史数据建立数据集；

S3，使用数据集对模型进行训练，获得预测模型；

S4，随着时间的推移，历史数据不断增多，转S2。

具体的，由于本发明针对的是对延迟要求不高的，按时间序列传输的数据，故选择LSTM网络作为预测模型。图2为LSTM网络结构图，它为每个时刻建立一个网络，前一个时刻的输出作为下一个时刻的输入，以最后一个时刻网络的输出作为整个LSTM网络的输出，特别适合处理时序数据。并通过门的设计，对信息按重要程度进行保留，克服了传统RNN只能记忆短期信息的缺陷。下面详细阐述各个步骤：

S1，边缘设备如网关按时间间隔不断获得下层传感器所采集到的数据，可以知道这些数据均为时序数据。结合这一特点，搭建LSTM网络，取一段时间如T个时刻的时序数据作为网络的输入，每一个时刻所对应网络的输入即这一时刻的数据，整个网络的输出为这段时间的下一个时刻的数据；

S2，将采集到的历史数据，使用滑动窗口，每T个时刻的时序数据作为一个输入，下一个时刻的数据作为标签，将历史数据按输入和对应标签的形式制作成数据集，并按比例划分成训练集和测试集；

S3，使用训练集对模型进行训练，由于训练过程具有一定的随机性，所以进行多次训练，并利用测试集进行数据传输量减少的本地测试，即将测试集所涉及的时间段内的数据使用滑动窗口生成模型输入数据，并使用预测模型预测下一时刻数据，若预测值与真实值的差值小于等于阈值，使用预测值替代下一时刻的数据，数据减少个数加1；否则真实数据个数加1。数据减少个数加真实数据个数即总的数据个数，数据减少个数除以总的数据个数即数据传输量减少比例。从多个训练模型中选择数据传输量减少比例最高的模型作为预测模型；

S4，数据发送方即边缘按时间间隔不断的获得下层传感器传来的数据，随着时间的推移，历史数据将不断增多，当数据增加量达到设定值时，重新制作数据集进行模型训练，由于随着模型的迭代，其每次优化训练所获得的提升将越来越低，若该次所获得的最好预测模型的数据传输量减少比例比上次获得的数据传输量减少比例的增加量小于阈值，则以后都不再训练和优化模型。当数据传输量减少比例比上次下发模型的数据传输量减少比例的增加量大于等于设定值时，向数据接收方发送新的预测模型。

步骤二：预测模型和初始模型输入数据传输，预测模型的同步更新：该步骤主要可以分为以下3步：

S1，预测模型传输和握手确认；

S2，模型初始输入数据传输；

S3，预测模型同步更新。

具体的，在数据发送方训练好模型以后，它需要将预测模型下发到数据接收方并需要保证在接下来的预测阶段与数据接收方使用的是同一个预测模型，这里借鉴TCP协议中经典的三次握手的方式来进行模型的同步确认：首先数据发送方向数据接收方发送初始预测模型或者后续更新的预测模型，和载入或切换该预测模型来进行数据预测的时间点；数据接收方在收到模型和时间点后回复一个确认信号；数据发送方在收到数据接收方的确认信号后，回复数据接收方一个结束信号。中间任何一个过程没有收到回复都进行重发。在三次握手以后，数据发送方和数据接收方在约定的时间载入或切换新的预测模型来进行数据的预测。由于这里使用的是LSTM网络，所以需要先有T个时刻的数据作为模型的初始输入数据，后面的模型输入数据使用滑动窗口即可得到，若接收方有模型初始输入数据则不需要等待数据发送方向其发送T个时刻的数据后再进行预测，否则需要先由数据发送方向其传输T个时刻的数据作为模型初始输入数据。预测模型的同步更新是当数据发送方在满足步骤一S4中的条件，向其发送了新的预测模型后，按照步骤二S1中所确定的时间载入新的预测模型并使用新的预测模型进行预测。下面详细阐述各个步骤：

S1，在两种情况下需要传输预测模型，一是刚开始数据接收方没有预测模型的时候，二是之后数据发送方在满足步骤一S4中条件后，决定向数据接收方发送新的预测模型并进行模型同步更新的时候。在这两种情况下，数据发送方和数据接收方都通过以下的三次握手的方式来进行模型的确认和同步：首先由数据发送方向数据接收方发送预测模型和载入或切换该预测模型来进行数据预测的时间点并等待数据接收方的回复，如等待超时则重新发送预测模型和新的载入或切换该预测模型来进行数据预测的时间点；数据接收方在收到数据发送方发送的预测模型和时间点后，回复数据发送方确认信号，并等待数据发送方回复结束信号，等待超时则重传确认信号；数据发送方在收到数据接收方的确认信号后，向数据接收方回复结束信号。三次握手结束以后，数据发送方和数据接收方都确保对方拥有正常的收发功能，同样的预测模型和约定好的相同的模型切换时间点。之后数据发送方和数据接收方便可以在约定好的时间同时载入或切换该预测模型来进行同步的数据预测。

S2，由于这里使用的是LSTM网络预测模型，所以需要T个时刻的数据作为预测模型的初始输入，来获得下一个时刻数据的预测值，之后只需要根据后面的规则，使用滑动窗口，更新模型输入数据即可不断迭代获得之后的预测值。如果刚开始数据接收方没有预测模型的初始输入数据，则需要等待数据发送方向其发送达到T个连续时刻的数据方可使用预测模型进行预测，若刚开始数据接收方有当前时刻的前T个连续时刻的数据则可直接使用模型进行预测，典型的如切换模型时，此时不需要再发送模型的初始输入数据。

S3，当数据接收方收到数据发送方在满足步骤一S4中的条件后向其按照步骤二S1中规则发送的新的预测模型和该模型的切换时间后，在三次握手后，按约定的切换时间载入和切换预测模型，实现和数据发送方预测模型的同步更新，同时使用新的预测模型进行预测。

步骤三：数据发送方产生预测值并将其与当前时刻的真实值比较从而决定是否向数据接收方发送真实值：

数据发送方使用预测模型和模型输入数据A获得的当前时刻的预测值b，同时数据发送方获得当前时刻数据的真实值c。此时数据发送方拥有当前时刻数据的预测值b和真实值c，若|b-c|<＝阈值，则不向数据接收方发送数据；否则，向数据接收方发送当前时刻的真实值c。典型的场景如图3所示，边缘获得由下层传感器定时采集的真实的时序数据，并使用本发明设计的数据传输方法将其上传给云。边缘作为数据发送方，云作为数据接收方，边缘利用真实值训练预测模型，并由边缘向云发送数据和预测模型。

步骤四：数据接收方根据当前时刻是否接收到数据发送方的数据决定使用预测值还是接收到的真实值来作为当前时刻的值：

数据接收方如果在当前时刻没有接收到数据发送方发送过来的真实值，则使用预测模型和模型输入数据A得到当前数据的预测值d，并以d作为当前时刻的值，由于使用的是同样的输入数据A和同样的预测模型，所以有|d-c|<＝阈值；若当前时刻接收到数据发送方发送过来的真实值c，则使用真实值c作为当前时刻的值。

步骤五：数据发送方和数据接收方使用滑动窗口更新模型输入数据，转步骤三：

数据发送方在判断完|b-c|是否小于等于阈值以后，若|b-c|<＝阈值，则以b作为当前时刻的数据，滑动窗口，取包括当前数据b在内的之前的T个连续的时序数据作为下一个时刻的预测模型输入数据，更新模型输入数据A。若|b-c|>阈值，则以c作为当前时刻的数据，滑动窗口，更新模型输入数据A；数据接收方若在当前时刻没有接收到数据发送方发送过来的真实值，则使用预测值d作为当前值，有d＝b，滑动窗口，更新模型输入数据A。若数据接收方在当前时刻接收到了数据发送方发送过来的真实值c，则使用c作为当前值，滑动窗口，更新模型输入数据A。通过上面的描述可知，数据发送方和数据接收方在每个时刻的模型输入数据A都是相同的，又由于步骤二保证了每个时刻使用的预测模型也是相同的，所以每个时刻发送方的预测值b和接收方的预测值d都是相同的，这也就能够保证最后接收方所得到的，由预测值和真实值组合成的数据中，任何时刻数据的值与真实值的差值都是小于等于阈值的。同时所有与真实值相差小于等于阈值的数据都不需要发送，从而减少了这部分数据的传输量。

数据发送方和数据接收方所使用的预测方法不限于LSTM，也可以是其他的预测方法如线性回归，周期因子法，时间卷积网络，BP神经网络等。如当数据发送方或数据接收方的计算能力比较弱时，可以选择相对简单的预测方法。

数据传输方向和模型训练位置不限于边缘端如网关收集原始数据并上传到云端的场景，此时由边缘端训练，更新，和下发模型。对于边缘端如PC等监控和显示设备从云端获取数据进行显示，此时由云训练，更新，和下发模型。

不一定由数据发送方来训练，更新，和下发模型，只需要保证数据发送方和数据接收方上都有相同的预测模型来进行预测即可。一个场景如边先收集各种传感器数据，发送给云，然后云利用这些数据训练预测模型，然后将预测模型发送给边，云与边同时利用这一模型进行预测，由边来判断真实值与预测值差值是否小于阈值，决定是否给云发送真实值。

本发明中模型和数据的传输可以使用任何的传输协议，如wifi，蓝牙，MQTT，MQTT+，5G，NB-IoT，ZigBee，LTE，MQTT-SN等。

总的来说，在工业4.0的背景下，工厂里的传感器不断增多，数据传输量不断增大，数据传输量减少的重要性不断上升。本发明针对对延迟要求不高的，按时间序列传输的数据，首先由数据发送方如边缘基于历史数据训练得到长短期记忆网络预测模型，然后将模型和初始的模型输入数据发送给数据接收方如云。然后数据发送方和数据接收方使用相同的预测模型和模型输入数据对当前值进行预测，而数据发送方拥有当前时刻的真实值，由其判断预测值与真实值的偏差是否小于阈值，若小于阈值则不发送数据，数据接收方使用预测值作为当前值；若大于阈值则向数据接收方发送真实值，数据接收方使用接收到的真实值作为当前值。同时数据发送方和数据接收方均使用滑动窗口不断更新模型输入数据并保持其始终相同。不断迭代进入下一个周期。随着数据发送方的历史数据不断增多，其不断地调整优化预测模型，并周期性的发送给数据接收方实现预测模型的不断优化更新，从而进一步提高预测精度和数据传输减少量。

本发明针对对延迟要求不高的，按时间序列传输的数据，首先由数据发送方如云基于历史数据训练得到长短期记忆网络预测模型，然后将模型和初始的模型输入数据发送给数据接收方如边。然后数据发送方和数据接收方使用相同的预测模型和模型输入数据对当前值进行预测，而数据发送方拥有当前时刻的真实值，由其判断预测值与真实值的偏差是否小于阈值，若小于阈值则不发送数据，数据接收方使用预测值作为当前值；若大于阈值则向数据接收方发送真实值，数据接收方使用接收到的真实值作为当前值。同时数据发送方和数据接收方均使用滑动窗口不断更新模型输入数据并保持其始终相同。不断迭代进入下一个周期。随着数据发送方的历史数据不断增多，其不断地调整优化预测模型，并周期性的发送给数据接收方实现预测模型的不断优化更新，从而进一步提高预测精度和数据传输减少量。

本发明结合时序性数值间的关系充分地利用历史数据，解决了现有技术仅由前一时刻的值来决定当前时刻的值的问题，提高了预测精度；结合数据的时序性特点，搭建LSTM网络模型来进行数据的预测，解决了现有技术预测方法过于简单导致的精度不高，数据减少量有限，适用范围窄，只能适用于平稳的，几乎不发生波动的数据的问题。大大扩大了该机制的适用范围；让数据发送方利用不断增多的历史数据，持续调整优化预测模型，并与数据接收方周期性的同步更新预测模型，解决了预测方法和模型无法随时间推移不断调整优化的问题，能够随着数据量的积累不断优化预测模型，提高预测精度，从而不断提高数据量的减少比例；考虑云边协同，结合边不断采集传感器数据，并将其上传到云的场景，在该场景中边作为数据发送方，利用自身计算资源不断训练，运行，和优化模型，云运行由边传输过来的，训练好的模型。由于云需要连接很多的边缘设备，所以需要运行很多不同的模型。通过云边协同，充分利用边缘端的计算资源来降低数据传输量。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (8)

1.一种基于预测和云边协同的减少时间序列数据传输量方法，其特征在于，包括以下步骤：

步骤1、预测模型的建立，训练，与优化；

步骤2、传输预测模型和初始的模型输入数据，预测模型同步更新；

步骤3、数据发送方产生预测值并将其与当前时刻的真实值比较从而决定是否向数据接收方发送真实值；

步骤4、数据接收方根据当前时刻是否接收到数据发送方的数据决定使用预测值还是接收到的真实值来作为当前时刻的值；

步骤5、数据发送方和数据接收方使用滑动窗口更新模型输入数据，转所述步骤3；

所述步骤1包括以下步骤：

步骤1.1、结合数据特点建立预测模型；

步骤1.2、使用历史数据建立数据集；

步骤1.3、使用数据集对模型进行训练，获得预测模型；

步骤1.4、随着时间的推移，历史数据不断增多，转所述步骤1.2；

所述步骤2包括以下步骤：

步骤2.1、预测模型传输和握手确认；

步骤2.2、模型初始输入数据传输；

步骤2.3、预测模型同步更新。

2.如权利要求1所述的基于预测和云边协同的减少时间序列数据传输量方法，其特征在于，所述步骤3中：数据发送方使用预测模型和模型输入数据A获得的当前时刻的预测值b，同时数据发送方获得当前时刻数据的真实值c；若|b-c|<＝阈值，则不向数据接收方发送数据；否则，向数据接收方发送当前时刻的真实值c。

3.如权利要求1所述的基于预测和云边协同的减少时间序列数据传输量方法，其特征在于，所述步骤4中：数据接收方如果在当前时刻没有接收到数据发送方发送过来的真实值，则使用预测模型和模型输入数据得到当前数据的预测值，并作为当前时刻的值；若当前时刻接收到数据发送方发送过来的真实值，则使用真实值作为当前时刻的值。

4.如权利要求1所述的基于预测和云边协同的减少时间序列数据传输量方法，其特征在于，所述预测模型的预测方法包括LSTM，线性回归，周期因子法，时间卷积网络，BP神经网络。

5.如权利要求1所述的基于预测和云边协同的减少时间序列数据传输量方法，其特征在于，所述预测模型训练位置包括边缘端和云端。

6.如权利要求1所述的基于预测和云边协同的减少时间序列数据传输量方法，其特征在于，所述预测模型训练位置包括数据发送方和数据接收方。

7.如权利要求1所述的基于预测和云边协同的减少时间序列数据传输量方法，其特征在于，所述预测模型使用的传输协议包括wifi，蓝牙，MQTT，MQTT+，5G，NB-IoT，ZigBee，LTE，MQTT-SN。

8.如权利要求1所述的基于预测和云边协同的减少时间序列数据传输量方法，其特征在于，所述数据传输使用的传输协议包括wifi，蓝牙，MQTT，MQTT+，5G，NB-IoT，ZigBee，LTE，MQTT-SN。

Images