CN114640695B - 一种智能工厂基于长序列双预测和informer的高频时序数据有效传输方法 - Google Patents

Abstract

本发明公开了一种智能工厂基于长序列双预测和informer的高频时序数据有效传输方法，涉及智能制造领域，所述方法首先搭建云边协同长序列双预测架构，然后在该架构的边缘网关和云服务器部署训练好的长序列预测模型，最后采用长序列双预测方法在线地减少高频数据的传输量，并保证数据的精度。本发明改进了传统双预测方法的结构，通过长序列预测降低了预测模型的推理次数，从而大大提高了传统方法的适用频率，使其用于降低智能制造过程中所需要高频数据的传输量成为可能。同时，引入并结合最新深度学习模型informer解决了长序列预测带来的梯度消失和模型推理时间激增的问题，从而进一步提高了所提长序列双预测方法的传输量减少比例和适用频率。

Description

一种智能工厂基于长序列双预测和informer的高频时序数据有效传输方法

技术领域

本发明涉及智能制造领域，尤其涉及一种智能工厂基于长序列双预测和informer的高频时序数据有效传输方法。

背景技术

智能制造以实现工厂的数字化和智能化为目的。在这个过程中，云平台上部署了大量智能应用，这些应用需要底层传感器设备采集的大量在线时序数据的支持，如在线产品质量检测应用和实时设备运行状态评估应用等。这些数据通常包括振动，电流，电压等高频数据，它们具有在线，数据频率高，传输量大的特点。随着应用和传感器数量不断上升，这些高频数据的传输量变得十分巨大。以至于工厂中有限的带宽资源难以满足如此大规模，高密度，高频率的在线数据传输。必须降低它们的数据传输量以满足智能制造过程中对大规模高频数据的需求。同时，由于应用的结果与数据质量直接相关，必须保证数据的准确性。此外，以振动数据为例，其采样频率通常在1KHz以上，且均为在线的数据，算法必须要能够配合在线高频数据的采样频率。

最近两年减少在线时序数据传输量的方法主要分为两大类：非双预测方法和双预测方法。其中非双预测方法的方案无法保证数据精度。基于双预测方法的方案由于其双预测和确认机制，能够在降低数据传输量的同时保证其数据精度。在每个时间点，数据发送方和接收方都利用同样的输入数据和预测模型进行一次单点的时间序列预测，从而得到下一个时刻的同样的预测值。当下一个时刻来临，数据发送方采集到真实值后，将其与预测值进行比较。当且仅当它们的偏差大于阈值时，数据发送方向接受方发送真实值。对于在上述过程中使用的预测模型，已有的与本发明最相近似的实现方案采用的是单点预测的长短期记忆(LSTM)模型。

现有技术，主要有以下缺点：

1.非双预测方法的减少在线时序数据传输量的方案无法保证数据精度。

2.非深度学习的双预测方法预测精度低，只能适用于变化缓慢的低频率简单数据。

3.现有的双预测方法主要用于无线传感器领域，针对温湿度等采样频率低的数据。其特点为每个时间点都需要进行预测模型的推理。因此对于本技术背景中智能制造过程中普遍需要的高频的振动，电流，电压等数据，短时间内需要进行多次模型推理，使得模型推理速度难以满足要求。导致现有的双预测方法无法应用于所述高频数据。

4.现有最新双预测方法采用的是单点预测的LSTM模型。由于LSTM的串行结构，其在面对长序列数据时，存在梯度消失的问题，难以捕获远距离信息。从而导致其难以进行长序列预测，预测精度低使得传输量减少比例低。

5.现有最新双预测方法使用的LSTM是串行结构，严重影响了模型的推理速度。且其在长序列预测的模型推理过程中为了保证精度必须使用自回归，这使得模型的推理时间随着输出序列的长度呈直线增长。预测模型推理时间的上升，降低了所提长序列双预测方法的适用频率。

因此，本文针对上述问题，提出了一种长序列双预测方法，以在降低高频数据传输量的同时，保证其精度。所提方法将传统双预测方法一次预测一个时间点，每个时间点都进行预测，改进成一次预测多个时间点，隔多个时间点预测一次，从而减少了预测模型的推理次数，大大提高了传统方法的适用频率，使其用于降低智能制造过程中所需要的高频数据成为可能。同时，为了应对长序列预测带来的梯度消失和模型推理时间激增的问题，我们引入并结合了基于transformer的最新深度学习模型informer。该模型与最新的双预测方法使用的长短期记忆模型相比，能够通过注意力机制有效地捕获长距离时序信息，以满足所提长序列双预测方法对输入数据和预测数据的长度要求，保持长序列时序预测的准确性，从而增大所提方法的传输量减少比例。同时，利用该模型的概率稀疏自注意力机制，自注意力蒸馏方法，以及生成型解码器，大大降低了长序列双预测过程中预测模型推理时的计算复杂度，使其获得更快的推理速度，从而进一步提高了所提长序列双预测方法的适用频率。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是如何在降低高频数据传输量的同时，保证其精度。

为实现上述目的，本发明提供了一种智能工厂基于长序列双预测和informer的高频时序数据有效传输方法，其特征在于，所述方法首先搭建云边协同长序列双预测架构，然后在该架构的边缘网关和云服务器部署训练好的长序列预测模型后，最后采用长序列双预测方法在线地减少高频数据的传输量，并保证数据的精度。

进一步地，所述云边协同长序列双预测架构，主要包括以下步骤：

步骤S1：边缘网关采集传感器数据；

步骤S2：所述边缘网关对原始数据进行预处理；

步骤S3：所述边缘网关将预处理后的数据制作成数据集，并发送给所述云服务器；

步骤S4：所述云服务器利用所述数据集训练所述长序列预测模型；

步骤S5：所述云服务器将训练好的所述长序列预测模型同步到所述边缘网关；

步骤S6：边缘网关作为所述长序列双预测方法中的数据发送者通过所述长序列双预测方法向作为所述长序列双预测方法中的数据接收者的云服务器持续在线地传输高频数据。

进一步地，在所述步骤S4中，所述云服务器在接收到所述数据集后，将所述数据集划分为训练集，验证集，和测试集；然后设定所述长序列预测模型的超参数，利用所述训练集对所述长序列预测模型进行训练；将训练好的所述长序列预测模型在所述验证集上进行验证，得到各项评价指标；根据所述评价指标的好坏调整所述超参数再继续训练；最终获得效果满意的一组所述超参数以及所述超参数下训练好的所述长序列预测模型；所述超参数调整的过程可以人工进行，也可以使用自动机器学习工具，如微软的NNI，利用模拟退火等算法对所述超参数进行自动寻优；训练好的所述长序列预测模型可以在所述测试集上进行测试来预估其实际工作时的表；得到所述长序列预测最优模型后，对其进行保存，通常保存为.pkl文件。

进一步地，所述长序列双预测方法，主要包括以下步骤：

步骤T1：准备阶段时，所述数据发送方向所述数据接收方发送所有真实值，当该阶段发送真实值的数量达到所述长序列预测模型输入长度n后，进入预测阶段；

步骤T2：所述云服务器和所述边缘网关同时利用所述长序列预测模型，通过所述长序列预测机制得到下l个时刻数据的预测值；

步骤T3：所述边缘网关采集下一个时刻数据的原始值，并将其预处理得到该时刻的真实值；

步骤T4：所述边缘网关运行所述长序列确认机制，若该时刻真实值与预测值偏差大于阈值，则将真实值压入发送缓冲区；

步骤T5：重复步骤T3和步骤T4一次，然后所述边缘网关将所述发送缓冲区中的所有真实值打包发送给所述云服务器；

步骤T6：所述边缘网关和所述云服务器同时运行所述长序列还原机制得到该l个时刻的最终值；

步骤T7：滑动窗口在最终值上滑动l个时刻，得到新的所述长序列预测模型输入数据，然后转步骤T2。

进一步地，在所述步骤T6中，所述边缘网关和所述云服务器同时运行所述长序列还原机制获得该周期内的最终值；对于所述边缘网关而言，其在n+l时刻，可以直接从所述发送缓冲区中得到该周期内所有需要发送的真实值x(n+2)，然后其将对应的n+2时刻的预测值

覆盖成真实值x(n+2)即可获得该周期的最终值

且所有最终值与真实值的偏差均是小于阈值α的；对于所述云服务器而言，其在n+l时刻收到边缘网关发送过来该周期内所有偏差大于阈值时刻的真实值x(n+2)后，将其覆盖到该周期内与之对应时刻的预测值上后，可以得到相同的最终值

所有最终值与真实值的偏差均是小于阈值的；通过所提方法，在整个周期采集的l个真实值中，仅仅传输了预测偏差大于阈值的1个时刻的值，同时最终还原出来的该周期内的所有最终值的误差均是小于设定阈值α的；既减少了数据传输量，又保证了数据的精度；同时，由于整个周期的l个时刻中，预测模型仅需要推理1次，将现有双预测方法的适用频率提升l倍。

进一步地，所述长序列预测模型，主要包括以下步骤：

步骤M1:将包括值和时间戳的X_en输入到编码器；

步骤M2:在编码器中，通过多头概率稀疏自注意力和自注意力蒸馏后得到融合特征图，并输出到解码器；

步骤M3:将由X_token和X₀组成的X_de输入到所述解码器；

步骤M4:在所述解码器中，通过掩码多头概率稀疏自注意力和多头注意力得到所述编码器输出；

步骤M5:所述编码器输出连接到全连接层，由所述全连接层一次性得到最终输出，即长序列预测值。

进一步地，在所述步骤M4中，当所述X_de进入解码器后，先通过所述掩码多头概率稀疏自注意力，然后通过多所述头注意力，最后得到所述编码器输出；所述掩码多头概率稀疏自注意力与所述多头概率稀疏自注意力的区别在于其掩盖了未来时刻的信息以防止未来信息的泄露；后面多头注意力的Q，K，V来源不同，Q来自于解码器中所述掩码多头概率稀疏自注意力的输出，而K，V来自于所述编码器的输出。

进一步地，在所述步骤M2中，所述概率稀疏自注意力机制的具体流程如下：

步骤N1：获取张量

步骤N2：设置超参数c，u＝clnm，U＝mlnn；

步骤N3：从K中随机选取U个点积对作为

步骤N4：设置样本得分

步骤N5：按行计算测量值

步骤N6：设置M下的Top-u query集为

步骤N7：设置

步骤N8：设置S₀＝mean(V)；

步骤N9：按其原始行数对应地设置S＝{S₁,S₀}；

步骤N10：输出概率稀疏自注意力特征图S。

进一步地，所述自注意力蒸馏的具体方式为卷积加最大池化；通过卷积层和最大池化层来缩短序列长度。

进一步地，在所述步骤M2中，通过多个所述多头稀疏自注意力和所述自注意力蒸馏的叠加，最终编码器输出所述融合特征图到解码器的多头注意力。

本发明具有如下技术效果：

1.针对现有双预测方法无法适用于智能制造中普遍需要的高频数据的问题。通过提出一种新的长序列双预测方法，实现在降低高频数据传输量的同时，保证其精度。所提方法将传统双预测方法一次预测一个时间点，每个时间点都进行预测，改进成一次预测多个时间点，隔多个时间点预测一次，从而减少了预测模型的推理次数，大大提高了传统方法的适用频率，使其用于降低智能制造过程中所需要的高频数据成为可能。

2.为了应对长序列预测带来的梯度消失问题，我们引入了attention机制，并融合了基于transformer的最新深度学习模型informer。该模型与现有最新的双预测方法使用的LSTM模型相比，能够通过注意力机制有效地捕获长距离时序信息，以满足所提长序列双预测方法对输入数据和预测数据的长度要求，保持长序列时序预测的准确性，从而增大所提方法的传输量减少比例。

3.为了应对长序列预测带来的模型推理时间激增的问题，我们引入了概率稀疏自注意力机制，自注意力蒸馏方法，以及生成型解码器。与现有最新的双预测方法使用的LSTM模型相比，大大降低了长序列双预测过程中预测模型推理时的计算复杂度，提高了模型推理速度，从而进一步提高了所提长序列双预测方法的适用频率。

以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。

附图说明

图1是本发明的一个较佳实施例的云边协同长序列双预测架构；

图2是本发明的一个较佳实施例的长序列双预测方法；

图3是本发明的一个较佳实施例的长序列预测模型。

具体实施方式

以下参考说明书附图介绍本发明的多个优选实施例，使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现，本发明的保护范围并非仅限于文中提到的实施例。

在附图中，结构相同的部件以相同数字标号表示，各处结构或功能相似的组件以相似数字标号表示。附图所示的每一组件的尺寸和厚度是任意示出的，本发明并没有限定每个组件的尺寸和厚度。为了使图示更清晰，附图中有些地方适当夸大了部件的厚度。

本发明所提出的一种智能工厂基于长序列双预测和informer的高频时序数据有效传输方法有效传输方法，包括以下步骤：

步骤一：云边协同长序列双预测架构：本发明提出了一种如图1所示的云边协同长序列双预测架构，主要包括以下步骤：

S1，边缘网关采集传感器数据。

S2，边缘网关对原始数据进行预处理。

S3，边缘网关将预处理后的数据制作成数据集，并发送给云服务器。

S4，云服务器利用数据集训练步骤三中所提长序列预测模型。

S5，云服务器将训练好的预测模型同步到边缘网关。

S6，边缘网关作为步骤二所提长序列双预测方法中的数据发送者通过所提长序列双预测方法向作为所提长序列双预测方法中的数据接收者的云服务器持续在线地传输高频数据。

具体地，如图1所示，本步骤搭建了云边协同长序列双预测架构。该架构结合云服务器计算能力更强的特点，在云服务器上训练步骤三所提长序列预测模型。同时充分利用边缘网关的计算能力，收集数据并对其进行预处理。在云服务器和边缘网关同步好训练后的预测模型后，协同配合实现步骤二所提的长序列双预测方法。在减少高频数据传输量的同时，保证其精度。下面详细地阐述各个步骤。

S1，智能制造过程中，实时智能应用需要底层传感器不断采集设备的振动，电流，电压等高频数据。这些传感器将物理世界的模拟信号转换为特定范围内的电平，然后通过高速ADC模块转换成数字信号。这些数字信号通过连接边缘网关对应接口如并口的有线高速线缆传输到边缘网关。网关通过相应的驱动和对应的传输协议解码获得原始数据。

S2，当边缘网关获得这些高频时序数据的原始值后，在线地对这些数据进行预处理。包括异常值处理，时间戳添加，重采样，归一化等。常见的异常值是因为在数据传输过程中会存在数据位丢失，导致原始值的位数缩短或因为黏连增长。一种简答的处理方式是根据先验知识拆分和填补，或使用平均值滤波，由于是在线处理，滤波公式为x_i+2＝2x_i+1-x_i。时间戳添加是所有时序数据必需的，以标记数据采集时间。尤其是对于高频数据，可以防止数据丢失导致的数据错位。同时，时间戳也是步骤三所提长序列预测模型的输入。重采样是为了调整数据的原始采样频率，使其满足上层应用的具体要求。归一化是为了规范数据值的范围，最小最大归一化公式为

原始值经过预处理后变成带时间戳的真实值。

S3，边缘网关在线采集数据并预处理后，将其写入数据集文件中，通常为.csv文件。当数据条数达到足够数量后，将数据集文件发送给云服务器。

S4，云服务器在接收到数据集后，将数据集划分为训练集，验证集，和测试集。然后设定步骤三所提模型的超参数，利用训练集对模型进行训练。将训练好的模型在验证集上进行验证，得到各项评价指标。根据评价指标的好坏调整模型超参数再继续训练。最终获得效果满意的一组超参数以及该超参数下训练好的预测模型。超参数调整的过程可以人工进行，也可以使用自动机器学习工具，如微软的NNI，利用模拟退火等算法对超参数进行自动寻优。训练好的模型可以在测试集上进行测试来预估其实际工作时的表现。得到最优模型后，对其进行保存，通常保存为.pkl文件。

S5，云服务器将保存的最优预测模型的模型文件发送给边缘网关。当边缘网关和云服务器都有模型文件后，加载该预测模型。

S6，当边缘网关和云服务器成功加载训练好相同的预测模型后。边缘网关作为步骤二所提长序列双预测方法的数据发送方，向作为接收方的云服务器持续在线地发送高频数据。其中边缘网关运行长序列预测机制得到预测值，并通过长序列确认机制将其与在线采集的真实值进行比较，确认需要发送的真实值并将其发送给云服务器。然后通过长序列还原机制得到最终值，再通过滑动窗口得到下一个周期的模型输入，并进入下一个周期。而云服务器也是同步地运行长序列预测机制得到相同的预测值，接收边缘网关发送的真实值后，通过长序列还原机制得到最终值，并通过滑动窗口得到下一个周期的模型输入，进入下一个周期。具体细节将在步骤二中进一步描述。

步骤二：长序列双预测方法：本发明提出了一种如图2所示的长序列双预测方法，主要包括以下步骤：

S1，准备阶段时，数据发送者向数据接收者发送所有真实值，当该阶段发送真实值的数量达到步骤三所提长序列预测模型输入长度n后，进入预测阶段。

S2，云服务器和边缘网关同时利用步骤三所提长序列预测模型，通过所提长序列预测机制得到下l个时刻数据的预测值。

S3，边缘网关采集下一个时刻数据的原始值，并将其预处理得到该时刻的真实值。

S4，边缘网关运行长序列确认机制，若该时刻真实值与预测值偏差大于阈值，则将真实值压入发送缓冲区。

S5，重复S3和S4 l次，然后边缘网关将发送缓冲区中的所有真实值打包发送给云服务器。

S6，边缘网关和云服务器同时运行长序列还原机制得到该l个时刻的最终值。

S7，滑动窗口在最终值上滑动l个时刻，得到新的所提长序列预测模型输入数据，然后转S2。

具体地，当边缘网关和云服务器都成功部署训练好的步骤三所提长序列预测模型后，即可采用长序列双预测方法在线地减少高频数据的传输量，并保证数据的精度。其主要是通过在数据发送方和数据接收方同时进行长序列双预测。然后由发送方比较采集到的真实值和预测值，在周期结束时，向接收方发送误差超过阈值的数据，并最终利用预测值和真实值还原出最终值。该方法能够适用于高频数据，减少数据传输量，同时保证最终值的误差均小于阈值。下面详细地阐述各个步骤。

S1，由于步骤三所提预测模型需要输入n个时刻的数据，所以在前n个时刻，还没有足够多的数据被输入到预测模型中，模型无法进行预测，此时为准备阶段。在该阶段，数据发送者需要向接收者发送所有的真实值，直到接收者获得n个时刻的数据，足以进行模型预测后，方法进入预测阶段。

S2，进入预测阶段后，以l个时刻为一个周期，下面以第一个周期为例。在周期的一开始，也就是n+1时刻，云服务器和边缘网关便可以利用准备好的模型输入数据x(1),x(2),...x(n)，通过训练好的步骤三所提长序列预测模型预测获得下l个时刻的预测值

由于边缘网关和云服务器上的模型和模型输入都是相同的，且模型不使用dropout等会带来随机性的方法，所以它们得到的预测值也是相同的。

S3，边缘网关同时一直在采集数据，当其采集到n+1时刻的原始值后，利用步骤一S2所提方法将其在线的预处理成真实值x(n+1)。

S4，边缘网关运行长序列确认机制。即当预测模型完成推理，获得该周期内所有时刻的预测值

后，比较n+1时刻预测值

和真实值x(n+1)的绝对误差的大小。如果绝对误差大于设定的阈值α，即当

时，则将真实值x(n+1)压入边缘网关的发送缓冲区。如果

则不需要进行任何操作。

S5，随着边缘网关不断采集数据，在整个周期内，即n+1到n+l这l个时刻，在每个时刻进行一次S3和S4。最终，在n+l时刻，将边缘网关发送缓冲区中该周期内压入的所有真实值打包发送给云服务器。图中假设该周期内只有n+2时刻的真实值与预测值的偏差大于阈值，则最终将发送x(n+2)给云服务器。

S6，边缘网关和云服务器同时运行长序列还原机制获得该周期内的最终值。对于边缘网关而言，其在n+l时刻，可以直接从其发送缓冲区中得到该周期内所有需要发送的真实值x(n+2)，然后其将对应的n+2时刻的预测值

覆盖成真实值x(n+2)即可获得该周期的最终值

且所有最终值与真实值的偏差均是小于阈值α的。对于云服务器而言，其在n+l时刻收到边缘网关发送过来该周期内所有偏差大于阈值时刻的真实值x(n+2)后，将其覆盖到该周期内与之对应时刻的预测值上后，可以得到相同的最终值

所有最终值与真实值的偏差均是小于阈值的。通过所提方法，在整个周期采集的l个真实值中，仅仅传输了预测偏差大于阈值的1个时刻的值，同时最终还原出来的该周期内的所有最终值的误差均是小于设定阈值α的。既减少了数据传输量，又保证了数据的精度。同时，由于整个周期的l个时刻中，预测模型仅需要推理1次。对于同样推理时间为t的预测模型，传统双预测方法仅能适用于频率为

的数据，而所提长序列双预测方法能适用于频率为

的数据，将现有双预测方法的适用频率提升l倍。

S7，当边缘网关和云服务器还原出该周期的最终值后，将其附加到之前所有的最终值上，准备阶段的最终值即x(1),x(2),...x(n)，附加后当前所有的最终值为

然后长度为n的滑动窗口在最终值上滑动l个时刻取得下一个周期预测模型的输入

然后转S2，进入下一个周期。

步骤三：长序列预测模型：本发明提出了一种如图3所示的长序列预测模型，主要包括以下步骤：

S1，将包括值和时间戳的X_en输入到编码器。

S2，在编码器中，通过多头概率稀疏自注意力和自注意力蒸馏后得到融合特征图，并输出到解码器。

S3，将由X_token和X₀组成的X_de输入到解码器。

S4，在解码器中，通过掩码多头概率稀疏自注意力和多头注意力得到编码器输出。

S5，编码器输出连接到全连接层，由全连接层一次性得到最终输出，即长序列预测值。

具体地，为了实现步骤二所提长序列双预测方法需要的长序列时序预测，本发明提出了如图3所示的长序列预测模型。其中，为了应对长序列预测带来的梯度消失导致预测准确度下降，从而导致步骤二所提方法传输量减少比例下降的问题，所提模型引入了attention机制。相较于现有方法采用的LSTM模型的串行结构，attention机制采用并行结构。对其而言，输入数据所有时刻的距离都为1，不存在梯度消失的问题，因此能够大大提高长序列预测的准确度，从而进一步大幅提高了步骤二所提方法的传输量减少比例。同时，对于长序列预测带来推理速度变慢，从而导致步骤二所提方法适用频率下降的问题。与现有方法的串行结构相比，attention机制的并行结构也将大大提高推理速度。在此基础上，本发明还引入了概率稀疏自注意力和自注意力蒸馏来降低模型的计算复杂度，并引入生成型解码器大大提高了模型进行长序列预测时的推理速度，从而进一步大幅提高了步骤二所提方法的适用频率。在步骤二所提的长序列双预测方法中，每一个周期的开始，都会进行一次步骤三所提长序列预测模型的推理，下面详细地阐述各个步骤。

S1，首先，将包括值和时间戳的X_en输入到编码器。这里的X_en即为步骤二中所提预测模型输入，在第一个周期，为x(1),x(2),...x(n)。

S2，当X_en输入到模型后，在编码器中，其先通过多头稀疏自注意力，然后通过自注意力蒸馏，最后获得融合特征图，输出到解码器中。多头概率稀疏自注意力与现有transformer中的多头自注意力的不同点在于，现有的自注意力机制其计算复杂度为O(n²)，而所提概率稀疏自注意力机制的计算复杂度为O(n·lnn)，这缓解了随着输入序列长度变长而引起的计算复杂度激增的问题。所提概率稀疏自注意力机制的具体流程如下：

1.获取张量

2.设置超参数c，u＝clnm，U＝mlnn。

3.从K中随机选取U个点积对作为

4.设置样本得分

5.按行计算测量值

6.设置M下的Top-u query集为

7.设置

8.设置S₀＝mean(V)。

9.按其原始行数对应地设置S＝{S₁,S₀}。

10.输出概率稀疏自注意力特征图S。

自注意力蒸馏的具体方式为卷积加最大池化。通过卷积层和最大池化层来缩短序列长度。通过多个多头稀疏自注意力和自注意力蒸馏的叠加，最终编码器输出融合特征图到解码器的多头注意力。

S3，将由X_token和X₀组成的X_de输入到解码器。其中，X_token默认为X_en的后半段，X₀的时间戳为需要预测的l个时刻的时间戳，值全部填充为0。

S4，当X_de进入解码器后，先通过掩码多头概率稀疏自注意力，然后通过多头注意力，最后得到编码器输出。掩码多头概率稀疏自注意力与多头概率稀疏自注意力的区别在于其掩盖了未来时刻的信息以防止未来信息的泄露。后面多头注意力的Q，K，V来源不同，Q来自于解码器中掩码多头概率稀疏自注意力的输出，而K，V来自于编码器的输出。

S5，编码器输出作为全连接层的输入，最后由全连接层一次性输出得到最终结果，即长序列预测值。由于不使用自回归结构，而是一次性输出所有预测值，所以速度大幅提升。同时，由于编码器和解码器的输入都利用了时序数据的时间戳信息，所以同时能够保证预测的精度。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (4)

1.一种智能工厂基于长序列双预测和informer的高频时序数据有效传输方法，其特征在于，所述方法首先搭建云边协同长序列双预测架构，然后在该架构的边缘网关和云服务器部署训练好的长序列预测模型，最后采用长序列双预测方法在线地减少高频数据的传输量，并保证数据的精度；

其中，所述云边协同长序列双预测架构，主要包括以下步骤：

步骤S1：边缘网关采集传感器数据；

步骤S2：所述边缘网关对原始数据进行预处理；

其中，所述预处理包括异常值处理，时间戳添加，重采样，归一化；所述异常值处理根据先验知识拆分和填补，或使用平均值滤波，滤波公式为x_i+2＝2x_i+1-x_i；所述时间戳添加用于标记数据采集时间；对于高频数据，所述时间戳添加防止数据丢失导致的数据错位；所述时间戳也是所述长序列预测模型的输入；所述重采样是为了调整数据的原始采样频率，使其满足上层应用的具体要求；所述归一化是为了规范数据值的范围，最小最大归一化公式为

步骤S3：所述边缘网关将预处理后的数据制作成数据集，并发送给所述云服务器；

步骤S4：所述云服务器利用所述数据集训练所述长序列预测模型；

步骤S5：所述云服务器将训练好的所述长序列预测模型同步到所述边缘网关；

步骤S6：边缘网关作为所述长序列双预测方法中的数据发送者通过所述长序列双预测方法向作为所述长序列双预测方法中的数据接收者的云服务器持续在线地传输高频数据；

进入预测阶段后，以l个时刻为一个周期，在周期的一开始，也就是n+1时刻，云服务器和边缘网关利用准备好的数据x(1),x(2),...x(n)，通过训练好的所述长序列预测模型预测获得下l个时刻的预测值

在所述步骤S6中，当所述边缘网关和所述云服务器成功加载训练好的相同的所述长序列预测模型后，所述边缘网关作为所述长序列双预测方法的数据发送方，向作为接收方的所述云服务器持续在线地发送高频数据；

其中，所述长序列双预测方法，主要包括以下步骤：

步骤T1：准备阶段时，所述数据发送方向所述数据接收方发送所有真实值，当该阶段发送真实值的数量达到所述长序列预测模型输入长度n后，进入预测阶段；

步骤T2：所述云服务器和所述边缘网关同时利用长序列预测模型，通过所述长序列预测机制得到下l个时刻数据的预测值；

步骤T3：所述边缘网关采集下一个时刻数据的原始值，并将其预处理得到该时刻的真实值；

步骤T4：所述边缘网关运行长序列确认机制，若该时刻真实值与预测值偏差大于阈值，则将真实值压入发送缓冲区；

步骤T5：重复步骤T3和步骤T4 l次，然后所述边缘网关将所述发送缓冲区中的所有真实值打包发送给所述云服务器；

步骤T6：所述边缘网关和所述云服务器同时运行长序列还原机制得到该l个时刻的最终值；

步骤T7：滑动窗口在最终值上滑动l个时刻，得到新的所述长序列预测模型输入数据，然后转步骤T2；

在所述步骤T6中，所述边缘网关和所述云服务器同时运行所述长序列还原机制获得该周期内的最终值；

所述长序列预测模型，包括以下步骤：

步骤M1:将包括值和时间戳的X_en输入到编码器；

步骤M2:在编码器中，通过多头概率稀疏自注意力和自注意力蒸馏后得到融合特征图，并输出到解码器；

步骤M3:将由X_token和X₀组成的X_de输入到所述解码器；

步骤M4:在所述解码器中，通过掩码多头概率稀疏自注意力和多头注意力得到所述编码器输出；

步骤M5:所述编码器输出连接到全连接层，由所述全连接层一次性得到最终输出，即长序列预测值；

其中，所述步骤M4中，当所述X_de进入解码器后，先通过所述掩码多头概率稀疏自注意力，然后通过多所述头注意力，最后得到所述编码器输出；所述掩码多头概率稀疏自注意力与所述多头概率稀疏自注意力的区别在于其掩盖了未来时刻的信息以防止未来信息的泄露；后面多头注意力的Q，K，V来源不同，Q来自于解码器中所述掩码多头概率稀疏自注意力的输出，而K，V来自于所述编码器的输出。

2.如权利要求1所述的智能工厂基于长序列双预测和informer的高频时序数据有效传输方法，其特征在于，在所述步骤M2中，所述概率稀疏自注意力机制的具体流程如下：

步骤N1：获取张量

步骤N2：设置超参数c，u＝clnm，U＝mlnn；

步骤N3：从K中随机选取U个点积对作为

步骤N4：设置样本得分

步骤N5：按行计算测量值

步骤N6：设置M下的Top-u query集为

步骤N7：设置

步骤N8：设置S₀＝mean(V)；

步骤N9：按其原始行数对应地设置S＝{S₁,S₀}；

步骤N10：输出概率稀疏自注意力特征图S。

3.如权利要求2所述的智能工厂基于长序列双预测和informer的高频时序数据有效传输方法，其特征在于，在所述步骤M2中，所述自注意力蒸馏的具体方式为卷积加最大池化；通过卷积层和最大池化层来缩短序列长度。

4.如权利要求3所述的智能工厂基于长序列双预测和informer的高频时序数据有效传输方法，其特征在于，在所述步骤M2中，通过多个所述多头概率稀疏自注意力和所述自注意力蒸馏的叠加，最终编码器输出所述融合特征图到解码器的多头注意力。

Images