CN115879569B - 一种IoT观测数据的在线学习方法及*** - Google Patents

Abstract

本发明提出了一种IoT观测数据的在线学习方法及***，涉及数据处理技术领域，根据获取的初始时序观测数据，初始化在线深度学习模型；实时获取传感器生成的时序观测数据，根据时序观测数据形成输入数据流；在线深度学习模型处理输入数据流，生成最终预测结果；在处理输入数据流的过程中，对输入数据流进行即时学习，实时动态更新在线深度学习模型；即时学习，是基于数据流的均值和方差，学习数据分布，构造准正态分布，重构新的样本，实现变分注意力网络，基于分布差异、重构差异和推理差异，进行模型的动态调整；本发明学习不同隐藏层之间的隐藏信息，提高模型推理的准确性，同时通过在线学习，对不同隐藏层间的参数进行动态调整。

Description

一种IoT观测数据的在线学习方法及***

技术领域

本发明属于数据处理技术领域，尤其涉及一种IoT观测数据的在线学习方法及***。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

近年来，随着物联网（Internet of Things，简称IoT）的高速发展，各种类型的物联网传感器也变得越来越普遍；与此相对应，物联网传感器产生的时间序列观测数据呈指数级增长，对这些数据的实时智能分析在智能环境监测、工业监测、数据中心监测等应用领域显得尤为迫切和必要。

随着人工智能的快速发展，在上述应用领域，需要从数据中精确地挖掘知识；深度学习（DL）具有强大的非线性建模能力和逐层提取抽象特征的能力，在对各种数据形态进行建模方面取得了巨大成功，例如，图像、自然语言、语音、生物信号等；因此，大量的深度学习模型被不断提出，并在物联网数据建模中被验证其有效性。

需要指出的是，深度学***稳数据，其概率分布会随着时间的推移而发生变化，从而导致"概念漂移"问题，概念漂移指的是数据分布随时间发生变化，导致原有的预测器或模型无法继续准确地预测新数据的趋势或属性。在数据流预测领域，概念漂移是一个重要的挑战，因为它会对模型的准确性和效果造成影响。

在概念漂移的情况下，如何获得相对稳定的推理性能是非常重要的，为此一些与概念漂移问题相关的研究被不断地讨论和探索；虽然各种基于人工智能的时间序列预测模型已经得到了广泛的研究和应用，但是这些模型对具有概念漂移的物联网数据流的预测是不可靠的，并且会导致整体性能的下降；如何有效地从非平稳数据流中进行学习和推理仍然是一个很大的挑战，特别是，如何调整模型以适应概念漂移是很多研究者关注并试图解决的问题，近年来，结合深度学习的方法解决上述问题取得了较好的效果，尽管如此，这些研究还是有一定的局限性，特别是它们对解决某些类型的概念漂移模式往往只做出有限的假设；因此，目前还缺乏合适的方法和理论来有效地处理概念漂移问题而不影响最终结果的准确性与可靠性。

如上所述，离线训练的深度学习模型无法很好地适应具有演进分布的数据流，即使周期性地更新模型，将新知识"注入"到模型中，两次相邻更新之间的数据仍必须面对性能下降的问题；物联网数据的采样率越高，采用这种模型更新策略时性能下降的问题就越严重；此外，这些模型的表达能力还受到其预定义的固定结构的限制；因此，该模型将无法学习未来数据可能具有的极其复杂的模式；当前方法中的上述问题将导致累积偏差决策，由于流数据分析遵循"一遍处理"的方案，每个数据点仅处理一次而不进一步检查，因此此类错误可能会被不断放大并且无法修复，这将会导致连锁反应，对智慧海洋、智慧城市、智能数据中心等物联网监控***产生潜在的重大不良影响，甚至危及整体***运行。

对于时间序列预测，主要的方法大致分为两类，即基于统计的模型和基于深度学***滑数据的预测非常好，前提是时间序列数据趋势是一致的，并且不发生变化；例如ARIMA模型及统计机器学习方法GBDT、GBRT等，这些模型需要进行大量的数据预处理和劳动密集型的特征工程，因此无法捕捉时间序列中的复杂模式。

基于深度学习的模型在时间序列数据预测领域的突出表现越来越受到关注，例如，基于RNN的模型、seq2seq和LSNET已被证明可有效捕获短期或长期模式；与上述模型相比，最近提出的基于Transformer的模型在长序列中表现出更优异的性能，然而，基于Transformer的模型仍需依赖于丰富的数据来优化其具体参数，无法满足具有概念漂移的流数据的准确推理预测；上述方法，非但无法有效解决概念漂移问题，同样无法解决模型的冷启动问题。

发明内容

为克服上述现有技术的不足，本发明提供了一种IoT观测数据的在线学习方法及***，学习不同隐藏层之间的隐藏信息，提高模型推理的准确性，同时通过在线学习，对不同隐藏层间的参数进行动态调整，解决概念漂移问题和冷启动问题，使模型能够随着时间的推移对数据进行不断且精准地学习和更新，从而更好地适应不断变化的数据特征和模式，保证模型的性能和准确度始终保持在最优状态。

为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：

本发明第一方面提供了一种IoT观测数据的在线学习方法；

一种IoT观测数据的在线学习方法，包括：

根据获取的初始时序观测数据，初始化在线深度学习模型；

实时获取传感器生成的时序观测数据，根据时序观测数据形成输入数据流；

所述在线深度学习模型处理输入数据流，以生成并输出最终预测结果；

在处理输入数据流的过程中，对输入数据流进行即时学习，实时动态更新在线深度学习模型；

所述即时学习，是基于数据流的均值和方差，学习数据分布，构造准正态分布，重构新的样本，实现变分注意力网络，基于分布差异、重构差异和推理差异，进行模型的动态调整。

进一步的，所述在线深度学习模型，包括编码器、解码器和结果融合模块，以数据流为输入，输出对下一时刻数据值的预测。

进一步的，所述编码器，执行两部分操作：

（1）提取隐藏层间的隐藏信息，输入到结果融合模块，进行最终预测值的计算；

（2）以标准正态分布作为目标，编码隐藏信息，通过重参数化设置，输出满足准正态分布的均值

与标准差/>

。

进一步的，所述解码器，从编码器生成的准正态分布中，随机选择样本，输出与数据流的原始特征结构一致的数据。

进一步的，所述结果融合模块，将编码器提取的多个特征进行加权融合，得到当前预测值；

其中，权重用于动态调整每个隐藏层的贡献度，通过变分注意力网络，在每次输入样本处理后，实时计算每个隐藏层的权重。

进一步的，所述变分注意力网络，根据编码器中每个隐藏层之间的关系以及每个子结构的必要程度，计算每个隐藏层的权重。

进一步的，所述在线深度学习模型的损失函数包括：

重构损失，衡量真实值和重构值之间的差异；

KL损失，衡量准正态分布与标准正态分布之间的差异；

预测损失，衡量真实值与当前预测值之间的差异；

通过三个损失的加权融合，衡量最终预测值与真实值之间的差异。

本发明第二方面提供了一种IoT观测数据的在线学习***。

一种IoT观测数据的在线学习***，包括初始化模块、获取模块、预测模块和学习模块：

初始化模块，被配置为：根据获取的初始时序观测数据，初始化在线深度学习模型；

获取模块，被配置为：实时获取传感器生成的时序观测数据，根据时序观测数据形成输入数据流；

预测模块，被配置为：所述在线深度学习模型处理输入数据流，以生成并输出最终预测结果；

学习模块，被配置为：在处理输入数据流的过程中，对输入数据流进行即时学习，实时动态更新在线深度学习模型；

所述即时学习，是基于数据流的均值和方差，学习数据分布，构造准正态分布，重构新的样本，实现变分注意力网络，基于分布差异、重构差异和推理差异，进行模型的动态调整。

本发明第三方面提供了计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本发明第一方面所述的一种IoT观测数据的在线学习方法中的步骤。

本发明第四方面提供了电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本发明第一方面所述的一种IoT观测数据的在线学习方法中的步骤。

以上一个或多个技术方案存在以下有益效果：

本发明设计了一种自适应在线深度学习模型，用于对物联网传感器的时间序列数据流进行实时学习；该模型能够从浅层网络开始，收敛速度更快，对具有概念漂移的物联网观测数据有较高泛化能力，可以随着观测时间序列数据的变化而自动演化，并且能够灵活调整模型复杂度和表示能力，有效解决物联网观测数据流中的概念漂移问题，同时所提出的模型可以直接应用以冷启动方式处理数据流；在基准数据集以及监控***收集的数据上进行了相关验证，结果表明在线深度学习模型相对于传统方法能够明显提高推理结果的实时准确性。

本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1为第一个实施例的方法流程图。

图2为第一个实施例的在线深度学习模型的结构图。

图3为第一个实施例的在线学习运行机制的示意图。

图4为第一个实施例的推理网络各层权重的演化示意图。

图5为第二个实施例的***结构图。

具体实施方式

下面结合附图与实施例对本发明作进一步说明。

为了解决概念漂移问题而不影响最终结果的准确性与可靠性，需要对数据流采取快速和实时学习的方法，这种方法通常被称为"在线学习"或"终身学习"，在线学习是一种时序数据流的学习方式，现有方案多在训练速度和推理速度上存在不足，不能真正实现实时性，影响在线学习的效果，本发明所做的工作即是为了解决这一问题。对于深度学习模型，可以简单地周期性地更新其参数，然而，这种方法具有以下缺点：

一、只注重于在线多任务之间不同参数的调整，而忽略了不同隐藏层参数的重要性，即不能灵活调整模型。

二、无法调整模型复杂度，即无法进行模型选择，在线学习环境中，需要一个模型来从浅到深地学习数据流，从而克服在数据量较少时（冷启动阶段）的过拟合问题和在数据量较大时的欠拟合问题。

因此，本发明设计了一种在线学习方法，叫作“即时学习”，能够学习不同隐藏层之间的隐藏信息，满足模型最终的推理准确性，同时能满足不同隐藏层间参数的动态调整，实现模型的实时动态调整，与现有在线学习方法相比，提高训练速度和推理速度，真正能够实现实时性。

本发明的设计理念遵循如下现有的在线学习范式：

对于时序观测数据，

由传感器实时生成，其中，T表示数据个数，x _t表示第t时刻的数据，X表示具有无界T的流数据。在在线学习环境中，这个时间序列不是一次全部可用，而是以流的形式一个接一个进行处理的，对于每个时刻t，只有历史数据

是可以通过传感器得到的，但可以通过历史数据/>

来预测t时刻的数值为/>

，进而观察并揭示真实的值x _t。

进而，通过当前时刻t产生的真实的值与预测值的残差计算其瞬时损失；当然，对于具体的应用场景，时间序列

在当前时刻t的值，也可以以窗口的形式来预测；根据预测值/>

与相应真实值计算当前的瞬时损失：/>

该算法利用每个输入训练样本产生的损失和梯度迭代更新，通过对每个输入数据进行训练，可以满足并实现海量数据的在线训练。

目前现有的在线学习架构仅能实现“数据改进”，但本发明提出的架构还能够实现数据的生成，同时能够学习潜在变量的分布；通过构造准正态分布，学习其均值和方差，进而生成新的样本，并基于融合模块进行接下来的推理预测。

实施例一

在一个或多个实施方式中，公开了一种IoT观测数据的在线学习方法，图1是其方法流程图，如图1所示，包括如下步骤：

步骤S1：根据获取的初始时序观测数据，初始化在线深度学习模型。

步骤S2：实时获取传感器生成的时序观测数据，根据时序观测数据形成输入数据流。

步骤S3：所述在线深度学习模型处理输入数据流，以生成并输出最终预测结果。

步骤S4：在处理输入数据流的过程中，对输入数据流进行即时学习，实时动态更新在线深度学习模型，即时学习是基于数据流的均值和方差，学习数据分布，构造准正态分布，重构新的样本，实现变分注意力网络，基于分布差异、重构差异和推理差异，进行模型的动态调整。

下面对本实施例一种IoT观测数据的在线学习方法的实现过程进行详细说明。

图2是在线深度学习模型的结构图，如图2所示，在线深度学习模型，包括编码器、解码器和结果融合模块，以数据流为输入，输出对下一时刻数据值的预测。

编码器与结果融合模块连接，用于对预测数据值，而引入解码器，与编码器与结果融合模块相配合，用于对在线深度学习模型进行动态更新。

编码器

基于深度神经网络构建，有多个隐藏层组成，考虑到可用的计算能力，最大网络容量可以有k+1个隐藏层

，以数据流的形式一个样本接一个样本地进行多尺度学习，学习后的隐藏层有两部分功能：

（1）计算隐藏层的预测向量和注意力权重

为了充分利用编码器不同隐藏层中的信息，提取每个隐藏层中的隐藏信息，得到k+1个预测向量p _i，输入到结果融合模块中，通过加权融合，得到最终预测结果，其中，预测向量p _i的计算公式为：

其中，pred()是将隐藏层表示转化为局部预测的前馈网络，h _i表示第i个隐藏层。

为了实现在最终预测中动态调整每个隐藏层的贡献权重，设计一个能够满足上述需求的变分注意力网络，以学习隐藏层的注意力权重，即：

其中，attention()是具有Softmax函数的前馈网络，其主要负责计算每个隐藏层的权重，所有隐藏层的权重归一化为

，目的是确定整个模型中每个隐藏层之间的关系以及各子结构在最终预测中的必要程度。

为了实现模型的迭代更新，基于上述内容实现了重权重操作的重要技术，即实现权重的实时动态调整，通过重权重操作，所有隐藏层的权重在每次输入样本处理后重新计算并归一化，这将在每次迭代后完成。

（2）构造准正态分布

编码器尝试将样本携带的所有特征信息的分布转码为准正态分布，尽管准正态分布是以标准正态分布作为目标来编码的，但它通常不能被编码成标准正态分布（目标分布），这里称该标准正态分布为潜在分布；在该过程中，编码器直接输出满足准正态分布的均值

与标准差/>

作为编码结果，也即，在编码处理中生成的均值/>

与标准差/>

，不是通过均值或标准差定义来计算的，而是直接从编码器输出的。

为保证编码器输出的均值

与标准差/>

满足标准正态分布，在损失函数中设置惩罚项，一旦基于均值和标准差所反馈的准正态分布（实际分布）和标准正态分布（目标分布）有差异，该实施例模型将会受到惩罚机制的影响而做出进一步调整。

因此，在实际的算法操作流程中，编码器负责输出均值和标准差，损失函数确保平均值和标准差符合某种准正态分布，这就等价于将原始数据向准正态分布的方向编码，再输出该准正态分布的均值与标准差，并随机采样生成数据

进行后续的解码器操作。

与此同时，为保证采样数据

的概率分布符合输入样本，首先需要假设存在一个/>

关于X的后验概率P(Z|X)，并进一步假设这个概率分布是正态分布：/>

，那么采样数据/>

的概率分布P(Z)为：

因此，P(Z)先验分布和

后验分布都符合标准正态分布。

此外，从标准正态分布

中随机选择样本/>

，并将该样本输入解码器。由于这个过程中存在随机采样，使得架构中的梯度信息流是断裂的，反向传播无法通过传统的链式法则进行，因此，设计使用独特的重参数化技巧来完成该实施例模型的反向传播，以满足典型神经网络的特性。在重参数化中，该实施例采用随机抽样的方法生成一组满足正态分布的变量，从/>

中取样z，等同于从/>

中采样ε，然后令/>

，因此，可以应用梯度下降法；最后，解码器对z进行解码，并输出样本x的重构数据。

因此，在编码器的编码阶段，计算每个输入样本

的均值/>

与方差/>

，用来构造准正态分布。

解码器

从编码器生成的准正态分布中，随机选择样本，输出与数据流的原始特征结构一致的数据，即通过解码器复原原始输入的结构以生成新的数据样本

，期望从潜在变量空间采样的数据/>

遵循原始数据X的概率分布，使得从采样数据/>

产生的新数据

也遵循原始数据的概率分布，相对而言，本实施例潜在变量空间越大，就可以保留越多关于概率分布的信息。

结果融合模块

模型的最终预测是基于每个隐藏层的预测向量

，进行加权融合，得到最终的预测结果，即下一时刻的预测值，基于变分注意力机制的加权融合，具体为：

其中，

是从第i个隐藏层的表示中预测出来的，/>

是第i个隐藏层的权重，

是/>

的参数。

以上就是在线深度学习模型的构成，在构建好在线深度学习模型后，又分为两个流程：实时预测和在线学习。

图3是在线学习的示意图，如图3所示，在线学习是在数据流的样本一个接一个输入到线深度学习模型中进行处理的过程中，不断学习样本的特征，通过参数的变化，进而更新模型的参数，实现模型的动态实时调整，如图4所示，通过本实施例设置三个隐藏层作为验证发现，隐藏层-1、隐藏层-2和隐藏层-3的权重随着数据流样本数的增加不断发生变化，在不同阶段下各层之间的权重也在发生着变化，这更能说明本实施例在应对概念漂移问题时能动态准确地捕捉其变化；在学习的过程中，每个输入样本产生的损失和梯度迭代更新，通过对每个输入样本进行训练，满足并实现海量数据的在线训练，其中，损失采用损失函数量化，本实施例使用三个损失计算最终总损失：重构损失、KL损失和预测损失。

（1）预测损失

与传统的神经网络模型不同，该模型的预测不是来自最后一层的最终表示，最终的预测向量是通过对每个隐藏层得到的预测向量进行加权得到的，以保证绝对的高精度。

因此，对于流式IoT数据的观测，当前预测阶段时间t的预测损失Lt为：

其中，y是真实值，

是预测值，/>

代表t时刻的预测瞬时损失函数。

这里的预测损失函数可以是任意凸函数，本实施例使用均方损失函数（MSE），在原始反向传播中，误差导数是从最后一个输出层反向传播的，不同于原始的反向传播，误差导数从每个预测器pj反向传播，如：

/>

其中，

分别是t时刻和t+1时刻第j层网络的参数，/>

表示更新率，/>

表示梯度，/>

表示每一层的预测值，/>

表示当前时刻的损失。

根据上述等式计算各层参数的梯度，在时间t内，更新实施例模型第j层的参数，根据每层参数的梯度来计算最终预测；值得说明的是，当数据样本较小时，该模型可以通过快速学习隐藏信息的浅层网络实现快速收敛；随着数据的增加，使用变分注意力机制可以允许动态调整不同深度网络的

，从而符合模型容量的可扩展性。

（2）KL损失

KL损失（Kullback-Leibler Loss），用于衡量准正态分布与标准正态分布之间的差异，即均值

与方差/>

之间的差异。

给定具有已知均值

与方差/>

的维度k的隐变量空间，KL 损失定义为：

其中，

代表每个维度生成的均值和方差。

（3）重构损失

这里的重构损失使用标准的L2损失，即MSE，假设当有 n 个样本时，有原始值x和重构值

，重建损失定义为：

最后，为了增强模型的表达能力和预测精度，该实施例的总损失由以上三个损失函数组成，系数是

，具体为：

因此，在每一轮结束时，算法会根据接下来几轮的瞬时损失进行自我调整,这也解决了概念漂移场景下模型灵活性的问题。

实时预测，是数据流输入到在线深度学习模型中，经过编码器隐藏层的编码，得到每个隐藏层对应的预测向量，再对预测向量进行加权融合，得到最终的预测结果，即下一时刻的预测值。

实施例二

本实施例公开了一种IoT观测数据的在线学习***；

如图5所示，一种IoT观测数据的在线学习***，包括初始化模块、获取模块、预测模块和学习模块：

初始化模块，被配置为：根据获取的初始时序观测数据，初始化在线深度学习模型；

获取模块，被配置为：实时获取传感器生成的时序观测数据，根据时序观测数据形成输入数据流；

预测模块，被配置为：所述在线深度学习模型处理输入数据流，以生成并输出最终预测结果；

学习模块，被配置为：在处理输入数据流的过程中，对输入数据流进行即时学习，实时动态更新在线深度学习模型；

所述即时学习，是基于数据流的均值和方差，学习数据分布，构造准正态分布，重构新的样本，实现变分注意力网络，基于分布差异、重构差异和推理差异，进行模型的动态调整。

实施例三

本实施例的目的是提供计算机可读存储介质。

计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本公开实施例一所述的一种IoT观测数据的在线学习方法中的步骤。

实施例四

本实施例的目的是提供电子设备。

电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本公开实施例一所述的一种IoT观测数据的在线学习方法中的步骤。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种IoT观测数据的在线学习方法，其特征在于，包括：

根据获取的初始时序观测数据，初始化在线深度学习模型；

实时获取传感器生成的时序观测数据，根据时序观测数据形成输入数据流；

所述在线深度学习模型处理输入数据流，以生成并输出最终预测结果；

在处理输入数据流的过程中，对输入数据流进行即时学习，实时动态更新在线深度学习模型；

所述即时学习，是基于数据流的均值和方差，学习数据分布，构造准正态分布，重构新的样本，实现变分注意力网络，基于分布差异、重构差异和推理差异，进行模型的动态调整；

所述在线深度学习模型，包括编码器、解码器和结果融合模块，以数据流为输入，输出对下一时刻数据值的预测；

所述编码器，执行两部分操作：

（1）提取隐藏层间的隐藏信息，输入到结果融合模块，进行最终预测值的计算；

（2）以标准正态分布作为目标，编码隐藏信息，通过重参数化设置，输出满足准正态分布的均值

与标准差/>

；

所述构造准正态分布，具体为：

编码器尝试将样本携带的所有特征信息的分布转码为准正态分布，尽管准正态分布是以标准正态分布作为目标来编码的，但它通常不能被编码成标准正态分布，这里称该标准正态分布为潜在分布；在该过程中，编码器直接输出满足准正态分布的均值

与标准差/>

作为编码结果，也即，在编码处理中生成的均值/>

与标准差/>

，不是通过均值或标准差定义来计算的，而是直接从编码器输出的；

为保证编码器输出的均值

与标准差/>

满足标准正态分布，在损失函数中设置惩罚项，一旦基于均值和标准差所反馈的准正态分布和标准正态分布有差异，模型将会受到惩罚机制的影响而做出进一步调整；

因此，在实际的算法操作流程中，编码器负责输出均值和标准差，损失函数确保平均值和标准差符合某种准正态分布，这就等价于将原始数据向准正态分布的方向编码，再输出该准正态分布的均值与标准差，并随机采样生成数据

进行后续的解码器操作；

与此同时，为保证采样数据

的概率分布符合输入样本，首先需要假设存在一个/>

关于X的后验概率P(Z|X)，并进一步假设这个概率分布是正态分布：/>

，那么采样数据/>

的概率分布P(Z)为：

因此，P(Z)先验分布和

后验分布都符合标准正态分布；

此外，从标准正态分布

中随机选择样本/>

，并将该样本输入解码器；由于这个过程中存在随机采样，使得架构中的梯度信息流是断裂的，反向传播无法通过传统的链式法则进行，因此，设计使用独特的重参数化技巧来完成模型的反向传播，以满足典型神经网络的特性；在重参数化中，采用随机抽样的方法生成一组满足正态分布的变量，从/>

中取样z，等同于从/>

中采样ε，然后令/>

，因此，应用梯度下降法；最后，解码器对z进行解码，并输出样本x的重构数据；

在编码器的编码阶段，计算每个输入样本

的均值/>

与方差/>

，用来构造准正态分布；

所述在线深度学习模型的损失函数，通过三个损失的加权融合，衡量最终预测值与真实值之间的差异：

（1）重构损失

，衡量真实值和重构值之间的差异，具体公式为：

其中， n表示样本个数， x表示原始值，

表示重构值；

（2）KL损失，衡量准正态分布与标准正态分布之间的差异，具体公式为：

其中，

代表每个维度生成的均值和方差，k是均值/>

与方差/>

的维度数；

（3）预测损失

，衡量真实值与当前预测值之间的差异，具体公式为：

其中，y是真实值，

是预测值， />

代表t时刻的预测瞬时损失函数。

2.如权利要求1所述的一种IoT观测数据的在线学习方法，其特征在于，所述解码器，从编码器生成的准正态分布中，随机选择样本，输出与数据流的原始特征结构一致的数据。

3.如权利要求1所述的一种IoT观测数据的在线学习方法，其特征在于，所述结果融合模块，将编码器提取的多个特征进行加权融合，得到当前预测值；

其中，权重用于动态调整每个隐藏层的贡献度，通过变分注意力网络，在每次输入样本处理后，实时计算每个隐藏层的权重。

4.如权利要求3所述的一种IoT观测数据的在线学习方法，其特征在于，所述变分注意力网络，根据编码器中每个隐藏层之间的关系以及每个子结构的必要程度，计算每个隐藏层的权重。

5.一种IoT观测数据的在线学习***，其特征在于，包括初始化模块、获取模块、预测模块和学习模块：

初始化模块，被配置为：根据获取的初始时序观测数据，初始化在线深度学习模型；

获取模块，被配置为：实时获取传感器生成的时序观测数据，根据时序观测数据形成输入数据流；

预测模块，被配置为：所述在线深度学习模型处理输入数据流，以生成并输出最终预测结果；

学习模块，被配置为：在处理输入数据流的过程中，对输入数据流进行即时学习，实时动态更新在线深度学习模型；

所述即时学习，是基于数据流的均值和方差，学习数据分布，构造准正态分布，重构新的样本，实现变分注意力网络，基于分布差异、重构差异和推理差异，进行模型的动态调整；

所述在线深度学习模型，包括编码器、解码器和结果融合模块，以数据流为输入，输出对下一时刻数据值的预测；

所述编码器，执行两部分操作：

（1）提取隐藏层间的隐藏信息，输入到结果融合模块，进行最终预测值的计算；

（2）以标准正态分布作为目标，编码隐藏信息，通过重参数化设置，输出满足准正态分布的均值

与标准差/>

；

所述构造准正态分布，具体为：

编码器尝试将样本携带的所有特征信息的分布转码为准正态分布，尽管准正态分布是以标准正态分布作为目标来编码的，但它通常不能被编码成标准正态分布，这里称该标准正态分布为潜在分布；在该过程中，编码器直接输出满足准正态分布的均值

与标准差/>

作为编码结果，也即，在编码处理中生成的均值/>

与标准差/>

，不是通过均值或标准差定义来计算的，而是直接从编码器输出的；

为保证编码器输出的均值

与标准差/>

满足标准正态分布，在损失函数中设置惩罚项，一旦基于均值和标准差所反馈的准正态分布和标准正态分布有差异，模型将会受到惩罚机制的影响而做出进一步调整；

因此，在实际的算法操作流程中，编码器负责输出均值和标准差，损失函数确保平均值和标准差符合某种准正态分布，这就等价于将原始数据向准正态分布的方向编码，再输出该准正态分布的均值与标准差，并随机采样生成数据

进行后续的解码器操作；

与此同时，为保证采样数据

的概率分布符合输入样本，首先需要假设存在一个/>

关于X的后验概率P(Z|X)，并进一步假设这个概率分布是正态分布：/>

，那么采样数据/>

的概率分布P(Z)为：

因此，P(Z)先验分布和

后验分布都符合标准正态分布；

此外，从标准正态分布

中随机选择样本/>

，并将该样本输入解码器；由于这个过程中存在随机采样，使得架构中的梯度信息流是断裂的，反向传播无法通过传统的链式法则进行，因此，设计使用独特的重参数化技巧来完成模型的反向传播，以满足典型神经网络的特性；在重参数化中，采用随机抽样的方法生成一组满足正态分布的变量，从/>

中取样z，等同于从/>

中采样ε，然后令/>

，因此，应用梯度下降法；最后，解码器对z进行解码，并输出样本x的重构数据；

在编码器的编码阶段，计算每个输入样本

的均值/>

与方差/>

，用来构造准正态分布；/>

所述在线深度学习模型的损失函数，通过三个损失的加权融合，衡量最终预测值与真实值之间的差异：

（1）重构损失

，衡量真实值和重构值之间的差异，具体公式为：

其中， n表示样本个数， x表示原始值，

表示重构值；

（2）KL损失，衡量准正态分布与标准正态分布之间的差异，具体公式为：

其中，

代表每个维度生成的均值和方差，k是均值/>

与方差/>

的维度数；

（3）预测损失

，衡量真实值与当前预测值之间的差异，具体公式为：

其中，y是真实值，

是预测值， />

代表t时刻的预测瞬时损失函数。

6.一种电子设备，其特征是，包括：

存储器，用于非暂时性存储计算机可读指令；以及

处理器，用于运行所述计算机可读指令，

其中，所述计算机可读指令被所述处理器运行时，执行上述权利要求1-4任一项所述的方法。

7.一种存储介质，其特征是，非暂时性地存储计算机可读指令，其中，当所述非暂时性计算机可读指令由计算机执行时，执行权利要求1-4任一项所述方法的指令。

Images