CN115983497A - 一种时序数据预测方法和装置、计算机设备、存储介质 - Google Patents

Abstract

本申请涉及计算机技术领域，尤其涉及一种时序数据预测方法和装置、计算机设备、存储介质。该方法包括：获取处于历史时间步长的历史时序数据；其中，历史时序数据包括：时序特征；将历史时序数据输入至预设的分桶神经网络进行分配预测，得到分布概率序列，所述分布概率序列包括时序特征处于每一预设分桶的分配概率；将历史时序数据输入至预设分桶进行特征离散化，得到桶嵌入向量；根据分配概率和桶嵌入向量进行加权求和，得到历史时序数据的离散特征值嵌入向量；将离散特征值嵌入向量输入至预设的时序预测模型进行时序预测，得到处于预设的预测时间步长的目标预测时序数据。本申请实施例提高了时序预测的精度。

Description

一种时序数据预测方法和装置、计算机设备、存储介质

技术领域

本申请涉及计算机技术领域，尤其涉及一种时序数据预测方法和装置、计算机设备、存储介质。

背景技术

相关技术中，目前对工业传感器时序预测的研究方法主要分为2类。一类是基于统计学的经典模型，如移动平均法、指数平滑法、ARIMA模型和状态空间模型等，由于统计模型过分依赖平稳性、稳定性等假设，对数据要求较高，并且现代化工业过程变量间普遍呈现非线性，现有的基于线性方法的运行状态评价模型无法获得满意的效果。另一类是基于机器学习的预测模型，如KNN回归、SVM回归、BP神经网络和深度神经网络等。其中，KNN回归、SVM回归、BP神经网络结构简洁、性能稳定，但预测精度有所局限。随着云计算、大数据时代的到来，计算能力的提高和训练数据的大幅增加对深度学习提供了支持，以循环神经网络为代表的深度网络以其通用性强、预测精度高等优点逐渐成为时序预测的热门的研究方向。实际应用中传感器数据规律多与远距离时间数据有关，然而普通RNN随着循环发生的梯度***或梯度弥散使模型只能学习到短周期的依赖关系。而在工业的实际生产应用中，工况更为复杂粗放，状态变化丰富，这些神经网络的表现力会大大降低，影响预测精度。

因此，如何提供一种时序数据预测方法，能够提高时序数据预测的精度，成为了亟待解决的技术问题。

发明内容

本申请实施例的主要目的在于提出一种时序数据预测方法和装置、计算机设备、存储介质，能够提高时序数据预测的精度。

为实现上述目的，本申请实施例的第一方面提出了一种时序数据预测方法，所述方法包括：

获取处于历史时间步长的历史时序数据；其中，所述历史时序数据包括：时序特征；

将所述历史时序数据输入至预设的分桶神经网络进行分配预测，得到分布概率序列，所述分布概率序列包括所述时序特征处于每一预设分桶的分配概率；其中，所述预设分桶用于对所述时序特征进行离散化；

将所述历史时序数据输入至所述预设分桶进行特征离散化，得到桶嵌入向量；

根据所述分配概率和所述桶嵌入向量进行加权求和，得到所述历史时序数据的离散特征值嵌入向量；

将所述离散特征值嵌入向量输入至预设的时序预测模型进行时序预测，得到处于预设的预测时间步长的目标预测时序数据。

在一些实施例，所述分桶神经网络包括全连接子网络和激活函数子网络，所述将所述历史时序数据输入至预设的分桶神经网络进行分配预测，得到分布概率序列，包括：

将所述时序特征输入至所述全连接子网络进行向量转化，得到时序向量；

将所述时序向量输入至所述激活函数子网络进行分桶预测，得到所述时序特征处于每一预设分桶的分配概率；

对所述时序特征处于每一预设分桶的分配概率进行合并，得到所述分布概率序列。

在一些实施例，将所述离散特征值嵌入向量输入至预设的时序预测模型进行时序预测，得到处于预设的预测时间步长的目标预测时序数据，包括：

根据预设的时间窗长度对处于不同的时间步长的所述离散特征值嵌入向量进行筛选，得到选定离散特征值嵌入向量序列；

根据预设的候选时间步长提取出所需的所述预测时间步长；

通过时序预测模型对所述选定离散特征值嵌入向量序列进行时序预测，得到处于所述预测时间步长的目标预测时序数据。

在一些实施例，时序预测模型包括生成器，生成器包括编码网络、解码网络、全连接网络和激活函数网络，所述通过时序预测模型对所述选定离散特征值嵌入向量序列进行时序预测，得到处于所述预测时间步长的目标预测时序数据，包括：

通过所述编码网络对所述选定离散特征值嵌入向量序列进行第一注意力处理，得到编码时序特征向量；

通过所述解码网络对所述编码时序特征向量进行第二注意力处理，得到解码时序特征向量；

通过所述全连接网络对所述解码时序特征向量进行特征映射，得到候选预测时序特征向量；

通过所述激活函数网络对所述候选预测时序特征向量进行激活处理，得到处于预测时间步长的目标预测时序数据。

在一些实施例，所述编码网络包括多头自注意力层、残差连接层、归一化层、第一全连接层、激活函数层和第二全连接层，所述通过所述编码网络对所述选定离散特征值嵌入向量序列进行第一注意力处理，得到编码时序特征向量，包括：

通过所述多头自注意力层对所述选定离散特征值嵌入向量进行注意力计算，得到第一时序特征向量；

通过所述残差连接层对所述选定离散特征值嵌入向量和所述第一时序特征向量进行求和，得到第二时序特征向量；

通过所述归一化层对所述第二时序特征向量进行归一化，得到第三时序特征向量；

通过所述第一全连接层对所述第三时序特征向量进行特征映射，得到第四时序特征向量；

通过所述激活函数层对所述第四时序特征向量进行激活处理，得到第五时序特征向量；

通过所述第二全连接层对所述第五时序特征向量进行特征映射，得到所述编码时序特征向量。

在一些实施例，在将所述离散特征值嵌入向量输入至预设的时序预测模型进行时序预测，得到处于预设的预测时间步长的目标预测时序数据之前，所述方法还包括：

训练所述时序预测模型，具体包括：

获取处于历史样本时间步长的历史样本时序数据；所述历史样本时序数据包括历史样本时序特征，每一历史样本时序特征包括历史样本相关变量特征和历史样本目标变量特征；

将所述历史样本相关变量特征和所述历史样本目标变量特征输入至预设的生成器进行时序数据生成，得到处于预设的预测样本时间步长的预测目标变量特征；

将所述预测目标变量特征和所述历史样本目标变量特征进行拼接，得到第一待鉴别特征；

获取处于所述预测样本时间步长的参考目标变量特征，并将所述参考目标变量特征和所述历史样本目标变量特征进行拼接，得到第二待鉴别特征；

将所述第一待鉴别特征输入至预设的鉴别器进行鉴别，得到第一鉴别结果，并将所述第二待鉴别特征输入至所述鉴别器进行鉴别，得到第二鉴别结果；

根据所述第一鉴别结果和所述第二鉴别结果构建判别损失函数，得到判别损失数据；

根据所述预测目标变量特征和所述参考目标变量特征进行均方误差计算，得到第一生成损失数据；

根据所述第一鉴别结果构建生成损失函数，得到第二生成损失数据；

根据所述判别损失数据对所述鉴别器进行参数调整，并根据所述第一生成损失数据和所述第二生成损失数据对所述生成器进行参数调整；

根据调整后的生成器得到所述时序预测模型。

在一些实施例，所述鉴别器包括正向神经网络、反向神经网络和分类器，所述将所述第一待鉴别特征输入至预设的鉴别器进行鉴别，得到第一鉴别结果，包括：

通过所述正向神经网络按预设时间顺序对所述第一待鉴别特征进行特征处理，得到正向输出向量；

通过所述反向神经网络按与预设时间顺序相反的时间顺序对所述第一待鉴别特征进行特征处理，得到反向输出向量；

通过所述分类器对所述正向输出向量和所述反向输出向量进行分类，得到所述第一鉴别结果。

本申请实施例的第二方面提出了一种时序数据预测装置，所述装置包括：

时序数据获取模块，用于获取处于历史时间步长的历史时序数据；其中，所述历史时序数据包括：时序特征；

分配模块，用于将所述历史时序数据输入至预设的分桶神经网络进行分配预测，得到分布概率序列，所述分布概率序列包括每一所述时序特征处于每一预设分桶的分配概率；其中，所述预设分桶用于对所述时序特征进行离散化；

特征离散模块，用于将所述历史时序数据输入至所述预设分桶进行特征离散化，得到桶嵌入向量；

特征嵌入表示模块，用于根据所述分配概率和所述桶嵌入向量进行加权求和，得到所述历史时序数据的离散特征值嵌入向量；

时序预测模块，用于将所述离散特征值嵌入向量输入至预设的时序预测模型进行时序预测，得到处于预设的预测时间步长的目标预测时序数据。

本申请实施例的第三方面提出了一种计算机设备，所述一种计算机设备包括存储器和处理器，其中，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时所述处理器用于执行如本申请第一方面实施例任一项所述的方法。

本申请实施例的第四方面提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，在所述计算机程序被计算机执行时，所述计算机用于执行如本申请第一方面实施例任一项所述的方法。

本申请实施例提出的一种时序数据预测方法和装置、计算机设备、存储介质，在对时序特征离散化时，先将时序特征分配至不同的预设分桶，根据处于不同预设分桶的分配概率和预设分桶对时序特征进行离散化后得到的桶嵌入进行加权求和，完成对时序特征的连续型表示，得到离散特征值嵌入向量。最后，通过时序预测模型对离散特征值嵌入向量进行时序预测，得到目标预测时序数据。本申请实施例提高了预测精度。

附图说明

图1是本申请一个实施例提供的应用于执行时序数据预测方法的***架构示意图；

图2是本申请一个实施例提供的时序数据预测方法的步骤流程图；

图3是图2中步骤102的步骤流程图；

图4是图2中步骤105的步骤流程图；

图5是图4中步骤303的步骤流程图；

图6是本申请另一个实施例提供的时序数据预测方法的步骤流程图；

图7为本申请一个实施例提供的时序数据预测装置的模块结构框图；

图8是本申请一个实施例提供的计算机设备的硬件结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。

需要说明的是，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。

首先，对本申请中涉及的若干名词进行解析：

人工智能(artificial intelligence，AI)：是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用***的一门新的技术科学；人工智能是计算机科学的一个分支，人工智能企图了解智能的实质，并生产出一种新的能以人类智能相似的方式作出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家***等。人工智能可以对人的意识、思维的信息过程的模拟。人工智能还是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。

本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。

本申请实施例提供的时序数据预测方法可以应用于人工智能之中，人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互***、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

神经网络：是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠***的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。

反向传播算法：BP(Back Propagation，反向传播)算法适合于多层神经元网络的一种学习算法，它建立在梯度下降法的基础上。BP神经网络的输入输出关系实质上是一种映射关系：一个n输入m输出的BP神经网络所完成的功能是从n维欧氏空间向m维欧氏空间中一有限域的连续映射，这一映射具有高度非线性。它的信息处理能力来源于简单非线性函数的多次复合，因此具有很强的函数复现能力。

损失函数：损失函数是用来评估模型的预测值与真实值之间的差异程度。另外损失函数也是神经网络中优化的目标函数，神经网络训练或者优化的过程就是最小化损失函数的过程，损失函数越小，说明模型的预测值就越接近真实值，模型的准确性也就越好。

目前，数据的价值被越发重视，时间序列数据作为数据集中必不可少的部分，其数据处理被广泛应用于物联网、车联网、工业互联网领域的过程数据采集、过程控制，并与过程管理建立一个数据链路，成为工业数据治理的新兴领域。物联网、大数据、云计算等新兴产业的发展极大地推动了工业自动化进程。工业生产过程中通过物联网汇总的各类传感器采集的大量信息构成了传感器大数据，这些数据都具备典型的时序数据特征，通过对这些时序数据的处理和预测可以有效地监督自动化生产过程、预防风险隐患和改进工业技术。

对于时序数据的预测，相关技术中也公开了一些方式，但存在精度较低的问题。究其原因，传统的预测模型忽视了连续型特征的嵌入(即特征抽取)，导致不能反映出真实数据中波动，并且无法进行长时间序列预测。

基于此，本申请实施例提出了一种时序数据预测方法，是一种基于连续特征嵌入式对抗生成网络的时序预测方法。包括利用连续型特征嵌入式方式，实现高模型容量、端到端训练，每个特征取值具有独立表示；采用基于自注意力层的生成式对抗网络，生成器通过学习历史数据分布产生预测的序列，鉴别器试图分类样本是来自真实的数据集还是预测得到的，生成式对抗网络是一种生成式模型，相比较其他生成模型只用到了反向传播，而不需要复杂的马尔科夫链。实现了长时间序列的多步预测。

此外，本申请实施例还提供了一种时序数据预测装置、计算机设备、以及计算机存储介质，用于执行一种时序数据预测方法。

本申请实施例提供的一种时序数据预测方法应用于服务器端中，还可以是运行于服务器端中的软件。在一些实施例中，服务器端可以配置成独立的物理服务器，也可以配置成多个物理服务器构成的服务器集群或者分布式***，还可以配置成提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN以及大数据和人工智能平台等基础云计算服务的云服务器；软件可以是实现上述方法的应用等，但并不局限于以上形式。

本申请实施例可用于众多通用或专用的计算机***环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器***、基于微处理器的***、置顶盒、可编程的消费计算机设备、网络PC、小型计算机、大型计算机、包括以上任何***或设备的分布式计算环境等等。本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本申请提供了一种时序数据预测方法，可以应用于如图1所示的***架构100中，***架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

工厂终端或供应商终端可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。

终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture ExpertsGroup Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving PictureExperts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。

服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的页面提供支持的后台服务器。

需要说明的是，本申请实施例所提供时序数据预测方法一般由服务器执行，相应地，时序数据预测装置一般设置于服务器中。应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

本申请实施例提供的一种时序数据预测方法，具体通过如下实施例进行说明。

参照图2，根据本申请实施例的一种时序数据预测方法，该方法包括但不限于步骤101至步骤105。

步骤101，获取处于历史时间步长的历史时序数据；其中，历史时序数据包括：时序特征；

步骤102，将历史时序数据输入至预设的分桶神经网络进行分配预测，得到分布概率序列，分布概率序列包括时序特征处于每一预设分桶的分配概率；其中，预设分桶用于对时序特征进行离散化；

步骤103，将历史时序数据输入至预设分桶进行特征离散化，得到桶嵌入向量；

步骤104，根据分配概率和桶嵌入向量进行加权求和，得到历史时序数据的离散特征值嵌入向量；

步骤105，将离散特征值嵌入向量输入至预设的时序预测模型进行时序预测，得到处于预设的预测时间步长的目标预测时序数据。

本申请实施例所示意的步骤S101至步骤S105，考虑到传统的时序预测方法在进行时序预测时，无法准确体现连续型特征的时间波动和长距离预测，而本申请实施例的工业时序数据中的时序特征又恰恰是与时间高度相关的连续型特征，因此，如何对时序特征进行嵌入表示，是本申请实施例最为核心重点之一。在本申请实施例中，在对时序特征离散化时，先将时序特征分配至不同的预设分桶，根据分配概率和预设分桶对时序特征进行离散化后得到的桶嵌入进行加权求和，完成对时序特征的连续型表示，得到离散特征值嵌入向量。最后，通过时序预测模型对离散特征值嵌入向量进行时序预测，得到目标预测时序数据。因此，本申请通过离散特征值进行时序预测得到时序数据，所以本申请实施例提高了时序的预测精度。

需要说明的是，在离散化时序特征时，还能采用以下方式：一种处理时序特征的方式是给每一个特征取值赋予一个独立的嵌入模块，但这种方法参数量巨大。另一种处理连续特征的方式对每个特征赋予一个嵌入模块，降低了参数数量，但模型能力也受到了一定的限制。而步骤102至步骤104的方式，采用了将每个时序特征进行分桶嵌入的方法，即保证了参数量，同时可以提升嵌入性能。

在一些实施例的步骤101中，获取处于历史时间步长的历史时序数据；其中，历史时序数据包括：时序特征。

时序数据是指按时间顺序记录的数据列。在同一数据列中的各个数据是同口径的，要求具有可比性。时序数据可以是时期数，也可以时点数。时序数据管理主要通过对时序数据的采集、存储、查询、处理和分析帮助企业实时监控企业的生产与经营过程。时序数据在应用上特点也很明显，比如数据往往只保留一定时长，需要做降频采样、插值、实时计算、聚合等操作，关心的是一段时间的趋势，而不是某一特定时间的值等。

工业企业为了监测设备、生产线以及整个***的运行状态，在各个关键点都配有传感器、采集各种工业时序数据。这些工业时序数据是周期或准周期产生的，采集频率高的或低的，采集的工业时序数据一般会发送至服务器，进行汇总并实时处理，对***的运行做出实时监测或预警。

接下来针对如何获取时序数据展开描述：(1)数据采集，采集N个相关变量时序特征X和目标变量时序特征Y的历史时序数据。(2)数据清洗和处理。基于变量维度，分析变量时序特征间的时延和相关性，去掉两两线性强相关的工艺参数进行初步降维。基于样本维度，使用上一时刻值填充空值。(3)数据标准化。对每列工艺参数数据(时序特征)进行处理，通过求z-score的方法，转换为标准正态分布。消除由于变量量纲不同引起的误差；z-score是一种线性变换，对特征X按照比例压缩再进行平移。(4)制作数据集。根据预测需求和经验设定历史数据时间窗长度h_steps和预测步长p_steps。

在一些实施例的步骤102中，将历史时序数据输入至预设的分桶神经网络进行分配预测，得到分布概率序列。这里的分布概率序列包括时序特征处于每一预设分桶的分配概率；其中，预设分桶用于对时序特征进行离散化。

参照图3，在一实施例中，分桶神经网络包括全连接子网络和激活函数子网络，步骤102具体包括：

步骤201，将时序特征输入至全连接子网络进行向量转化，得到时序向量；

步骤202，将时序向量输入至激活函数子网络进行分桶预测，得到时序特征处于每一预设分桶的分配概率；

步骤203，对时序特征处于每一预设分桶的分配概率进行合并，得到分布概率序列。

接下来对步骤201-203进行详细说明。

在步骤201中，全连接子网络是指由全连接层组成的神经网络。全连接层(fullyconnected layers，FC)在整个卷积神经网络中起到“分类器”的作用。全连接层起到将时序特征映射到样本标记空间的作用。在实际使用中，全连接层可由卷积操作实现。对前层是全连接的全连接层可以转化为卷积核为1x1的卷积；而前层是卷积层的全连接层可以转化为卷积核为hw的全局卷积，hw分别为前层卷积结果的高和宽。

在步骤202中，激活函数子网络是指由激活函数组成的神经网络。激活函数(Activation Function)是一种添加到人工神经网络中的函数，旨在帮助网络学习数据中的复杂模式。在神经元中，输入的input经过一系列加权求和后作用于另一个函数，这个函数就是这里的激活函数。类似于人类大脑中基于神经元的模型，激活函数最终决定了是否传递信号以及要发射给下一个神经元的内容。在人工神经网络中，一个节点的激活函数定义了该节点在给定的输入或输入集合下的输出。常见的激活函数包括Sigmoid激活函数、ReLU激活函数和Softmax激活函数。

分桶，用于将连续型特征离线化为一系列0/1的离散特征，即用于对特征进行离散化。当数值特征跨越不同的数量级的时候，模型可能会只对大的特征值敏感，这种情况可以考虑分桶操作。而且，分桶后得到的稀疏向量，内积乘法运算速度更快，计算结果更方便存储，对异常数据有很强的鲁棒性。

分桶的数量和宽度可以根据业务领域的经验来指定，但也有一些常规的做法：

等距分桶。每个桶的宽度是固定的，即值域范围是固定的，比如是0-99，100-199，200-299等；这种适合样本分布比较均匀的情况，避免出现有的桶的数量很少，而有的桶数量过多的情况。等频分桶，也称为分位数分桶。也就是每个桶有一样多的样本，但可能出现数值相差太大的样本放在同个桶的情况。模型分桶。使用模型找到最佳分桶，比如聚类，将特征分成多个类别，或者树模型，这种非线性模型天生具有对连续型特征切分的能力，利用特征分割点进行离散化。

本申请实施例中分桶相当于模型分桶，但与常规方式不同，本申请实施例并不为时序特征查找最佳分桶。本申请实施例通过神经网络为时序特征处于每一预设分桶的概率进行计算，得到分配概率。以便后续根据分配概率和预设分桶对时序特征进行离散化后得到的桶嵌入进行加权求和，完成对时序特征的连续型表示，得到离散特征值嵌入向量。

在步骤203中，在得到时序特征处于不同的预设分桶的分配概率之后，对分配概率进行合并得到分布概率序列。

在一些实施例的步骤103中，将历史时序数据输入至预设分桶进行特征离散化，得到桶嵌入向量。

预设分桶对历史时序数据中的时序特征进行特征映射，可以看作是对数值变量的离散化，之后通过二值化进行one-hot编码，得到桶嵌入向量。

在一些实施例的步骤104中，根据分配概率和桶嵌入向量进行加权求和，得到历史时序数据的离散特征值嵌入向量。

接下来以一个具体示例，进一步对步骤102至104展开描述。具体地，将每个时序特征赋予H个预设分桶，每个预设分桶对应一个单独的d维桶嵌入；通过两层全连接层加softmax激活函数实现了端到端的分桶。更具体来说，对于第i个时序特征的具体取值xi，首先通过两层神经网络进行转换，得到H长度的向量：

h＝Leaky_ReLU(ωx)；

在经过自动离散化后，得到了特征值分到不同分桶的分配概率，然后基于分配概率和桶嵌入的加权平均的方式进行聚合得到每个特征取值对应的桶嵌入。根据每个分桶的分配概率对分桶的桶嵌入进行加权求和，得到了特征值连续不同且唯一嵌入式表示。并且，相近的特征取值往往得到的分桶概率分布也是相近的，即其得到的桶嵌入也是相近的。

在一些实施例的步骤105中，将离散特征值嵌入向量输入至预设的时序预测模型进行时序预测，得到处于预设的预测时间步长的目标预测时序数据。

时序预测模型，时序预测模型是指利用时间序列数据本身建立模型，以研究事物发展自身的规律，并据此对事物未来的发展做出预测。在时序预测模型中，以时间t为自变量，研究Y数值自身变化趋势。在现实中很多问题，如利率波动、收益率变化、反映股市行情的各种指数等通常都可以表达为时间序列数据，通过研究这些数据，发现这些经济变量的变化规律(对于某些变量来说，影响其发展变化的因素太多，或者是主要影响变量的数据难以收集，以至于难以建立回归模型来发现其变化发展规律，此时，时间序列分析模型就显现其优势——因为这类模型不需要建立因果关系模型，仅需要其变量本身的数据就可以建模)，这样的一种建模方式就属于时间序列分析的研究范畴。

参照图4，在一实施例中，分桶神经网络包括全连接子网络和激活函数子网络，步骤105具体包括：

步骤301，根据预设的时间窗长度对处于不同的时间步长的离散特征值嵌入向量进行筛选，得到选定离散特征值嵌入向量序列；

步骤302，根据预设的候选时间步长提取出所需的预测时间步长；

步骤303，通过时序预测模型对选定离散特征值嵌入向量序列进行时序预测，得到处于预测时间步长的目标预测时序数据。

接下来对步骤301-303进行详细说明。

在步骤301中，时间窗长度是指时间窗口的大小。在许多时间序列相关的任务中，经常需要确定一个合适的时间窗口将整段的时间序列拆分成多个子序列，用于后续任务的学习。在本实施例中，可利用时间窗长度对处于不同的时间步长的离散特征值嵌入向量进行筛选，得到选定离散特征值嵌入向量序列。可以理解的是，时间窗长度至少包括一个时间步长。对应的，选定离散特征值嵌入向量序列包括至少一个处于时间窗长度内的离散特征值嵌入向量。

在步骤302至303中，以历史时间步长包括t-2、t-1、t，候选时间步长包括t+1、t+2、t+3为例。可从候选时间步长中选择当前要进行预测的时间步长，例如t+2。在步骤303进行时序预测之后，将会得到处于t+2的目标预测时序数据。

可以理解的是，若从候选时间步长中选择当前要进行预测的至少两个时间步长，例如包括t+1、t+2。在步骤303进行时序预测之后，将会得到处于t+1的目标预测时序数据和处于t+2的目标预测时序数据。本申请实施例能够实现多个时间步长的同步预测。

本申请实施例的时序预测模型可以是基于生成式对抗网络的预测模型，主要包括生成器网络G和判别器网络D。输入的历史时序数据通过生成器网络G预测出未来p_steps步的目标值。

搭建基于多头自注意力机制的生成器G。所谓自注意力机制就是通过某种运算来直接计算得到句子在编码过程中每个位置上的注意力权重；然后再以权重和的形式来计算得到整个句子的隐含向量表示。最终，Transformer架构就是基于这种的自注意力机制而构建的Encoder-Decoder模型。生成器的作用是根据历史时序数据(包括相关变量特征和目标变量特征)进行预测，找到目标变量特征序列Y和相关变量特征序列X之间的映射关系。生成式对抗网络通常应用于计算机视觉中的图像生成任务，因此大多采用卷积层进行堆叠搭建。但不太适合时序问题的建模，这主要由于其卷积核大小的限制，不能很好的抓取长时的依赖信息。对此，本申请采用多头自注意力机制作为生成器来挖掘输入的时间窗长度内序列特征嵌入处理后的向量特征(即上述提及的选定离散特征值嵌入向量序列)，得到一段时间的预测值Y’(即目标预测时序数据)。

生成器由基于多头注意力层的编解码结构组成。编码部分由6个基于多头注意力机制的自注意力模块组成，解码部分由6个基于多头注意力机制的自注意力模块组成，解码输出的结果经过一个全连接层后，通过softmax计算输出最终的预测结果。

为了兼顾计算的简单性、以及模型的灵活性，模型采用线性运算加激活函数非线性变换的方式。归一化层对输入向量执行归一化。一般来说，对于模型的输入通常会执行归一化处理，使得模型的输入遵循均值为u，方差为h的正态分布，这样能够加速模型的收敛。全连接层起到将前面的层的输出向量映射成指定维度的向量的作用。

编码结构：处理后的输入序列XE(选定离散特征值嵌入向量序列)作为编码部分的输入。自注意力模块中先经过一个多头自注意力层后，进行一次残差计算，即在输出向量中加入输入向量，输出结构变为f(x)+x，这样做的好处是在对x求偏导时，加入一项常数项1，避免了梯度消失的问题。再进行层归一化，即在每一层输出的每一个样本上进行归一化，将数据转化为均值为0，方差为1的数据，减小数据的偏差，避免在训练过程中发生梯度消失或***。将层归一化后的特征向量输入到一个全链接神经网络，再通过一次ReLU激活函数，最后再传入一层全连接网络，输出特征向量，完成一个自注意力模块的计算。将输出的特征向量传入下一个自注意力模块，依次传递至第6个，输出编码部分最终的特征向量。

解码结构：处理后的输出序列Y作为解码部分的输入。在训练过程中为了处理方便同时不引入未来信息，采用了一种掩码机制，将未来位置的数字设置为负无穷大。

这样在后续计算softmax激活函数后值为0，即未来事件对当前事件的影响将变为0，使得每个事件仅受历史事件的影响。解码部分的输入向量首先经过一层多头自注意力层，进行一次残差连接和层归一化，经过一层多头自注意力层，进行一次残差连接和层归一化得到输出H，最后再经过一层全连接层，得到生成序列，即预测结果Y’。

结合上述的模型结构，参照图5，在一实施例中，时序预测模型包括生成器，生成器包括编码网络、解码网络、全连接网络和激活函数网络，步骤303具体包括：

步骤401，通过编码网络对选定离散特征值嵌入向量序列进行第一注意力处理，得到编码时序特征向量；

步骤402，通过解码网络对编码时序特征向量进行第二注意力处理，得到解码时序特征向量；其中，其中，解码网络的处理机制为掩码机制，且将未来位置的数字设置为负无穷大；

步骤403，通过全连接网络对解码时序特征向量进行特征映射，得到候选预测时序特征向量；

步骤404，通过激活函数网络对候选预测时序特征向量进行激活处理，得到处于预测时间步长的目标预测时序数据。

在一实施例中，编码网络包括多头自注意力层、残差连接层、归一化层、第一全连接层、激活函数层和第二全连接层，步骤401具体包括：通过多头自注意力层对选定离散特征值嵌入向量进行注意力计算，得到第一时序特征向量；残差连接层对选定离散特征值嵌入向量和第一时序特征向量进行求和，得到第二时序特征向量；通过归一化层对第二时序特征向量进行归一化，得到第三时序特征向量；通过第一全连接层对第三时序特征向量进行特征映射，得到第四时序特征向量；通过激活函数层对第四时序特征向量进行激活处理，得到第五时序特征向量；通过第二全连接层对第五时序特征向量进行特征映射，得到编码时序特征向量。

在一实施例中，解码网络包括多头自注意力层、残差连接层、归一化层、目标全连接层，步骤402具体包括：通过多头自注意力层对编码时序特征向量进行注意力计算，得到第一解码向量；残差连接层对编码时序特征向量和第一解码向量进行求和，得到第二解码向量；通过归一化层对第二解码向量进行归一化，得到第三解码向量；通过目标全连接层对第三解码向量进行特征映射，得到解码时序特征向量。

步骤403中的全连接网络由全连接层组成，步骤404中的激活函数网络由激活函数组成。

如图6所示，在一个实施例中，时序预测模型预先通过以下过程训练：

步骤501，获取处于历史样本时间步长的历史样本时序数据；历史样本时序数据包括历史样本时序特征，每一历史样本时序特征包括历史样本相关变量特征和历史样本目标变量特征；

步骤502，将历史样本相关变量特征和历史样本目标变量特征输入至预设的生成器进行时序数据生成，得到处于预设的预测样本时间步长的预测目标变量特征；

步骤503，将预测目标变量特征和历史样本目标变量特征进行拼接，得到第一待鉴别特征；

步骤504，获取处于预测样本时间步长的参考目标变量特征，并将参考目标变量特征和历史样本目标变量特征进行拼接，得到第二待鉴别特征；

步骤505，将第一待鉴别特征输入至预设的鉴别器进行鉴别，得到第一鉴别结果，并将第二待鉴别特征输入至鉴别器进行鉴别，得到第二鉴别结果；

步骤506，根据第一鉴别结果和第二鉴别结果构建判别损失函数，得到判别损失数据；根据预测目标变量特征和参考目标变量特征进行均方误差计算，得到第一生成损失数据；根据第一鉴别结果构建生成损失函数，得到第二生成损失数据；

步骤507，根据判别损失数据对鉴别器进行参数调整，并根据第一生成损失数据和第二生成损失数据对生成器进行参数调整，根据调整后的生成器得到时序预测模型。

下面对步骤501-507进行详细描述。

步骤501中的历史时序数据处于历史时间步长，历史时间步长例如可为t-2、t-1等等。历史时序数据可包括多个历史样本时序特征，而每一历史样本时序特征包括历史样本相关变量特征和历史样本目标变量特征。

需要说明的是，一般时序数据包括相关变量数据X和目标变量数据Y，且目标变量数据Y随着时间步长和相关变量数据X的变化而发生变化。而在本申请实施例中，将相关变量数据X表示为历史样本相关变量特征，目标变量数据Y表示为历史样本目标变量特征。

步骤502中的生成器与上述实施例中提及的时序预测模型结构类似，但参数不同，还需对生成器进行参数调整，才能得到时序预测模型。生成器对历史样本相关变量特征和历史样本目标变量特征进行时序数据生成，目的是生成得到处于预设的预测样本时间步长的预测目标变量特征。

在本申请实施例在步骤503和504中，在得到预测目标变量特征之后，可将预测目标变量特征和参考目标变量特征一起输入至鉴别器，以便鉴别器给出鉴别结果，该鉴别结果用于表征预测目标变量特征是真或假。但在实际应用中发现，上述鉴别结果的稳定性较差，无法保证鉴别的准确率。所以，为了使预测的趋势正确，预测值更加准确，将预测目标变量特征Y_pre和历史样本目标变量特征Y_history进行拼接，得到第一待鉴别特征Y_history,pre，并将参考目标变量特征Y_real和历史样本目标变量特征Y_history进行拼接，得到第二待鉴别特征Y_history,real。

在步骤505中，将第一待鉴别特征Y_history,pre和第二待鉴别特征Y_history,real输入鉴别器D进行判别，判断出预测目标变量特征Y_pre是真实的还是生成器生成的。

鉴别器又称判别器，目的是构成一个可微函数D，用于对输入数据进行分类。期望判别器输入假数据时输出0，输入真数据时输出1。时序问题的建模一般习惯性的采用循环神经网络(RNN)来建模，这是因为RNN天生的循环自回归的结构是对时间序列的很好的表示，因为RNN需要按顺序处理，处理完t-1的样本后得到隐藏状态ht-1，将ht-1和t时刻样本输入RNN得到隐藏状态ht。RNN和LSTM都只能依据之前时刻的时序信息来预测下一时刻的输出，但在有些问题中，当前时刻的输出不仅和之前的状态有关，还可能和未来的状态有关系。BiLSTM有两个LSTM上下叠加在一起组成的，输出由这两个LSTM的状态共同决定。

在一实施例中，鉴别器包括正向神经网络、反向神经网络和分类器，步骤505包括：

通过正向神经网络按预设时间顺序对第一待鉴别特征进行特征处理，得到第一正向输出向量；

通过反向神经网络按与预设时间顺序相反的时间顺序对第一待鉴别特征进行特征处理，得到第一反向输出向量；

通过分类器对第一正向输出向量和第一反向输出向量进行分类，得到第一鉴别结果。

在一实施例中，步骤505还包括：

通过正向神经网络按预设时间顺序对第二待鉴别特征进行特征处理，得到第二正向输出向量；

通过反向神经网络按与预设时间顺序相反的时间顺序对第二待鉴别特征进行特征处理，得到第二反向输出向量；

通过分类器对第二正向输出向量和第二反向输出向量进行分类，得到第二鉴别结果。

在上述步骤中，可搭建基于BiLSTM的判别器。BiLSTM包括正向BiLSTM节点链路(也称正向神经网络)和反向BiLSTM节点链路(反向神经网络)。正向BiLSTM节点链路包括顺序级联的多个正向BiLSTM节点h1,h2……hn,反向BiLSTM节点链路包括顺序级联的多个反向BiLSTM节点hn’,……h2’,h1’。每个输入向量X1、X2、……Xn输入到一个正向BiLSTM节点和一个反向BiLSTM节点，该正向BiLSTM节点产生的输出结果和该反向BiLSTM节点产生的输出结果共同构成该输入向量对应的输出向量。最后通过分类器对输出向量进行分类，分别得到第一鉴别结果和第二鉴别结果。

在步骤506中，根据第一鉴别结果

和第二鉴别结果

构建判别损失函数，得到判别损失数据D_loss；根据预测目标变量特征Y_pre和参考目标变量特征Y_real进行均方误差计算，得到第一生成损失数据g_MSE；根据第一鉴别结果

构建生成损失函数，得到第二生成损失数据G_loss，具体如下所示：

G_loss＝β₁g_MSE+β₂g_loss；

其中，m为批处理batch中设置的样本量，β₁，β₂为可设置的权重。

在步骤507中，基于上述得到的损失数据，根据判别损失数据D_loss对鉴别器进行参数调整，并根据第一生成损失数据g_MSE和第二生成损失数据g_loss对生成器进行参数调整。然后根据调整后的生成器得到时序预测模型。

综合上述本申请的实施例，为了解决传统的时序预测模型忽视了连续型特征的嵌入(即特征抽取)，不能反映出真实数据中波动并进行长时间序列预测的问题，本申请将采集到的数据进行处理得到连续特征，并将连续特征进行离散化给模型引入了非线性，提升了模型的表达能力。同时采用生成式对抗方法来捕捉真实数据的分布，获得更高精度的多步预测及趋势。

因此，本实施例的方法可用于工业***的多步预测，提供改变控制策略的依据，使生产***尽量长期处于理想状态，提高***生产效率。进一步能够提高监测***、控制***的自动化智能化水平，具有良好的应用前景。

请参阅图7，本申请实施例还提供时序数据预测装置，可以实现上述时序数据预测方法，图7为本申请实施例提供的时序数据预测装置的模块结构框图，该装置包括：时序数据获取模块601、分配模块602、特征离散模块603、特征嵌入表示模块604和时序预测模块605。其中，时序数据获取模块601，用于获取处于历史时间步长的历史时序数据；其中，历史时序数据包括：时序特征；分配模块602，用于将历史时序数据输入至预设的分桶神经网络进行分配预测，得到分布概率序列，分布概率序列包括每一时序特征处于每一预设分桶的分配概率；其中，预设分桶用于对时序特征进行离散化；特征离散模块603，用于将历史时序数据输入至预设分桶进行特征离散化，得到桶嵌入向量；特征嵌入表示模块604，用于根据分配概率和桶嵌入向量进行加权求和，得到历史时序数据的离散特征值嵌入向量；时序预测模块605，用于将离散特征值嵌入向量输入至预设的时序预测模型进行时序预测，得到处于预设的预测时间步长的目标预测时序数据。

本申请实施例的时序数据预测装置用于执行上述实施例中的时序数据预测方法，其具体处理过程与上述实施例中的时序数据预测方法相同，此处不再一一赘述。

在本申请实施例的装置中，在对时序特征离散化时，先将时序特征分配至不同的预设分桶，根据分配概率和预设分桶对时序特征进行离散化后得到的桶嵌入进行加权求和，完成对时序特征的连续型表示，得到离散特征值嵌入向量。最后，通过时序预测模型对离散特征值嵌入向量进行时序预测，得到目标预测时序数据。提高了预测准确率。

本申请实施例还提供了一种计算机设备，包括存储器和处理器，其中，存储器中存储有计算机程序，该计算机程序被处理器执行时处理器用于执行如本申请实施例中任一项的时序数据预测方法。

下面结合图8对计算机设备的硬件结构进行详细说明。该计算机设备包括：处理器701、存储器702、输入/输出接口703、通信接口704和总线705。

处理器701，可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本申请实施例所提供的技术方案；

存储器702，可以采用ROM(Read Only Memory，只读存储器)、静态存储设备、动态存储设备或者RAM(Random Access Memory，随机存取存储器)等形式实现。存储器702可以存储操作***和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器702中，并由处理器701来调用执行本申请实施例的时序数据预测方法；

输入/输出接口703，用于实现信息输入及输出；

通信接口704，用于实现本设备与其他设备的通信交互，可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信；和总线705，在设备的各个组件(例如处理器701、存储器702、输入/输出接口703和通信接口704)之间传输信息；

其中处理器701、存储器702、输入/输出接口703和通信接口704通过总线705实现彼此之间在设备内部的通信连接。

本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，在计算机程序被计算机执行时，计算机用于执行如本申请实施例中任一项的时序数据预测方法。

存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

本申请实施例描述的实施例是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域技术人员可知，随着技术的演变和新应用场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。

本领域技术人员可以理解的是，图2至图6中示出的技术方案并不构成对本申请实施例的限定，可以包括比图示更多或更少的步骤，或者组合某些步骤，或者不同的步骤。

以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、***、设备中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。

应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括多指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序的介质。

以上参照附图说明了本申请实施例的优选实施例，并非因此局限本申请实施例的权利范围。本领域技术人员不脱离本申请实施例的范围和实质内所作的任何修改、等同替换和改进，均应在本申请实施例的权利范围之内。

Claims (10)

1.一种时序数据预测方法，其特征在于，所述方法包括：

获取处于历史时间步长的历史时序数据；其中，所述历史时序数据包括：时序特征；

将所述历史时序数据输入至预设的分桶神经网络进行分配预测，得到分布概率序列，所述分布概率序列包括所述时序特征处于每一预设分桶的分配概率；其中，所述预设分桶用于对所述时序特征进行离散化；

将所述历史时序数据输入至所述预设分桶进行特征离散化，得到桶嵌入向量；

根据所述分配概率和所述桶嵌入向量进行加权求和，得到所述历史时序数据的离散特征值嵌入向量；

将所述离散特征值嵌入向量输入至预设的时序预测模型进行时序预测，得到处于预设的预测时间步长的目标预测时序数据。

2.根据权利要求1所述的方法，其特征在于，所述分桶神经网络包括全连接子网络和激活函数子网络，所述将所述历史时序数据输入至预设的分桶神经网络进行分配预测，得到分布概率序列，包括：

将所述时序特征输入至所述全连接子网络进行向量转化，得到时序向量；

将所述时序向量输入至所述激活函数子网络进行分桶预测，得到所述时序特征处于每一预设分桶的分配概率；

对所述时序特征处于每一预设分桶的分配概率进行合并，得到所述分布概率序列。

3.根据权利要求1所述的方法，其特征在于，将所述离散特征值嵌入向量输入至预设的时序预测模型进行时序预测，得到处于预设的预测时间步长的目标预测时序数据，包括：

根据预设的时间窗长度对处于不同的时间步长的所述离散特征值嵌入向量进行筛选，得到选定离散特征值嵌入向量序列；

根据预设的候选时间步长提取出所需的所述预测时间步长；

通过所述时序预测模型对所述选定离散特征值嵌入向量序列进行时序预测，得到处于所述预测时间步长的目标预测时序数据。

4.根据权利要求3所述的方法，其特征在于，所述时序预测模型包括生成器，所述生成器包括编码网络、解码网络、全连接网络和激活函数网络，所述通过所述时序预测模型对所述选定离散特征值嵌入向量序列进行时序预测，得到处于所述预测时间步长的目标预测时序数据，包括：

通过所述编码网络对所述选定离散特征值嵌入向量序列进行第一注意力处理，得到编码时序特征向量；

通过所述解码网络对所述编码时序特征向量进行第二注意力处理，得到解码时序特征向量；

通过所述全连接网络对所述解码时序特征向量进行特征映射，得到候选预测时序特征向量；

通过所述激活函数网络对所述候选预测时序特征向量进行激活处理，得到处于预测时间步长的目标预测时序数据。

5.根据权利要求4所述的方法，其特征在于，所述编码网络包括多头自注意力层、残差连接层、归一化层、第一全连接层、激活函数层和第二全连接层，所述通过所述编码网络对所述选定离散特征值嵌入向量序列进行第一注意力处理，得到编码时序特征向量，包括：

通过所述多头自注意力层对所述选定离散特征值嵌入向量进行注意力计算，得到第一时序特征向量；

通过所述残差连接层对所述选定离散特征值嵌入向量和所述第一时序特征向量进行求和，得到第二时序特征向量；

通过所述归一化层对所述第二时序特征向量进行归一化，得到第三时序特征向量；

通过所述第一全连接层对所述第三时序特征向量进行特征映射，得到第四时序特征向量；

通过所述激活函数层对所述第四时序特征向量进行激活处理，得到第五时序特征向量；

通过所述第二全连接层对所述第五时序特征向量进行特征映射，得到所述编码时序特征向量。

6.根据权利要求1至5任一项所述的方法，其特征在于，在将所述离散特征值嵌入向量输入至预设的时序预测模型进行时序预测，得到处于预设的预测时间步长的目标预测时序数据之前，所述方法还包括：

训练所述时序预测模型，具体包括：

获取处于历史样本时间步长的历史样本时序数据；所述历史样本时序数据包括历史样本时序特征，每一历史样本时序特征包括历史样本相关变量特征和历史样本目标变量特征；

将所述历史样本相关变量特征和所述历史样本目标变量特征输入至预设的生成器进行时序数据生成，得到处于预设的预测样本时间步长的预测目标变量特征；

将所述预测目标变量特征和所述历史样本目标变量特征进行拼接，得到第一待鉴别特征；

获取处于所述预测样本时间步长的参考目标变量特征，并将所述参考目标变量特征和所述历史样本目标变量特征进行拼接，得到第二待鉴别特征；

将所述第一待鉴别特征输入至预设的鉴别器进行鉴别，得到第一鉴别结果，并将所述第二待鉴别特征输入至所述鉴别器进行鉴别，得到第二鉴别结果；

根据所述第一鉴别结果和所述第二鉴别结果构建判别损失函数，得到判别损失数据；

根据所述预测目标变量特征和所述参考目标变量特征进行均方误差计算，得到第一生成损失数据；

根据所述第一鉴别结果构建生成损失函数，得到第二生成损失数据；

根据所述判别损失数据对所述鉴别器进行参数调整，并根据所述第一生成损失数据和所述第二生成损失数据对所述生成器进行参数调整；

根据调整后的生成器得到所述时序预测模型。

7.根据权利要求6所述的方法，其特征在于，所述鉴别器包括正向神经网络、反向神经网络和分类器，所述将所述第一待鉴别特征输入至预设的鉴别器进行鉴别，得到第一鉴别结果，包括：

通过所述正向神经网络按预设时间顺序对所述第一待鉴别特征进行特征处理，得到正向输出向量；

通过所述反向神经网络按与预设时间顺序相反的时间顺序对所述第一待鉴别特征进行特征处理，得到反向输出向量；

通过所述分类器对所述正向输出向量和所述反向输出向量进行分类，得到所述第一鉴别结果。

8.一种时序数据预测装置，其特征在于，所述装置包括：

时序数据获取模块，用于获取处于历史时间步长的历史时序数据；其中，所述历史时序数据包括：时序特征；

分配模块，用于将所述历史时序数据输入至预设的分桶神经网络进行分配预测，得到分布概率序列，所述分布概率序列包括每一所述时序特征处于每一预设分桶的分配概率；其中，所述预设分桶用于对所述时序特征进行离散化；

特征离散模块，用于将所述历史时序数据输入至所述预设分桶进行特征离散化，得到桶嵌入向量；

特征嵌入表示模块，用于根据所述分配概率和所述桶嵌入向量进行加权求和，得到所述历史时序数据的离散特征值嵌入向量；

时序预测模块，用于将所述离散特征值嵌入向量输入至预设的时序预测模型进行时序预测，得到处于预设的预测时间步长的目标预测时序数据。

9.一种计算机设备，其特征在于，所述一种计算机设备包括存储器和处理器，其中，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时所述处理器用于执行：

如权利要求1至7中任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，在所述计算机程序被计算机执行时，所述计算机用于执行：

如权利要求1至7中任一项所述的方法。

Images