CN109844770A - 用于使用惯性自动编码器来学习和预测时间序列数据的***和方法 - Google Patents

Abstract

一种方法包括使用计算网络（100）来学习和预测时间序列数据。计算网络被配置成接收时间序列数据并执行对时间序列数据的变换‑不变编码。计算网络包括一个或多个编码层（102、104、106）。该方法还包括通过变换的惯性调整来反馈对时间序列数据的未来预测。惯性调整维持计算网络中的不变量。计算网络可以进一步包括一个或多个池化层（108、110、112），每个池化层被配置成降低数据的维度，其中所述一个或多个池化层提供该编码的变换不变性。

Description

用于使用惯性自动编码器来学习和预测时间序列数据的*** 和方法

技术领域

本公开一般地涉及机器学习和数据预测。更具体地，本公开涉及用于使用惯性（inertial）自动编码器来学习和预测时间序列数据的***和方法。

背景技术

“机器学习”一般指的是被设计成从数据中学习并对数据执行预测分析的计算技术。神经网络是基于生物网络（诸如人脑）的机器学习技术的一个示例类型。在神经网络中，使用人工神经元执行数据处理，所述人工神经元被耦合在一起并通过各种通信链路交换经处理的数据。可以通过更改与通信链路相关联的权重以使得一些数据被视为比其他数据更重要来实现神经网络的“学习”方面。

“时间序列预测”指的是使用时间序列数据、通过机器学习算法所做出的预测，所述时间序列数据诸如是随着时间的过去经由一个或多个感官（sensory）输入所收集的数据值。时间序列预测是智能的重要组分。例如，智能实体预测输入的时间序列的能力可以允许智能实体创建世界（或其一些较小部分）的模型。

发明内容

本公开提供了用于使用惯性自动编码器来学习和预测时间序列数据的***和方法。

在第一实施例中，一种方法包括使用计算网络来学习和预测时间序列数据。计算网络被配置成接收时间序列数据并执行对时间序列数据的变换-不变编码（transformation-invariant encoding）。计算网络包括一个或多个编码层。该方法还包括通过变换（transformation）的惯性调整来反馈对时间序列数据的未来预测。惯性调整维持计算网络中的不变量（invariant）。

在第二实施例中，一种装置包括至少一个处理设备和存储指令的至少一个存储器。所述指令在被所述至少一个处理设备执行时使得所述至少一个处理设备使用计算网络来学习和预测时间序列数据。计算网络被配置成接收时间序列数据并执行对时间序列数据的变换-不变编码。计算网络包括一个或多个编码层。所述指令在被所述至少一个处理设备执行时还使得所述至少一个处理设备通过变换的惯性调整来反馈对时间序列数据的未来预测。惯性调整维持计算网络中的不变量。

在第三实施例中，一种非暂时性计算机可读介质包含指令，所述指令在被至少一个处理设备执行时使得所述至少一个处理设备使用计算网络来学习和预测时间序列数据。计算网络被配置成接收时间序列数据并执行对时间序列数据的变换-不变编码。计算网络包括一个或多个编码层。该介质还包含在被所述至少一个处理设备执行时使得所述至少一个处理设备通过变换的惯性调整来反馈对时间序列数据的未来预测的指令。惯性调整维持计算网络中的不变量。

从以下各图、说明书和权利要求书，其他技术特征对本领域技术人员而言可能是容易地显而易见的。

附图说明

为了更彻底地理解本公开及其特征，现在参考结合附图采取的以下描述，在附图中：

图1图示了根据本公开的实现用于学习和预测时间序列数据的惯性自动编码器的示例架构；

图2图示了根据本公开的用于在学习和预测时间序列数据时使用的惯性自动编码器的示例功能性；

图3图示了根据本公开的使用已经学会预测时间序列数据的惯性自动编码器的示例预测；

图4图示了根据本公开的用于学习和预测时间序列数据的示例***；以及

图5图示了根据本公开的用于学习和预测时间序列数据的示例方法。

具体实施方式

下面讨论的图1至5以及本专利文件中用于描述本发明的原理的各种实施例仅作为说明，并且不应被以任何方式解释成限制本发明的范围。本领域技术人员将理解，可以在任何类型的合适地布置的设备或***中实现本发明的原理。

如上面指出的，时间序列预测是智能的重要组分，诸如当其允许智能实体（比如人）创建他或她周围的世界的模型时。然而，智能实体的运动（motor）意图也可以自然地形成时间序列的一部分。“运动意图”一般指的是与神经信号相关联的预期运动移动，诸如基于不同的神经信号移动一个人的手臂或腿或者打开/关闭一个人的手。包括过去的运动意图的预测允许对该运动意图对周围世界的影响进行建模。此外，如果智能实体包括可以计算关于用于影响世界的一些高级目标的最佳运动意图的控制***，则预测未来运动意图的能力可以更准确地发生，而不总是必须执行完全优化，这可以在计算和能量使用方面提供巨大节省。

在本公开的一个方面，提供了用于学习和预测时间序列数据的设备、***、方法和计算机可读介质。使用一个或多个自动编码器完成学习和预测，所述自动编码器支持前馈和反馈连同惯性调整。例如，可以通过使高级变换-不变理解抽象化（abstract）并且然后在维持不变量的同时经由变换的惯性调整反馈对时间序列数据的详细未来预测来支持学习和预测。

图1图示了根据本公开的实现用于学习和预测时间序列数据的惯性自动编码器的示例架构100。如图1中所示，架构100包括多个编码层和多个池化层。在该示例中，架构100包括三个编码层102-106和三个池化层108-112，但是可以使用其他数目的编码和池化层。在一些实例中，架构100可以包括单个编码层和单个池化层。

编码层102-106中的每个一般执行计算以编码或以其他方式处理传入数据，而池化层108-112中的每个一般执行计算以提供维度降低。维度降低指的是接收较大量（较高带宽）的感官数据或其他输入数据并将数据减少到较小量（较低带宽）的描述性概念的过程。

层102-112中的每个包括用于对数据进行编码、提供维度降低或执行任何其他合适的处理操作的任何合适的（一个或多个）结构。例如，可以使用硬件或硬件和软件/固件指令的组合来实现层102-112中的每个。

编码和池化层102-112中的每个一般接收输入值并操作以产生输出值。被提供给第一编码层102的输入114可以表示任何合适的感官输入或其他输入，并且可以包括时间序列数据（可能包括运动输入）。由最后一个池化层112提供的输出116可以表示由编码和池化层102-112执行的操作的组合所生成的数据，诸如对时间序列数据的高级概念性理解。因此，输出116可以表示输入114的编码或其他表示。

在图1中，附加数据交换118和120发生在邻近层之间（但是数据交换不需要被限于与邻近层一起使用）。数据交换118表示“前馈”数据交换，其中在过程流程中数据被从一层提供到随后一层。相比之下，数据交换120表示“反馈”数据交换，其中在过程流程中数据被从一层提供到前一层。

在一些实施例中，图1中示出的架构100可用于实现自动编码器。“自动编码器”是尝试为一组数据生成编码的一类神经网络或其他机器学习算法。该编码表示该组数据的表示但具有降低的维度。在理想情况下，该编码允许自动编码器基于时间序列数据中的初始值来预测时间序列数据中的未来值。预测时间序列数据的能力可以在大量应用中找到用途。

一般地，实现自动编码器的网络一般被设计成使得其输出近似地再现其输入。当应用于时间序列数据时，自动编码器在仅使用过去的信息来再现未来的信息的意义上是“因果的”。迭代地，这样的因果自动编码器可以从其本身再现整个时间序列，这意味着因果自动编码器可以基于时间序列的初始值来标识整个时间序列。理想地，完成编码层102-106对输入114的编码，使得输入114的最终编码表示（输出116）是高度受约束的（诸如稀疏的）。输入114的编码表示还可以理想地用于生成所预测的接下来的输入122，其表示输入114的近似再现。针对时间序列数据，因果自动编码器将基于过去的输入114使未来的输入近似地再现为所预测的接下来的输入122，从而允许该因果自动编码器为时间序列数据做出预测。

在一些实施例中，当最终编码尽可能高级且不变以使得相同的编码可用于许多时间步（time step）时，因果自动编码器可能是最有用的。通过添加一个或多个池化层108-112，可以在一个或多个编码层102-106的网络中实现不变性，这以使每个编码层的输出对该编码层的输入的典型变换而言不变的方式降低了信息的维度。例如，所谓的ℓ ² 池化层可以向酉群（unitary group）表示提供不变性。然而，为了（按因果自动编码器要求的）在一个时间步之后近似地再现原始输入114，丢弃的非不变信息需要被添加回到计算中。根据该理解，前馈数据交换118可以用于计算高级不变编码作为输出116，并且通过相同网络的反馈数据交换120可以用于利用非不变信息来丰富所预测的接下来的输入122，而不是将纯前馈网络用于自动编码器。

作为该功能性的示例，假设特定人被包含在被分析的一系列图像中。神经网络或其他机器学习算法可能需要在独立于他或她的位置、定向、姿势、灯光、衣服等的场景中识别这个人。然而，为了预测该系列图像中的接下来的帧，该网络不能只记住这个人而忘记他或她的位置、定向、姿态、灯光、衣服等。相反，那些非不变方面可能会不断改变，而该网络应当能够将那些非不变方面的新值将是什么投影到未来中。“惯性”投影（projection）是对那些非不变方面的未来值的最可能的预测，假设没有什么意外发生的话。惯性投影通常使用非不变方面的至少两个过去值来做出其预测。

可以在因果设置中以其使用非不变信息提前一个时间步进行预测的具体方式可以根据实现而变化。一些实施例，诸如与物理概念一致的那些实施例，涉及牛顿世界的假设，其中动力学是二阶的并且动量在没有任何力的情况下继续不受干扰。图2图示了根据本公开的用于在学习和预测时间序列数据时使用的示例惯性自动编码器的功能性。可以使用图1中所示的架构100来实现惯性自动编码器，并且牛顿动力学可以用于非不变信息。在该类型的实现中，网络中的每个节点（编码层）可以记住其来自过去的一个时间步的激活。“记住的”过去的激活202可以与当前激活204结合使用以生成某个类型的投影206，并且如果必要的话，可以轻微调整所得到的在池化之前的“惯性”未来激活208以与在池化210之后的已经反馈的未来不变激活一致。

以下提供了可以以其构造惯性自动编码器的一个特定示例方式的细节。这些细节仅是示例，并且可以以该方式或以任何其他合适的方式设计其他惯性自动编码器。

在一个示例实现中，惯性自动编码器网络包括一系列层对，即随后是ℓ ² 池化层108、110、112的编码层102、104、106。到网络的感官、运动或其他输入114被从网络的初始层前馈到最后一层（导致经完全编码的输出116），并被通过从网络的最后一层回到初始层的以数据交换120的形式的反馈而惯性地重建（导致网络的所预测的接下来的输入122）。

考虑具有一个编码层和一个随后的池化层的单对层。在前馈数据交换118中，在时间τ处的输入x _τ 被前馈通过编码层，以产生经编码的输出y _τ 。经编码的输出y _τ 被前馈通过池化层，以产生池化的经编码的输出z _τ ，其被前馈到接下来的对层（其中最终的这样的经编码的输出被提供作为输出116）。从先前的前馈传递中记住y _τ-1 的值。在反馈中，z _τ+1 的值被给定，并且y _τ+1 被看作从y _τ-1 到y _τ 的弧投影（arc projection）（投影206）并且被归一化以在池化之后产生z _τ+1 。通过反转y _τ+1 的编码而获得所预测的输入x _τ+1 。

更详细地，假设x _τ 和z _τ 是向量，并且y _τ 是具有归一化||x _τ || = ||z _τ || = 1的矩阵。编码层102、104、106可以由编码张量F定义，使得通过最小化如下的前馈能量而从x _τ 生成y _τ ：

其中是矩阵的行方向ℓ ² 范数的向量。ℓ ² 池化层108、110、112由z _τ =|y _τ |/||y _τ ||定义，其使输出的维度降低y _τ 的行维度。以上能量E _ff 中的ℓ ¹ 范数确保输出z _τ 是稀疏的，并且因此提供输入的较高级编码。

为了训练网络，在前馈期间，可以诸如以以下方式使编码张量F增加本地负能量梯度的小倍数：

在这里，x _τ 是实际输入，x _τ(pred) 是先前预测的输入，并且y _τ(pred) 是先前预测的经编码的输出。

在反馈期间，在给定所预测的接下来的输出z _τ+1 的情况下，所预测的接下来的编码y _τ+1 可以被“惯性地”计算为如下从y _τ-1 到y _τ 的行方向的弧投影p _τ+1 ：

这可以被如下在行方向进行归一化：

使得，如所期望的。通过最小化如下的反馈能量，可以从y _τ+1 生成所预测的接下来的输入x _τ+1 ：

其可以被归一化，使得||x _τ+1 ||=1。该类型的物理惯性可用于学***移、旋转和缩放。

除了其他用途之外，使用单个编码层和单个ℓ ² 池化层形成的网络可以足以学会预测一维视频中的物体的惯性运动。在被关于以多种速度移动的多种一维物体的视频进行训练之后，该网络可以有效地学***移不变量。当离开以自由运行时，该网络然后可以生成以恒定速度移动的物体的视频（在图3中示出并在下面描述其示例）。

注意，上面使用的弧投影仅是惯性预测的一个可能的实施例。在其他实施例中，假设不变量表示可能以不同的速度观察到的以特定顺序的“故事”或特定图案（pattern）序列。可以使用不同的投影函数捕获该类型的不变性和预测，同时仍然使用ℓ ² 池化。例如，让y的维度表示应当按序列出现的不同图案。如果y的值依次循环通过e ₁ ……e _n （其中e _i 是第i个方向上的单位向量），这有意是以单位速度的故事的实例并产生池化的不变输出“1”。允许故事以不同的速度进行的惯性投影保持随后是故事的第j帧e _j 的第i帧e _i 产生对经惯性地投影的帧e _{2j-i(mod n)} 的预测。这定义了序列投影（sequence projection）y _τ-1 y _τ →y _τ+1 ，其是具有由e _i e _j →e _{2j-i(mod n)} 定义的基础值的双线性投影。

在其他实施例中，人类语言具有许多有趣的统计属性，其中的一个被称为“齐普夫定律”。齐普夫定律陈述了，以任何粒度级别（比方说单词），在给定当前单元（unit）的情况下，接下来的单元的频率遵循具有近似-1的幂的幂律分布。然而，由于上下文很重要，可能更深入。因此，在给定前两个单元的情况下，接下来的单元的频率具有有着近似-2的幂的更快的衰减幂律。该相关性一般不是加法，并且对先前的单元没有类似OR的依赖性。相反，该相关性更倾向于是乘法，类似AND的相关性。因此，在给定在前两个单元中的每个的方向上的单位向量e _i 和e _j 的情况下，对接下来的单元的分布的惯性预测定义了记忆投影（memoryprojection）y _τ-1 y _τ →y _τ+1 ，这是双线性函数e _i e _j → P _ijk e _k ，P _ijk 是可以通过经验学习的频率。在自然语言中，频率P _ijk 可以根据具有近似-1/2的幂的幂律分布而进行分布，给它们一种稀疏性和衰减分布。这有助于限制做出惯性预测所需的存储器的量。

注意，以上描述提供了可以与架构100一起使用的不同类型的投影的示例。这些包括与物理惯性、序列惯性和记忆惯性一起使用的投影。然而，任何其他合适类型的投影可以与架构100一起使用。

尽管图1和2图示了实现用于学习和预测时间序列数据的惯性自动编码器的架构100的一个示例以及供在学习和预测时间序列数据时使用的惯性自动编码器的功能性的一个示例，但是可以对图1和2做出各种改变。例如，架构100不需要包括三个编码层和三个池化层，并且可以包括以任何合适的布置的其他数目的编码层和池化层。

图3图示了根据本公开的使用已经学会预测时间序列数据的惯性自动编码器的示例预测。如上面指出的，架构100中的单层对网络（单个编码层和单个池化层）可以足以学会预测一维视频中的物体的惯性运动。在被关于以多种速度移动的多种一维物体的视频进行训练之后，该网络可以有效地学***移不变量。

当使这样的网络自由运行时，该网络可以生成以恒定速度移动的物体的视频。图3中示出了这的示例，其中图300包含随着时间的过去所绘制的针对四个视频帧的预测。如可以在图3中看到的，通过该网络做出的预测依次达到它们的宽峰。针对第一帧的预测首先达到高峰，接着依次是针对第二帧、第三帧和第四帧的预测。针对不同帧的预测也以基本恒定的间隔大体上达到高峰。同时，这指示该网络正在生成准确地预测到物体以恒定速度的移动的预测。

尽管图3图示了使用已经学会预测时间序列数据的惯性自动编码器的预测的一个示例，但是可以对图3做出各种改变。例如，惯性自动编码器可以用于执行任何其他合适的功能。

图4图示了根据本公开的用于学习和预测时间序列数据的示例***。如图4中所示，计算***400包括至少一个处理设备402、至少一个存储设备404、至少一个通信单元406和至少一个输入/输出（I/O）单元408。

处理设备402执行可以被加载到存储器410中的指令。处理设备402包括以任何合适的布置的任何合适的（一个或多个）数目和（一个或多个）类型的处理器或其他设备。处理设备402的示例类型包括微处理器、微控制器、数字信号处理器、现场可编程门阵列、专用集成电路和分立电路。

存储器设备410和持久贮存器412是存储设备404的示例，其表示能够存储和促进信息（诸如数据、程序代码和/或在临时或永久的基础上的其他合适的信息）的检索的任何（一个或多个）结构。存储器设备410可表示随机存取存储器或者任何（一个或多个）其他合适的易失性或非易失性存储设备。持久贮存器412可包含支持数据的较长期存储的一个或多个组件或设备，诸如只读存储器、硬盘驱动器、闪存或光盘。

通信单元406支持与其他***或设备的通信。例如，通信单元406可包括促进通过有线或无线网络的通信的网络接口卡或无线收发器。通信单元406可支持通过任何（一个或多个）合适的物理或无线通信链路的通信。

I/O单元408允许数据的输入和输出。例如，I/O单元408可通过键盘、鼠标、小键盘、触摸屏或其他合适的输入设备提供用于用户输入的连接。I/O单元408还可向显示器、打印机或其他合适的输出设备发送输出。

在一些实施例中，由处理设备402执行的指令可以包括实现图1的架构100（并且可选地实现图2的功能性）的指令。例如，由处理设备402执行的指令可以包括实现各种编码和池化层102-112的指令，以及支持涉及层102-112的数据流和数据交换的指令。

尽管图4图示了用于学习和预测时间序列数据的***400的一个示例，但是可以对图4做出各种改变。例如，在这里假设使用由处理设备402执行的软件/固件来实现提供自动编码器功能性的图1的架构100。然而，可以使用任何合适的仅硬件实现或任何合适的硬件和软件/固件实现来实现自动编码器功能性。而且，计算设备以多种多样的配置出现，并且图4不将本公开限制于任何特定的计算设备。

图5图示了根据本公开的用于学习和预测时间序列数据的示例方法500。为了解释的容易，方法500被描述为由图4的设备400使用图1的架构100来实现。然而，注意，可以以任何其他合适的方式实现方法500。

如图5中所示，在步骤502处，在计算网络处接收时间序列数据。这可以包括例如处理设备402从任何合适的源（诸如一个或多个传感器或者其他输入设备）接收时间序列数据。这还可以包括处理设备402将时间序列数据提供给架构100的编码层102。

在步骤504处使用计算网络的一个或多个编码层发生时间序列数据的变换-不变编码，并且在步骤506处使用计算网络的一个或多个池化层降低正在处理的数据的维度。这可以包括例如处理设备402将所述数据传递通过架构100的各种编码层102-106，其对所述数据进行编码。这还可以包括处理设备402将所述数据传递通过架构100的各种池化层108-112，其降低了正在处理的数据的维度。在一些实施例中，池化层108-112提供该编码的变换不变性。在特定实施例中，每个池化层108-112执行池化函数，并且池化函数可以表示ℓ ² 范数。

在步骤508处，使用变换的惯性调整，通过计算网络来反馈对时间序列数据的未来预测。这可以包括例如处理设备402从较低编码层102-106向较高编码层102-106传递反馈数据交换120。在一些实施例中，可以基于投影函数做出变换的惯性调整，所述投影函数将时间序列数据的当前值与时间序列数据的先前值组合。如上面描述的，可以使用各种类型的投影函数。示例投影函数包括弧投影、序列投影或记忆投影。

以该方式，在步骤510处使用计算网络来学习和预测时间序列数据。这可以包括例如处理设备402使用计算网络来了解时间序列数据，使得可以基于有限数目的输入数据值来预测时间序列数据的整个序列。

尽管图5图示了用于学习和预测时间序列数据的方法500的一个示例，但是可以对图5做出各种改变。例如，虽然被示出为一系列步骤，但是各种步骤可以重叠、并行发生、以不同的顺序发生、或发生任何次数。作为特定示例，步骤504-508一般可以彼此重叠。

在一些实施例中，通过计算机程序来实现或支持本专利文档中描述的各种功能，所述计算机程序由计算机可读程序代码形成并且体现在计算机可读介质中。短语“计算机可读程序代码”包括任何类型的计算机代码，其包括源代码、目标代码和可执行代码。短语“计算机可读介质”包括能够被计算机访问的任何类型的介质，诸如只读存储器（ROM）、随机存取存储器（RAM）、硬盘驱动器、紧致盘（CD）、数字视频盘（DVD）或任何其他类型的存储器。“非暂时性”计算机可读介质不包括输送暂时性电或其他信号的有线、无线、光学或其他通信链路。非暂时性计算机可读介质包括可永久地存储数据的介质和可存储并稍后覆写数据的介质，诸如可重写光盘或可擦除存储器设备。

阐述贯穿本专利文档使用的某些单词和短语的定义可以是有利的。术语“应用”和“程序”指的是适合于用合适的计算机代码（包括源代码、目标代码或可执行代码）实现的一个或多个计算机程序、软件组件、指令集、过程、函数、对象、类、实例、相关数据或其一部分。术语“通信”及其派生词包含直接通信和间接通信两者。术语“包括”和“包含”及其派生词意味着没有限制的包括。术语“或”是包括性的，意味着和/或。短语“与……相关联”及其派生词可以意味着包括、被包括在……内、与……互连、包含、被包含在……内、连接到或与……连接、耦合到或与……耦合、可与……通信、与……协作、交错、并置、接近于、被绑定到或与……绑定、具有、具有……的属性、和或与……有关系等。短语“……中的至少一个”当与项目的列表一起使用时意味着可以使用所列项目中的一个或多个的不同组合，并且可能需要列表中的仅一个项目。例如，“A、B和C中的至少一个”包括以下组合中的任一个：A、B、C、A和B、A和C、B和C以及A和B和C。

本专利文档中的描述不应当被解读为暗示任何特定元件、步骤或功能是必须被包括在权利要求范围中的必要或关键元件。而且，权利要求中没有一个旨在关于任何所附权利要求或权利要求要素援引美国法典第35条第112（f）款，除非在特定权利要求中明确地使用确切的词语“用于……的部件”或“用于……的步骤”，随后是标识功能的分词短语。权利要求内的诸如（但不限于）“机构”、“模块”、“设备”、“单元”、“组件”、“元件”、“构件”、“装置”、“机器”、“***”、“处理器”、“处理设备”或“控制器”之类的术语的使用被理解成并旨在指的是如通过权利要求本身的特征进一步修改或者增强的为相关领域技术人员所知的结构，而不旨在援引美国法典第35条第112（f）款。

虽然本公开已经描述了某些实施例和一般关联的方法，但是这些实施例和方法的更改和置换对于本领域技术人员而言将是显而易见的。因此，示例实施例的以上描述不限定或者约束本公开。在不脱离如由以下权利要求限定的本公开的精神和范围的情况下，其他改变、替换和更改也是可能的。

Claims (21)

1.一种方法，包括：

使用计算网络来学习和预测时间序列数据，所述计算网络被配置成接收所述时间序列数据并执行对所述时间序列数据的变换-不变编码，所述计算网络包括一个或多个编码层；以及

通过变换的惯性调整来反馈对所述时间序列数据的未来预测，所述惯性调整维持所述计算网络中的不变量。

2.根据权利要求1所述的方法，其中所述计算网络进一步包括一个或多个池化层，每个池化层被配置成降低数据的维度，所述一个或多个池化层提供所述编码的变换不变性。

3.根据权利要求2所述的方法，其中每个池化层执行池化函数，所述池化函数表示ℓ ² 范数。

4.根据权利要求1所述的方法，其中基于投影函数做出所述变换的惯性调整，所述投影函数将所述时间序列数据的当前值与所述时间序列数据的先前值组合。

5.根据权利要求4所述的方法，其中所述投影函数表示弧投影，其被定义为：

其中y _τ 表示所述当前值，并且y _τ-1 表示所述先前值。

6.根据权利要求4所述的方法，其中所述投影函数表示序列投影y _τ-1 y _τ →y _τ+1 ，其被定义为：

e _i e _j →e _{2j-i(mod n)}

其中y _τ 表示所述当前值，y _τ-1 表示所述先前值，y _τ+1 表示所预测的未来值，e _i 和e _j 分别表示在第i个和第j个方向上的单位向量，并且n表示y的维度。

7.根据权利要求4所述的方法，其中所述投影函数表示记忆投影y _τ-1 y _τ →y _τ+1 ，其被定义为：

e _i e _j → P _ijk e _k

其中y _τ 表示所述当前值，y _τ-1 表示所述先前值，y _τ+1 表示所预测的未来值，e _i 和e _j 分别表示在第i个和第j个方向上的单位向量，P _ij 表示学习到的具有衰减分布的频率，并且k表示求和函数∑的索引。

8.一种装置，包括：

至少一个处理设备；以及

存储指令的至少一个存储器，所述指令在被所述至少一个处理设备执行时使得所述至少一个处理设备：

使用计算网络来学习和预测时间序列数据，所述计算网络被配置成接收所述时间序列数据并执行对所述时间序列数据的变换-不变编码，所述计算网络包括一个或多个编码层；并且

通过变换的惯性调整来反馈对所述时间序列数据的未来预测，所述惯性调整维持所述计算网络中的不变量。

9.根据权利要求8所述的装置，其中所述计算网络进一步包括一个或多个池化层，每个池化层被配置成降低数据的维度，所述一个或多个池化层被配置成提供所述编码的变换不变性。

10.根据权利要求9所述的装置，其中每个池化层被配置成执行池化函数，所述池化函数表示ℓ ² 范数。

11.根据权利要求8所述的装置，其中所述至少一个处理设备被配置成基于投影函数做出所述变换的惯性调整，所述投影函数将所述时间序列数据的当前值与所述时间序列数据的先前值组合。

12.根据权利要求11所述的装置，其中所述投影函数表示弧投影，其被定义为：

其中y _τ 表示所述当前值，并且y _τ-1 表示所述先前值。

13.根据权利要求11所述的装置，其中所述投影函数表示序列投影y _τ-1 y _τ →y _τ+1 ，其被定义为：

e _i e _j →e _{2j-i(mod n)}

其中y _τ 表示所述当前值，y _τ-1 表示所述先前值，y _τ+1 表示所预测的未来值，e _i 和e _j 分别表示在第i个和第j个方向上的单位向量，并且n表示y的维度。

14.根据权利要求11所述的装置，其中所述投影函数表示记忆投影y _τ-1 y _τ →y _τ+1 ，其被定义为：

e _i e _j → P _ijk e _k

其中y _τ 表示所述当前值，y _τ-1 表示所述先前值，y _τ+1 表示所预测的未来值，e _i 和e _j 分别表示在第i个和第j个方向上的单位向量，P _ij 表示学习到的具有衰减分布的频率，并且k表示求和函数∑的索引。

15.一种包含指令的非暂时性计算机可读介质，所述指令在被至少一个处理设备执行时使得所述至少一个处理设备：

使用计算网络来学习和预测时间序列数据，所述计算网络被配置成接收所述时间序列数据并执行对所述时间序列数据的变换-不变编码，所述计算网络包括一个或多个编码层；并且

通过变换的惯性调整来反馈对所述时间序列数据的未来预测，所述惯性调整维持所述计算网络中的不变量。

16.根据权利要求15所述的非暂时性计算机可读介质，其中所述计算网络进一步包括一个或多个池化层，每个池化层被配置成降低数据的维度，所述一个或多个池化层被配置成提供所述编码的变换不变性。

17.根据权利要求16所述的非暂时性计算机可读介质，其中每个池化层被配置成执行池化函数，所述池化函数表示ℓ ² 范数。

18.根据权利要求15所述的非暂时性计算机可读介质，其中所述变换的惯性调整基于投影函数，所述投影函数将所述时间序列数据的当前值与所述时间序列数据的先前值组合。

19.根据权利要求18所述的非暂时性计算机可读介质，其中所述投影函数表示弧投影，其被定义为：

其中y _τ 表示所述当前值，并且y _τ-1 表示所述先前值。

20.根据权利要求18所述的非暂时性计算机可读介质，其中所述投影函数表示序列投影y _τ-1 y _τ →y _τ+1 ，其被定义为：

e _i e _j →e _{2j-i(mod n)}

其中y _τ 表示所述当前值，y _τ-1 表示所述先前值，y _τ+1 表示所预测的未来值，e _i 和e _j 分别表示在第i个和第j个方向上的单位向量，并且n表示y的维度。

21.根据权利要求18所述的非暂时性计算机可读介质，其中所述投影函数表示记忆投影y _τ-1 y _τ →y _τ+1 ，其被定义为：

e _i e _j → P _ijk e _k

其中y _τ 表示所述当前值，y _τ-1 表示所述先前值，y _τ+1 表示所预测的未来值，e _i 和e _j 分别表示在第i个和第j个方向上的单位向量，P _ij 表示学习到的具有衰减分布的频率，并且k表示求和函数∑的索引。