CN110597799B - 一种时序数据缺失值自动填补方法、***和设备 - Google Patents

Abstract

本发明提供一种时序数据缺失值自动填补方法、***和设备，通过随机掩码和神经网络分解的技术，在将时序数据分解为不同模式的叠加的同时，实现了自动提取特征，从而构造了一种更加准确有效的端到端时序数据缺失值填补方法，包括数据准备、模型训练和模型使用三个步骤，数据准备步骤获取原始时序数据进行数据的预处理，根据给定的缺失率构造随机掩码，将新生成的随机掩码和相对应的原始数据作为新的数据集；模型训练步骤利用数据准备步骤生成的新数据集进行模型训练，以构建基于神经网络分解的模型；模型使用步骤针对有缺失值的时序数据构造对应的掩码，使用上述经过训练的模型进行时序数据缺失值的填补。

Description

一种时序数据缺失值自动填补方法、***和设备

技术领域

本发明涉及机器学习技术领域，具体涉及一种时序数据缺失值自动填补方法、***和设备。

背景技术

随着深度学习和神经网络的发展，时序数据的分析处理也越来越受到人们的关注。如气象、医疗、交通、水务等。然而这些实际的时间序列数据由于各种原因不可避免的会产生缺失值，为了更好的分析和利用这些数据，必须先进行缺失值处理和填补。时序数据的缺失值往往与其它值具有非线性和动态的相关性，传统的填补方法如零填补，均值补充及EM算法等并不能有效的处理这种非线性和动态相关性。而一些基于LSTM模型的方法则是将缺失值填补视为一个预测问题，一方面为了模型预测的准确性，需要大量的先验知识来进行手工特征的提取。另一方面，时序数据本身往往具有一些直接或者隐藏的模式，而前面的方法往往忽略了这些模式，当然也无法利用这些模式来获得更准确更有效的缺失值填补效果。因此亟待踢出一种新的端到端的、能够自动特征提取和充分利用隐藏模式的时序数据缺失值填补方法。

发明内容

本发明的目的是本发明提出了一种基于随机掩码和神经网络分解的时序数据缺失值自动填补方法，***和设备，目的在于分解时序数据，寻找时序数据的隐藏模式，自动的提取特征，实现更加准确射有效的端到端时序数据缺失值填补方法。

为了达到上述目的，本发明一方面提供一种时序数据缺失值自动填补方法，包括：

数据准备，获取的没有缺失值的原始时序数据以进行数据的预处理，然后根据给定的缺失率构造随机掩码，将新生成的随机掩码和相对应的原始数据作为新的数据集，用来进行模型的训练；

模型训练，利用数据准备步骤生成的新数据集进行模型训练，以构建基于神经网络分解的时序数据缺失值自动填补的模型；

模型使用，针对有缺失值的时序数据构造对应的掩码，使用上述经过训练的模型，来进行时序数据缺失值的填补。

所述数据预处理后，从原始时序数据中得到数据集合,其中{X_i}(i∈1,2…m)其中X_i∈R^k为k维向量。

进一步的，根据给定的缺失率{p_j}(p_j∈(0,0.35))构造随机掩码{M_ij}，新的数据集由原始数据和其对应的某一个随机掩码组成一个数据，即{(X_i,M_ij)}(i∈1,2…m,j∈D)。

进一步的，所述基于神经网络分解的模型包括输入层，所述输入层接收新构造的数据集(X_i,M_ij)进入模型进行训练。

进一步的，所述基于神经网络分解的模型包括嵌入层，所述嵌入层将数据集(X_i,M_ij)进行逐元素的乘法计算以屏蔽构造缺失值，使得通过掩码标识的缺失值不参与到模型学习过程中。

进一步的，所述基于神经网络分解的模型包括中间层，所述中间层将嵌入层中通过非缺失值学习到的特征扩展至缺失值。

进一步的，所述基于神经网络分解的模型包括分解层，所述分解层通过激活函数来将学习到的特征进行分解，所述激活函数包括sin激活函数和linear激活函数，所述sin激活函数用以获得正弦分量，linear激活函数用以获得线性分量。

进一步的，所述基于神经网络分解的模型包括输出层，所述输出层通过将分阶层中的各个线性分类进行逐元素的加法计算，得到输出X_{_out}。

进一步的，根据不同构造方式的掩码M_y，进行缺失值q的填补，其中需要填补的数据为Y，使用进过训练的模型进行缺失值的填补，将Y和构造的掩码M_y输入到模型中，得到输出Y_{_out}，最终将Y中的缺失部分用Y_{_out}的对应位置的数据进行填补。

另一方面，本发明还提供一种时序数据缺失值自动填补***，包括：

数据准备模块，获取的没有缺失值的原始时序数据以进行数据的预处理，然后根据给定的缺失率构造随机掩码，将新生成的随机掩码和相对应的原始数据作为新的数据集，用来进行模型的训练；

模型训练模块，利用数据准备步骤生成的新数据集进行模型训练，以构建基于神经网络分解的时序数据缺失值自动填补的模型；

模型使用模块，针对有缺失值的时序数据构造对应的掩码，使用上述经过训练的模型，来进行时序数据缺失值的填补。

另一方面，本发明还提供一种时序数据缺失值自动填补装置，包括：

处理器；

用以存储处理器可执行计算机程序指令的存储器；

其中，所述计算机程序指令被处理器执行时实现权利要求1至9中任意一项所述的方法。

本发明通过随机掩码和神经网络分解的技术，在将时序数据分解为不同模式的叠加的同时，实现了自动提取特征，从而构造了一种更加准确有效的端到端时序数据缺失值填补方法。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一个实施例的时序数据缺失值自动填补方法的方法流程图；

图2是本发明一个实施例的神经网络分解模型的架构图；

图3为本发明一个实施例的时序数据缺失值自动填补***的***架构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面参照附图描述根据本发明实施例提出的一种用水模式挖掘和匹配的方法，***和设备，首先将参照附图描述根据本发明实施例提出的用水模式挖掘方法。

图1是本发明一个实施例的时序数据缺失值自动填补方法的方法流程图。

如图1所示，该时序数据缺失值自动填补方法包括：

步骤S101，数据准备。

具体的，在本发明的一个实施例中，数据准备步骤是对获取的没有缺失值的原始数据，进行必要的预处理过程。然后根据给定的缺失率，构造随机掩码。新生成的随机掩码和相对应的原始数据将作为新的数据集，用来进行模型的训练。

步骤S102,模型训练。

具体的，在本发明的一个实施例中，模型训练步骤包括构建基于神经网络分解的模型，并且利用数据准备阶段生成的新数据集进行模型训练。

步骤S103，模型使用。

具体的，在本发明的一个实施例中，模型使用步骤针对有缺失值的时序数据以构造对应的掩码，并且使用上面阶段训练得到的模型，来进行缺失值填补。

具体的，在本发明的一个实施例中，所述数据预处理后，从原始时序数据中得到数据集合,其中{X_i}(i∈1,2…m)其中X_i∈R^k为k维向量。

进一步的，根据给定的缺失率{p_j}(p_j∈(0,0.35))构造随机掩码{M_ij}。缺失率定义为缺失值数据点占总的数据点比率。对于给定的p_j，对于每一个X_i，认为其ceil(m*p_j)个数据点是缺失的。ceil代表向上取整数。随机掩码M_ij则是与X_i相同维度的向量，随机选择其ceil(m*p_j)个位置为设为0，其它位置设为1。

进一步的，新的数据集由原始数据和其对应的某一个随机掩码组成一个数据，即{(X_i,M_ij)}(i∈1,2…m,j∈D),其中D根据不同随机掩码策略可以有不同的选择范围。

图2是本发明一个实施例的神经网络分解模型的架构图。

如图2所示，本发明一个实施例的神经网络分解模型包括输入层1、嵌入层2、中间层3、分解层4和输出层5。其中

代表逐元素的乘法。

代表逐元素加。

代表神经网络层，即全连接层和激活层的组合。其中左侧∑代表全连接层。右侧

代表激活层。

具体的，在一个实施例中，模型训练过程中输入层1的X，M分别表示新构造的数据集中(X_i,M_ij)。嵌入层2中通过

操作来屏蔽构造的缺失值，使得通过掩码标识的缺失值不参与到模型学习过程中。掩码只在嵌入层2中起作用。

具体的，在一个实施例中，中间层3的作用则是将嵌入层中通过非缺失值学习到的特征扩展至缺失值，是一个特征值填补和再学习的过程。

具体的，在一个实施例中，分解层中通过不同的激活函数来将前面学到的特征进行分解，典型的如正弦分量通过sin激活函数获得，线性分量通过linear激活函数获得。可以根据不同的场景来组合和扩展不同的激活函数达到获得更多分量的效果。

具体的，在一个实施例中，输出层通过

将分解层中的各个分量进行逐元素加法，得到输出X_{_out}。

具体的，在一个实施例中，模型期望通过学习，能够自动填补缺失值，输出X_{_out}的期望结果是与X尽量相同。因此损失函数可以定义为F(X_{_out},X).其中典型的损失函数为MSE(mean squared error)。

通过上面的步骤来训练模型。而在使用模型进行缺失值填补的时候，掩码需要不同的构造方式。假设含有缺失值，需要填补的数据为Y∈R^k为k维向量。其中有q个缺失值，构造掩码M_y。M_y是k维向量，其中有q个位置为0，其他位置为1。q个为0的位置对应Y中存在缺失的的位置。将Y和构造的掩码M_y输入到模型中，得到输出Y_{_out}。最终将Y中的缺失部分用Y_{_out}的对应位置的数据进行填补。

图3为本发明一种时序数据缺失值自动填补***的***架构图。

如图3所示，本发明一个实施例的时序数据缺失值自动填补***，包括：

数据准备模块201，获取的没有缺失值的原始时序数据以进行数据的预处理，然后根据给定的缺失率构造随机掩码，将新生成的随机掩码和相对应的原始数据作为新的数据集，用来进行模型的训练；

模型训练模块202，利用数据准备步骤生成的新数据集进行模型训练，以构建基于神经网络分解的时序数据缺失值自动填补的模型；

模型使用模块203，针对有缺失值的时序数据构造对应的掩码，使用上述经过训练的模型，来进行时序数据缺失值的填补。

具体的，本发明的还提出一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为上述方法。

电子设备可以被提供为终端、服务器或其它形态的设备。

本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言-诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言-诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或终端上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)-连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种时序数据缺失值自动填补方法，其特征在于，包括：

数据准备，获取的没有缺失值的原始时序数据以进行数据的预处理，然后根据给定的缺失率构造随机掩码，将新生成的随机掩码和相对应的原始数据作为新的数据集，用来进行模型的训练；

所述数据预处理后，从原始时序数据中得到数据集合,其中{X_i}(i∈1,2…m)其中X_i∈R^k为k维向量；

模型训练，利用数据准备步骤生成的新数据集进行模型训练，以构建基于神经网络分解的模型；

所述基于神经网络分解的模型包括输入层，所述输入层接收新构造的数据集(X_i,M_ij)进入模型进行训练；

所述基于神经网络分解的模型包括嵌入层，所述嵌入层将数据集(X_i,M_ij)进行逐元素的乘法计算以屏蔽构造缺失值，使得通过掩码标识的缺失值不参与到模型学习过程中；

所述基于神经网络分解的模型包括中间层，所述中间层将嵌入层中通过非缺失值学习到的特征扩展至缺失值；

所述基于神经网络分解的模型包括分解层，所述分解层通过激活函数来将学习到的特征进行分解，所述激活函数包括sin激活函数和linear激活函数，所述sin激活函数用以获得正弦分量，linear激活函数用以获得线性分量；

所述基于神经网络分解的模型包括输出层，所述输出层通过将分阶层中的各个线性分类进行逐元素的加法计算，得到输出X_{_out}；根据不同构造方式的掩码M_y，进行缺失值q的填补，其中需要填补的数据为Y，使用进过训练的模型进行缺失值的填补，将Y和构造的掩码M_y输入到模型中，得到输出Y_{_out}，最终将Y中的缺失部分用Y_{_out}的对应位置的数据进行填补；

模型使用，针对有缺失值的时序数据构造对应的掩码，使用上述经过训练的模型，来进行时序数据缺失值的填补。

2.如权利要求1所述的一种时序数据缺失值自动填补方法，其特征在于，

根据给定的缺失率{p_j}(p_j∈(0,0.35))构造随机掩码{M_ij}，新的数据集由原始数据和其对应的某一个随机掩码组成一个数据，即{(X_i,M_ij)}(i∈1,2…m,j∈D)。

3.如权利要求1所述方法的一种时序数据缺失值自动填补***，其特征在于，包括：

数据准备模块，获取的没有缺失值的原始时序数据以进行数据的预处理，然后根据给定的缺失率构造随机掩码，将新生成的随机掩码和相对应的原始数据作为新的数据集，用来进行模型的训练；

模型训练模块，利用数据准备步骤生成的新数据集进行模型训练，以构建基于神经网络分解的时序数据缺失值自动填补的模型；

模型使用模块，针对有缺失值的时序数据构造对应的掩码，使用上述经过训练的模型，来进行时序数据缺失值的填补。

4.一种时序数据缺失值自动填补装置，其特征在于，包括：

处理器；

用以存储处理器可执行计算机程序指令的存储器；

其中，所述计算机程序指令被处理器执行时实现权利要求1至2中任意一项所述的方法。

Images