CN110879874A - 一种天文大数据光变曲线异常检测方法 - Google Patents

Abstract

本发明公开一种光变曲线异常检测方法，该方法旨在解决天文数据中光变曲线的异常现象由于其瞬时性导致不好检测问题，提高模型对未来观测数据的鲁棒性。该方法包括：获取光变曲线数据的时间、亮度，作为历史时间序列；对获取到的数据进行数据预处理和特征工程，分别构造训练集和测试集；使用GRU神经网络搭建模型，分别添加Dropout优化方法和BN优化方法，使用网格搜索法调整网络超参数，得到两个子模型，根据精度和稳定性进行混合优化，得到最终模型；使用训练好的模型进行预测，输出预测序列，使用格拉布斯方法进行光变曲线异常检测。

Description

一种天文大数据光变曲线异常检测方法

技术领域

本发明属于天文大数据技术领域，尤其涉及一种基于门控循环单元模型融合的天文大数据光变曲线异常检测方法，用于预测未来会发生的天文光变曲线数值突然变化所表现出的异常现象。

背景技术

天文学研究中经常会处理大量的通过调查生成并整合而成的大型数据集。例如近期中国和法国联合进行的天文卫星项目(Space Variable Objects Monitor,SVOM)。该项目的主要目的是检测宇宙中的伽马射线暴现象。SVOM项目中的地面广角照相机阵列(GWAC)用于宇宙中的光线数据进行测量并生成天文光变曲线的数据集。这个***包括36个广角相机，每个相机直径有18厘米，22厘米的焦距和4k*4k的CCD探测器。CCD探测器对于400到800纳米的波长范围非常敏感。该相机列阵能获得总共超过5000平方度内的图像。GWAC相机阵列可以每15秒拍摄一次图像(包括10秒的曝光时间和5秒的读数)。GWAC相机阵列产生数据的速度大约为每秒钟85MB。因此其能产生大量的数据。GWAC相机阵列是世界上第一个专用于短时间尺度调查的望远镜。考虑到数据处理需求的数量之大以及用于异常检测的天文光变曲线的具体性质，已经存在的用于处理实时数据的时间序列分析方法是有限的。因此找到一个高效且准确的异常检测的方法尤为重要。

目前光变曲线异常预测问题本质上是对时间序列(宇宙中的光线亮度随时间变化序列)的预测，存在由于数据量巨大的特点不易进行处理的问题。

发明内容

本发明目的在于提供一种基于GRU模型融合的天文大数据光变曲线异常检测方法，为******具有瞬时性的异常变化并根据预测值进行天文现象观测提供了一种可行方案。为实现上述目的，本发明采用如下的技术方案。

一种天文光变曲线异常检测方法，包括如下步骤：

S1、获取天文光变曲线数据的时间、亮度，进行处理和特征工程，形成符合GRU神经网络模型输入形式的历史时间序列；

S2、搭建GRU神经网络模型，分别使用随机失活优化方法和批标准化优化方法搭建两个模型进行训练，设置网络模型的格式以及必要的参数，调整模型，使其能够正确、有效地处理输入的样本并返回结果；

S3、规定各种超参数范围，使用网格搜索方法进行参数调试，迭代地向这个模型中导入训练数据，计算损失函数，并以此为基础进行全局优化，直至迭代结束；

S4、训练阶段结束后，分别向两种模型中导入测试数据，迭代输出未来数个时间步待预测指标的数值，形成预测值时间序列；根据精度和稳定性进行模型融合，直到结果符合预期要求；

S5、使用训练好的模型预测未来一段时间内的光变曲线数据，结合历史数据，使用格拉布斯方法进行异常预警。

作为优选，所述天文光变曲线数特征工程为：对数据集增维，将其变为符合GRU神经网络模型的输入格式，即[samples,timesteps,features]格式的三维矩阵，而后将数据按比例分为训练集与测试集。

作为优选，所述超参数有十个，分别是输入层维度input_size、输出层维度output_size、单批次训练样例数batch_size、单层GRU单元个数num_unit、时间步time_step、迭代训练次数epochs、激活函数activation、损失函数loss、优化函数optimizer以及测试样本数n_train。

作为优选，在Dropout和BN混合优化方法的GRU模型基础上，采用基于Adam优化算法对光变曲线数据迭代地更新模型的网络权重。

本发明的有益效果如下

本发明所述技术方案能够解决由于天文光变曲线异常出现的瞬时性以及天文光变曲线自身的不规律性所导致的异常预测困难问题。通过本发明可以提前预知异常发生的时间，能够让观测者在异常发生前做好充分准备，能够提升研究的效率。将该方案和其他方案横向比较可以发现该方案学习时间更短且精度更高，还能避免可能出现的梯度消失等情况。相比单一模型，该方案在测试数据集上能更加稳定的进行预测，以上使得该方案在预测时有着极大的优势。

附图说明

下面结合附图对本发明的具体实施方式作进一步详细的说明：

图1是基于GRU模型融合的天文光变曲线异常预警方法的流程图；

图2是GRU模型基本单元的内部结构图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。

如图1所示，本发明提供一种天文大数据光变曲线异常检测方法，包括：

S1、获取天文光变曲线数据，对其进行数据预处理和特征工程，形成历史时间序列

由于天文望远镜获得的数据会存在量纲不同且两极分化严重等问题，这些问题将导致学***滑滤波操作和归一化操作。

平滑滤波是时间序列分析中常用的预处理方法之一，用SG方法进行平滑滤波可以提高光谱的平滑性，并降低噪音的干扰。SG平滑滤波的效果随着选取宽度不同而不同，可以满足多种不同场合的需求。

SG平滑关键在于矩阵算子的求解。设滤波窗口的宽度为n＝2m+1，各测量点x＝(-m,-m+1,···,0,1,···,m-1,m)，采用k-1次多项式对窗口内的数据点进行拟合：

y＝a₀+a₁x+a₂x²+···a_k-1x^k-1

于是有n个这样的方程，构成了k元线性方程组，要使方程组有解则n应该大于等于k，一般选择n>k，通过最小二乘法确定拟合参数A。由此得到：

用矩阵表示为

Y_(2m+1)×1＝X_(2m+1)×k·A_k×1+E_(2m+1)×1

A的最小二乘解

为

Y的模型预测值或滤波值

为

数据归一化是通过将数据进行按比例的缩放，是指落入一个特定的小的区域。也可用于去除数据的单位限制，将其转化为无量纲的纯数值，以便于不同单位过量级的数据进行对比和加权。数据归一化的方法有很多，例如直线型方法(如极值法、标准差法)、折线型方法(如三折线法)、曲线型方法(如半正态性分布)。数据归一化的好处有很多，例如可以提升模型的收敛速度，提升模型的精度，防止模型发生梯度***等。最常用的数据归一化方法是是Min-Max标准化和Z-score标准化。在本实验中应用的是Min-Max标准化方法。Min-max标准化也称0-1标准化，线性函数归一化或离差标准化，是对原始数据进行线性变化使其结果落在[0,1]区间，其转换函数是：

其中，max为样本数据的最大值，min为样本数据的最小值。

所述天文光变曲线数特征工程为：对数据集增维，将其变为符合GRU神经网络模型的输入格式，即[samples,timesteps,features]格式的三维矩阵。而后将数据按比例分为训练集与测试集，例如在本发明中将数据集的70％设置为训练集，剩下的30％为测试集。

S2、构建多层次GRU神经网络模型，同时设置参数

在模型开始学习前，有些参数需要预先设定好取值。本发明算法设计的超参数有十个，分别是输入层维度input_size、输出层维度output_size、单批次训练样例数batch_size、单层GRU单元个数num_unit、时间步time_step、迭代训练次数epochs、激活函数activation、损失函数loss、优化函数optimizer以及测试样本数n_train。

其中重点应注意batch_size的取值，batch_size表示单词输入网络的样本数量，若样本数量过大，则可能导致收敛速度减慢，容易陷入局部最优的问题，但过小的样本数量又会导致训练的稳定性变差。因此batch-size的大小应当适中，不应过大或过小。本发明应用的优化函数为Adam。Adam优化器综合了AdaGrad和RMSProp两种优化算法的优点。主要优点有8点：实现简单且对内存需求少；参数更新不受梯度的变换影响；超参数无需调整或只需微调；更新的步长能被限制在一定的范围内；能自然地实现步长退火过程；能应用于大规模的数据及参数场景；适用于不稳定的目标函数；适用于解决梯度稀疏或存在很大噪声的问题。综合来说Adam优化器为现阶段工作性能比较优秀的优化器。在预先设置好神经网络的各个基本参数后，搭建适合预测光变曲线的GRU神经网络。

考虑到大规模神经网络耗时长，容易出现过拟合问题，因此本发明引入了Dropout方法搭建其中一个子模型。Dropout是指在深层学习网络的训练过程中，根据一定的概率从网络中临时丢弃神经网络的隐含单元。在训练级别，Dropout方法向隐含层训练网络的每个神经元添加随机失活层。当在该层上施加概率为q的Dropout时，隐含层H中的神经元服从Bernoulli方程r^j～Bernoulli(q)，用Dropout方法处理的隐含层用乘积

激活神经元。Dropout仅用于前向连接，而不用于循环连接，一旦选择的节点作为丢弃节点，则该节点用于前向处理的输出被设置为0。对于反向过程，该节点的权重和偏差不参与更新。经过交叉验证，当DRNN隐含节点的丢弃率等于0.4时，随机生成的网络结构最大。从而建立了三层GRU的Dropout-GRU神经网络模型，并采用跳出法防止过拟合，优化神经网络模型。

进一步，为了加速模型的训练收敛和避免梯度消失，本发明采用BN方法建立了另一个子模型。对于每个隐层的神经元，把逐渐向非线性函数映射后取值区间极限饱和区靠拢的输入分布强制拉回到均值为0方差为1的比较标准的正态分布，使得非线性变换的输入值落入到对输入比较敏感的区域，以此避免梯度消失的问题。

在Dropout和BN混合优化方法的GRU模型基础上，本发明提出基于Adam优化算法对光变曲线数据迭代地更新模型的网络权重。Adam优化算法是随机梯度下降算法的扩展式，随机梯度下降保持单一的学***方梯度的平均v_t，Adam同时还保存一个历史梯度的指数衰减均值m_t。而参数β₁、β₂∈[0,1)控制了这些移动均值指数的衰减率。

m_t＝β₁m_t-1+(1-β₁)g_t

m_t和v_t分别是对梯度的一阶矩(均值)和二阶矩(非确定的方差)的估计。当m_t和v_t初始化为0向量时，Adam的作者发现它们都偏向于0，尤其是在初始化的步骤和当衰减率很小的时候(例如β₁、β₂趋向于1)。

通过计算偏差校正(bias-corrected)的一阶矩和二阶矩估计来抵消偏差。

正如在Adadelta和RMSprop中看到的那样，利用上述的公式更新参数，由此生成了Adam的更新规则来更新模型的参数θ。

本发明建立了多层的GRU神经网络模型，分别采用了Dropout和BN方法来优化该模型，并获得优化融合的神经网络模型(MIXGRU)。

S3、迭代地向模型中导入训练样本，计算损失函数，并以此为基础进行全局优化。

训练前首先调用S2中设计的网络模型函数。GRU预测模型包括GRU隐含层、输入全连接层和输出全连接层，如图2所示，GRU预测算法如下：

r_t＝σ(W_r·[h_t-1,x_t])

z_t＝σ(W_z·[h_t-1,x_t])

y_t＝σ(W_o·h_t)

其中，x_t为GRU单元的输入，y_t为t时间点GRU单元的所有输出；tanh和σ分别是正切激活函数和Sigmoid激活函数；r_t,z_t分别是t时间点重置门和更新门的计算方法。

通过上述GRU预测模型，可根据光变曲线时间序列输入特征数据，得到预测结果。其中对GRU网络的训练是迭代进行的，共有epoch次，实质上就是以下操作的循环：

1)从训练集中取出第一批batch_size个样本；

2)将提取出的数据集输入GRU模型，获得预测结果；

3)根据预测结果采用均方误差法(MSE，mean squared error)计算损失loss：

预测问题实质是一个回归问题，其中pred是根据输入的长度为batch_size的数据集预测出的预测数据集，tag为原数据集；

4)初始化一个Adam优化器，对每一个参数计算自适应的学***方梯度的平均v_t，Adam同时还保存一个历史梯度的指数衰减均值m_t，而参数β₁、β₂∈[0,1)控制了这些移动均值指数的衰减率。计算loss的梯度，然后把梯度应用到变量上，更新***权重，具体实施步骤如下所示：

m_t＝β₁m_t-1+(1-β₁)g_t

5)从训练集中取出下一批batch_size个样本重复以上操作；

6)当训练集中数据全部按batch_size大小被取出后，开始下一次迭代。

S4、训练阶段结束后，分别向两种模型中导入测试数据，迭代输出未来数个时间步待预测指标的数值，形成预测值时间序列；根据精度和稳定性进行模型融合，直到结果符合预期要求。

经过以上四步的迭代和调整，GRU神经网络模型已被调整为较好的状态，可以进行对时间序列的预测。首先将在第二步中规划好的测试集导入调整好的GRU神经网络模型，GRU神经网络模型即可自动预测出未来数据。

预测值的精准程度可通过平面坐标系中两个序列图线的拟合度直观得出。如果精度不够高，则不断调整参数，重复S1-S4，直至两图线的拟合度以及误差值令人满意为止。

在做光变曲线训练预测模型时，相对于传统数学模型，GRU神经网络的应用能加快处理效率和预测精度，将所有原始数据引入训练并自动生成预测模型，在不改变原始数据结构及含义的基础上实现了对光变曲线数据的预测和分析。GRU神经网络不依赖历史负荷数据，能够预测更大时间步长的负荷数据，预测周期的增长并不会影响预测数据的准确性，通过利用不断更迭的光变曲线数据输入GRU神经网络中，不断生成新的预测模型，大大提高预测结果的实时性，同时缩小误差。

S5、使用训练好的模型预测未来一段时间内的光变曲线数据，结合历史数据，使用格拉布斯方法进行异常预警。

下面从下面通过具体实施例对上述实施例进行进一步补充说明和对上述实施例的优点进行验证。

在本发明的一个具体实施例中，获取小型GWAC观测到的24569条光曲线的数据作为样本，其中前17199个样本为训练数据，后7370个样本为测试数据。采样频率为15秒一个采样点，选取前70％的数据作为训练数据，后30％的数据作为测试数据。

本发明实施通过与在光变曲线预测时间序列中应用较广泛的其他预测方法进行比对，常见的光变曲线时间序列预测的方法主要有支持综合自回归移动平均法(ARIMA)、一般递归神经网络(RNN)法等，通过比较预测精度，突出Dropout-RNN算法在光变曲线时间序列预测方面的实用性。具体的精度评价指标包括均方根误差(RMSE)、均绝对百分比误差(MAPE)、PRED-(25)、R²预测精度和均方根对数误差(RMSLE)。并用它们来测量预测结果，比较DRNN、RNN和ARIMA方法对光曲线的预测能力。各个指标的计算公式如下：

利用上述采样频率为15秒钟的数据，进行对比算法的验证，所得预测结果如下表。

可以更加清晰地看出，MIXGRU模型融合方法的预测准确度和稳定性更好，在星体亮度发生异常的点比其他方法更加准确，误差率更低。

显然，本发明的上述实施过程仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。

Claims (5)

1.一种天文光变曲线异常检测方法，其特征在于，包括如下步骤：

S1、获取天文光变曲线数据的时间、亮度，进行处理和特征工程，形成符合GRU神经网络模型输入形式的历史时间序列；

S2、搭建GRU神经网络模型，分别使用Dropout优化方法和BN优化方法搭建两个模型进行训练，设置网络模型的格式以及必要的参数，调整模型，使其能够正确、有效地处理输入的样本并返回结果；

S3、规定所有超参数范围，使用网格搜索方法进行参数调试，迭代地向这个模型中导入训练数据，计算损失函数，并以此为基础进行全局优化，直至迭代结束；

S4、训练阶段结束后，分别向两种模型中导入测试数据，迭代输出未来数个时间步待预测指标的数值，形成预测值时间序列；根据精度和稳定性进行模型融合，直到结果符合预期要求；

S5、使用训练好的模型预测未来一段时间内的光变曲线数据，结合历史数据，使用格拉布斯方法进行异常预警。

2.根据权利要求1所述的对天文光变曲线的异常检测方法，其特征在于，所述天文光变曲线数特征工程为：对数据集增维，将其变为符合GRU神经网络模型的输入格式，即[samples,timesteps,features]格式的三维矩阵，而后将数据按比例分为训练集与测试集。

3.根据权利要求1所述的对天文光变曲线的异常检测方法，其特征在于，所述超参数有十个，分别是输入层维度input_size、输出层维度output_size、单批次训练样例数batch_size、单层GRU单元个数num_unit、时间步time_step、迭代训练次数epochs、激活函数activation、损失函数loss、优化函数optimizer以及测试样本数n_train。

4.根据权利要求1所述的对天文光变曲线的异常检测方法，其特征在于，在Dropout和BN混合优化方法的GRU模型基础上，采用基于Adam优化算法对光变曲线数据迭代地更新模型的网络权重。

5.根据权利要求4所述的对天文光变曲线的异常检测方法，其特征在于，步骤3具体为：

训练前首先调用步骤S2中设计的网络模型函数，GRU预测模型包括GRU隐含层、输入全连接层和输出全连接层，GRU预测算法如下：

r_t＝σ(W_r·[h_t-1,x_t])

z_t＝σ(W_z·[h_t-1,x_t])

y_t＝σ(W_o·h_t)

其中，y_t为t时间点GRU单元的所有输出；tanh和σ分别是正切激活函数和Sigmoid激活函数；r_t,z_t分别是t时间点重置门和更新门的计算方法，

对GRU网络的训练是迭代进行的，共有epoch次，为以下操作的循环：

1)从训练集中取出第一批batch_size个样本；

2)将提取出的数据集输入GRU模型，获得预测结果；

3)根据预测结果采用均方误差法(MSE，Mean Squared Error)计算损失loss：

其中，pred是根据输入的长度为batch_size的数据集预测出的预测数据集，tag为原数据集；

4)初始化一个Adam优化器，对每一个参数计算自适应的学习率，具体实施步骤如下所示：

m_t＝β₁m_t-1+(1-β₁)g_t

5)从训练集中取出下一批batch_size个样本重复以上操作；

6)当训练集中数据全部按batch_size大小被取出后，开始下一次迭代。

Images