CN108426812B - 一种基于记忆神经网络的pm2.5浓度值预测方法 - Google Patents

Abstract

一种基于记忆神经网络的PM2.5浓度值预测方法，所述方法包括如下步骤：步骤1、原始数据采集，原始数据包括PM2.5浓度值历史数据、污染物指标(比如AQI、PM10、NO2、CO、SO2、O3)历史数据和气象历史数据；步骤2、采用无监督训练方法预处理各项原始数据生成初始优化参数；步骤3、采用记忆神经网络预测PM2.5浓度值。本发明提供一种准确描述PM2.5浓度值的长期变化规律、提高预测精度的基于记忆神经网络的PM2.5浓度值预测方法。

Description

一种基于记忆神经网络的PM2.5浓度值预测方法

技术领域

本发明涉及空气颗粒物PM2.5浓度值的预测技术领域，尤其涉及一种基于记忆神经网络的PM2.5浓度值预测方法。

背景技术

PM2.5是指大气中直径小于或等于2.5微米的颗粒物，富含大量的有毒、有害物质且在大气中的停留时间长、输送距离远，因而对人体健康和大气环境质量的影响更大，PM2.5超标还带来了另外一个影响——灰霾天气。空气污染如今已经成为人们关注的焦点，而在空气污染指标中，PM2.5浓度值已经成为衡量空气质量的标志性检测指标。现如今，根据历史数据对未来时间段PM2.5浓度值的预测已经成为具有较强学术意义和应用价值的研究问题。

为了解决上述问题，张怡文等人在论文《基于神经网络的PM2.5预测模型》中，通过选择神经网络方法进行PM2.5的浓度值预测。乔俊飞等人在论文《基于BP人工神经网络的城市PM2.5浓度空间预测》中，提出了基于T-S模糊神经网络模型进行预测PMA2.5的浓度值。王敏等人在论文《基于改进型PSO的模糊神经网络PM2.5浓度预测》中，采用BP人工神经网络模型预测PM2.5的浓度值。裴雨潇等人在论文《基于小波和过程神经网络的PM2.5预测模型》中，提出基于小波和过程神经网络的预测模型实现了PM2.5浓度值的预测。付彦丽在论文《基于神经网络的PM2.5质量浓度预测研究》中，使用遗传算法优化的神经网络对PM2.5质量浓度进行预测。李祥等人在论文《基于小波分解和ARMA模型的空气污染预报研究》中，利用小波多尺度分析方法改进ARMA预测模型,并将其应用于短时PM2.5浓度预测。苏盈盈等人在专利《基于无迹卡尔曼神经网络的PM2.5浓度预测方法》中，提供了一种基于无迹卡尔曼神经网络的PM2.5浓度预测方法。

经文献调研分析，目前已提出的PM2.5浓度值预测方法均以神经网络为核心架构，对PM2.5浓度值以及其他相关指标(比如AQI、PM10、NO2、CO、SO2、O3)进行非线性回归分析。神经网络模型包含ANN，DNN，FNN和BPNN等，以及结合遗传算法、随机森林等优化算法优化后的混合方法。但是，经文献调研，现有PM2.5浓度值预测方法中对当下的输入和输出都是无差别激活，而无法对输入、输出进行自我有效的判断、学习和选择。在对PM2.5浓度值数据进行训练时，每一时刻输入的数据对权值调整以及误差的影响都是至关重要的，如果有效的调整不能被记忆，错误的激活不能被筛选，那么所设计的PM2.5浓度值预测***将极大的失去预测精度，并会极大地提高训练难度。

发明内容

为了克服已有PM2.5浓度值预测方式无法记忆并筛选PM2.5浓度值预测训练中依赖关系的不足，本发明在对PM2.5浓度值历史数据、PM2.5浓度值相关指标历史数据和气象历史数据进行非线性相关分析之外，还引入无监督初始优化参数生成方法对原始数据进行预处理，并结合可以记忆并筛选训练依赖关系的记忆神经网络，将每个存储单元与一个输入门，一个输出门和一个跨越时间步骤无干扰送入自身的内部状态相关联，提供一种准确描述PM2.5浓度值的长期变化规律、提高预测精度的基于记忆神经网络的PM2.5浓度值预测方法。

本发明解决其技术问题所采用的技术方案是：

一种基于记忆神经网络的PM2.5浓度值预测方法，所述方法包括如下步骤：

步骤1、原始数据采集，原始数据包括PM2.5浓度值历史数据、污染物指标(比如AQI、PM10、NO2、CO、SO2、O3)历史数据和气象历史数据；

步骤2、采用无监督训练方法预处理各项原始数据生成初始优化参数，过程如下：

步骤2.1、定义v_m为第m个可视单元的状态，h_n表示第n个隐藏单元的状态，定义在状态上的能量函数为：

其中，w_mn表示连接权值，b_m、b_n表示偏置；

步骤2.2、根据可视单元和隐藏单元的任意配置，定义一个能量函数：

其中，θ＝{w,b,c}是模型的参数；

步骤2.3、通过能量函数在{v,h}上定义概率分布：

其中，exp^-E(v,h)是***处于状态{v,h}的相对概率，Z(θ)是***的归一化常数；

步骤2.4、选择数据的对数似然函数作为目标函数：

步骤2.4、用梯度下降的方法调整模型参数，得到记忆神经网络的初始优化参数：

其中，ε是学习率，q是一个训练向量；

步骤3、采用记忆神经网络预测PM2.5浓度值，过程如下：

步骤3.1、创建一个包含输入层、隐含层和输出层的三层神经网络，设定隐含层和输出层的节点个数。所述隐含层的节点个数采用经验公式给出估计值，所述经验公式如下：

上式中，a和b分别为输入层和输出层的神经元个数，c是[0,10]之间的常数；

步骤3.2、分别设定输入门限、遗忘门限和输出门限，以及当前单元的输出函数：

i^(t)＝σ(W_i·[h^(t-1),x^(t)]+b_i) ⑻

f^(t)＝σ(W_f·[h^(t-1),x^(t)]+b_f) ⑼

o^(t)＝σ(W_o·[h^(t-1),x^(t)]+b_o) ⑽

其中，x^(t)代表t时刻训练样本的输入；h^(t)代表t时刻当前单元的输出；i^(t)代表t时刻的输入门限；f^(t)代表t时刻的遗忘门限；o^(t)代表t时刻的输出门限；W和b分别是模型的连接权值和偏置；

步骤3.3、设定单元的状态函数和输出函数：

h^(t)＝o^(t)*tanh(C^(t)) ⑾

表示前一时刻单元状态，C^(t)表示单元状态，h^(t)表示当前单元的输出，h^(t-1)表示前一时刻单元的输出；

步骤3.4、设定网络的期望误差最小值、最大迭代次数和学习率；

步骤3.5、将所述预处理后的初始优化参数和原始数据输入到已创建的循环神经网络，并且训练记忆神经网络，计算损失函数：

步骤3.6、根据误差调整循环神经网络的各层权值，首先定义：

输入门、输出门和遗忘门的误差反向传播如下：

控制门的激活函数用l表示，g，h分别表示单元的输入输出激活函数；

步骤3.7、判断循环网络是否收敛，当误差小于期望误差最小值时，算法收敛，在达到最大迭代次数时结束算法，所述记忆神经网络训练完成；

步骤3.8、将待测数据输入到所述训练完成的记忆神经网络中，输出PM2.5浓度值的最终预测值。

进一步，所述步骤2中，使用了无监督参数训练方法对原始数据进行预处理，得到记忆神经网络的初始优化参数。

再进一步，所述步骤3中，通过记忆神经网络在每一个单元中放置输入门、遗忘门和输出门，根据规则对进入网络的信息进行判断是否有用：符合门限的信息会被保留，不符的信息则通过遗忘门被遗忘。

更进一步，所述步骤1中，所述污染物指标历史数据包括AQI、PM10、NO2、CO、SO2和O3；所述气象历史数据包括平均气温、露点、相对湿度、压强、风速、降水量。

本发明的技术构思为：在对PM2.5浓度值历史数据、污染物指标(AQI、PM10、NO₂、CO、SO₂、O₃)和气象历史数据(气温、相对湿度、气压、风速、降水量等)数据时序分析预处理之后，重点引入了基于时间序列的记忆神经网络来进行PM2.5浓度值的预测。进一步，利用预处理后的初始优化参数，将原始数据通过反向误差传播算法在循环神经网络中训练，进而预测PM2.5浓度值。

本发明的有益效果主要表现在：能够准确地处理以序列输入的训练样本，模拟PM2.5浓度值在时间上的变化规律，并分析其与其他相关指标间的关系，且对各步训练调整进行筛选记忆，有效地提高当前PM2.5浓度值的预测精度与训练速度，实现时间序列上的精准预测。

附图说明

图1是一种基于记忆神经网络的PM2.5浓度值预测方法示意图。

图2是无监督参数训练的数据预处理流程图。

图3是记忆神经网络的训练流程图。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1～图3，一种基于记忆神经网络的PM2.5浓度值预测方法，所述方法包括如下步骤：

步骤1、原始数据采集。原始数据包括PM2.5浓度值历史数据、污染物指标历史数据和气象历史数据。进一步，所述污染物指标历史数据包括AQI(空气质量指数)、PM10(Particulate Matter 10)、SO₂(二氧化硫)、CO(一氧化碳)、CO₂(二氧化碳)和O₃(臭氧)，所述气象历史数据包括平均气温、露点、相对湿度、压强、风速和降水量。

本发明采集杭州市的历史样本数据。杭州市2017年的AQI(空气质量指数)、PM2.5(Particulate Matter 2.5)、PM10(Particulate Matter 10)、SO₂(二氧化硫)、CO(一氧化碳)、CO₂(二氧化碳)、O₃(臭氧)在中国空气质量在线监测分析平台网站收集，杭州市2017年的平均气温、露点、相对湿度、压强、风速、降水量在WEATHER UNDERGROUND网站收集。

步骤2、采用无监督训练方法预处理各项原始数据生成初始优化参数，过程如下：

步骤2.1、定义v_m为第m个可视单元的状态，h_n表示第n个隐藏单元的状态，定义在状态上的能量函数为：

其中，w_mn表示连接权值，b_m、b_n表示偏置。

步骤2.2、根据可视单元和隐藏单元的任意配置，我们可以定义一个能量函数：

其中，θ＝{w,b,c}是模型的参数。

步骤2.3、通过能量函数在{v,h}上定义概率分布：

其中，exp^-E(v,h)是***处于状态{v,h}的相对概率，Z(θ)是***的归一化常数。

步骤2.4、选择数据的对数似然函数作为目标函数：

步骤2.4、用梯度下降的方法调整模型参数，得到记忆神经网络的初始优化参数：

其中，ε是学习率，q是一个训练向量。

步骤3、采用记忆神经网络预测PM2.5浓度值，过程如下：

步骤3.1、创建一个包含输入层、隐含层和输出层的三层神经网络，设定隐含层和输出层的节点个数。所述隐含层的节点个数采用经验公式给出估计值，所述经验公式如下：

上式中，a和b分别为输入层和输出层的神经元个数，c是[0,10]之间的常数。

步骤3.2、分别设定输入门限、遗忘门限和输出门限，以及当前单元的输出函数：

i^(t)＝σ(W_i·[h^(t-1),x^(t)]+b_i) ⑻

f^(t)＝σ(W_f·[h^(t-1),x^(t)]+b_f) ⑼

o^(t)＝σ(W_o·[h^(t-1),x^(t)]+b_o) ⑽

其中，x^(t)代表t时刻训练样本的输入；h^(t)代表t时刻当前单元的输出；i^(t)代表t时刻的输入门限；f^(t)代表t时刻的遗忘门限；o^(t)代表t时刻的输出门限；W和b分别是模型的连接权值和偏置。

步骤3.3、设定单元的状态函数和输出函数：

h^(t)＝o^(t)*tanh(C^(t))⑾

表示前一时刻单元状态，C^(t)表示单元状态，h^(t)表示当前单元的输出，h^(t-1)表示前一时刻单元的输出。

步骤3.4、设定网络的期望误差最小值、最大迭代次数和学习率。

步骤3.5、将所述预处理后的初始优化参数与原始数据输入到已创建的循环神经网络，并且训练记忆神经网络，计算损失函数：

步骤3.6、根据误差调整循环神经网络的各层权值。首先定义：

输入门、输出门和遗忘门的误差反向传播如下：

控制门的激活函数用l表示，g，h分别表示单元的输入输出激活函数。

步骤3.7、判断循环网络是否收敛，当误差小于期望误差最小值时，算法收敛。在达到最大迭代次数时结束算法，所述记忆神经网络训练完成。

步骤3.8、将待测数据输入到所述训练完成的记忆神经网络中，输出PM2.5浓度值的最终预测值。

Claims (3)

1.一种基于记忆神经网络的PM2.5浓度值预测方法，其特征在于，所述方法包括如下步骤：

步骤1、原始数据采集，原始数据包括PM2.5浓度值历史数据、污染物指标历史数据和气象历史数据；

步骤2、采用无监督训练方法预处理各项原始数据生成初始优化参数，过程如下：

步骤2.1、定义v_m为第m个可视单元的状态，h_n表示第n个隐藏单元的状态，定义在状态上的能量函数为：

其中，w_mn表示连接权值，b_m、b_n表示偏置；

步骤2.2、根据可视单元和隐藏单元的任意配置，定义一个能量函数：

其中，θ＝{w,b,c}是模型的参数；

步骤2.3、通过能量函数在{v,h}上定义概率分布：

其中，exp^-E(v,h)是***处于状态{v,h}的相对概率，Z(θ)是***的归一化常数；

步骤2.4、选择数据的对数似然函数作为目标函数：

步骤2.4、用梯度下降的方法调整模型参数，得到记忆神经网络的初始优化参数：

其中，ε是学习率，q是一个训练向量；

步骤3、采用记忆神经网络预测PM2.5浓度值，过程如下：

步骤3.1、创建一个包含输入层、隐含层和输出层的三层神经网络，设定隐含层和输出层的节点个数；所述隐含层的节点个数采用经验公式给出估计值，所述经验公式如下：

上式中，a和b分别为输入层和输出层的神经元个数，c是[0,10]之间的常数；

步骤3.2、分别设定输入门限、遗忘门限和输出门限，以及当前单元的输出函数：

i^(t)＝σ(W_i·[h^(t-1),x^(t)]+b_i) (8)

f^(t)＝σ(W_f·[h^(t-1),x^(t)]+b_f) ⑼

o^(t)＝σ(W_o·[h^(t-1),x^(t)]+b_o) ⑽

其中，x^(t)代表t时刻训练样本的输入；h^(t)代表t时刻当前单元的输出；i^(t)代表t时刻的输入门限；f^(t)代表t时刻的遗忘门限；o^(t)代表t时刻的输出门限；W和b分别是模型的连接权值和偏置；

步骤3.3、设定单元的状态函数和输出函数：

h^(t)＝o^(t)*tanh(C^(t)) (11)

表示前一时刻单元状态，C^(t)表示单元状态，h^(t)表示当前单元的输出，h^(t-1)表示前一时刻单元的输出；

步骤3.4、设定网络的期望误差最小值、最大迭代次数和学习率；

步骤3.5、将所述预处理后的初始优化参数和原始数据输入到已创建的循环神经网络，并且训练记忆神经网络，计算损失函数：

步骤3.6、根据误差调整循环神经网络的各层权值，首先定义：

输入门、输出门和遗忘门的误差反向传播如下：

控制门的激活函数用l表示，g，h分别表示单元的输入输出激活函数；

步骤3.7、判断循环网络是否收敛，当误差小于期望误差最小值时，算法收敛，在达到最大迭代次数时结束算法，所述记忆神经网络训练完成；

步骤3.8、将待测数据输入到所述训练完成的记忆神经网络中，输出PM2.5浓度值的最终预测值。

2.如权利要求1所述的一种基于记忆神经网络的PM2.5浓度值预测方法，其特征在于，所述步骤3中，通过记忆神经网络在每一个单元中放置输入门、遗忘门和输出门，根据规则对进入网络的信息进行判断是否有用：符合门限的信息会被保留，不符的信息则通过遗忘门被遗忘。

3.如权利要求1所述的一种基于记忆神经网络的PM2.5浓度值预测方法，其特征在于，所述步骤1中，所述污染物指标历史数据包括AQI、PM₁₀、NO₂、CO、SO₂和O₃；所述气象历史数据包括平均气温、露点、相对湿度、压强、风速和降水量。

Images