CN109142171A - 基于特征扩张的融合神经网络的城市pm10浓度预测方法 - Google Patents
基于特征扩张的融合神经网络的城市pm10浓度预测方法 Download PDFInfo
- Publication number
- CN109142171A CN109142171A CN201810622784.XA CN201810622784A CN109142171A CN 109142171 A CN109142171 A CN 109142171A CN 201810622784 A CN201810622784 A CN 201810622784A CN 109142171 A CN109142171 A CN 109142171A
- Authority
- CN
- China
- Prior art keywords
- data
- encoding encoder
- city
- model
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 22
- 238000012549 training Methods 0.000 claims abstract description 59
- 239000013598 vector Substances 0.000 claims abstract description 50
- 239000003344 environmental pollutant Substances 0.000 claims abstract description 36
- 231100000719 pollutant Toxicity 0.000 claims abstract description 36
- 238000012360 testing method Methods 0.000 claims abstract description 22
- 238000005303 weighing Methods 0.000 claims abstract description 16
- 239000000809 air pollutant Substances 0.000 claims abstract description 12
- 231100001243 air pollutant Toxicity 0.000 claims abstract description 12
- 238000012544 monitoring process Methods 0.000 claims abstract description 9
- 230000006870 function Effects 0.000 claims description 41
- 239000010410 layer Substances 0.000 claims description 28
- 230000008569 process Effects 0.000 claims description 17
- 239000011159 matrix material Substances 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 13
- 230000004927 fusion Effects 0.000 claims description 7
- 239000000356 contaminant Substances 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 5
- 230000001537 neural effect Effects 0.000 claims description 3
- 239000002356 single layer Substances 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims 1
- 230000008901 benefit Effects 0.000 abstract description 5
- 238000011160 research Methods 0.000 description 6
- 230000007812 deficiency Effects 0.000 description 4
- 238000003915 air pollution Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000005065 mining Methods 0.000 description 3
- 241000208340 Araliaceae Species 0.000 description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 description 2
- 238000009412 basement excavation Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 235000008434 ginseng Nutrition 0.000 description 2
- 208000000044 Amnesia Diseases 0.000 description 1
- 208000031091 Amnestic disease Diseases 0.000 description 1
- 241001269238 Data Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000006986 amnesia Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000012098 association analyses Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000012067 mathematical method Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 210000004218 nerve net Anatomy 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000001556 precipitation Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000000714 time series forecasting Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/06—Investigating concentration of particle suspensions
Landscapes
- Chemical & Material Sciences (AREA)
- Dispersion Chemistry (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及一种基于特征扩张的融合神经网络的城市PM10浓度预测方法,包括:步骤S1:基于特征扩张的栈式自编码器和LSTM网络,构建城市PM10浓度预测的模型;步骤S2:从污染物和气象的监测数据中选择训练数据和测试数据;步骤S3:利用训练数据对基于特征扩张的栈式自编码器进行训练;步骤S4:基于高斯函数对栈式自编码器的输出的特征向量进行处理,为不同城市的特征向量计算相应的影响权重,加权求和得到新的特征向量;步骤S5:将新的特征向量输入到LSTM中,进行模型的整体训练;步骤S6:将测试数据输入训练好的模型,衡量测试数据产生的预测结果的误差;步骤S7:将训练和微调好的模型用于空气污染物浓度预测。与现有技术相比,本发明具有预测准确等优点。
Description
技术领域
本发明涉及一种PM10浓度预测方法,尤其是涉及一种基于特征扩张的融合神经网络的城市PM10浓度预测方法。
背景技术
空气污染是日常生活中被广泛关注的问题,并且随着空气污染问题日益严重,空气污染物的种类日益繁多,空气污染物的形成和扩散的方也式愈加复杂,污染物浓度的预测不再是单点性的,而是具有动态的、区域联动性的。所以在当前形式下,为了做出更为精确的污染物浓度预测,预防重污染事件的发生,提升环境管理和决策水平,应充分利用监测到的污染物和气象大数据,充分挖掘和学习数据特征,并且充分考虑污染物浓度的关联性。
空气污染物浓度预测是学术界研究的热点问题之一,目前的研究成果包括以唐晓等为代表的基于数值统计的方法,建立目标污染物浓度与其他污染物浓度之间的关系;MDong等为代表的基于概率分布的方法,将时间因素加入了模型训练,运用半隐马尔科夫法为不同浓度级别的PM2.5都训练出对应的模型;Balachandran等为代表的基于传统机器学习的方法,以历史的气象和污染物浓度数据为训练集和测试集,以BP神经网络为预测模型,建立空气污染物浓度预测体系。这些方法在以往环境形势简单,数据规模较小的情况下,发挥了长足的优势,然而在面临着海量污染物数据和气象数据的情况下,这些方法缺乏对数据特征的深度分析,无法充分学习数据特征,挖掘数据联系,同时,这些方法将污染物浓度变化视为离散型事件,不考虑且不能进行时间和空间上的关联分析,从而无法进行精确的污染物浓度预测。
另一方面,考虑到用于空气污染物浓度预测的完备数据集较难获得,大部分存在特征缺失和特征维度不足的情况,导致预测模型无法充分学习数据特征和挖掘数据间的联系,从而无法做出准确的预测。目前学术界极少存在预测模型中对特征维度进行扩充的技术研究,然而这种技术对处理特征维度不足的问题十分有效。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于特征扩张的融合神经网络的城市PM10浓度预测方法。
本发明的目的可以通过以下技术方案来实现:
一种基于特征扩张的融合神经网络的城市PM10浓度预测方法,包括:
步骤S1:基于特征扩张的栈式自编码器和LSTM网络,构建城市PM10浓度预测的模型;
步骤S2:针对所构建的模型,从污染物和气象的监测数据中选择训练数据和测试数据;
步骤S3:利用训练数据对基于特征扩张的栈式自编码器进行训练;
步骤S4:基于高斯函数对栈式自编码器的输出的特征向量进行处理,为不同城市的特征向量计算相应的影响权重,加权求和得到新的特征向量;
步骤S5:将所述新的特征向量输入到LSTM中,进行模型的整体训练;
步骤S6:将测试数据输入训练好的模型,衡量测试数据产生的预测结果的误差,若误差超过阈值,则返回步骤S2,反之,则执行步骤S7;
步骤S7:将训练和微调好的模型用于空气污染物浓度预测。
所述模型包括:
基于特征扩张的栈式自编码器,用于接收输入数据,进行特征维度扩充,挖掘和提取输入数据的重要特征;
基于高斯函数的中间过程处理模块,用于为栈式自编码器的各项输出计算相应的影响权重,并将其与原输出加权求和形成新的输出;
LSTM网络:用于接收栈式自编码器和中间过程处理模块处理后产生的新的输出,提取时间序列特征,产生最终预测结果。
所述基于特征扩张的栈式自编码器,设有有3层自编码器,每层的节点数分别为64、128和256;所述LSTM网络为单层,神经元数量为128个。
所述步骤S2具体包括:
步骤S21:按照设定比例从污染物和气象的监测数据中选取训练数据和测试数据,并对选取的数据进行归一化的预处理,归一化处理后的数据为:
其中:x'为归一化处理后的数据,μ为原始数据均值,σ为原始数据标准差,x为归一化处理前的数据;
步骤S22:设置模型的误差阈值,将输入的训练数据的污染物数据和气象数据转化为二维矩阵,其中,矩阵的每一行为一个站点的各污染物信息和气象信息,每一列为指定的污染物信息或者指定的气象信息;
步骤S23:将输入特征从二维矩阵拉平成用于输入到栈式自编码器中的一维向量。
所述步骤S3具体包括:
步骤S31:将被拉平成一维向量的多个城市的输入特征输入到栈式自编码器,以单独对栈式自编码器进行训练;
步骤S32:栈式自编码器通过逐渐增加每层的节点数实现对输入特征的维度扩充,挖掘特征信息,并将训练之后产生的参数值和偏差值作为下一步模型整体训练时的初始值,其中损失函数采用如下重构误差:
其中:y为模型训练后的最终输出,J(θ)为x,y的重构误差,θ为网络的参数集合,L(·)表示损失函数,D(·)为栈式自编码器的解码函数,E为栈式自编码器的编码函数,N为预测所用的历史数据总时长,i为样本序号。
所述步骤S4具体包括:
步骤S41:基于(t-D,…,t)时间段每个城市产生d的D个不同的一维输出向量,根据每个周边城市和目标城市之间的距离为它们计算相应的影响权重:
e=A*exp(-B)
其中:e为每个城市的影响权重,A为幅值,exp(·)为以自然常数为底的指数函数,B为自然对数的指数,σx为x样本的方差,σy为y样本的方差,(jd,wd)为周边城市各个观测站点的经纬度,(jd0,wd0)为待预测的目标城市的中心点坐标;
步骤S42:根据得到的影响权重将得到的多个城市的向量融合成新的特征向量,作为LSTM网络的输入:
In=e1*out1+e2*out2+...+en*outn+outtarget
其中:In为融合结果,out1,out2,out3,...,outn,outtarget为周边城市和目标城市个城市的数据通过栈式自编码器产生的输出。
所述步骤S5具体为:
将训练好的栈式自编码器和未训练的LSTM结合,以中间处理的结果为LSTM的输入,进行整个模型的训练,整个模型训练的损失函数为:
其中:为训练阶段的损失函数,θ为前一阶段训练好的参数集合,λ为非负超参数,为网络中连接权值的集合,ζ为比例参数;
所述步骤S6具体包括:
步骤S61:将测试数据输入训练好的模型,得到预测结果,
步骤S62:将测试的预测结果与观测值作对比,运用相关系数和平均绝对误差衡量模型误差,若预测结果与观测值的误差在预先设定的阈值内,则执行步骤S7,否则返回步骤S2。
所述相关系数为:
其中:r(O,P)为观测值和预测值的相关系数,Cov(O,P)为观测值和预测值的协方差,Var[O],Var[P]分别是观测值和预测值的方差。
其特征在于,所述平均绝对误差为:
其中:MAE为平均绝对误差,i为时间序号,N为预测的总时长,P为预测值,O为观测值。
与现有技术相比,本发明具有以下有益效果:
1)并未将污染物的预测工作仅仅依赖于大量历史数据总结出的经验和历史经验归纳污染物的变化规律,从而能够充分考虑大气环境复杂多变这一问题。
2)能够进行空气污染物浓度的联动性分析,不会忽略污染物浓度的时间和空间关联,能够很好地建立过去时间和未来时间的污染物浓度的联系,也能够很好地建立城市间污染物浓度的联系。
3)有效解决了有关污染物浓度预测的数据集经常出现的不完备、特征维度不足的情况,有利于预测模型充分学习数据特征,做出更精确的预测。
附图说明
图1为本发明方法的主要步骤示意图;
图2为本发明实施例的流程示意图;
图3为本发明针对两种栈式自编码器的比较;
图4为本发明所构建的预测模型的结构示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施,给出了详细的实施方式和具体的操作过程,但本发明的保护范围不限于下述的实施例。
首先对空气污染物浓度预测进行定义:
定义1空气污染物浓度预测:主要是通过历史污染物和气象信息,对PM2.5、PM10等一系列空气污染在未来一定时间内的浓度进行预测,是环境科学、气象科学、计算机科学等都在重点研究的课题之一,因而具有一定的学科交叉性。
定义2传统预测法:非深度学习的空气污染物浓度预测方法统称为传统的预测方法,如基于历史数据和统计学方法的经验模型的预测;基于统计学和数学方法或模型建立概率模型的预测;利用综合方法的预测;以及基于传统机器学习建立的预测模型等,均属于传统预测法。
一种基于特征扩张的融合神经网络的城市PM10浓度预测方法,如图1~图3所示,包括:
步骤S1:基于特征扩张的栈式自编码器和LSTM网络,构建城市PM10浓度预测的模型;
具体的,基于深度学习原理,利用一种可以进行特征扩充的栈式自编码器及LSTM的融合神经网络,加入了中间过程处理步骤,构建城市PM10浓度预测的模型。具体的:基于深度学习原理和基于特征扩充的栈式自编码器及LSTM网络的特点,根据环境监测各类污染物浓度和气象因子的数据,以PM10为预测的目标污染物,构建城市PM10浓度预测的模型,模型以栈式自编码器为底层,挖掘和提取输入数据重要特征;基于高斯函数的中间过程处理将空间联系纳入预测体系,其结果作为高层LSTM的输入,提取时间序列特征,产生最终预测结果。
如图4所示,模型包括:利用特征扩充的栈式自编码器网络,用于接收输入数据,增加特征维度,挖掘输入特征的隐含联系并提取重要特征;基于高斯函数的中间过程处理模块,栈式自编码器的输出结果和高斯函数计算的影响权重进行加权求和,产生新的结合了空间关联的输入特征;LSTM网络,用于接收纳入了空间关联的输入特征,提取时间序列特征,产生最终预测结果。
步骤S2:针对所构建的模型,从污染物和气象的监测数据中选择训练数据和测试数据,具体包括:
步骤S21:按照设定比例从污染物和气象的监测数据中选取训练数据和测试数据,并对选取的数据进行归一化的预处理,归一化处理后选取Z-score标准化方法:
其中:x'为归一化处理后的数据,μ为原始数据均值,σ为原始数据标准差,x为归一化处理前的数据,经过处理的数据皆符合μ=0,σ=1的标准正态分布;
步骤S22:设置模型的误差阈值,将输入的训练数据的污染物数据和气象数据转化为二维矩阵,其中,矩阵的每一行为一个站点的各污染物信息和气象信息,每一列为指定的污染物信息或者指定的气象信息,
合理设置模型的误差阈值,取值范围在0.001-0.00001之间,学习速率在0.01-0.1之间取值,最大迭代次数为1000次,LSTM的自循环系数取0.001,λ取1e-4,ζ取0.9。对于栈式自编码器,设置为三层自编码器堆栈而成,每层的节点数分别为64、128和256,LSTM网络为单层,神经元数量为128。
步骤S23:将输入特征从二维矩阵拉平成用于输入到栈式自编码器中的一维向量。
对于栈式自编码器,其训练阶段的重构损失函数如下:
其中:J(θ)为x,y的重构误差,θ为网络的参数集合,L(·)表示损失函数,y为模型训练后的最终输出,D(·)为栈式自编码器的解码函数,E为栈式自编码器的编码函数,N为预测所用的历史数据总时长,i为样本序号,可以理解为某一时刻,定义X为输入向量,经过栈式自编码器编码后得到压缩后的数据特征h,Y是h解码后的结果,在本文中可以理解为某一时刻,N是预测所用的历史数据总时长。
步骤S3:利用训练数据对模型进行训练,首先是单独对栈式自编码器的预训练,将S2中数据预处理得到的多个城市的具有时间序列性的一维向量输入到栈式自编码器,对栈式自编码器进行训练,同时通过栈式自编码器,实现对输入特征的维度扩充。不同于常规的对特征进行压缩的栈式自编码器,该栈式自编码器采用编码的方式增加特征维度,对比如图3所示。其训练的过程同常规的自编码器一致。
具体包括:
步骤S31:将被拉平成一维向量的多个城市的输入特征输入到栈式自编码器,以单独对栈式自编码器进行训练,具体为无监督的预训练,栈式自编码器的每一隐藏层都以贪婪学习的方式逐层训练。输入层X通过编码得到隐藏层h,输出层Y是h解码后的结果,Y期望与X尽可能相等,则可以得到X和h之间的连接权重和偏差值,通过最小化X和Y的重构误差以达到调整和优化权重和偏差的目的。
对于从X到h的过程,可以表示为:
h=σ(W1x+b1)
其中,W1和b1为输入层到第一层隐藏层的连接权重和偏差值。
对于从h到Y的过程,可以表示为:
h=σ(W2x+b2)
其中,W2和b2为输入层到第一层隐藏层的连接权重和偏差值。
接着,第一层训练好的隐藏层h被用来训练第二层隐藏层,训练方式同上。输入层X在训练第二层隐藏层时不会起到任何作用,所以在该阶段会被移出训练过程。重复上述预训练步骤直至三层自编码器均被训练好,同时每一层的参数也被确定下来。
步骤S32:栈式自编码器通过逐渐增加每层的节点数实现对输入特征的维度扩充,挖掘特征信息,并将训练之后产生的参数值和偏差值作为下一步模型整体训练时的初始值。
具体的,对于模型,其训练阶段的损失函数如下:
其中:为训练阶段的损失函数,λ为非负超参数,为网络中连接权值的集合,ζ为控制L1,L2penalty使用的比例参数,ζ∈(0,1)。
函数设置为均方根误差和正则项之和。训练阶段的损失函数前半部分为栈式自编码器的重构误差;后半部分引入Elastic Net算法进行正则化约束。
具体的,进行有监督的微调。定义X为输入向量,经过栈式自编码器编码后得到压缩后的数据特征h,Y是h解码后的结果,θ是网络的参数集合。L表示损失函数,i是样本序号,在本文中可以理解为某一时刻,N是预测所用的历史数据总时长。E代表栈式自编码器的编码过程,D代表解码过程。
L表示损失函数,i是样本序号,在本文中可以理解为某一时刻,N是预测所用的历史数据总时长。训练后得到的参数和偏差值作为网络训练时的初始参数,训
练时更新参数方式如下:
以上是对栈式自编码器的训练,这一阶段输入的二维矩阵中,主要包括以下因子{PM2.5浓度,温度,风速,风向,湿度,降水量,其他污染物浓度,站点},将输入的二维矩阵拉平成一维输入向量,输入到栈式自编码器中,通过逐渐进行特征维度的扩张,挖掘到隐藏的数据特征及特征间的联系。栈式自编码器以贪心算法为核心,通过设定输出尽可能等同于输入,并进行误差反向传播,逐层训练,最后进行以重构误差为基准的全局的有监督的微调。栈式自编码器训练之后产生的参数值和偏差值作为下一步模型整体训练时的初始值。
步骤S4:对栈式自编码的输出的中间结果的处理,纳入污染物浓度的空间关联性。栈式自编码器的最终输出为多个城市的更高的、具有更多信息的特征向量,这些向量可以精确地表示低维度的输入矩阵。有多少种时间序列的输出取决于采用了多少个周边城市的数据。这些输入矩阵分别输入栈式自编码器进行训练,网络充分学习每个城市的数据特征。考虑到污染物的空间关联性,城市间的污染物相互影响程度取决于彼此之间的距离,栈式自编码器输出的多个城市的一维向量会通过高斯函数计算出的影响权重合并成一个输入向量。加强空间关联,避免对矩阵进行处理的复杂性。具体包括:
步骤S41:基于(t-D,…,t)时间段每个城市产生d的D个不同的一维输出向量,根据每个周边城市和目标城市之间的距离为它们计算相应的影响权重:
e=A*exp(-B)
其中:e为每个城市的影响权重,A为幅值,exp(·)为以自然常数为底的指数函数,B为自然对数的指数,σx为x样本的方差,σy为y样本的方差,(jd,wd)为周边城市各个观测站点的经纬度,(jd0,wd0)为待预测的目标城市的中心点坐标,B和e都将会有不同的值,记作e1,e2,…,en。
高斯函数本身具有一个特性使其适合处理此类问题:当两点距离为0时,计算所得权重为1;当两点距离逐渐增大时,权重逐渐趋向于0。
步骤S42:根据得到的影响权重将得到的多个城市的向量融合成新的特征向量,作为LSTM网络的输入:
In=e1*out1+e2*out2+...+en*outn+outtarget
其中:In为融合结果,out1,out2,out3,...,outn,outtarget为周边城市和目标城市个城市的数据通过栈式自编码器产生的输出。
步骤S5:将新的特征向量输入到LSTM中,进行模型的整体训练,具体为:
将训练好的栈式自编码器和未训练的LSTM结合,以中间处理的结果为LSTM的输入,进行整个模型的训练,整个模型训练的损失函数为:
其中:为训练阶段的损失函数,θ为前一阶段训练好的参数集合,λ为非负超参数,为网络中连接权值的集合,ζ为比例参数;
对于LSTM,具体训练过程如下:
A)LSTM的遗忘门首先选择性遗忘部分历史污染物数据和气象信息,f为遗忘门的输出:
ft=σ(Wf[ht-1,xt]+bf)
B)更新单元的状态信息,i为更新的新信息,C’为新的候选向量值,单元C的状态可以按如下步骤更新:
C)在过去的信息更新完毕后,即可得到PM10的预测值,在(8)中用ot表示,隐藏单元的信息也在Ct的基础上进行更新:
LSTM输出的时间序列预测值为最终结果。在整个模型使用随机梯度下降法的fine-tuning阶段,排除深层神经网络训练时易产生过拟合问题的影响。本发明使用结合了Ridge Regression和Lasso法优势的Elastic Net算法进行L1和L2正则化约束,通过误差反向传播的方式计算误差函数对网络全部权重和偏置值的梯度进行更新,避免过拟合问题,损失函数设置如下:
训练过程持续至模型的性能符合期望。模型训练结束后,各连接权值和参数也随之确定。
步骤S6:将测试数据输入训练好的模型,衡量测试数据产生的预测结果的误差,若误差超过阈值,则返回步骤S2,反之,则执行步骤S7,具体包括:
步骤S61:将测试数据输入训练好的模型,得到预测结果,
步骤S62:将测试的预测结果与观测值作对比,运用相关系数和平均绝对误差衡量模型误差,若预测结果与观测值的误差在预先设定的阈值内,则执行步骤S7,否则返回步骤S2。
相关系数为:
其中:r(O,P)为观测值和预测值的相关系数,Cov(O,P)为观测值和预测值的协方差,Var[O],Var[P]分别是观测值和预测值的方差。
其特征在于,平均绝对误差为:
其中:MAE为平均绝对误差,i为时间序号,N为预测的总时长,P为预测值,O为观测值。
对训练所得的预测模型进行性能评估。经实验分析和对比,相比于其他已有的方法,在相同情况下,本发明的模型能够产生精确度更高的结果,且能够充分利用海量的污染物和气象数据,解决特征维度不足的问题,挖掘数据特征的深度联系,且将污染物浓度的时间和空间关联均纳入预测体系。
步骤S7:将训练和微调好的模型用于空气污染物浓度预测。
综上所述,本申请所构建的一种基于特征扩张的融合神经网络的预测城市PM10浓度的方法是建立在已存在的两种深度神经网络和一种算法的研究上的,同时对常规的栈式自编码器进行改进,使其具有扩充特征,挖掘隐含特征的作用。利用两种网络的特点和优势,建立一种可以预测目标城市未来一定时间序列的PM10浓度的模型。所使用的损失函数也为以往的研究中存在的,且被证明可以很好地衡量结果准确性。所以本发明针对以往的预测污染物浓度的方法的不足,充分利用了已存在的研究成果,提出了基于特征扩张的栈式自编码器和LSTM融合神经网络,并利用高斯函数进行中间过程的处理的预测模型。该模型以栈式自编码器为底层,对输入数据进行特征维度的扩充,挖掘隐藏信息,其输出结果由高斯函数基于城市到目标城市的距离计算置信度,最后加权求和的结果作为高层LSTM网络的输入,提取污染物的时间序列特征,可以充分考虑到污染物的时间和空间关联性,得到更为具有精确的预测结果,因而具有实际性的应用前景。
Claims (10)
1.一种基于特征扩张的融合神经网络的城市PM10浓度预测方法,其特征在于,包括:
步骤S1:基于特征扩张的栈式自编码器和LSTM网络,构建城市PM10浓度预测的模型;
步骤S2:针对所构建的模型,从污染物和气象的监测数据中选择训练数据和测试数据;
步骤S3:利用训练数据对基于特征扩张的栈式自编码器进行训练;
步骤S4:基于高斯函数对栈式自编码器的输出的特征向量进行处理,为不同城市的特征向量计算相应的影响权重,加权求和得到新的特征向量;
步骤S5:将所述新的特征向量输入到LSTM中,进行模型的整体训练;
步骤S6:将测试数据输入训练好的模型,衡量测试数据产生的预测结果的误差,若误差超过阈值,则返回步骤S2,反之,则执行步骤S7;
步骤S7:将训练和微调好的模型用于空气污染物浓度预测。
2.根据权利要求1所述的一种基于特征扩张的融合神经网络的城市PM10浓度预测方法,其特征在于,所述模型包括:
基于特征扩张的栈式自编码器,用于接收输入数据,进行特征维度扩充,挖掘和提取输入数据的重要特征;
基于高斯函数的中间过程处理模块,用于为栈式自编码器的各项输出计算相应的影响权重,并将其与原输出加权求和形成新的输出;
LSTM网络:用于接收栈式自编码器和中间过程处理模块处理后产生的新的输出,提取时间序列特征,产生最终预测结果。
3.根据权利要求1所述的一种基于特征扩张的融合神经网络的城市PM10浓度预测方法,其特征在于,所述基于特征扩张的栈式自编码器,设有有3层自编码器,每层的节点数分别为64、128和256;所述LSTM网络为单层,神经元数量为128个。
4.根据权利要求1所述的一种基于特征扩张的融合神经网络的城市PM10浓度预测方法,其特征在于,所述步骤S2具体包括:
步骤S21:按照设定比例从污染物和气象的监测数据中选取训练数据和测试数据,并对选取的数据进行归一化的预处理,归一化处理后的数据为:
其中:x'为归一化处理后的数据,μ为原始数据均值,σ为原始数据标准差,x为归一化处理前的数据;
步骤S22:设置模型的误差阈值,将输入的训练数据的污染物数据和气象数据转化为二维矩阵,其中,矩阵的每一行为一个站点的各污染物信息和气象信息,每一列为指定的污染物信息或者指定的气象信息;
步骤S23:将输入特征从二维矩阵拉平成用于输入到栈式自编码器中的一维向量。
5.根据权利要求4所述的一种基于特征扩张的融合神经网络的城市PM10浓度预测方法,其特征在于,所述步骤S3具体包括:
步骤S31:将被拉平成一维向量的多个城市的输入特征输入到栈式自编码器,以单独对栈式自编码器进行训练;
步骤S32:栈式自编码器通过逐渐增加每层的节点数实现对输入特征的维度扩充,挖掘特征信息,并将训练之后产生的参数值和偏差值作为下一步模型整体训练时的初始值,其中损失函数采用如下重构误差:
其中:y为模型训练后的最终输出,J(θ)为x,y的重构误差,θ为网络的参数集合,L(·)表示损失函数,D(·)为栈式自编码器的解码函数,E为栈式自编码器的编码函数,N为预测所用的历史数据总时长,i为样本序号。
6.根据权利要求5所述的一种基于特征扩张的融合神经网络的预测城市PM10浓度的方法,其特征在于,所述步骤S4具体包括:
步骤S41:基于(t-D,…,t)时间段每个城市产生d的D个不同的一维输出向量,根据每个周边城市和目标城市之间的距离为它们计算相应的影响权重:
e=A*exp(-B)
其中:e为每个城市的影响权重,A为幅值,exp(·)为以自然常数为底的指数函数,B为自然对数的指数,σx为x样本的方差,σy为y样本的方差,(jd,wd)为周边城市各个观测站点的经纬度,(jd0,wd0)为待预测的目标城市的中心点坐标;
步骤S42:根据得到的影响权重将得到的多个城市的向量融合成新的特征向量,作为LSTM网络的输入:
In=e1*out1+e2*out2+...+en*outn+outtarget
其中:In为融合结果,out1,out2,out3,...,outn,outtarget为周边城市和目标城市个城市的数据通过栈式自编码器产生的输出。
7.根据权利要求6所述的一种基于特征扩张的融合神经网络的预测城市PM10浓度的方法,其特征在于,所述步骤S5具体为:
将训练好的栈式自编码器和未训练的LSTM结合,以中间处理的结果为LSTM的输入,进行整个模型的训练,整个模型训练的损失函数为:
其中:为训练阶段的损失函数,θ为前一阶段训练好的参数集合,λ为非负超参数,为网络中连接权值的集合,ζ为比例参数。
8.根据权利要求7所述的一种基于特征扩张的融合神经网络的预测城市PM10浓度的方法,其特征在于,所述步骤S6具体包括:
步骤S61:将测试数据输入训练好的模型,得到预测结果,
步骤S62:将测试的预测结果与观测值作对比,运用相关系数和平均绝对误差衡量模型误差,若预测结果与观测值的误差在预先设定的阈值内,则执行步骤S7,否则返回步骤S2。
9.根据权利要求8所述的一种基于特征扩张的融合神经网络的预测城市PM10浓度的方法,其特征在于,所述相关系数为:
其中:r(O,P)为观测值和预测值的相关系数,Cov(O,P)为观测值和预测值的协方差,Var[O],Var[P]分别是观测值和预测值的方差。
10.根据权利要求8所述的一种基于特征扩张的融合神经网络的预测城市PM10浓度的方法,其特征在于,所述平均绝对误差为:
其中:MAE为平均绝对误差,i为时间序号,N为预测的总时长,P为预测值,O为观测值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810622784.XA CN109142171B (zh) | 2018-06-15 | 2018-06-15 | 基于特征扩张的融合神经网络的城市pm10浓度预测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810622784.XA CN109142171B (zh) | 2018-06-15 | 2018-06-15 | 基于特征扩张的融合神经网络的城市pm10浓度预测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109142171A true CN109142171A (zh) | 2019-01-04 |
CN109142171B CN109142171B (zh) | 2021-08-03 |
Family
ID=64802123
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810622784.XA Active CN109142171B (zh) | 2018-06-15 | 2018-06-15 | 基于特征扩张的融合神经网络的城市pm10浓度预测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109142171B (zh) |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109597844A (zh) * | 2019-01-31 | 2019-04-09 | 中科人工智能创新技术研究院(青岛)有限公司 | 基于深度神经网络与图网络的核心用户挖掘方法及*** |
CN110210681A (zh) * | 2019-06-11 | 2019-09-06 | 西安电子科技大学 | 一种基于距离的监测站点pm2.5值的预测方法 |
CN111079989A (zh) * | 2019-11-29 | 2020-04-28 | 武汉理工大学 | 一种基于dwt-pca-lstm的供水公司供水量预测装置 |
CN111239014A (zh) * | 2020-01-09 | 2020-06-05 | 河北工业大学 | 一种空气中pm2.5的检测方法、装置、设备及介质 |
CN112013891A (zh) * | 2019-05-28 | 2020-12-01 | 罗伯特·博世有限公司 | 用于使用人工神经网络校准多传感器***的方法 |
CN112529240A (zh) * | 2020-09-14 | 2021-03-19 | 桂林电子科技大学 | 一种大气环境数据的预测方法、***、装置及存储介质 |
CN112649337A (zh) * | 2020-12-21 | 2021-04-13 | 张家口市杰星电子科技有限公司 | 一种油烟在线监控方法及装置 |
CN112906936A (zh) * | 2021-01-07 | 2021-06-04 | 中地大海洋(广州)科学技术研究院有限公司 | 基于集成神经网络的河流污染物通量智能计算与预测方法 |
CN113095550A (zh) * | 2021-03-26 | 2021-07-09 | 北京工业大学 | 基于变分递归网络和自注意力机制的空气质量预测方法 |
CN113380340A (zh) * | 2021-06-21 | 2021-09-10 | 深圳开云智能有限公司 | 飞灰浓度预测模型的训练方法、装置、计算机设备 |
CN113408191A (zh) * | 2021-05-31 | 2021-09-17 | 上海师范大学 | 一种基于图自监督学习的pm2.5预测方法及存储介质 |
CN113516304A (zh) * | 2021-06-29 | 2021-10-19 | 上海师范大学 | 基于时空图网络的区域污染物时空联合预测方法及装置 |
CN114282721A (zh) * | 2021-12-22 | 2022-04-05 | 中科三清科技有限公司 | 污染物预报模型训练方法、装置、电子设备及存储介质 |
CN114580710A (zh) * | 2022-01-28 | 2022-06-03 | 西安电子科技大学 | 基于Transformer时序预测的环境监测方法 |
CN114611792A (zh) * | 2022-03-11 | 2022-06-10 | 南通大学 | 一种基于混合CNN-Transformer模型的大气臭氧浓度预测方法 |
CN116859006A (zh) * | 2023-09-04 | 2023-10-10 | 北京亦庄智能城市研究院集团有限公司 | 基于大气扩散机制的空气污染监测***及其监测方法 |
CN117493816A (zh) * | 2023-12-29 | 2024-02-02 | 深圳市智德森水务科技有限公司 | 一种基于大数据的空气监测预警方法及*** |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105912790A (zh) * | 2016-04-15 | 2016-08-31 | 重庆大学 | 基于深度回归模型的遥感水质监测方法 |
WO2017044189A1 (en) * | 2015-09-09 | 2017-03-16 | Intel Corporation | Cost-sensitive classification with deep learning using cost-aware pre-training |
CN106529081A (zh) * | 2016-12-03 | 2017-03-22 | 安徽新华学院 | 一种基于神经网络的pm2.5实时等级预测方法和*** |
US20170213000A1 (en) * | 2016-01-25 | 2017-07-27 | Shenzhen University | Metabolic mass spectrometry screening method for diseases based on deep learning and the system thereof |
CN108009674A (zh) * | 2017-11-27 | 2018-05-08 | 上海师范大学 | 基于cnn和lstm融合神经网络的空气pm2.5浓度预测方法 |
-
2018
- 2018-06-15 CN CN201810622784.XA patent/CN109142171B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017044189A1 (en) * | 2015-09-09 | 2017-03-16 | Intel Corporation | Cost-sensitive classification with deep learning using cost-aware pre-training |
US20170213000A1 (en) * | 2016-01-25 | 2017-07-27 | Shenzhen University | Metabolic mass spectrometry screening method for diseases based on deep learning and the system thereof |
CN105912790A (zh) * | 2016-04-15 | 2016-08-31 | 重庆大学 | 基于深度回归模型的遥感水质监测方法 |
CN106529081A (zh) * | 2016-12-03 | 2017-03-22 | 安徽新华学院 | 一种基于神经网络的pm2.5实时等级预测方法和*** |
CN108009674A (zh) * | 2017-11-27 | 2018-05-08 | 上海师范大学 | 基于cnn和lstm融合神经网络的空气pm2.5浓度预测方法 |
Non-Patent Citations (4)
Title |
---|
LI CHEN 等: "A land use regression for predicting NO2 and PM10 concentrations in different seasons in Tianjin region, China", 《JOURNAL OF ENVIRONMENTAL SCIENCES》 * |
XIANG LI 等: "Deep learning architecture for air quality predictions", 《ENVIRONMENTAL SCIENCE AND POLLUTION RESEARCH》 * |
云时之间: "归一化和标准化的一些理解", 《简书》 * |
辜文祥: "《中国优秀硕士学位论文全文数据库 信息科技辑》", 15 February 2017 * |
Cited By (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109597844B (zh) * | 2019-01-31 | 2020-12-22 | 中科人工智能创新技术研究院(青岛)有限公司 | 基于深度神经网络与图网络的核心用户挖掘方法及*** |
CN109597844A (zh) * | 2019-01-31 | 2019-04-09 | 中科人工智能创新技术研究院(青岛)有限公司 | 基于深度神经网络与图网络的核心用户挖掘方法及*** |
CN112013891B (zh) * | 2019-05-28 | 2024-03-22 | 罗伯特·博世有限公司 | 用于使用人工神经网络校准多传感器***的方法 |
CN112013891A (zh) * | 2019-05-28 | 2020-12-01 | 罗伯特·博世有限公司 | 用于使用人工神经网络校准多传感器***的方法 |
CN110210681A (zh) * | 2019-06-11 | 2019-09-06 | 西安电子科技大学 | 一种基于距离的监测站点pm2.5值的预测方法 |
CN110210681B (zh) * | 2019-06-11 | 2023-06-27 | 西安电子科技大学 | 一种基于距离的监测站点pm2.5值的预测方法 |
CN111079989A (zh) * | 2019-11-29 | 2020-04-28 | 武汉理工大学 | 一种基于dwt-pca-lstm的供水公司供水量预测装置 |
CN111079989B (zh) * | 2019-11-29 | 2023-06-20 | 武汉理工大学 | 一种基于dwt-pca-lstm的供水公司供水量预测装置 |
CN111239014A (zh) * | 2020-01-09 | 2020-06-05 | 河北工业大学 | 一种空气中pm2.5的检测方法、装置、设备及介质 |
CN112529240A (zh) * | 2020-09-14 | 2021-03-19 | 桂林电子科技大学 | 一种大气环境数据的预测方法、***、装置及存储介质 |
CN112529240B (zh) * | 2020-09-14 | 2024-05-07 | 桂林电子科技大学 | 一种大气环境数据的预测方法、***、装置及存储介质 |
CN112649337A (zh) * | 2020-12-21 | 2021-04-13 | 张家口市杰星电子科技有限公司 | 一种油烟在线监控方法及装置 |
CN112906936A (zh) * | 2021-01-07 | 2021-06-04 | 中地大海洋(广州)科学技术研究院有限公司 | 基于集成神经网络的河流污染物通量智能计算与预测方法 |
CN113095550B (zh) * | 2021-03-26 | 2023-12-08 | 北京工业大学 | 基于变分递归网络和自注意力机制的空气质量预测方法 |
CN113095550A (zh) * | 2021-03-26 | 2021-07-09 | 北京工业大学 | 基于变分递归网络和自注意力机制的空气质量预测方法 |
CN113408191A (zh) * | 2021-05-31 | 2021-09-17 | 上海师范大学 | 一种基于图自监督学习的pm2.5预测方法及存储介质 |
CN113380340A (zh) * | 2021-06-21 | 2021-09-10 | 深圳开云智能有限公司 | 飞灰浓度预测模型的训练方法、装置、计算机设备 |
CN113380340B (zh) * | 2021-06-21 | 2023-05-16 | 深圳开云智能有限公司 | 飞灰浓度预测模型的训练方法、装置、计算机设备 |
CN113516304A (zh) * | 2021-06-29 | 2021-10-19 | 上海师范大学 | 基于时空图网络的区域污染物时空联合预测方法及装置 |
CN113516304B (zh) * | 2021-06-29 | 2024-01-23 | 上海师范大学 | 基于时空图网络的区域污染物时空联合预测方法及装置 |
CN114282721A (zh) * | 2021-12-22 | 2022-04-05 | 中科三清科技有限公司 | 污染物预报模型训练方法、装置、电子设备及存储介质 |
CN114580710A (zh) * | 2022-01-28 | 2022-06-03 | 西安电子科技大学 | 基于Transformer时序预测的环境监测方法 |
CN114580710B (zh) * | 2022-01-28 | 2024-04-30 | 西安电子科技大学 | 基于Transformer时序预测的环境监测方法 |
CN114611792A (zh) * | 2022-03-11 | 2022-06-10 | 南通大学 | 一种基于混合CNN-Transformer模型的大气臭氧浓度预测方法 |
CN116859006B (zh) * | 2023-09-04 | 2023-12-01 | 北京亦庄智能城市研究院集团有限公司 | 基于大气扩散机制的空气污染监测***及其监测方法 |
CN116859006A (zh) * | 2023-09-04 | 2023-10-10 | 北京亦庄智能城市研究院集团有限公司 | 基于大气扩散机制的空气污染监测***及其监测方法 |
CN117493816B (zh) * | 2023-12-29 | 2024-03-29 | 深圳市智德森水务科技有限公司 | 一种基于大数据的空气监测预警方法及*** |
CN117493816A (zh) * | 2023-12-29 | 2024-02-02 | 深圳市智德森水务科技有限公司 | 一种基于大数据的空气监测预警方法及*** |
Also Published As
Publication number | Publication date |
---|---|
CN109142171B (zh) | 2021-08-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109142171A (zh) | 基于特征扩张的融合神经网络的城市pm10浓度预测方法 | |
CN111161535B (zh) | 基于注意力机制的图神经网络交通流量预测方法及*** | |
CN109492822B (zh) | 空气污染物浓度时空域关联预测方法 | |
CN108009674A (zh) | 基于cnn和lstm融合神经网络的空气pm2.5浓度预测方法 | |
CN115240425B (zh) | 一种基于多尺度时空融合图网络的交通预测方法 | |
Lv et al. | A long Short-Term memory cyclic model with mutual information for hydrology forecasting: A Case study in the xixian basin | |
CN101354757B (zh) | 一种精细尺度下的动态风险及易损性预测方法 | |
CN108985965A (zh) | 一种结合神经网络和参数估计的光伏功率区间预测方法 | |
CN107292098A (zh) | 基于前期气象因子与数据挖掘技术的中长期径流预报方法 | |
Zhang et al. | Multi-head attention-based probabilistic CNN-BiLSTM for day-ahead wind speed forecasting | |
Chen et al. | Groundwater level prediction using SOM-RBFN multisite model | |
Massaoudi et al. | Performance evaluation of deep recurrent neural networks architectures: Application to PV power forecasting | |
Li et al. | A novel combined prediction model for monthly mean precipitation with error correction strategy | |
CN112100911B (zh) | 一种基于深度bilstm的太阳辐射预测方法 | |
Hu et al. | A Bayesian approach for estimating uncertainty in stochastic economic dispatch considering wind power penetration | |
CN113297174B (zh) | 基于深度学习的土地利用变化模拟方法 | |
CN106127330A (zh) | 基于最小二乘支持向量机的脉动风速预测方法 | |
CN116108984A (zh) | 基于流量-poi因果关系推理的城市流量预测方法 | |
CN110795522B (zh) | 一种移动用户轨迹位置的预测方法及装置 | |
Li et al. | GMM-HMM-based medium-and long-term multi-wind farm correlated power output time series generation method | |
Fan et al. | Identifying hydrometeorological factors influencing reservoir releases using machine learning methods | |
Sørensen | Dynamic positioning control systems for ships and underwater vehicles | |
Al-Janabi et al. | An efficient predictor of renewable energy based on deep learning technique (DGBM) and multi-objectives optimization function | |
CN113537607B (zh) | 停电预测方法 | |
Ragab | Spider Monkey Optimization with Statistical Analysis for Robust Rainfall Prediction. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |