CN110866631A - 基于集成的门递归单元神经网络gru来预测大气污染情况的方法 - Google Patents

基于集成的门递归单元神经网络gru来预测大气污染情况的方法 Download PDF

Info

Publication number
CN110866631A
CN110866631A CN201910952817.1A CN201910952817A CN110866631A CN 110866631 A CN110866631 A CN 110866631A CN 201910952817 A CN201910952817 A CN 201910952817A CN 110866631 A CN110866631 A CN 110866631A
Authority
CN
China
Prior art keywords
gru
data set
neural network
data
atmospheric
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910952817.1A
Other languages
English (en)
Inventor
廖军
季恩泽
刘礼
张毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University
Original Assignee
Chongqing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University filed Critical Chongqing University
Priority to CN201910952817.1A priority Critical patent/CN110866631A/zh
Publication of CN110866631A publication Critical patent/CN110866631A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Human Resources & Organizations (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了基于集成的门递归单元神经网络GRU来预测大气污染情况的方法，1)利用局部均值分解函数LMD对大气污染物数据集S11(t)进行多模态特征提取，得到大气污染物特征数据集；2)利用训练数据集建立门递归单元神经网络GRU，并利用训练数据集对门递归单元神经网络GRU进行训练；3)将归一化后的不同类别的特征数据集输入到门递归单元神经网络GRU中，输出归一化后的子模式预测值；4)采用逆LMD运算对归一化后的子模式预测值进行多模态特征估计值集成，得到训练好的LMD‑GRU神经网络模型。本发明解决了LSTM模型对雾霾进行回归预测中的特征学习不明显，使得模型的性能不如多模式特征学习模型强，精度低，实际预测效果不理想的问题。

Description

基于集成的门递归单元神经网络GRU来预测大气污染情况的 方法
技术领域
本发明涉及环境工程检测技术领域，具体是基于集成的门递归 单元神经网络GRU来预测大气污染情况的方法。
背景技术
环境问题日益严重，空气污染对环境、人类健康和社会经济有 严重的不利影响，特别是空气动力学当量直径小于2.5毫米(PM2.5) 的颗粒物，更容易被吸入，导致高死亡率，慢性病加剧，呼吸*** 及心脏***疾病恶化。通过提供预警来保护公众健康，PM2.5浓度预 测是一项重要而有效的工作，在准确可靠的建模基础上向公众公布 未来几个小时的污染物浓度从而可以指导预警决策活动。
目前对大气污染的的研究提出了各种数据驱动的方法来进行 预测，包括线性模型和非线性模型。由于受到气温，压强，风速， 雨雪量等多变量的影响，PM2.5序列的特征表现出非线性和时变复杂 性。
深度学习是当今人工智能领域研究和应用开发的热点，是基于 ANN发展起来的一项技术，通过调节网络参数，迭代学习来寻找到最 佳的权重表达模型，自动的学习数据的特征，更好的表达数据本身。
目前存在一种通过在python环境下搭建深度学***均绝对误差(MAE)损失函数作为评测指标对模型进行评估。该方 法采用了LSTM预测模型解决了序列数据的长依赖问题，比传统模型更加灵活调参。但该模型在处理天气数据进行回归预测时，还是从 单一模式出发，序列数据的内在特征表达不明显。
发明内容
本发明的目的是解决现有技术中存在的问题。
为实现本发明目的而采用的技术方案是这样的，基于集成的门 递归单元神经网络GRU来预测大气污染情况的方法，主要包括以下 步骤：
1)获取历史天气数据集，对历史天气数据集进行预处理。所述 历史天气数据集包括大气污染物数据集s11(t)和气象数据集。
进一步，所述大气污染物数据集s11(t)包括PM2.5浓度数据。
所述气象数据集包括日期、露点、温度、大气压、风向、风速、 降雪量和/或降雨量。
进一步，对历史天气数据进行预处理的主要步骤为：
1.1)在历史天气数据集中缺失数据的位置填0。
1.2)删除历史天气数据集中非特征数据列。所述非特征数据包 括日期。特征数据包括大气污染物数据、露点、温度、大气压、风 向、风速、降雪量和/或降雨量
1.3)为不同类别的特征数据集添加类别编码。
2)将预处理后的历史天气数据集划分为训练数据集和测试数据 集，并分解为不同类别的特征数据集。
3)利用局部均值分解函数LMD对大气污染物数据集s11(t)进 行多模态特征提取，得到大气污染物特征数据集。
进一步，利用局部均值分解函数LMD对大气污染物数据进行多 模态特征提取的主要步骤如下：
3.1)确定待处理数据集sIj(t)第I个半波振动内的所有局部极值 点，并计算相邻极值点的平均值mi，即：
Figure BDA0002226304870000021
式中，ni和ni+1表示相邻的两个极值点。i为极值点序号。1≤i ≤n。n为局部极值点总数。j初始值为1。I为PF分量序列号。1≤I ≤T。I初始值为1。
3.2)绘制平均值线段，并利用滑动平均方法对平均值线段进行 平滑处理，得到局部均值函数m1j(t)。j初始值为1。
3.3)计算局部极值点ni对应的包络估计值ai，即：
Figure BDA0002226304870000022
3.4)绘制包络估计值线段，并利用滑动平均方法对包络估计值 线段进行平滑处理，得到包络估计函数aIj(t)。
3.5)将局部均值函数mIj(t)从待处理数据集sIj(t)中分离出来， 得到分离后的数据集hIj(t)＝sIj(t)-mIj(t)。
3.6)对分离后的数据集hIj(t)进行处理，得到解调后的数据集 sIj+1(t)，即：
Figure BDA0002226304870000031
3.7)判断解调后的数据集sIj+1(t)是否满足正交性准则，若否， 则令j＝j+1，并返回步骤3.1，若是，则迭代结束。
判断解调后的数据集s1j+1(t)是否满足正交性准则的步骤如下：
3.7.1)计算待处理数据集s1j(t)的正交指数OC1j，即：
Figure BDA0002226304870000032
其中，mIj(t)为第I个PF分量时计算得到的第j次局部均值函 数值。T为分解得到的PF分量序列总个数。
计算待处理数据集s1j+1(t)的正交指数OC1j+1，即：
Figure BDA0002226304870000033
3.7.2)计算正交指数差值Δ＝OC1j+1-OC1j，若差值Δ＝0，则判 断解调后的数据集s1j+1(t)满足正交性准则。
3.8)计算第I个PF分量的包络序列aI(t)＝aI1(t)aI2(t)...aIn(t)。
大气污染物数据集s11(t)第I个PF分量如下所示：
PFI(t)＝aI(t)sIn(t)。 (6)
3.9)第I个PF分量PFI(t)从原始序列中分离出来，得到一个新 信号μI(t)，当μI(t)不满足单调性时，重复上述步骤3.1至步骤3.8， 循环k次，直到μk(t)为单调函数。
3.10)令I＝I+1，返回步骤3.1，直至I＞T。
3.11)将大气污染物数据集s11(t)分解为k个PF分量和一个单 调函数μk(t)之和，即：
Figure BDA0002226304870000041
式中，p表示任意PF分量。
4)对大气污染物特征数据集和气象数据进行归一化处理。
对大气污染物特征数据集和气象数据进行归一化处理的方法为：
Figure BDA0002226304870000042
其中，X′表示归一化后的数据。Xmax表示数据的最大值。Xmin表 示数据的最小值。X指代大气污染物特征数据集和气象数据集中的 元素。
5)利用训练数据集建立门递归单元神经网络GRU，并利用训 练数据集对门递归单元神经网络GRU进行训练。
GRU神经网络模型包括一个输入层，一个GRU隐藏层和一个 输出层。GRU神经网络模型通过门递归长短期记忆模块更新数据， 一个门递归长短期记忆模块由更新门和重置门构成。更新数据主要 步骤如下：
5.1)令t时刻的输入为Xt，隐藏层输出为ht，上一时刻隐藏层 输出为ht-1。
5.2)数据通过GRU神经网络模型进行前向传播，内部各门状 态具体可如下所示：
重置门rt＝σ(Wr·[ht-1，xt]+br)。
更新门zt＝σ(Wz·[ht-1，xt]+bz)。
候选隐含状态
Figure BDA0002226304870000043
隐含状态
Figure BDA0002226304870000044
式中，tanh为双曲正切函数。σ为sigmoid函数。Wr、Wz、Wh、 Wy分别为重置门、更新门、候选隐含状态函数和输出函数的权重矩 阵。br、bz、bh、by为重置门、更新门、候选隐含状态函数和输出 函数的偏移向量。ht-1为t-1时刻对应的隐含状态。
5.3)GRU神经网络模型输出值yt＝σ(Wy·ht+by)。
GRU神经网络模型使用平均绝对误差MAE损失函数来更新参 数，MAE函数如下所示：
Figure BDA0002226304870000051
其中，N表示输出向量的维度，yl表示训练数据的真实值，y′l表 示训练数据的预测值。
GRU神经网络模型采用Adam梯度下降算法更新GRU神经网 络模型中的权重和偏移。
6)将归一化后的不同类别的特征数据集输入到门递归单元神经 网络GRU中，输出归一化后的子模式预测值；
7)采用逆LMD运算对归一化后的子模式预测值进行多模态特 征估计值集成，得到训练好的LMD-GRU神经网络模型。
对归一化后的子模式预测值进行多模态特征估计值集成的主要 步骤如下：
7.1)集成不同类别特征数据集的PF分量序列，第p个PF集成 分量序列如下所示：
PFp(t)＝GRU(M(t-1)，PFp(t-1))p∈[1，n]。 (10)
式中，M(t-1)为t-1时刻对应的气象数据，PFp(t-1)为t-1 时刻对应的第p个PF分量。
7.2)集成不同类别特征数据集的余项单调函数μk(t)，即：
μk(t)＝GRU(M(t-1)，μk(t-1))。 (11)
式中，μk(t-1)为t-1时刻对应的余项单调函数。
7.3)训练好的LMD-GRU神经网络模型的输出y(t)如下所示：
Figure BDA0002226304870000052
式中，PFp(t)表示第p个PF分量序列，μk(t)表示余项单调函 数，M代表气象数据，GRU表示GRU网络层的输出。8)将实时天 气数据输入到训练好的LMD(Local MeanDecomposition局部均值 分解)-GRU神经网络模型中，得到大气污染情况预测结果。
本发明的技术效果是毋庸置疑的。本发明目的在于提供一种基 于集成的门递归单元神经网络(GRU)来预测大气污染情况的方法， 以解决单模式的LSTM模型(长短期记忆网络Long Short-Term Memory)对雾霾进行回归预测中的特征学习不明显，使得模型的性能不如多模式特征学习模型强，精度低，实际预测效果不理想的问 题。本发明将序列进行分解，对多模式特征学习，再将多模式学习 结果进行集成，提高了预测的准确率；基于深度学习理论，搭建GRU 神经网络模型，构造简单，矩阵乘法较少，在训练数据量很大的情 况下可以节省很多时间；采用了tanh函数作为GRU层的激活函数， 对数据变化更为敏感。由此可见，本发明设计原理可靠，与现有技 术相比，具有突出的实质性特点和显著地进步，将分解后的特征序 列对预测模型进行训练，很大程度上提升了模型的预测效果。
附图说明
图1为本发明基于集成的门递归单元神经网络(GRU)来预测大 气污染情况的整体流程结构图；
图2为本发明LMD分解流程图；
图3为GRU的单元细节原理图，其中输入为ht-1，xt，输出为ht；
图4为测试数据在训练好的LMD-GRU模型上的预测结果。
具体实施方式
下面结合实施例对本发明作进一步说明，但不应该理解为本 发明上述主题范围仅限于下述实施例。在不脱离本发明上述技术思 想的情况下，根据本领域普通技术知识和惯用手段，做出各种替换 和变更，均应包括在本发明的保护范围内。
实施例1：
参见图1至图4，基于集成的门递归单元神经网络GRU来预测 大气污染情况的方法，主要包括以下步骤：
1)获取历史天气数据集，对历史天气数据集进行预处理。所述 历史天气数据集包括大气污染物数据集s11(t)和气象数据集。
进一步，所述大气污染物数据集s11(t)包括PM2.5浓度数据。
所述气象数据集包括日期、露点、温度、大气压、风向、风速、 降雪量和/或降雨量。
进一步，对历史天气数据进行预处理的主要步骤为：
1.1)在历史天气数据集中缺失数据的位置填0。
1.2)删除历史天气数据集中非特征数据列。所述非特征数据包 括日期。特征数据包括大气污染物数据、露点、温度、大气压、风 向、风速、降雪量和/或降雨量
1.3)为不同类别的特征数据集添加类别编码。
2)将预处理后的历史天气数据集划分为训练数据集和测试数据 集，并分解为不同类别的特征数据集。
3)利用局部均值分解函数LMD对大气污染物数据集s11(t)进 行多模态特征提取，得到大气污染物特征数据集。
进一步，利用局部均值分解函数LMD对大气污染物数据进行多 模态特征提取的主要步骤如下：
3.1)确定待处理数据集sIj(t)第I个半波振动内的所有局部极值 点，并计算相邻极值点的平均值mi，即：
Figure BDA0002226304870000071
式中，ni和ni+1表示相邻的两个极值点。i为极值点序号。1≤i ≤n。n为局部极值点总数。j初始值为1。I为PF分量序列号。1≤I ≤T。I初始值为1。
3.2)绘制平均值线段，并利用滑动平均方法对平均值线段进行 平滑处理，得到局部均值函数m1j(t)。j初始值为1。
3.3)计算局部极值点ni对应的包络估计值ai，即：
Figure BDA0002226304870000072
3.4)绘制包络估计值线段，并利用滑动平均方法对包络估计值 线段进行平滑处理，得到包络估计函数aIj(t)。
3.5)将局部均值函数mIj(t)从待处理数据集sIj(t)中分离出来， 得到分离后的数据集hIj(t)＝sIj(t)-mIj(t)。
3.6)对分离后的数据集hIj(t)进行处理，得到解调后的数据集 sIj+1(t)，即：
Figure BDA0002226304870000073
3.7)判断解调后的数据集sIj+1(t)是否满足正交性准则，若否， 则令j＝j+1，并返回步骤3.1，若是，则迭代结束。
判断解调后的数据集s1j+1(t)是否满足正交性准则的步骤如下：
3.7.1)计算待处理数据集s1j(t)的正交指数OC1j，即：
Figure BDA0002226304870000081
其中，mIj(t)为第I个PF分量时计算得到的第j次局部均值函 数值。T为分解得到的PF分量序列总个数。
计算待处理数据集s1j+1(t)的正交指数OC1j+1，即：
Figure BDA0002226304870000082
3.7.2)计算正交指数差值Δ＝OC1j+1-OC1j，若差值Δ＝0，则判 断解调后的数据集s1j+1(t)满足正交性准则。
3.8)计算第I个PF分量的包络序列aI(t)＝aI1(t)aI2(t)...aIn(t)。
大气污染物数据集s11(t)第I个PF分量如下所示：
PFI(t)＝aI(t)sIn(t)。 (6)
3.9)第I个PF分量PFI(t)从原始序列中分离出来，得到一个新 信号μI(t)，当μI(t)不满足单调性时，重复上述步骤3.1至步骤3.8， 循环k次，直到μk(t)为单调函数。
3.10)令I＝I+1，返回步骤3.1，直至I＞T。
3.11)将大气污染物数据集s11(t)分解为k个PF分量和一个单 调函数μk(t)之和，即：
Figure BDA0002226304870000083
式中，p表示任意PF分量。
4)对大气污染物特征数据集和气象数据进行归一化处理。
对大气污染物特征数据集和气象数据进行归一化处理的方法为：
Figure BDA0002226304870000084
其中，X′表示归一化后的数据。Xmax表示数据的最大值。Xmin表 示数据的最小值。X指代大气污染物特征数据集和气象数据集中的 元素。
5)利用训练数据集建立门递归单元神经网络GRU，并利用训 练数据集对门递归单元神经网络GRU进行训练。
GRU神经网络模型包括一个输入层，一个GRU隐藏层和一个 输出层。GRU神经网络模型通过门递归长短期记忆模块更新数据， 一个门递归长短期记忆模块由更新门和重置门构成。更新数据主要 步骤如下：
5.1)令t时刻的输入为Xt，隐藏层输出为ht，上一时刻隐藏层 输出为ht-1。
5.2)数据通过GRU神经网络模型进行前向传播，内部各门状 态具体可如下所示：
重置门rt＝σ(Wr·[ht-1，xt]+br)。
更新门zt＝σ(Wz·[ht-1，xt]+bz)。
候选隐含状态
Figure BDA0002226304870000091
隐含状态
Figure BDA0002226304870000092
式中，tanh为双曲正切函数。σ为sigmoid函数。Wr、Wz、Wh、 Wy分别为重置门、更新门、候选隐含状态函数和输出函数的权重矩 阵。br、bz、bh、by为重置门、更新门、候选隐含状态函数和输出 函数的偏移向量。
5.3)GRU神经网络模型输出值yt＝σ(Wy·ht+by)。
GRU神经网络模型使用平均绝对误差MAE损失函数来更新参 数，MAE函数如下所示：
Figure BDA0002226304870000093
其中，N表示输出向量的维度，yl表示训练数据的真实值，y′l表 示训练数据的预测值。
GRU神经网络模型采用Adam梯度下降算法更新GRU神经网 络模型中的权重和偏移。
6)将归一化后的不同类别的特征数据集输入到门递归单元神经 网络GRU中，输出归一化后的子模式预测值。
7)采用逆LMD运算对归一化后的子模式预测值进行多模态特 征估计值集成，得到训练好的LMD-GRU神经网络模型。
对归一化后的子模式预测值进行多模态特征估计值集成的主要 步骤如下：
7.1)集成不同类别特征数据集的PF分量序列，第p个PF集成 分量序列如下所示：
PFp(t)＝GRU(M(t-1)，PFp(t-1))p∈[1，n]。 (10)
7.2)集成不同类别特征数据集的余项单调函数μk(t)，即：
μk(t)＝GRU(M(t-1)，μk(t-1))。 (11)
7.3)训练好的LMD-GRU神经网络模型的输出y(t)如下所示：
Figure BDA0002226304870000101
式中，PFp(t)表示第p个PF分量序列，μk(t)表示余项单调函 数，M代表气象数据，GRU表示GRU网络层的输出。8)将实时天 气数据输入到训练好的LMD-GRU神经网络模型中，得到大气污染 情况预测结果。
实施例2：
本发明提出了一种基于集成的门递归单元神经网络(GRU)来 预测大气污染情况的方法，该方法包括：
1)获取历史天气数据，对历史天气数据进行预处理；获取的数 据来源自位于北京的美国的大使馆在2010年至2014年共5年间每 小时采集的历史天气数据及空气污染指数，数据集包括日期、每小 时的PM2.5浓度、露点、温度、风向、风速、降雪量和降雨量；对 原始数据进行处理，数据集中分散的NA值用0来表示，将不是特 征的列删除，比如时间。对类别特征进行整型编码，比如风向。全 部数据集共有43799*8个数据。
2)将预处理完的历史天气数据集按照一定比例分为训练数据和 测试数据；
预处理完成的数据集中，将前8760条数据(2010年天气数据) 作为训练数据集，将后35039条数据(后四年天气数据)作为测试 数据集。
3)利用局部均值分解(LMD)函数对PM2.5序列数据进行多 模态特征提取；
如附图2所示，找出要分解的PM2.5序列x(t)每个半波振动所 有局部极值点，将所有两个相邻极值点的平均值用直线连接起来， 再用滑动平均方法进行平滑处理得到局部均值函数。采用局部极值 点计算包络估计值，同样，用直线将所有相邻包络估计值连接起来 并采用移动平均方法进行平滑处理得到包络估计函数。接着再将局 部均值函数从原始序列x(t)中分离出来，得到的残差序列除以局部包 络函数得到解调后的值。重复上述步骤得到对应的局部包络函数值， 并以正交性准则作为乘积函数的迭代运算过程终止判定条件，把迭 代过程中产生的所有局部包络函数相乘便可得到PF分量的包络序 列，将包络序列与对应的调频序列相乘便可得到原始序列的第一个 PF分量。再把PF1从原始序列中分离出来，得到一个新信号，若不 满足单调性时，重复上述步骤，直到余项为一个单调函数为止，即 将原始序列分解为k个PF分量和一个单调函数之和。
4)对分解后的PM2.5数据和其他气象数据进行归一化处理；
5)为分解后的每种模式构造门递归单元神经网络(GRU)，对 训练数据集进行多模态特征学习；
如附图3所示，GRU网络模型是按照时间顺序展开来的，适合 处理预测时间序列间隔延迟较长的长依赖事件，模型包括：一个输 入层，一个GRU隐藏层，一个输出层：
如附图4所示，GRU通过设置不同门来控制不同阶段的输入和 输出。
更新门用于控制前一时刻的状态信息被带入到当前状态中的程 度，更新门的值越大说明前一时刻的状态信息带入越多。重置门控 制前一状态有多少信息被写入到当前的候选状态上，重置门越小， 前一状态的信息被写入的越少。在每个建模过程中，搭建监督学习 模型，利用分解后PM2.5序列的PF分量模式信息和1小时前对应 的气象变量作为输入，基于深度学习理论，为每个PF分量和其余气 象数据构造GRU模型，该模型是一个序列对序列(sequenceto sequence)模型，模型上有多时间点，每个时间点有多个可用的特征， 通过选取固定时间步长的批大小进行训练，来进行预测PM2.5浓度 的下一个模式信息。
上述过程完成了一个GRU单元的数据处理过程，其中，tanh为 双曲正切函数，σ为sigmoid函数，Wr、、W2、Wh、Wy为各个门的权 重矩阵，br、bz、bh、by为各个门的偏移向量，需要进行训练的参 数，在训练过程中自动更新。
超参选择时学习速率选择为0.001，训练次数为50次，GRU隐 藏层神经元个数为50，采用Adam梯度下降算法更新模型中的权重 和偏移。
模型使用平均绝对误差(MAE)损失函数。
将分解后的各种模式与其他数据进行归一化，然后每一种模式 各通过神经网络输入层，输入数据为归一化后的露点、温度、大气 压、风向、风速、降雪量，降雨量以及PM2.5序列分解后的子模式， 输出数据为归一化后的子模式预测值。
6)采用逆LMD运算计算，进行多模态特征估计值集成；
模式分解后，GRU模型的输出数据为归一化后的子模式预测值。 将这些输出的子模式预测值作为输入，进行逆LMD运算进行集成并 作为最终输出。
7)使用训练完成的LMD-GRU神经网络来预测大气污染情况；
将本发明提出的LMD-GRU模型训练好之后，将之前划分好的 测试数据集输入模型中，进而实现模型性能的衡量，得到的测试结 果如图4所示，其中蓝色表示真实值，橙色表示测试值，由图可见， 真实值与测试值的误差很小，模型可靠。

Claims (9)

1.基于集成的门递归单元神经网络GRU来预测大气污染情况的方法，其特征在于，主要包括以下步骤：
1)获取历史天气数据集，对历史天气数据集进行预处理；所述历史天气数据集包括大气污染物数据集s11(t)和气象数据集。
2)将预处理后的历史天气数据集划分为训练数据集和测试数据集，并分解为不同类别的特征数据集；
3)利用局部均值分解函数LMD对大气污染物数据集s11(t)进行多模态特征提取，得到大气污染物特征数据集；
4)对大气污染物特征数据集和气象数据进行归一化处理；
5)利用训练数据集建立门递归单元神经网络GRU，并利用训练数据集对门递归单元神经网络GRU进行训练；
6)将归一化后的不同类别的特征数据集输入到门递归单元神经网络GRU中，输出归一化后的子模式预测值；
7)采用逆LMD运算对归一化后的子模式预测值进行多模态特征估计值集成，得到训练好的LMD-GRU神经网络模型；
8)将实时天气数据输入到训练好的LMD-GRU神经网络模型中，得到大气污染情况预测结果。
2.根据权利要求1所述的基于集成的门递归单元神经网络GRU来预测大气污染情况的方法，其特征在于：所述大气污染物数据集s11(t)包括PM2.5浓度数据；
所述气象数据集包括日期、露点、温度、大气压、风向、风速、降雪量和/或降雨量。
3.根据权利要求1或2所述的基于集成的门递归单元神经网络GRU来预测大气污染情况的方法，其特征在于，对历史天气数据进行预处理的主要步骤为：
1)在历史天气数据集中缺失数据的位置填0；
2)删除历史天气数据集中非特征数据列；所述非特征数据包括日期；特征数据包括大气污染物数据、露点、温度、大气压、风向、风速、降雪量和/或降雨量
3)为不同类别的特征数据集添加类别编码。
4.根据权利要求1所述的基于集成的门递归单元神经网络GRU来预测大气污染情况的方法，其特征在于，利用局部均值分解函数LMD对大气污染物数据进行多模态特征提取的主要步骤如下：
1)确定待处理数据集sIj(t)第I个半波振动内的所有局部极值点，并计算相邻极值点的平均值mi，即：
Figure FDA0002226304860000021
式中，ni和ni+1表示相邻的两个极值点；i为极值点序号；1≤i≤n；n为局部极值点总数；j初始值为1；I为PF分量序列号；1≤I≤T；I初始值为1；
2)绘制平均值线段，并利用滑动平均方法对平均值线段进行平滑处理，得到局部均值函数m1j(t)；j初始值为1；
3)计算局部极值点ni对应的包络估计值ai，即：
Figure FDA0002226304860000022
4)绘制包络估计值线段，并利用滑动平均方法对包络估计值线段进行平滑处理，得到包络估计函数aIj(t)；
5)将局部均值函数mIj(t)从待处理数据集sIj(t)中分离出来，得到分离后的数据集hIj(t)＝sIj(t)-mIj(t)；
6)对分离后的数据集hIj(t)进行处理，得到解调后的数据集sIj+1(t)，即：
Figure FDA0002226304860000023
7)判断解调后的数据集sIj+1(t)是否满足正交性准则，若否，则令j＝j+1，并返回步骤1，若是，则迭代结束；
判断解调后的数据集s1j+1(t)是否满足正交性准则的步骤如下：
7.1)计算待处理数据集s1j(t)的正交指数OC1j，即：
Figure FDA0002226304860000024
其中，mIj(t)为第I个PF分量时计算得到的第j次局部均值函数值；T为分解得到的PF分量序列总个数；
计算待处理数据集s1j+1(t)的正交指数OC1j+1，即：
Figure FDA0002226304860000031
7.2)计算正交指数差值Δ＝OC1j+1-OC1j，若差值Δ＝0，则判断解调后的数据集s1j+1(t)满足正交性准则；
8)计算第I个PF分量的包络序列aI(t)＝aI1(t)aI2(t)…aIn(t)；
大气污染物数据集s11(t)第I个PF分量如下所示：
PFI(t)＝aI(t)sIn(t)； (6)
9)将第I个PF分量PFI(t)从原始序列中分离出来，得到一个新信号μI(t)，当μI(t)不满足单调性时，重复上述步骤1至步骤8，循环k次，直到μk(t)为单调函数；
10)令I＝I+1，返回步骤1，直至I＞T；
11)将大气污染物数据集s11(t)分解为k个PF分量和一个单调函数μk(t)之和，即：
Figure FDA0002226304860000032
式中，p表示任意PF分量。
5.根据权利要求1所述的基于集成的门递归单元神经网络GRU来预测大气污染情况的方法，其特征在于，对大气污染物特征数据集和气象数据进行归一化处理的方法为：
Figure FDA0002226304860000033
其中，X′表示归一化后的数据；Xmax表示数据的最大值；Xmin表示数据的最小值；X指代大气污染物特征数据集和气象数据集中的元素。
6.根据权利要求1所述的基于集成的门递归单元神经网络GRU来预测大气污染情况的方法，其特征在于，GRU神经网络模型包括一个输入层，一个GRU隐藏层和一个输出层；GRU神经网络模型通过门递归长短期记忆模块更新数据，一个门递归长短期记忆模块由更新门和重置门构成；更新数据主要步骤如下：
1)令t时刻的输入为Xt，隐藏层输出为ht，上一时刻隐藏层输出为ht-1；
2)数据通过GRU神经网络模型进行前向传播，内部各门状态具体可如下所示：
重置门rt＝σ(Wr·[ht-1，xt]+br)；
更新门zt＝σ(W2·[ht-1，xt]+bz)；
候选隐含状态
Figure FDA0002226304860000041
隐含状态
Figure FDA0002226304860000042
式中，tanh为双曲正切函数；σ为sigmoid函数；Wr、Wz、Wh、Wy分别表示重置门、更新门、候选隐含状态函数和输出函数的权重矩阵；br、bz、bh、by分别表示重置门、更新门、候选隐含状态函数和输出函数的偏移向量；
3)GRU神经网络模型输出值yt＝σ(Wy·ht+by)。
7.根据权利要求6所述的基于集成的门递归单元神经网络GRU来预测大气污染情况的方法，其特征在于，GRU神经网络模型使用平均绝对误差MAE损失函数来更新参数，MAE函数如下所示：
Figure FDA0002226304860000043
其中，N表示输出向量的维度，yl表示训练数据的真实值，y′l表示训练数据的预测值。
8.根据权利要求6所述的基于集成的门递归单元神经网络GRU来预测大气污染情况的方法，其特征在于，GRU神经网络模型采用Adam梯度下降算法更新GRU神经网络模型中的权重和偏移。
9.根据权利要求6所述的基于集成的门递归单元神经网络GRU来预测大气污染情况的方法，其特征在于，对归一化后的子模式预测值进行多模态特征估计值集成的主要步骤如下：
1)集成不同类别特征数据集的PF分量序列，第p个PF集成分量序列如下所示：
PFp(t)＝GRU(M(t-1)，PFp(t-1))，p∈[1，n]； (10)
2)集成不同类别特征数据集的余项单调函数μk(t)，即：
μk(t)＝GRU(M(t-1)，μk(t-1))； (11)
3)训练好的LMD-GRU神经网络模型的输出y(t)如下所示：
Figure FDA0002226304860000051
式中，PFp(t)表示第p个PF分量序列，μk(t)表示余项单调函数，M代表气象数据，GRU表示GRU网络层的输出。
CN201910952817.1A 2019-10-09 2019-10-09 基于集成的门递归单元神经网络gru来预测大气污染情况的方法 Pending CN110866631A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910952817.1A CN110866631A (zh) 2019-10-09 2019-10-09 基于集成的门递归单元神经网络gru来预测大气污染情况的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910952817.1A CN110866631A (zh) 2019-10-09 2019-10-09 基于集成的门递归单元神经网络gru来预测大气污染情况的方法

Publications (1)

Publication Number Publication Date
CN110866631A true CN110866631A (zh) 2020-03-06

Family

ID=69652386

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910952817.1A Pending CN110866631A (zh) 2019-10-09 2019-10-09 基于集成的门递归单元神经网络gru来预测大气污染情况的方法

Country Status (1)

Country Link
CN (1) CN110866631A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112085163A (zh) * 2020-08-26 2020-12-15 哈尔滨工程大学 一种基于注意力增强图卷积神经网络agc和门控循环单元gru的空气质量预测方法
CN113077110A (zh) * 2021-04-21 2021-07-06 国家海洋信息中心 一种基于gru的调和残差分段式潮位预测方法
CN113096818A (zh) * 2021-04-21 2021-07-09 西安电子科技大学 基于ode和grud的急性病症发生几率的评估方法
CN113157663A (zh) * 2021-03-16 2021-07-23 西安电子科技大学 基于数据重建和混合预测的网络流量预测方法及装置
CN113222112A (zh) * 2021-04-02 2021-08-06 西安电子科技大学 一种基于mv-gru的热负荷预测方法
CN113722308A (zh) * 2021-09-02 2021-11-30 重庆大学 基于EEMD-MultiCNN-LSTM的加速度响应数据补全方法及装置
CN114239658A (zh) * 2021-12-20 2022-03-25 桂林电子科技大学 一种基于小波分解与gru神经网络的血糖预测方法
CN117972593A (zh) * 2024-03-27 2024-05-03 中科三清科技有限公司 一种典型重污染历史案例库分析的长期预报预警方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103711523A (zh) * 2013-12-24 2014-04-09 华北科技学院 基于局域分解-进化神经网络的瓦斯浓度实时预测方法
CN106875041A (zh) * 2017-01-16 2017-06-20 广东电网有限责任公司揭阳供电局 一种短期风速预测方法
CN107563122A (zh) * 2017-09-20 2018-01-09 长沙学院 基于交织时间序列局部连接循环神经网络的犯罪预测方法
US20180144245A1 (en) * 2016-11-23 2018-05-24 Microsoft Technology Licensing, Llc Differential recurrent neural network
CN108319980A (zh) * 2018-02-05 2018-07-24 哈工大机器人（合肥）国际创新研究院 一种基于gru的递归神经网络多标签学习方法
CN109242532A (zh) * 2018-08-03 2019-01-18 广东工业大学 基于局域均值分解及优化rbf神经网络的短期电价预测方法
CN109447373A (zh) * 2018-11-16 2019-03-08 上海海事大学 基于python平台的LSTM神经网络来预测雾霾方法
CN109613178A (zh) * 2018-11-05 2019-04-12 广东奥博信息产业股份有限公司 一种基于递归神经网络预测空气污染的方法及***

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103711523A (zh) * 2013-12-24 2014-04-09 华北科技学院 基于局域分解-进化神经网络的瓦斯浓度实时预测方法
US20180144245A1 (en) * 2016-11-23 2018-05-24 Microsoft Technology Licensing, Llc Differential recurrent neural network
CN106875041A (zh) * 2017-01-16 2017-06-20 广东电网有限责任公司揭阳供电局 一种短期风速预测方法
CN107563122A (zh) * 2017-09-20 2018-01-09 长沙学院 基于交织时间序列局部连接循环神经网络的犯罪预测方法
CN108319980A (zh) * 2018-02-05 2018-07-24 哈工大机器人（合肥）国际创新研究院 一种基于gru的递归神经网络多标签学习方法
CN109242532A (zh) * 2018-08-03 2019-01-18 广东工业大学 基于局域均值分解及优化rbf神经网络的短期电价预测方法
CN109613178A (zh) * 2018-11-05 2019-04-12 广东奥博信息产业股份有限公司 一种基于递归神经网络预测空气污染的方法及***
CN109447373A (zh) * 2018-11-16 2019-03-08 上海海事大学 基于python平台的LSTM神经网络来预测雾霾方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
张彤等: "基于改进LMD与GRU网络的短期燃气负荷预测" *
徐星;田坤云;李凤琴;赵新涛;: "基于GA-Elman神经网络的煤矿突水水源判别" *
董正坤;罗亦泳;蒋斯斯;臧德彦;张立亭;谢翠贞;: "基于局域均值分解和BP神经网络的大坝变形预测" *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112085163A (zh) * 2020-08-26 2020-12-15 哈尔滨工程大学 一种基于注意力增强图卷积神经网络agc和门控循环单元gru的空气质量预测方法
CN113157663A (zh) * 2021-03-16 2021-07-23 西安电子科技大学 基于数据重建和混合预测的网络流量预测方法及装置
CN113222112A (zh) * 2021-04-02 2021-08-06 西安电子科技大学 一种基于mv-gru的热负荷预测方法
CN113222112B (zh) * 2021-04-02 2023-10-17 西安电子科技大学 一种基于mv-gru的热负荷预测方法
CN113096818B (zh) * 2021-04-21 2023-05-30 西安电子科技大学 基于ode和grud的急性病症发生几率的评估方法
CN113077110A (zh) * 2021-04-21 2021-07-06 国家海洋信息中心 一种基于gru的调和残差分段式潮位预测方法
CN113096818A (zh) * 2021-04-21 2021-07-09 西安电子科技大学 基于ode和grud的急性病症发生几率的评估方法
CN113722308B (zh) * 2021-09-02 2023-12-08 重庆大学 基于EEMD-MultiCNN-LSTM的加速度响应数据补全方法及装置
CN113722308A (zh) * 2021-09-02 2021-11-30 重庆大学 基于EEMD-MultiCNN-LSTM的加速度响应数据补全方法及装置
CN114239658A (zh) * 2021-12-20 2022-03-25 桂林电子科技大学 一种基于小波分解与gru神经网络的血糖预测方法
CN114239658B (zh) * 2021-12-20 2024-05-10 桂林电子科技大学 一种基于小波分解与gru神经网络的血糖预测方法
CN117972593A (zh) * 2024-03-27 2024-05-03 中科三清科技有限公司 一种典型重污染历史案例库分析的长期预报预警方法
CN117972593B (zh) * 2024-03-27 2024-06-04 中科三清科技有限公司 一种典型重污染历史案例库分析的长期预报预警方法

Similar Documents

Publication Publication Date Title
CN110866631A (zh) 基于集成的门递归单元神经网络gru来预测大气污染情况的方法
CN109492830B (zh) 一种基于时空深度学习的移动污染源排放浓度预测方法
CN109472110B (zh) 一种基于lstm网络和arima模型的航空发动机剩余使用寿命预测方法
CN108304668B (zh) 一种结合水文过程数据和历史先验数据的洪水预测方法
CN107909206B (zh) 一种基于深层结构循环神经网络的pm2.5预测方法
CN111613054B (zh) 一种协同考虑时空相关性及贡献差异的多步交通速度预测方法
CN109583565A (zh) 基于注意力模型长短时记忆网络的洪水预测方法
CN110363349B (zh) 一种基于ascs的lstm神经网络水文预测方法及***
CN111310965A (zh) 一种基于lstm网络的飞行器航迹预测方法
CN109272114A (zh) 机械装备剩余使用寿命快速有效预测的深度学习方法
CN115951014A (zh) 一种结合气象特征的cnn-lstm-bp多模态空气污染物预测方法
Xie Deep neural network for PM2. 5 pollution forecasting based on manifold learning
CN111860787A (zh) 一种含有缺失数据的耦合有向图结构流量数据的短期预测方法及装置
CN114065996A (zh) 基于变分自编码学习的交通流预测方法
CN112766603A (zh) 一种交通流量预测方法、***、计算机设备及存储介质
CN112257847A (zh) 一种基于CNN和LSTM预测地磁Kp指数的方法
CN113947182A (zh) 基于双阶段堆叠图卷积网络的交通流预测模型构建方法
CN114154401A (zh) 基于机器学习和观测数据的土壤侵蚀模数计算方法及***
CN113052373A (zh) 一种基于改进elm模型的月径流变化趋势预测方法
CN112784479A (zh) 一种洪水流量预测的方法
CN112580848A (zh) 一种基于pt-lstm的时间序列预测***与方法
CN115877483A (zh) 一种基于随机森林和gru的台风路径预报方法
CN110046756B (zh) 基于小波去噪与Catboost的短时天气预报方法
CN113988415A (zh) 一种中长期电力负荷预测方法
CN116881676B (zh) 一种露天坑涌水量的预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination