CN111339092B - 一种基于深度学习的多尺度空气质量预报方法 - Google Patents
一种基于深度学习的多尺度空气质量预报方法 Download PDFInfo
- Publication number
- CN111339092B CN111339092B CN202010111029.2A CN202010111029A CN111339092B CN 111339092 B CN111339092 B CN 111339092B CN 202010111029 A CN202010111029 A CN 202010111029A CN 111339092 B CN111339092 B CN 111339092B
- Authority
- CN
- China
- Prior art keywords
- scale
- layer
- forecasting
- model
- air quality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 54
- 238000013277 forecasting method Methods 0.000 title claims abstract description 13
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 32
- 238000013528 artificial neural network Methods 0.000 claims abstract description 28
- 230000004927 fusion Effects 0.000 claims abstract description 26
- 238000000034 method Methods 0.000 claims abstract description 19
- 238000012545 processing Methods 0.000 claims abstract description 15
- 238000010606 normalization Methods 0.000 claims abstract description 9
- 230000008569 process Effects 0.000 claims abstract description 7
- 238000012549 training Methods 0.000 claims description 35
- 230000006870 function Effects 0.000 claims description 26
- 230000004913 activation Effects 0.000 claims description 23
- 238000000605 extraction Methods 0.000 claims description 21
- 210000002569 neuron Anatomy 0.000 claims description 19
- 238000013136 deep learning model Methods 0.000 claims description 18
- 239000003344 environmental pollutant Substances 0.000 claims description 10
- 238000012544 monitoring process Methods 0.000 claims description 10
- 231100000719 pollutant Toxicity 0.000 claims description 10
- 230000002457 bidirectional effect Effects 0.000 claims description 7
- 238000003062 neural network model Methods 0.000 claims description 4
- 238000013526 transfer learning Methods 0.000 claims description 4
- 239000000356 contaminant Substances 0.000 claims description 3
- 238000001556 precipitation Methods 0.000 claims description 3
- 238000007726 management method Methods 0.000 claims description 2
- 238000004519 manufacturing process Methods 0.000 claims description 2
- 238000005065 mining Methods 0.000 claims description 2
- 239000000809 air pollutant Substances 0.000 claims 2
- 231100001243 air pollutant Toxicity 0.000 claims 2
- 230000005540 biological transmission Effects 0.000 description 13
- 238000004458 analytical method Methods 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 230000003203 everyday effect Effects 0.000 description 2
- 238000003915 air pollution Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 230000002354 daily effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005802 health problem Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/0004—Gaseous mixtures, e.g. polluted air
- G01N33/0009—General constructional details of gas analysers, e.g. portable test equipment
- G01N33/0027—General constructional details of gas analysers, e.g. portable test equipment concerning the detector
- G01N33/0031—General constructional details of gas analysers, e.g. portable test equipment concerning the detector comprising two or more sensors, e.g. a sensor array
- G01N33/0034—General constructional details of gas analysers, e.g. portable test equipment concerning the detector comprising two or more sensors, e.g. a sensor array comprising neural networks or related mathematical techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/0004—Gaseous mixtures, e.g. polluted air
- G01N33/0009—General constructional details of gas analysers, e.g. portable test equipment
- G01N33/0062—General constructional details of gas analysers, e.g. portable test equipment concerning the measuring method or the display, e.g. intermittent measurement or digital display
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01W—METEOROLOGY
- G01W1/00—Meteorology
- G01W1/10—Devices for predicting weather conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2465—Query processing support for facilitating data mining operations in structured databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Databases & Information Systems (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Combustion & Propulsion (AREA)
- Food Science & Technology (AREA)
- Medicinal Chemistry (AREA)
- Analytical Chemistry (AREA)
- Environmental & Geological Engineering (AREA)
- Pathology (AREA)
- Probability & Statistics with Applications (AREA)
- Fuzzy Systems (AREA)
- Atmospheric Sciences (AREA)
- Biodiversity & Conservation Biology (AREA)
- Ecology (AREA)
- Environmental Sciences (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及一种基于深度学习的多尺度空气质量预报方法，包括以下步骤：获取实时更新的多源融合数据集并进行归一化处理；依据预报时间尺度将多源融合数据集进行划分为大尺度数据集和小尺度数据集；根据用户选择的预报尺度，调用对应尺度的预报模型对数据集进行处理得到预报数据；然后对经过模型运算的预报数据进行反归一化处理，得到预报结果。预报模型包含有CNN、LSTM和DNN，DNN中，第一层和第二层神经网络加入Dropout正则化层，设置dropout比率为0.3，第三层作为预报结果的输出层。
Description
技术领域
本发明涉及空气质量预报方法，尤其涉及一种基于深度学习的多尺度空气质量预报方法。
背景技术
当前，我国在推进生态文明建设的大背景下，空气质量问题日渐受到公众关注。空气污染会对公众的日常生活出行造成一定影响，严重的甚至会引发一系列健康问题。建设空气质量预报预警体系，提升空气质量监测预警能力，开展环境空气质量预报工作是保障及时妥善应对重污染天气的重要技术手段，对区域大气污染联合减排也具有指导意义。
现有的空气质量预报方法分为数值分析法、统计预报法。数值分析法多用于大尺度区域预报，对于揭示污染机理有优势，但预报成本高，预报所需数据较为苛刻，且无法实现空气质量的实时在线预报。统计预报法适用于短期、小范围预报工作，预报成本低，但无法适用于长期空气质量预报，且预报精度低。目前通过人工智能、机器学习等方法实现环境空气质量预报已成为各国环保领域的研究热点和发展趋势。深度学习方法是近年来新兴的一种机器学习算法，通过对大量数据的学习，发现其中的内在特征，从而提升分类或者预测的准确性。
本发明所涉及的预报方法，基于深度学习，针对不同时间尺度，通过对多源融合数据集的训练分析，拟合出对应时间尺度的深度学习模型，能够实现对空气质量的实时、在线预报。多尺度深度学习模型部署于服务器端，根据客户端的预报需求，实时更新多源融合数据集与深度学习模型，完成高精度、多尺度预报空气质量的工作，最终将预报结果在客户端进行直观显示。
发明内容
本发明的目的在于：克服上述现有技术的缺陷，提出一种基于深度学习的多尺度空气质量预报方法。
为了达到上述目的，本发明提出的一种基于深度学习的多尺度空气质量预报方法，其特征在于包括以下步骤：
步骤1、获取实时更新的多源融合数据集并进行归一化处理；
步骤2、依据预报时间尺度将多源融合数据集进行划分为大尺度数据集和小尺度数据集；
步骤3、若用户选择大尺度预报，则利用大尺度预报模型对大尺度数据集进行处理得到大尺度预报数据；若用户选择小尺度预报，则利用小尺度预报模型对小尺度数据集进行处理得到小尺度预报数据，然后对经过模型运算的预报数据进行反归一化处理，得到预报结果；
本步骤中，大尺度预报模型和小尺度预报模型均使用HDAQF模型作为空气质量预报的训练模型；所述HDAQF模型包含有CNN、LSTM和DNN，其中，CNN用于对时间序列的历史数据进行数值特征提取，LSTM用于对CNN提取得到的特征进行更深层次的时间特征提取，给出预报空气质量的特征结果，DNN用于对LSTM给出的空气质量预报特征进行计算，给出空气质量的数值预报结果；所述DNN中，第一层和第二层神经网络加入Dropout正则化层，设置dropout比率为0.3，第三层作为预报结果的输出层；所述大尺度预报模型根据大尺度历史数据集训练获得，所述小尺度预报模型根据小尺度历史数据集训练获得。
DNN中加入Dropout层，可防止模型在训练过程中出现过拟合现象，提高模型预报精度与泛化能力，给出最终的数值预报结果。
进一步的，本发明还具有如下特征：
1、HDAQF模型的训练循环次数为50-100次，每次训练的批处理量为32；CNN为两层一维卷积神经网络结构，每一层使用64个卷积核，卷积核的长度为1，使用Relu作为激活函数；LSTM选用两层双向长短时记忆网络结构，每一层的神经元数量为128，使用tanh作为激活函数；DNN为三层全连接神经网络结构，第一层、第二层的神经元数量均为256，使用linear作为激活函数，第一层和第二层神经网络加入Dropout正则化层，设置dropout比率为0.3，第三层作为预报结果的输出层，神经元数量为1，使用linear作为激活函数。
2、对于HDAQF模型，其训练阶段的损失函数如下：
其中，MSE为均方误差，i为时间序号，oi为第i时刻目标污染物的真实数值。pi为第i时刻目标污染物的预报数值，n为总时长。
此外，本发明还提供了一种基于深度学习的多尺度空气质量预报***，其特征在于包含：
客户端，用于将预报需求传递至深度学习服务器和从深度学习服务器获取预报结果并显示，所述预报需求包含所要预报的地区、预报时长和预报精度，所述客户端为移动端、电脑端或空气质量预报站点；
深度学习服务器，包含有多源历史数据融合模块、深度学习模块和数据库模块；
所述多源历史数据融合模块用于对多源历史气象和空气质量数据进行融合，并制作成深度学习模块所需的数据集，其中，多源历史气象和空气质量数据从各个监测站点实时更新获得，并通过数据库模块进行保存；
所述深度学习模块用于对通过多源历史数据融合模块获得的数据集进行分析，使用深度学习框架对数据集进行实时训练并得到训练完毕的深度学习模型，并使用训练完毕的深度学习模型进行空气质量预报；所述深度学习模块使用HDAQF模型作为空气质量预报的训练模型；所述HDAQF模型包含有CNN、LSTM和DNN，其中，CNN用于对时间序列的历史数据进行数值特征提取，LSTM用于对CNN提取得到的特征进行更深层次的时间特征提取，给出预报空气质量的特征结果，DNN用于对LSTM给出的空气质量预报特征进行计算，给出空气质量预的数值预报结果；所述DNN中，第一层和第二层神经网络加入Dropout正则化层，设置dropout比率为0.3，第三层作为预报结果的输出层；
所述数据库模块用于存储多源历史数据和空气质量预报结果。
本发明采用上述技术方案具有以下优点：
1、采用分布式***设计，所有预报所需的运算过程均在深度学习服务器端进行。客户端仅需输入所要预报的地点以及预报时间尺度即可得到服务器端给出的预报结果，实现实时在线预报工作。
2、采用多源融合数据与多模型相结合的技术，首先获取气象数据(风向、风速、气温、湿度等)、气象预报数据、污染源情况、污染物监测数据(PM2.5、PM10、NO2、CO、SO2、O3)、AQI数据、气象站与监测站拓扑位置等，使用卷积神经网络模型对多源历史数据进行一维卷积运算，挖掘数据内在的深层关联以及时空相关性，提取最有效的参数特征，利用双向长短时记忆模型对参数特征进行预报，最后使用深度神经网络模型对预报的参数特征进行综合分析，得到预报结果。
3、多尺度深度学习模型，可实时训练更新，部署于服务器端。对于预报时间尺度为一小时的模型每小时更新一次，预报时间尺度为一天的模型每天更新一次。大尺度模型由小尺度模型通过迁移学习方法训练得来，可有效提升预报精度。服务器端通过对客户端提供的预报需求进行分析，选用对应时间尺度的深度学习模型进行预报，并给出预报结果，完成多尺度空气质量预报。
附图说明
下面结合附图对本发明作进一步的说明。
图1为本发明基于深度学习的多尺度空气质量预报方法流程图。
图2为HDAQF模型训练流程图。
图3为本发明基于深度学习的多尺度空气质量预报***示意图。
图4为本发明空气质量预报***的空气质量预报流程图。
具体实施方式
下面结合附图和具体实施例对本发明做进一步说明。
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图及具体实施例对本发明进行详细描述。
如图1所示为本实施例的基于深度学习的多尺度空气质量预报方法流程图，包括以下步骤：
S10、获取实时更新的多源融合数据集并进行归一化处理；依据预报时间尺度将多源融合数据集进行划分为大尺度数据集和小尺度数据集。
S11、若用户选择大尺度预报，则利用大尺度预报模型对大尺度数据集进行处理得到大尺度预报数据；若用户选择小尺度预报，则利用小尺度预报模型对小尺度数据集进行处理得到小尺度预报数据。本步骤中，大尺度预报模型和小尺度预报模型均使用HDAQF模型作为空气质量预报的训练模型。
HDAQF模型包含有CNN、LSTM和DNN。其中，CNN用于对时间序列的历史数据进行数值特征提取，LSTM用于对CNN提取得到的特征进行更深层次的时间特征提取，给出预报空气质量的特征结果，DNN用于对LSTM给出的空气质量预报特征进行计算，并在模型中加入Dropout层，防止模型在训练过程中出现过拟合现象，提高模型预报精度与泛化能力，给出空气质量的数值预报结果。
具体的，所述CNN，其结构为双层卷积层以及一层池化层组成，第一层卷积核数量为64，第二层卷积核数量为128。采用relu为激活函数。所述LSTM，其结构为双层LSTM结构，第一层LSTM单元数量为128，第二层LSTM单元数量为32。采用tanh为激活函数。所述DNN，其结构为双层全连接神经网络结构，每层全连接层的神经元数量均为256。采用relu为激活函数，第一层和第二层神经网络加入Dropout正则化层，设置dropout比率为0.3，第三层作为预报结果的输出层。所述大尺度预报模型根据大尺度历史数据集训练获得，小尺度预报模型根据小尺度历史数据集训练获得。将历史多源融合数据集归一化后进行时间序列建模，用于训练HDAQF模型。
S12、然后对经过模型运算的预报数据进行反归一化处理，得到预报结果；
HDAQF模型以Tensorflow作为深度学习框架，HDAQF模型的训练循环次数为50-100次，每次训练的批处理量为32；CNN为两层一维卷积神经网络结构，每一层使用64个卷积核，卷积核的长度为1，使用Relu作为激活函数；LSTM选用两层双向长短时记忆网络结构，每一层的神经元数量为128，使用tanh作为激活函数；DNN为三层全连接神经网络结构，第一层、第二层的神经元数量均为256，使用linear作为激活函数，第一层和第二层神经网络加入Dropout正则化层，设置dropout比率为0.3，第三层作为预报结果的输出层，神经元数量为1，使用linear作为激活函数。
本实施例中，HDAQF模型在训练阶段的损失函数如下：
其中，MSE为均方误差，i为时间序号，oi为第i时刻目标污染物的真实数值。pi为第i时刻目标污染物的预报数值，n为总时长。
如图2所示，HDAQF模型训练流程图，步骤如下：
S20、获取原始空气质量数据并进行归一化，然后构建时间序列建模；
S21、利用CNN对时间序列的历史数据进行数值特征提取，利用LSTM对CNN提取得到的特征进行更深层次的时间特征提取，给出预报空气质量的特征结果，利用DNN对LSTM给出的空气质量预报特征进行计算，给出空气质量的数值预报结果；DNN的第一层和第二层神经网络加入Dropout正则化层，设置dropout比率为0.3，第三层作为数值预报结果的输出层。
S22、对数值预报结果进行反归一化，得到预报结果。
如图3所示，本发明实施例的基于深度学习的多尺度空气质量预报***，包含：
客户端，用于将预报需求传递至深度学习服务器和从深度学习服务器获取预报结果并显示，预报需求包含所要预报的地区、预报时长和预报精度，所述客户端为手机端(移动端)、PC端(电脑端)和空气质量预报站点模块。
其中,空气质量预报站点模块包括显示模块，微控制单元模块，高速无线传输模块。在空气质量预报站点模块中，微控制单元模块存储预报站点位置信息、预报精度信息，通过高速无线传输模块将预存储信息传送到空气质量预报模块，并定期发送预报请求。空气质量预报模块给出的预报结果通过高速无线传输模块进行接收，在显示模块上进行直观显示。显示模块：由多块LCD屏幕组成，分别显示污染物浓度(PM2.5、PM10、NO2、CO、SO2、O3)、AQI数据的预报结果，每种污染物均可显示预报时间尺度为一小时和一天的结果。微控制单元模块：存储预报站点位置信息，控制高速无线传输模块，每小时向空气质量预报模块请求一次时间尺度为一小时的空气质量预报，每天向空气质量预报模块请求一次时间尺度为一天的空气质量预报。高速无线传输模块接收到预报结果后，微控制单元模块控制显示模块显示预报结果。高速无线传输模块：用于空气质量预报站点模块与空气质量预报模块之间的网络传输工作，由WiFi模块或4G网络传输模块组成。在WiFi信号覆盖较为良好的区域使用WiFi模块进行网络传输。若区域内无法实现WiFi信号覆盖，则使用4G网络传输模块完成网络传输工作。
在空气质量预报模块(深度学习服务器)中，多源数据融合模块获取各个站点的实时气象、空气质量数据，保存至数据库模块，并制作成深度学习模块所需的数据集。深度学习模块对多源融合数据集进行训练，得到实时空气质量预报模型，并根据客户端请求给出预报结果。数据库模块用于存储多源数据融合模块所获取的实时数据以及深度学习模块给出的预报结果。整个空气质量预报模块部署于服务器端，下面对各个模块进行详细介绍：
多源历史数据融合模块获取各个空气质量监测站点的各污染物实时数据，包括但不限于PM2.5、PM10、NO2、CO、SO2、O3等空气污染物的浓度，以及各个气象站点的各气象实时数据，包括但不限于降水量、风速、风向、气压、气温，污染源情况，AQI数据、气象站与监测站拓扑位置等。由于采集的多源历史数据均为时间序列数据，因此需要将其转化为深度学习所需的有监督学习样本。将转化后的数据分为训练集、验证集与测试集三个部分。训练集与验证集用于深度学习模型下训练与拟合工作，测试集用于检验训练好的模型实际预测性能。训练集、验证集与测试集的比例一般按照数据的60％、20％、20％进行划分，也可根据实际需求进行不同比例的划分。
深度学习模块，选择Tensorflow作为深度学习框架，使用HDAQF模型作为空气质量预报的训练模型。HDAQF模型包含有CNN、LSTM和DNN，其中，CNN用于对时间序列的历史数据进行数值特征提取，LSTM用于对CNN提取得到的特征进行更深层次的时间特征提取，给出预报空气质量的特征结果，DNN用于对LSTM给出的空气质量预报特征进行计算，给出空气质量预的数值预报结果；并且所述DNN中加入有Dropout层；DNN中，第一层和第二层神经网络加入Dropout正则化层，设置dropout比率为0.3，第三层作为预报结果的输出层。主要参数设定如下：设定epoch(循环次数)为50，batch_size(批处理量)为32，卷积神经网络为两层一维卷积结构，每一层使用64个卷积核，卷积核的长度为1，使用Relu作为激活函数；长短时记忆网络为两层双向长短时记忆模型，每一层的神经元数量为128，使用tanh作为激活函数；深度神经网络为三层全连接神经网络结构，第一层、第二层的神经元数量均为256，使用linear作为激活函数，第三层作为预报结果的输出层，神经元数量为1，使用linear作为激活函数。对于多尺度预报而言，需要针对不同尺度训练拟合出对应尺度的深度学习模型，对应预报精度为一小时的小尺度预报需求，需要对时间间隔为一小时的多源历史数据集进行训练与拟合；对应预报精度为一天的大尺度预报需求，可以在完成小尺度深度学习模型的拟合后，通过使用迁移学习的方法，固定小尺度模型中的第一层卷积神经网络参数，第一层双向长短时记忆神经网络参数以及第一层深度神经网络参数，包括但不限于神经网络的单元数量、神经元之间连接的权重以及偏置项等，再对时间间隔为一天的多源历史数据集进行训练与拟合，得到大尺度深度学习模型。
数据库模块，用于存储多源历史数据和空气质量预报结果。选用MySQL作为数据库管理***，存储多源数据融合模块201中的每一条历史数据以及深度学习模块202给出的每一次预报结果，包括每个空气质量预报站点的地理位置，可将预报值与真实值进行比对，并为优化深度学习模块所需的多源数据集和尺度模型打下基础。
如图4所示，使用本实施例多尺度空气质量预报***进行控制质量预报的步骤如下：
S30、通过客户端输入所要预报的地区、预报时长以及预报精度信息，并将信息传递至深度学习服务器。手机端与电脑端通过对应空气质量预报***输入所要预报的地区、预报时长以及预报精度信息，并将信息传递至深度学习服务器。各个空气质量预报站点模块通过微控制单元模块读取预存储的预报需求，通过WiFi模块或4G网络传输模块将信息传送到深度学习服务器。
S31、深度学习服务器根据客户端所输入的预报需求，调用相应的深度学习模型以及多源数据融合的历史数据，从而做出预报，并将结果发送至客户端。
S32、客户端将预报值接收处理并进行直观显示。具体的，客户端对深度学习服务器给出的预报结果进行接收，手机与电脑端可对结果进行分析，并在电子地图上以颜色显示对应预报区域的未来空气质量情况。各个空气质量预报站点模块通过WiFi模块或4G网络传输模块将预报数值进行接收，并通过微控制单元模块将预报数值在LCD显示屏等设备上进行直观显示。
除上述实施例外，本发明还可以有其他实施方式。凡采用等同替换或等效变换形成的技术方案，均落在本发明要求的保护范围。
Claims (5)
1.一种基于深度学习的多尺度空气质量预报方法，其特征在于包括以下步骤：
步骤1、获取实时更新的多源融合数据集并进行归一化处理，所述多源融合数据集包括各个空气质量监测站点的各污染物实时数据和以及各个气象站点的各气象实时数据；各污染物实时数据包括：PM2.5、PM10、NO2、CO、SO2、O3空气污染物的浓度，气象实时数据包括：降水量、风速、风向、气压、气温、污染源情况、AQI数据、气象站与监测站拓扑位置，多源融合数据集从各个监测站点实时更新获得，并通过数据库模块进行保存；
步骤2、依据预报时间尺度将多源融合数据集进行划分为大尺度数据集和小尺度数据集；
步骤3、若用户选择大尺度预报，则利用大尺度预报模型对大尺度数据集进行处理得到大尺度预报数据；若用户选择小尺度预报，则利用小尺度预报模型对小尺度数据集进行处理得到小尺度预报数据，然后对经过模型运算的预报数据进行反归一化处理，得到预报结果；
本步骤中，大尺度预报模型和小尺度预报模型均使用HDAQF模型作为空气质量预报的训练模型；使用卷积神经网络模型对多源历史数据进行一维卷积运算，挖掘数据内在的深层关联以及时空相关性，提取最有效的参数特征，利用双向长短时记忆模型对参数特征进行预报，最后使用深度神经网络模型对预报的参数特征进行综合分析，得到预报结果；
所述HDAQF模型包含有CNN、LSTM和DNN，其中，CNN用于对时间序列的历史数据进行数值特征提取，LSTM用于对CNN提取得到的特征进行更深层次的时间特征提取，给出预报空气质量的特征结果，DNN用于对LSTM给出的空气质量预报特征进行计算，给出空气质量的数值预报结果；所述DNN中，第一层和第二层神经网络加入Dropout正则化层，设置dropout比率为0.3，第三层作为预报结果的输出层；所述大尺度预报模型根据大尺度历史数据集训练获得，所述小尺度预报模型根据小尺度历史数据集训练获得；
HDAQF模型的训练循环次数为50-100次，每次训练的批处理量为32；CNN为两层一维卷积神经网络结构，每一层使用64个卷积核，卷积核的长度为1，使用Relu作为激活函数；LSTM选用两层双向长短时记忆网络结构，每一层的神经元数量为128，使用tanh作为激活函数；DNN为三层全连接神经网络结构，第一层、第二层的神经元数量均为256，使用linear作为激活函数，第一层和第二层神经网络加入Dropout正则化层，设置dropout比率为0.3，第三层作为预报结果的输出层，神经元数量为1，使用linear作为激活函数；
对于多尺度预报而言，需要针对不同尺度训练拟合出对应尺度的深度学习模型，对应预报精度为一小时的小尺度预报需求，需要对时间间隔为一小时的多源历史数据集进行训练与拟合；对应预报精度为一天的大尺度预报需求，在完成小尺度深度学习模型的拟合后，通过使用迁移学习的方法，固定小尺度模型中的第一层卷积神经网络参数，第一层双向长短时记忆神经网络参数以及第一层深度神经网络参数，包括但不限于神经网络的单元数量、神经元之间连接的权重以及偏置项，再对时间间隔为一天的多源历史数据集进行训练与拟合，得到大尺度深度学习模型。
2.根据权利要求1所述的基于深度学习的多尺度空气质量预报方法，其特征在于：所述HDAQF模型以Tensorflow作为深度学习框架。
3.根据权利要求1所述的基于深度学习的多尺度空气质量预报方法，其特征在于：将历史多源融合数据集归一化后进行时间序列建模，用于训练HDAQF模型。
4.根据权利要求1所述的基于深度学习的多尺度空气质量预报方法，其特征在于：对于HDAQF模型，其训练阶段的损失函数如下：
其中，MSE为均方误差，i为时间序号，oi为第i时刻目标污染物的真实数值，pi为第i时刻目标污染物的预报数值，n为总时长。
5.一种基于深度学习的多尺度空气质量预报***，其特征在于包含：
客户端，用于将预报需求传递至深度学习服务器和从深度学习服务器获取预报结果并显示，所述预报需求包含所要预报的地区、预报时长和预报精度，所述客户端为移动端、电脑端或空气质量预报站点；
深度学习服务器，包含有多源历史数据融合模块、深度学习模块和数据库模块；
所述多源历史数据融合模块用于对多源历史气象和空气质量数据进行融合，并制作成深度学习模块所需的数据集，其中，多源历史气象数据和空气质量数据从各个监测站点实时更新获得，并通过数据库模块进行保存；空气质量数据包括PM2.5、PM10、NO2、CO、SO2、O3空气污染物的浓度，气象数据包括降水量、风速、风向、气压、气温、污染源情况、AQI数据、气象站与监测站拓扑位置；
所述深度学习模块，选择Tensorflow作为深度学习框架，使用HDAQF模型作为空气质量预报的训练模型；HDAQF模型包含有CNN、LSTM和DNN，其中，CNN用于对时间序列的历史数据进行数值特征提取，LSTM用于对CNN提取得到的特征进行更深层次的时间特征提取，给出预报空气质量的特征结果，DNN用于对LSTM给出的空气质量预报特征进行计算，给出空气质量预的数值预报结果；并且所述DNN中加入有Dropout层；DNN中，第一层和第二层神经网络加入Dropout正则化层，设置dropout比率为0.3，第三层作为预报结果的输出层；主要参数设定如下：设定循环次数epoch为50，批处理量batch_size为32，卷积神经网络为两层一维卷积结构，每一层使用64个卷积核，卷积核的长度为1，使用Relu作为激活函数；长短时记忆网络为两层双向长短时记忆模型，每一层的神经元数量为128，使用tanh作为激活函数；深度神经网络为三层全连接神经网络结构，第一层、第二层的神经元数量均为256，使用linear作为激活函数，第三层作为预报结果的输出层，神经元数量为1，使用linear作为激活函数；对于多尺度预报而言，需要针对不同尺度训练拟合出对应尺度的深度学习模型，对应预报精度为一小时的小尺度预报需求，需要对时间间隔为一小时的多源历史数据集进行训练与拟合；对应预报精度为一天的大尺度预报需求，在完成小尺度深度学习模型的拟合后，通过使用迁移学习的方法，固定小尺度模型中的第一层卷积神经网络参数，第一层双向长短时记忆神经网络参数以及第一层深度神经网络参数，包括但不限于神经网络的单元数量、神经元之间连接的权重以及偏置项，再对时间间隔为一天的多源历史数据集进行训练与拟合，得到大尺度深度学习模型；
所述数据库模块，用于存储多源历史数据和空气质量预报结果，选用MySQL作为数据库管理***，存储多源数据融合模块中的每一条历史数据以及深度学习模块给出的每一次预报结果，包括每个空气质量预报站点的地理位置，将预报值与真实值进行比对，并作为优化深度学习模块所需的多源数据集和尺度模型的基础。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010111029.2A CN111339092B (zh) | 2020-02-24 | 2020-02-24 | 一种基于深度学习的多尺度空气质量预报方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010111029.2A CN111339092B (zh) | 2020-02-24 | 2020-02-24 | 一种基于深度学习的多尺度空气质量预报方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111339092A CN111339092A (zh) | 2020-06-26 |
| CN111339092B true CN111339092B (zh) | 2023-09-08 |
Family
ID=71183690
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010111029.2A Active CN111339092B (zh) | 2020-02-24 | 2020-02-24 | 一种基于深度学习的多尺度空气质量预报方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111339092B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111915068A (zh) * | 2020-07-17 | 2020-11-10 | 同济大学 | 一种基于集成学习的道路能见度短临预测方法 |
| CN112149857A (zh) * | 2020-10-22 | 2020-12-29 | 无锡九方科技有限公司 | 基于迁移学习的气象智能预报订正方法 |
| CN113011106B (zh) * | 2021-04-15 | 2021-12-03 | 中国气象局公共气象服务中心(国家预警信息发布中心) | 一种多数值模式集成预报方法及装置 |
| CN113807432B (zh) * | 2021-09-16 | 2024-04-30 | 成都卡普数据服务有限责任公司 | 一种基于深度学习的气温预报数据订正方法 |
| CN114386654A (zh) * | 2021-11-29 | 2022-04-22 | 国家气象中心(中央气象台) | 一种多尺度数值天气预报模式融合的天气预报方法及装置 |
| CN117034780B (zh) * | 2023-08-31 | 2024-04-19 | 江苏省气候中心 | 一种基于深度学习的多尺度次季节降水量预测方法 |
| CN117216659A (zh) * | 2023-09-12 | 2023-12-12 | 暨南大学 | 基于单颗粒气溶胶质谱的大气颗粒物来源解析方法及*** |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103699800A (zh) * | 2013-12-31 | 2014-04-02 | 哈尔滨工业大学 | 基于频域多尺度风速信号可预报性的超短期风速预测方法 |
| CN104615855A (zh) * | 2015-01-04 | 2015-05-13 | 国家电网公司 | 融合数值天气预报的日前风速多步预报方法 |
| CN107957598A (zh) * | 2017-12-16 | 2018-04-24 | 兰州大学 | 一种结合大尺度天气***指数的中长期空气污染预报模型 |
| CN108009674A (zh) * | 2017-11-27 | 2018-05-08 | 上海师范大学 | 基于cnn和lstm融合神经网络的空气pm2.5浓度预测方法 |
| CN109583561A (zh) * | 2017-09-28 | 2019-04-05 | 杭州海康威视数字技术股份有限公司 | 一种深度神经网络的激活量量化方法及装置 |
| CN110689179A (zh) * | 2019-09-18 | 2020-01-14 | 北京工商大学 | 基于时空序列混合模型的水华预测方法 |
-
2020
- 2020-02-24 CN CN202010111029.2A patent/CN111339092B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103699800A (zh) * | 2013-12-31 | 2014-04-02 | 哈尔滨工业大学 | 基于频域多尺度风速信号可预报性的超短期风速预测方法 |
| CN104615855A (zh) * | 2015-01-04 | 2015-05-13 | 国家电网公司 | 融合数值天气预报的日前风速多步预报方法 |
| CN109583561A (zh) * | 2017-09-28 | 2019-04-05 | 杭州海康威视数字技术股份有限公司 | 一种深度神经网络的激活量量化方法及装置 |
| CN108009674A (zh) * | 2017-11-27 | 2018-05-08 | 上海师范大学 | 基于cnn和lstm融合神经网络的空气pm2.5浓度预测方法 |
| CN107957598A (zh) * | 2017-12-16 | 2018-04-24 | 兰州大学 | 一种结合大尺度天气***指数的中长期空气污染预报模型 |
| CN110689179A (zh) * | 2019-09-18 | 2020-01-14 | 北京工商大学 | 基于时空序列混合模型的水华预测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 朱亚杰等.基于支持向量回归的PM2.5浓度实时预报.测绘科学.2016,第第41卷卷(第第41卷期),第12-17页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111339092A (zh) | 2020-06-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111339092B (zh) | 一种基于深度学习的多尺度空气质量预报方法 | |
| US20230375745A1 (en) | High-temperature disaster forecast method based on directed graph neural network | |
| CN102183621B (zh) | 水产养殖溶解氧浓度在线预测方法及*** | |
| CN108009674A (zh) | 基于cnn和lstm融合神经网络的空气pm2.5浓度预测方法 | |
| CN112465243B (zh) | 一种空气质量预报方法及*** | |
| CN110555551B (zh) | 一种智慧城市的空气质量大数据管理方法及*** | |
| CN111259481B (zh) | 一种整合空间信息的建筑室内光环境设计评价方法及装置 | |
| CN111626518A (zh) | 基于深度学习神经网络的城市天级需水量在线预测方法 | |
| CN108171259A (zh) | 一种基于NB-IoT的智慧末梢水质监测***及方法 | |
| CN113222328B (zh) | 基于路段污染相似性的空气质量监测设备布点选址方法 | |
| CN107169598A (zh) | 一种基于深度学习的天气预测方法及*** | |
| CN115759488B (zh) | 一种基于边缘计算的碳排放监测预警分析***及其方法 | |
| CN112149887A (zh) | 一种基于数据时空特征的pm2.5浓度预测方法 | |
| CN111489015A (zh) | 基于多种模型对比和优化的大气o3浓度预测方法 | |
| CN111222992A (zh) | 一种基于注意力机制的长短期记忆神经网络的股票价格预测方法 | |
| CN110852496A (zh) | 一种基于lstm循环神经网络的天然气负荷预测方法 | |
| CN115860286B (zh) | 一种基于时序门机制的空气质量预测方法及*** | |
| CN113671421A (zh) | 一种变压器状态评估与故障预警方法 | |
| CN116796168A (zh) | 一种基于多头注意力机制的CNN-BiLSTM高海拔多因素输电线路可听噪声预测方法 | |
| Cui et al. | Deep learning methods for atmospheric PM2. 5 prediction: A comparative study of transformer and CNN-LSTM-attention | |
| CN116013426A (zh) | 一种高时空分辨率的站点臭氧浓度预测方法 | |
| CN112201036B (zh) | 一种基于Inception-CNN的城市快速路行程速度短时预测方法 | |
| Lu et al. | Multistation collaborative prediction of air pollutants based on the CNN-BiLSTM model | |
| CN117332815A (zh) | 一种工业园区大气污染的预测方法及预测预警*** | |
| CN111581602A (zh) | 一种空气质量指数自适应预测语音*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |