CN110059082A - 一种基于1D-CNN与Bi-LSTM的天气预测方法 - Google Patents

一种基于1D-CNN与Bi-LSTM的天气预测方法 Download PDF

Info

Publication number
CN110059082A
CN110059082A CN201910307685.7A CN201910307685A CN110059082A CN 110059082 A CN110059082 A CN 110059082A CN 201910307685 A CN201910307685 A CN 201910307685A CN 110059082 A CN110059082 A CN 110059082A
Authority
CN
China
Prior art keywords
data
meteorological
cnn
lstm
moment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910307685.7A
Other languages
English (en)
Inventor
牛丹
傅琪
黄俊豪
臧增亮
刁丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN201910307685.7A priority Critical patent/CN110059082A/zh
Publication of CN110059082A publication Critical patent/CN110059082A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/211—Schema design and management
    • G06F16/212—Schema design and management with details for data modelling support
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/219—Managing data history or versioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于1D‑CNN与Bi‑LSTM的天气预测方法，基于气象站点观测数据和数值预报产品，对数据进行清洗，对两种气象数据进行时间错位处理，对站点号进行one‑hot编码，进行数据标准化，将数据转换到0‑1的范围区间，去除数据的单位限制，将其转化为无量纲的纯数值；然后，通过基于1D‑CNN和Bi‑LSTM的深度学习网络训练处理好的数据、生成预测模型，最后用训练好的模型预测待预测的气象数据，并对其进行反归一化，得到最终的气象数据预测结果。采用本发明可以提高天气预报的预测精度。

Description

一种基于1D-CNN与Bi-LSTM的天气预测方法
技术领域
本发明具体涉及一种基于1D-CNN与Bi-LSTM的天气预测方法。
背景技术
天气现象与人类的日常生活、社会经济、军事活动等诸多方面密切相关。突然的暴雨、意外的***等自然灾害会造成生命危险和重大财产损失。准确的天气预报使我们为突然的暴雨、降温和其他突然的天气变化做好准备，不仅有助于人们的日常生活，也可以在交通、工业、畜牧业等领域做出贡献。
传统的天气预报主要是基于数学模型的数值天气预报，数值预报模型存在精度低的缺点。目前，BP(反向传播)算法、LSTM(长短期记忆网络)等算法也开始应用于天气预报中，但仍然存在精度较低的问题。因此，需研究一种基于深度学习的天气预测方法，进一步提高天气预报的预测精度。
发明内容
发明目的：本发明的目的是提供一种基于1D-CNN与Bi-LSTM的天气预测方法，针对传统数值天气预报精度不足的问题，致力于提高天气预报的预测精度。
技术方案：本发明所述的一种基于1D-CNN与Bi-LSTM的天气预测方法，包括以下步骤：
(1)输入气象历史数据，包含气象站点观测数据和数值预报产品；
(2)对气象历史数据进行数据清洗，包括删除异常值，通过插值方法填充缺省值；
(3)通过时间错位的方法处理清洗后的气象数据，形成训练数据，生成适应模型结构的输入格式；
(4)引入站点号特征，并对站点号进行one-hot编码，通过N个特征记录N个站点的站点号；
(5)对数据进行数据标准化，将数据转换到0-1的范围区间，去除数据的单位限制，将其转化为无量纲的纯数值；
(6)设计基于1D-CNN和Bi-LSTM的深度学习网络，训练经过步骤(5)处理过的数据，生成预测模型；
(7)使用步骤(6)训练好的模型预测待预测的气象数据，并对其进行反归一化，得到最终的气象数据预测结果。
步骤(2)所述的填充缺省值通过以下公式实现：
其中，t表示缺省数据的时刻，m表示大于t时刻的最近有值时刻，xm表示m时刻的气象值，n表于小于t时刻的最近有值时刻，xn表示n时刻的气象值，xt为待填充的t时刻的缺省值。
步骤(3)所述的训练数据包括前N个时刻的气象观测数据和0-N时刻的数值预报产品数据。
步骤(5)所述的数据标准化计算公式为：
其中，x_ori表示经步骤(4)处理后的数据，x_min表示气象数据的最小值，x_max表示气象数据的最大值，x表示数据标准化后的输出数据。
步骤(6)所述的1D-CNN与Bi-LSTM的深度学习网络由输入层、1D-CNN层、池化层、Bi-LSTM层、全连接层和池化层构成，损失函数选择均方误差损失函数，优化器选择Adam优化器。
步骤(7)所述的数据反归一化通过以下公式实现：
x_out＝x_pred×(x_max-x_min)+x_min
其中，x_pred表示经步骤(6)网络输出的数据，x_min表示气象数据的最小值，x_max表示气象数据的最大值，x_out表示经过反归一化后的气象预测结果。
有益效果：与现有技术相比，本发明的有益效果：本发明提出数据清洗、对气象数据进行时间错位处理、one-hot编码站点号，数据标准化等数据预处理手段，以及结合1D-CNN和Bi-LSTM的深度学习网络，有效提高了天气预报的预测精度。
附图说明
图1为本发明的流程图；
图2为本发明实施的深度学习网络模型结构示意图。
具体实施方式
下面结合附图对本发明作进一步详细描述。如图1所示，本发明包括以下步骤：
1、输入气象历史数据，气象历史数据包括气象站点观测数据和数值预报产品。
2、对输入的气象历史数据进行数据清洗，包括删除异常值，通过插值方法填充缺省值；
气象站点观测数据和数值预报产品中的每个气象要素都有其范围，删除不在气象要素范围内的异常值；通过线性插值的方式填充缺省值，填充公式如下：
式中，t表示缺省数据的时刻，m表示大于t时刻的最近有值时刻，xm表示m时刻的气象值，n表于小于t时刻的最近有值时刻，xn表示n时刻的气象值，xt为待填充的t时刻的缺省值。
3、通过时间错位的方法处理经步骤2清洗后的数据，生成适应模型结构的输入格式。
时间错位方法指预测0-N时刻的气象要素，将前N个时刻的气象观测数据和0-N时刻的数值预报产品数据组合成训练数据。
4、引入站点号特征，并对站点号进行one-hot编码，通过N个特征记录N个站点的站点号。
对站点号进行one-hot编码，通过N个特征记录N个站点的站点号，编码方式如表1所示。
表1编码方式
5、对数据进行数据标准化，将数据转换到0-1的范围区间，去除数据的单位限制，将其转化为无量纲的纯数值；
数据标准化计算公式为：
式中，x_ori表示经步骤S4处理后的数据，x_min表示气象数据的最小值，
x_max表示气象数据的最大值，x表示数据标准化后的输出数据。
6、设计基于1D-CNN(一维卷积)和Bi-LSTM(双向长短期记忆网络)的深度学习网络，训练经过步骤2到步骤5处理过的数据，生成预测模型。
基于1D-CNN与Bi-LSTM的深度学习网络由输入层、1D-CNN层、池化层、Bi-LSTM层、全连接层和池化层构成，损失函数选择均方误差损失函数，优化器选择Adam优化器。其中，基于1D-CNN与Bi-LSTM的深度学习网络结构如表2所示，模型如图2所示。
表2本发明的深度学习网络结构
7、使用步骤6训练好的模型预测待预测的气象数据，并对其进行反归一化，得到最终的气象数据预测结果。
数据反归一化的计算公式为：
x_out＝x_pred×(x_max-x_min)+x_min
式中，x_pred表示经步骤S6网络输出的数据，x_min表示气象数据的最小值，x_max表示气象数据的最大值，x_out表示经过反归一化后的气象预测结果。
预测精度衡量指标如下式所示：
其中n为评测样本总数，为第i个样本的实际观测值，为第i个样本的模型预测值，RMSE(M)表示数值天气预报模式数据与真实数据的均方根误差，RMSE(model)表示模型预测数据与真实数据的均方根误差，总得分会先计算三个预测指标的得分后求平均值。
表3为本发明提出的方法与其他常规方法对比的结果。测试日期为2018年9月1号到2018年11月1号，共62天。其中，表中抽选7天，Testa1为2018年9月24日，Testa2为2018年10月15日，Testb1-Testb5为2018年10月28日到2018年11月1日，Aver_7为7天平均成绩，Aver_62为62天平均成绩。
通过对比可见，本发明提出的方法优于其他常规方法，天气预报的预报准确率更高。
表3本发明实施模型预测分数与其他方法对比结果

Claims (6)

1.一种基于1D-CNN与Bi-LSTM的天气预测方法，其特征在于，包括以下步骤：
(1)输入气象历史数据，包含气象站点观测数据和数值预报产品；
(2)对气象历史数据进行数据清洗，包括删除异常值，通过插值方法填充缺省值；
(3)通过时间错位的方法处理清洗后的气象数据，形成训练数据，生成适应模型结构的输入格式；
(4)引入站点号特征，并对站点号进行one-hot编码，通过N个特征记录N个站点的站点号；
(5)对数据进行数据标准化，将数据转换到0-1的范围区间，去除数据的单位限制，将其转化为无量纲的纯数值；
(6)设计基于1D-CNN和Bi-LSTM的深度学习网络，训练经过步骤(5)处理过的数据，生成预测模型；
(7)使用步骤(6)训练好的模型预测待预测的气象数据，并对其进行反归一化，得到最终的气象数据预测结果。
2.根据权利要求1所述的一种基于1D-CNN与Bi-LSTM的天气预测方法，其特征在于，步骤(2)所述的填充缺省值通过以下公式实现：
其中，t表示缺省数据的时刻，m表示大于t时刻的最近有值时刻，xm表示m时刻的气象值，n表于小于t时刻的最近有值时刻，xn表示n时刻的气象值，xt为待填充的t时刻的缺省值。
3.根据权利要求1所述的一种基于1D-CNN与Bi-LSTM的天气预测方法，其特征在于，步骤(3)所述的训练数据包括前N个时刻的气象观测数据和0-N时刻的数值预报产品数据。
4.根据权利要求1所述的一种基于1D-CNN与Bi-LSTM的天气预测方法，其特征在于，步骤(5)所述的数据标准化计算公式为：
其中，x_ori表示经步骤(4)处理后的数据，x_min表示气象数据的最小值，x_max表示气象数据的最大值，x表示数据标准化后的输出数据。
5.根据权利要求1所述的一种基于1D-CNN与Bi-LSTM的天气预测方法，其特征在于，步骤(6)所述的1D-CNN与Bi-LSTM的深度学习网络由输入层、1D-CNN层、池化层、Bi-LSTM层、全连接层和池化层构成，损失函数选择均方误差损失函数，优化器选择Adam优化器。
6.根据权利要求1所述的一种基于1D-CNN与Bi-LSTM的天气预测方法，其特征在于，步骤(7)所述的数据反归一化通过以下公式实现：
x_out＝x_pred×(x_max-x_min)+x_min
其中，x_pred表示经步骤(6)网络输出的数据，x_min表示气象数据的最小值，x_max表示气象数据的最大值，x_out表示经过反归一化后的气象预测结果。
CN201910307685.7A 2019-04-17 2019-04-17 一种基于1D-CNN与Bi-LSTM的天气预测方法 Pending CN110059082A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910307685.7A CN110059082A (zh) 2019-04-17 2019-04-17 一种基于1D-CNN与Bi-LSTM的天气预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910307685.7A CN110059082A (zh) 2019-04-17 2019-04-17 一种基于1D-CNN与Bi-LSTM的天气预测方法

Publications (1)

Publication Number Publication Date
CN110059082A true CN110059082A (zh) 2019-07-26

Family

ID=67317801

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910307685.7A Pending CN110059082A (zh) 2019-04-17 2019-04-17 一种基于1D-CNN与Bi-LSTM的天气预测方法

Country Status (1)

Country Link
CN (1) CN110059082A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111582560A (zh) * 2020-04-22 2020-08-25 空间信息产业发展股份有限公司 一种基于循环神经网络的水稻产量预测方法
CN112732797A (zh) * 2021-01-26 2021-04-30 武汉理工大学 燃料电池汽车驾驶行为分析方法、装置和存储介质
CN113011674A (zh) * 2021-03-31 2021-06-22 电子科技大学中山学院 一种光伏发电预测方法、装置、电子设备及存储介质
CN113567904A (zh) * 2021-07-02 2021-10-29 中国电力科学研究院有限公司 一种适用于电容式互感器的计量误差的方法及***

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102622515A (zh) * 2012-02-21 2012-08-01 北京联合大学 一种天气预测方法
CN104978605A (zh) * 2015-06-08 2015-10-14 上海电机学院 基于深度学习网络的大规模风电功率预测***及方法
CN107169598A (zh) * 2017-05-05 2017-09-15 上海斐讯数据通信技术有限公司 一种基于深度学习的天气预测方法及***
CN107179566A (zh) * 2017-05-12 2017-09-19 周调彪 一种区县天气预测的自学习修正方法及***
CN107679234A (zh) * 2017-10-24 2018-02-09 上海携程国际旅行社有限公司 客服信息提供方法、装置、电子设备、存储介质
CN107909206A (zh) * 2017-11-15 2018-04-13 电子科技大学 一种基于深层结构循环神经网络的pm2.5预测方法
CN108009674A (zh) * 2017-11-27 2018-05-08 上海师范大学 基于cnn和lstm融合神经网络的空气pm2.5浓度预测方法
CN108399469A (zh) * 2018-01-31 2018-08-14 中国人民解放军空军研究院战场环境研究所 一种基于深度学习和数值天气预报的天气现象预报方法
CN108491877A (zh) * 2018-03-20 2018-09-04 国家气象中心 一种分类对流天气概率预报方法及装置
CN108830176A (zh) * 2018-05-25 2018-11-16 深圳市太空科技南方研究院 一种睡眠觉醒检测方法、装置及终端
CN109034152A (zh) * 2018-07-17 2018-12-18 广东工业大学 基于lstm-cnn组合模型的车牌定位方法及装置
CN109637545A (zh) * 2019-01-17 2019-04-16 哈尔滨工程大学 基于一维卷积非对称双向长短时记忆网络的声纹识别方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102622515A (zh) * 2012-02-21 2012-08-01 北京联合大学 一种天气预测方法
CN104978605A (zh) * 2015-06-08 2015-10-14 上海电机学院 基于深度学习网络的大规模风电功率预测***及方法
CN107169598A (zh) * 2017-05-05 2017-09-15 上海斐讯数据通信技术有限公司 一种基于深度学习的天气预测方法及***
CN107179566A (zh) * 2017-05-12 2017-09-19 周调彪 一种区县天气预测的自学习修正方法及***
CN107679234A (zh) * 2017-10-24 2018-02-09 上海携程国际旅行社有限公司 客服信息提供方法、装置、电子设备、存储介质
CN107909206A (zh) * 2017-11-15 2018-04-13 电子科技大学 一种基于深层结构循环神经网络的pm2.5预测方法
CN108009674A (zh) * 2017-11-27 2018-05-08 上海师范大学 基于cnn和lstm融合神经网络的空气pm2.5浓度预测方法
CN108399469A (zh) * 2018-01-31 2018-08-14 中国人民解放军空军研究院战场环境研究所 一种基于深度学习和数值天气预报的天气现象预报方法
CN108491877A (zh) * 2018-03-20 2018-09-04 国家气象中心 一种分类对流天气概率预报方法及装置
CN108830176A (zh) * 2018-05-25 2018-11-16 深圳市太空科技南方研究院 一种睡眠觉醒检测方法、装置及终端
CN109034152A (zh) * 2018-07-17 2018-12-18 广东工业大学 基于lstm-cnn组合模型的车牌定位方法及装置
CN109637545A (zh) * 2019-01-17 2019-04-16 哈尔滨工程大学 基于一维卷积非对称双向长短时记忆网络的声纹识别方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CHIOU-JYE HUANG 等: ""A Deep CNN-LSTM Model for Particulate Matter (PM2.5) Forecasting in Smart Cities"", 《SENSORS 2018》 *
MIKHAIL STARTSEV 等: ""1D CNN with BLSTM for automated classification of fixations, saccades,and smooth pursuits"", 《HTTPS://DOI.ORG/10.3758/S13428-018-1144-2》 *
SHENGDONG DU 等: ""Deep Air Quality Forecasting Using Hybrid Deep Learning Framework"", 《HTTPS://ARXIV.ORG/ABS/1812.04783V1》 *
倪铮 等: ""一种基于CNN和RNN深度神经网络的天气预测模型_以北京地区雷暴的6小时临近预报为例"", 《数值计算与计算机应用》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111582560A (zh) * 2020-04-22 2020-08-25 空间信息产业发展股份有限公司 一种基于循环神经网络的水稻产量预测方法
CN111582560B (zh) * 2020-04-22 2023-05-23 空间信息产业发展股份有限公司 一种基于循环神经网络的水稻产量预测方法
CN112732797A (zh) * 2021-01-26 2021-04-30 武汉理工大学 燃料电池汽车驾驶行为分析方法、装置和存储介质
CN113011674A (zh) * 2021-03-31 2021-06-22 电子科技大学中山学院 一种光伏发电预测方法、装置、电子设备及存储介质
CN113567904A (zh) * 2021-07-02 2021-10-29 中国电力科学研究院有限公司 一种适用于电容式互感器的计量误差的方法及***

Similar Documents

Publication Publication Date Title
CN110059082A (zh) 一种基于1D-CNN与Bi-LSTM的天气预测方法
CN107480775B (zh) 一种基于数据修复的池塘溶解氧预测方法
CN108416366B (zh) 一种基于气象指数的加权ls-svm的电力***短期负荷预测方法
CN110751318B (zh) 一种基于ipso-lstm的超短期电力负荷预测方法
CN103023065B (zh) 一种基于相对误差熵值法的风电短期功率预测方法
CN107358294A (zh) 一种基于Elman神经网络的需水预测方法
CN107705556A (zh) 一种基于支持向量机和bp神经网络结合的交通流预测方法
CN111292124A (zh) 一种基于优化组合神经网络的需水预测方法
CN111079086A (zh) 一种基于多元联合分布的水资源***多重风险评估方法
CN107590549A (zh) 一种日本鱿冬生群资源丰度预测方法
CN111144666A (zh) 一种基于深度时空残差网络的海洋温跃层预测方法
CN114912077A (zh) 一种融合随机搜索与混合分解误差订正的海浪预报算法
CN114493680B (zh) 一种基于流刺网调查的渔业资源统计方法及***
CN110046756B (zh) 基于小波去噪与Catboost的短时天气预报方法
CN103049659A (zh) 一种秘鲁外海茎柔鱼资源补充量预测方法及其应用方法
CN111062511B (zh) 基于决策树与神经网络的水产养殖病害预测方法及***
CN117935988A (zh) 基于支持向量回归的再生粗骨料混凝土抗压强度预测方法
CN113011091A (zh) 一种自动分组的多尺度轻量型深度卷积神经网络优化方法
CN116579504A (zh) 基于机器学习的池塘海水养殖水温的预测方法
CN110276478B (zh) 基于分段蚁群算法优化svm的短期风电功率预测方法
CN114971005B (zh) 基于lstm与差分回归模型动态加权的海湾水温组合预测方法
CN117114915A (zh) 一种基于改进粒子群算法的水产养殖ph值预测方法
CN109711593B (zh) 一种面向瞬时计算决策的高速铁路沿线风速预测方法
CN115296298A (zh) 一种风电场功率预测方法
Barbosa et al. Cuckoo search optimization for short term wind energy forecasting

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190726

RJ01 Rejection of invention patent application after publication