CN114239743B - 一种基于稀疏时间序列数据的天气事件发生时间预测方法 - Google Patents
一种基于稀疏时间序列数据的天气事件发生时间预测方法 Download PDFInfo
- Publication number
- CN114239743B CN114239743B CN202111576670.4A CN202111576670A CN114239743B CN 114239743 B CN114239743 B CN 114239743B CN 202111576670 A CN202111576670 A CN 202111576670A CN 114239743 B CN114239743 B CN 114239743B
- Authority
- CN
- China
- Prior art keywords
- data
- features
- feature
- training
- weather
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000012549 training Methods 0.000 claims abstract description 33
- 238000012360 testing method Methods 0.000 claims abstract description 4
- 230000003068 static effect Effects 0.000 claims description 13
- 238000012216 screening Methods 0.000 claims description 7
- 238000011156 evaluation Methods 0.000 claims description 6
- 238000002790 cross-validation Methods 0.000 claims description 5
- 238000002372 labelling Methods 0.000 claims description 3
- 238000000585 Mann–Whitney U test Methods 0.000 claims description 2
- 238000005457 optimization Methods 0.000 claims description 2
- 238000010276 construction Methods 0.000 abstract description 9
- 238000000528 statistical test Methods 0.000 abstract description 2
- 238000000556 factor analysis Methods 0.000 abstract 1
- 230000006870 function Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 125000004122 cyclic group Chemical group 0.000 description 2
- 238000013479 data entry Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000001276 Kolmogorov–Smirnov test Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于稀疏时间序列数据的事件发生时间预测方法,分为统计特征选择和模型训练测试两个步骤依次实施,统计特征选择是采用单因素分析的方法,通过统计检验初步选择出有显著差异的特征;模型训练测试是使用筛选完成的特征构造新的时间序列特征并使用梯度提升树进行训练。本发明简化了特征构造方式,有效解决了时序数据的特征构造在不同的数据***中存在较大差异无法通用的问题,同时预测精度相比于其他的方法提升明显。
Description
技术领域
本发明涉及机器学习技术,特别涉及基于时间序列数据的天气事件预测技术。
背景技术
时间序列数据是一串按时间维度索引的数据,这类数据描述了某个被测量的主体在一个时间范围内的每个时间点上的测量值。对时序数据通常会包含三个部分,分别是:主体,时间点和测量值。稀疏表示的目的就是在给定的超完备字典中用尽可能少的原子来表示信息,可以获得信息更为简洁的表示方式,从而使我们更容易地获取信号中所蕴含的信息,更方便进一步对信号进行加工处理。基于稀疏时间序列数据的事件发生时间预测,用于根据稀疏表示的时间序列数据来预测某个时间在指定时间是否发生,该应用在生活中无处不在,从对自然环境、人体行为或者身体机能各方面的天气事件的判断上,比如天气预报与各种预警***。
机器学习在时序数据预测上有很多的成果,在这方面应用最广泛的是循环神经网络。但是循环神经网络对数据的要求较高,需要数据是连续且不能存在空值,而且现有的循环神经网络模型都存在特异度较高而灵敏度较低的问题。其他还有随机森林和梯度提升树等模型,虽然模型的精度较高,但是无法处理时间序列数据,或者需要根据数据本身的特点手动构造,在不同的时间序列数据中无法通用,处理过程非常繁琐。
发明内容
本发明所要解决的技术问题是,提供一种自动构造基于时间序列数据的特征来进行天气事件是否发生的预测方法。
本发明为解决上述技术问题所采用的技术方案是,一种基于稀疏时间序列数据的天气事件预测方法,包括:
S1.对天气的稀疏时间序列数据进行数据分类,将在观测时间长度内未发生变换的作为静态数据,持续随时间变化的作为动态数据,间断出现且只有0与1两种状态的作为离散数据;
S2.按数据类别进行特征提取:
对于静态数据,选取与天气事件相关的特征作为静态数据特征;
对于动态数据,先按天气事件是否发生进行分组,再对各动态数据提取数据特征,再计算数据特征的置信度,再按保留置信度小于0.1的数据特征的方式进行筛选;筛选后的数据特征作为原始动态特征,再将原始动态特征对应时间点之前的一段时间的数据特征作时序特征,原始动态特征和其对应的时序特征合并为最终的动态数据特征;
对于离散数据,先对离散数据进行独热编码作为离散数据的原始离散特征,再对每个原始特征统计在对应时间点之前的原始特征出现次数作为计数特征,原始离散特征和其对应的计数特征合并为最终的离散数据特征;
S3.将同一时间点的静态数据特征、动态数据特征和离散数据特征进行拼接形成模型的输入特征,再按照天气事件是否发生进行贴标后形成训练数据;将观测时间内的训练数据形成训练集输入至天气事件发生预测模型中进行训练;
S4.将待预测的天气的稀疏时间序列数据通过S1-S2步骤,将同一时间点的静态数据特征、动态数据特征和离散数据特征进行拼接形成模型的输入特征输入至训练完成的天气事件发生预测模型中,天气事件发生预测模型输出对应时间点是否发生天气事件的预测结果。
进一步的,天气事件发生预测模型由多个子模型组成,在天气事件发生预测模型训练过程中,使用多折交叉验证方法将训练集输入多个子模型训练,采用自定义评价函数和贝叶斯超参数优化训练子模型,并使用多个子模型输出的均值作为最后的预测值;
本发明方法运用统计特征筛选,以简单时间相关来构造天气事件的特征。本发明的有益效果是:
(1)使用统计特征选择找出对模型具有显著影响的单维特征,排除了显著不相关的单个特征对最终预测模型性能可能带来的影响;
(2)简化特征构造方式,只需要构造简单时间特征和计数特征,避免了对每一个特征进行单独分析处理的麻烦,降低了特征选择的时间以及计算资源的消耗;
(3)使用梯度提升树作为基学习器并使用多折交叉验证,能更充分地学习数据特征之间的关系,从而提高模型的鲁棒性;
(4)使用自定义的目标函数和评价指标,提高了模型预测的精度;
(5)整个特征构造和训练步骤不涉及到具体某一个特征的处理方式,在不同的时间序列数据上都可以进行处理,并且精度相比于其他方法都有提升。
因此,本发明有比较明显的优势和较广泛的天气预测适用场景。
附图说明
图1为实施例流程图;
图2为实施例动态特征筛选流程;
图3为实施例的模型训练流程。
具体实施方式
下面进一步说明本发明的技术方案,但本发明所保护的内容不局限于以下所述。
基于稀疏时间序列数据的天气事件发生时间预测方法,包括了统计特征筛选、模型特征构造、自定义目标函数和评价函数等方法和步骤。利用简单的时间特征构造方式和新的目标函数,可以有效提高模型预测精度并解决天气事件预测模型特征无法通用的问题。
为了实现发明,如图1所示,具体包括以下步骤:
S1.对天气的稀疏时间序列数据进行数据分类,将在观测时间长度内未发生变换的作为静态数据,持续随时间变化的作为动态数据,间断出现且只有0与1两种状态的作为离散数据;
S2:统计特征筛选和构造阶段
对于静态数据,选取和天气事件相关的特征作为静态特征Fd;
对于动态数据,对训练数据按天气事件是否发生分组,检验不同分组中Fi变量分布是否有显著差异,并构造动态数据特征,其执行过程如图2所示:
S201:若Fi无法使用数字进行量化或者观测次数少于总天气事件发生次数则丢弃该特征。
S202:对于每一个特征Fi,对分组之前的训练数据总体中使用KS检验Fi分布是否服从正态分布。
S203:若服从正态分布(P>0.1,P值代表假设服从正态分布的概率,越小则说明原假设越不成立),则对分组之后的训练数据使用独立样本的T检验计算置信度值p;否则,使用Mann-Whitney U检验计算p值;
S204:如果Fi统计检验p值小于0.1,则将Fi加入已选择特征集合Fm;
S205:对集合Fm中每一个特征Fi,设当前时间点为t,当前时间点的特征值为Fi(t),添加新的特征Fi(t-2),Fi(t-4),Fi(t)-Fi(t-1),Fi(t-1)-Fi(t-3)作为输入模型所需特征,新特征和原始特征合并为最终特征集合Fmt;
对离散的动态数据,添加计数特征:对于离散数据特征集合Fn中每一个特征Fj,设当前时间点为t,则当前时间点的特征值为Fj(t),计算当前时间点之前特征计数总和添加当前时间点之前特征的次数总和作为计数特征,计数特征Fcj(t)和原始特征Fj(t)合并为最终特征Fnt。
利用统计特征筛选特征以及和时间特征构造的方法,简化特征构造方式来提高模型实用性以及模型的预测精度。
S3:模型训练和预测阶段
对统计特征选择出来的集合Fd、Fmt、Fnt进行拼接形成输入特征,再对输入特征贴标签形成训练数据,将采集到的训练数据形成训练集,结合应用梯队提升树学习方法,使用自定义目标函数训练天气事件发生预测模型由多个子模型组成,,天气事件发生预测模型由多个子模型组成,执行过程如图3所示:
S301:采用多折交叉验证训练多个子模型。在每一折内,由于训练数据天气事件发生和不发生的占比差距可能很大,所以对输入数据进行下采样使发生天气事件的数据条目数和未发生天气事件数据条目数相等。
S302:采用多折交叉验证训练多个模型。每一折内使用自定义目标函数SLLSE进行训练。SLLSE定义如下:f(yp,yl)=α(log(yp+1)-log(yl+1))2+(1-α)log((yp-yl)2+1)。其中yp为预测值,yl为真实值,α为超参数,用于调节两个误差之间的比值,范围取0到1之间。SLLSE的一阶导数和二阶导数如下:
相应的评价指标变为:
中N代表参与评价指标计算的总样本数。
S303:训练好的子模型进行预测时将每一个模型的预测值求和取平均作为最终结果。
Claims (6)
1.一种基于稀疏时间序列数据的天气事件发生时间预测方法,其特征在于:
S1.对天气的稀疏时间序列数据进行数据分类,将在观测时间长度内未发生变换的作为静态数据,持续随时间变化的作为动态数据,间断出现且只有0与1两种状态的作为离散数据;
S2.按数据类别进行特征提取:
对于静态数据,选取与天气事件相关的特征作为静态数据特征;
对于动态数据,先按天气事件是否发生进行分组,再对各动态数据提取数据特征,再计算数据特征的置信度,再按保留置信度小于0.1的数据特征的方式进行筛选;筛选后的数据特征作为原始动态特征,再将原始动态特征对应时间点之前的一段时间的数据特征作时序特征,原始动态特征和其对应的时序特征合并为最终的动态数据特征;
对于离散数据,先对离散数据进行独热编码作为离散数据的原始离散特征,再对每个原始特征统计在对应时间点之前的原始特征出现次数作为计数特征,原始离散特征和其对应的计数特征合并为最终的离散数据特征;
S3.将同一时间点的静态数据特征、动态数据特征和离散数据特征进行拼接形成模型的输入特征,再按照天气事件是否发生进行贴标后形成训练数据;将观测时间内的训练数据形成训练集输入至天气事件发生预测模型中进行训练;
S4.将待预测的天气的稀疏时间序列数据通过S1-S2步骤,将同一时间点的静态数据特征、动态数据特征和离散数据特征进行拼接形成模型的输入特征输入至训练完成的天气事件发生预测模型中,天气事件发生预测模型输出对应时间点是否发生天气事件的预测结果。
2.如权利要求1方法,其特征在于,计算数据特征的置信度之前,先判断特征是否属于无法使用数字进行量化或者观测次数少于总天气事件发生次数的情况,如是,则丢弃该数据特征,否则再计算该算数据特征的置信度。
3.如权利要求1方法,其特征在于,计算数据特征的置信度的具体方式为:对于每一个数据特征使用KS检验该数据特征的分布是否服从正态分布,如是则使用独立样本的T检验计算置信度,否则使用Mann-Whitney U检验计算置信度。
4.如权利要求1方法,其特征在于,原始动态特征Fi(t)对应的动态数据特征为:Fi(t-2),Fi(t-4),Fi(t)-Fi(t-1),Fi(t-1)-Fi(t-3),t为当前时间点。
5.如权利要求1方法,其特征在于,天气事件发生预测模型由多个子模型组成,在天气事件发生预测模型训练过程中,使用多折交叉验证方法将训练集输入多个子模型训练,并使用多个子模型输出的均值作为最后的预测值。
6.如权利要求5方法,其特征在于,在天气事件发生预测模型训练过程中,采用自定义评价函数和贝叶斯超参数优化训练子模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111576670.4A CN114239743B (zh) | 2021-12-22 | 2021-12-22 | 一种基于稀疏时间序列数据的天气事件发生时间预测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111576670.4A CN114239743B (zh) | 2021-12-22 | 2021-12-22 | 一种基于稀疏时间序列数据的天气事件发生时间预测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114239743A CN114239743A (zh) | 2022-03-25 |
CN114239743B true CN114239743B (zh) | 2023-12-15 |
Family
ID=80760873
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111576670.4A Active CN114239743B (zh) | 2021-12-22 | 2021-12-22 | 一种基于稀疏时间序列数据的天气事件发生时间预测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114239743B (zh) |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106599271A (zh) * | 2016-12-22 | 2017-04-26 | 江苏方天电力技术有限公司 | 一种燃煤机组排放监测时序数据异常值检测方法 |
WO2018011794A1 (en) * | 2016-07-10 | 2018-01-18 | B.G. Negev Technologies And Applications Ltd., At Ben-Gurion University | Methods and systems for estimation of obstructive sleep apnea severity in wake subjects by multiple speech analyses |
CN108292296A (zh) * | 2016-02-29 | 2018-07-17 | 甲骨文国际公司 | 用于利用复发性模式创建时间序列数据的时段分布图的方法 |
CN110290120A (zh) * | 2019-06-12 | 2019-09-27 | 西安邮电大学 | 一种云平台的时序演化网络安全预警方法 |
CN111402028A (zh) * | 2019-01-02 | 2020-07-10 | ***通信有限公司研究院 | 一种信息处理方法、装置及设备 |
CN111626536A (zh) * | 2019-12-26 | 2020-09-04 | 上海理工大学 | 一种基于数据驱动的居民用电能效评估方法 |
CN111652414A (zh) * | 2020-05-20 | 2020-09-11 | 浙江大学 | 一种基于高斯混合模型的滑窗pca高炉异常监测方法 |
CN111898829A (zh) * | 2020-08-04 | 2020-11-06 | 电子科技大学 | 一种基于稀疏异常感知的边缘设备下的电量预测方法 |
CN112270428A (zh) * | 2020-07-30 | 2021-01-26 | 武汉烽火众智数字技术有限责任公司 | 一种考虑空间扩散效应的警情态势预测方法和*** |
CN112613636A (zh) * | 2020-11-25 | 2021-04-06 | 国网江苏省电力有限公司江阴市供电分公司 | 一种基于特征工程的XGboost风速短期预测方法 |
CN113379124A (zh) * | 2021-06-09 | 2021-09-10 | 北京房江湖科技有限公司 | 基于预测模型的人员稳定性预测方法及装置 |
CN113643781A (zh) * | 2021-06-25 | 2021-11-12 | 合肥工业大学 | 基于时序预警信号的健康干预方案个性化推荐方法及*** |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10331802B2 (en) * | 2016-02-29 | 2019-06-25 | Oracle International Corporation | System for detecting and characterizing seasons |
US20190138938A1 (en) * | 2017-11-06 | 2019-05-09 | Cisco Technology, Inc. | Training a classifier used to detect network anomalies with supervised learning |
WO2020000248A1 (zh) * | 2018-06-27 | 2020-01-02 | 大连理工大学 | 一种基于空间重构的航空发动机过渡态加速过程关键性能参数预测方法 |
-
2021
- 2021-12-22 CN CN202111576670.4A patent/CN114239743B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108292296A (zh) * | 2016-02-29 | 2018-07-17 | 甲骨文国际公司 | 用于利用复发性模式创建时间序列数据的时段分布图的方法 |
WO2018011794A1 (en) * | 2016-07-10 | 2018-01-18 | B.G. Negev Technologies And Applications Ltd., At Ben-Gurion University | Methods and systems for estimation of obstructive sleep apnea severity in wake subjects by multiple speech analyses |
CN106599271A (zh) * | 2016-12-22 | 2017-04-26 | 江苏方天电力技术有限公司 | 一种燃煤机组排放监测时序数据异常值检测方法 |
CN111402028A (zh) * | 2019-01-02 | 2020-07-10 | ***通信有限公司研究院 | 一种信息处理方法、装置及设备 |
CN110290120A (zh) * | 2019-06-12 | 2019-09-27 | 西安邮电大学 | 一种云平台的时序演化网络安全预警方法 |
CN111626536A (zh) * | 2019-12-26 | 2020-09-04 | 上海理工大学 | 一种基于数据驱动的居民用电能效评估方法 |
CN111652414A (zh) * | 2020-05-20 | 2020-09-11 | 浙江大学 | 一种基于高斯混合模型的滑窗pca高炉异常监测方法 |
CN112270428A (zh) * | 2020-07-30 | 2021-01-26 | 武汉烽火众智数字技术有限责任公司 | 一种考虑空间扩散效应的警情态势预测方法和*** |
CN111898829A (zh) * | 2020-08-04 | 2020-11-06 | 电子科技大学 | 一种基于稀疏异常感知的边缘设备下的电量预测方法 |
CN112613636A (zh) * | 2020-11-25 | 2021-04-06 | 国网江苏省电力有限公司江阴市供电分公司 | 一种基于特征工程的XGboost风速短期预测方法 |
CN113379124A (zh) * | 2021-06-09 | 2021-09-10 | 北京房江湖科技有限公司 | 基于预测模型的人员稳定性预测方法及装置 |
CN113643781A (zh) * | 2021-06-25 | 2021-11-12 | 合肥工业大学 | 基于时序预警信号的健康干预方案个性化推荐方法及*** |
Non-Patent Citations (4)
Title |
---|
"Early prediction of sepsis from clinical data";M.A.Reyna等;《Proc. IEEE Ovid Technol. Comput. Cardio.》;第210-217页 * |
"MESA:Boost ensemble imbalanced learning with meta-sampler";Z. Liu等;《Neural Inf. process.Syst》;第33卷(第8期);第14463-14474页 * |
"具有超父结点时间序列贝特斯网络集成回归模型";王双成等;《计算机学报》;第40卷(第12期);第2748-2761页 * |
"混沌时间序列分析与预测研究综述";韩敏等;《信息与控制》;第49卷(第1期);第24-35页 * |
Also Published As
Publication number | Publication date |
---|---|
CN114239743A (zh) | 2022-03-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109120462B (zh) | 机会网络链路的预测方法、装置及可读存储介质 | |
CN110427654B (zh) | 一种基于敏感状态的滑坡预测模型构建方法及*** | |
CN112506990A (zh) | 一种基于时空信息的水文数据异常检测方法 | |
CN115564114B (zh) | 一种基于图神经网络的空域碳排放短期预测方法及*** | |
CN108491931B (zh) | 一种基于机器学习提高无损检测精度的方法 | |
CN115617882B (zh) | 基于gan的带有结构约束的时序图数据生成方法及*** | |
CN115801463B (zh) | 工业互联网平台入侵检测的方法、装置和电子设备 | |
CN111428866A (zh) | 一种增量学习方法、装置、存储介质及电子设备 | |
CN110289987B (zh) | 基于表征学习的多智能体***网络抗攻击能力评估方法 | |
CN116842459B (zh) | 一种基于小样本学习的电能计量故障诊断方法及诊断终端 | |
CN113379156A (zh) | 速度预测方法、装置、设备及存储介质 | |
CN114239743B (zh) | 一种基于稀疏时间序列数据的天气事件发生时间预测方法 | |
CN115907079B (zh) | 一种基于注意力时空图卷积网络的空域交通流量预测方法 | |
CN111144473B (zh) | 训练集构建方法、装置、电子设备及计算机可读存储介质 | |
CN116681945A (zh) | 一种基于强化学习的小样本类增量识别方法 | |
CN116431346A (zh) | 一种用于电子设备主存储器容量的补偿方法 | |
CN116597197A (zh) | 一种自适应消除分类负梯度的长尾目标检测方法 | |
CN113255810B (zh) | 基于关键决策逻辑设计测试覆盖率的网络模型测试方法 | |
CN116166642A (zh) | 基于引导信息的时空数据填补方法、***、设备及介质 | |
CN113393023B (zh) | 模具质量评估方法、装置、设备及存储介质 | |
CN115545168A (zh) | 基于注意力机制和循环神经网络的动态QoS预测方法及*** | |
CN110222842B (zh) | 一种网络模型训练方法、装置及存储介质 | |
CN113035363B (zh) | 一种概率密度加权的遗传代谢病筛查数据混合采样方法 | |
CN116756669A (zh) | 一种模型训练方法、风控执行方法、装置及电子设备 | |
CN114051218B (zh) | 一种环境感知网络优化方法和*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |