CN109472396A - 基于深度网络学习的山火预测方法 - Google Patents
基于深度网络学习的山火预测方法 Download PDFInfo
- Publication number
- CN109472396A CN109472396A CN201811209832.9A CN201811209832A CN109472396A CN 109472396 A CN109472396 A CN 109472396A CN 201811209832 A CN201811209832 A CN 201811209832A CN 109472396 A CN109472396 A CN 109472396A
- Authority
- CN
- China
- Prior art keywords
- data
- matrix
- depth
- mountain fire
- meteorological
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000012545 processing Methods 0.000 claims abstract description 18
- 239000011159 matrix material Substances 0.000 claims description 105
- 238000007500 overflow downdraw method Methods 0.000 claims description 24
- 230000002123 temporal effect Effects 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 12
- 230000004927 fusion Effects 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000006116 polymerization reaction Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 4
- 238000012549 training Methods 0.000 claims description 4
- 102000008297 Nuclear Matrix-Associated Proteins Human genes 0.000 claims description 3
- 108010035916 Nuclear Matrix-Associated Proteins Proteins 0.000 claims description 3
- 210000000299 nuclear matrix Anatomy 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 abstract description 5
- 238000000605 extraction Methods 0.000 abstract description 4
- 230000010354 integration Effects 0.000 abstract description 4
- 239000000446 fuel Substances 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Engineering & Computer Science (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- Tourism & Hospitality (AREA)
- Development Economics (AREA)
- General Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Marketing (AREA)
- Educational Administration (AREA)
- Physics & Mathematics (AREA)
- Entrepreneurship & Innovation (AREA)
- General Physics & Mathematics (AREA)
- Game Theory and Decision Science (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种能够提高预测效率和预测准确性的基于深度网络学习的山火预测方法。该基于深度网络学习的山火预测方法通过构建时间和空间维度上的自动特征提取网络，并对海量历史数据进行学习，达到山火预测预警分析。克服了传统学习方式在海量数据上的瓶颈，能有效利用GPU和分布式来进行快速训练；摒弃了传统人工特征的方式，实现特征自动化；使用了深度网络来灵活的对不同维度特征进行有效融合，从而提升了山火风险预测的预测效率和预测准确性。适合在数据处理技术领域推广应用。
Description
技术领域
本发明涉及数据处理技术领域，尤其是一种基于深度网络学习的山火预测方法。
背景技术
在自然灾害中，山火是一种非常特殊和非常有破坏性的灾害；不仅会对生态造成重大影响，也会对发生地的人，动物以及一些”资产”造成重大损失；如电力设备中的塔，线缆，变电站；通信中的信号塔等等。而山火的发生机理非常复杂，多种因素相互作用下才会发生山火。
随着物联网、数字化、物联网等技术的发展，使得能通过合理的方式获取到大量的数据，再结合现在计算能力的提升，能通过非实验的方式来对自然灾害进行分析、预测、预警等。其次，现在的数据不仅仅是大数据，而且数据多样化，数据繁杂。类似自然灾害的问题，不仅包含了地理空间温度，还包含了时间维度，这两个维度的有效结合建模也是现在很多传统数学模型的难点。因此，本发明主要利用目前热点技术“深度学习”来解决时间和空间建模的问题，并结合山火的特点，在山火预测预警中进行应用。
传统特征提取方式是在空间和时间维度上分别进行提取，再进行后续的分析和建模，这种特征提取的方式存在一定的主观性，而且不容易找到有效的特征来支撑后续的模型，会导致模型效果较差。
传统的机器学习模型是基于人工特征的模式，不能将空间上的特征进行有效利用，在时间维度上建模，传统的时间序列不能建立长期的时间依赖性，且时间序列主要还是基于统计。这类传统的机器学习算法设计上没有空间或时间的概念，都是基于特征的学习过程。
在特征融合上，一般都是会将每个特征加到每个样本上，即使有全局性的特征，这种方式不够灵活，当不同类型的特征或者不一致特征在融合时还可能出现问题。
传统学习方式是在一定数据量的基础上，数据量过小或过大都会出现问题。当数据量过小，对结果的可信度很低。但是传统学习方式对海量数据的处理又非常困难，有一定的瓶颈。
发明内容
本发明所要解决的技术问题是提供一种能够提高预测效率和预测准确性的基于深度网络学习的山火预测方法。
本发明解决其技术问题所采用的技术方案为：该基于深度网络学习的山火预测方法，包括以下步骤：
1)、利用深度网络学习方法建立山火风险预测模型；
所述山火风险预测模型包括卷积层、融合层、LSTM层、全连接层；
2)、针对山火风险预测任务的需要，采集从当前时间开始往前一段历史时间内的遥感数据和气象数据；
3)、对2)步骤采集的气象数据通过时间分辨率融合方法处理得到以天为单位的气象数据；
4)、将遥感数据以及3)步骤得到的以天为单位的气象数据通过空间数据融合方法实现空间数据的融合匹配；
5)、将经过4)步骤处理得到的遥感数据、气象数据全部转换为空间分别率为500m*500m；时间分辨率为1天，格式为tiff格式的数据；
6)、将步骤5)得到的数据经过如下处理得到batch数据，具体处理过程如下所述：
a、tiff数据的解析，将tiff数据解析为矩阵形式；再对数据进行缺失值填充，填充的方式是通过相邻的点来填充：具体如下所示：
x′i，j＝xi-1，j|xi，j-1；
b、将矩阵形式的遥感数据分割成多个遥感数据矩阵，并记录下各个点中的经纬度位置；
c、根据经纬度位置将气象数据进行对应，生成与b步骤中遥感数据矩阵大小相同的气象数据矩阵；
d、将气象数据矩阵和遥感数据矩阵进行合并最终生成大型矩阵，矩阵的格式为：[时间步数，矩阵行数，矩阵列数，特征数]；
e、通过历史火点数据生成目标样本矩阵，目标样本矩阵的大小和步骤d中生成的大型矩阵保持一致；
f、将目标样本矩阵的数据和步骤d中生成的大型矩阵的数据进行映射，并将整个数据分成不同大小的数据集，即可形成batch数据；
7)、将batch数据输入山火风险预测模型的卷积层，并从batch数据中提取当日的气象数据输入山火风险预测模型的全连接层，即可得到最终的山火发生预测概率。
进一步的是，在3)步骤中，所述时间分辨率融合方法具体如下所述：
将第d天气象指标m在每小时的观察数据md,i(i∈0,…,23)按天进行聚合生成相应统计指标，包括：当日最大值max_md、最小值min_md、极差值range_md、当日总量total_md；
其中，max_md＝max(md,i)(i∈0,…,23)
min_md＝min(md,i)(i∈0,…,23)
range_md＝max(md,i)-min(md,i)(i∈0,…,23)
total_md＝sum(md,i)(i∈0,…,23)
最大值max_md、最小值min_md用于温度、湿度、降雨、风速，极差值range_md统用于温度、湿度，当日总量total_md用于降雨水平。
进一步的是，在4)步骤中，所述空间数据融合方法采用紧邻匹配法或krige插值方法。
进一步的是，在1)步骤中，利用深度网络学习方法建立山火风险预测模型包括以下步骤：
A、针对山火风险预测任务的需要，采集从当前时间开始往前一段历史时间内的遥感数据和气象数据；
B、对A步骤采集的气象数据通过时间分辨率融合方法处理得到以天为单位的气象数据；
C、将遥感数据以及B步骤得到的以天为单位的气象数据通过空间数据融合方法实现空间数据的融合匹配；
D、将经过C步骤处理得到的遥感数据、气象数据全部转换为空间分别率为500m*500m；时间分辨率为1天，格式为tiff格式的数据；
E、将步骤D得到的数据经过如下处理得到batch数据，具体处理过程如下所述：
a、tiff数据的解析，将tiff数据解析为矩阵形式；再对数据进行缺失值填充，填充的方式是通过相邻的点来填充：具体如下所示：
x′i，j＝xi-1，j|xi，j-1；
b、将矩阵形式的遥感数据分割成多个遥感数据矩阵，并记录下各个点中的经纬度位置；
c、根据经纬度位置将气象数据进行对应，生成与b步骤中遥感数据矩阵大小相同的气象数据矩阵；
d、将气象数据矩阵和遥感数据矩阵进行合并最终生成大型矩阵，矩阵的格式为：[时间步数，矩阵行数，矩阵列数，特征数]；
e、通过历史火点数据生成目标样本矩阵，目标样本矩阵的大小和步骤d中生成的大型矩阵保持一致；
f、将目标样本矩阵的数据和步骤d中生成的大型矩阵的数据进行映射，并将整个数据分成不同大小的数据集，即可形成batch数据；
F、基于batch数据构建深度网络模型，所述深度网络模型包括卷积层、融合层、LSTM 层、全连接层；
所述卷积层是由多个卷积单元堆叠而成，每个卷积单元采用如下方法得到：首先将batch 数据作为输入矩阵进行卷积计算得到卷积结果，所述卷积计算公式为：C＝A*B，其中*表示卷积运算，A表示输入矩阵和一个B卷积核矩阵，所述卷积运算采用如下的离散计算公式：其中m,n为卷积核的大小值。wm,n为卷积核中m,n位置的值， b为偏执项；然后将得到的卷积结果进行最大池化得到卷积单元
所述融合层对得到的卷积单元采用ADD方法进行融合，具体的，将卷积层得到的卷积单元进行flatten展开，并加入新的特征，所述新的特征的shape和输入的矩阵大小一致，再按照时间维度进行stack，得到融合矩阵[batch_size,time_steps,depth]，其中depth＝w*h；
所述LSTM层包括LSTMCell层、dropper层和full-connect层，将融合矩阵[batch_size, time_steps,depth]输入LSTMCell层后再依次经过dropper层和full-connect层处理并使用结果函数进行输出得到LSTM数据，所述结果函数采用维tanh函数输出，所述维tanh函数如下所述：
所述全连接层将得到LSTM数据以及从batch数据中提取的当日气象数据进行融合处理；
G、采用多epoch对深度网络模型进行训练，并采用多GPU来进行深度网络模型的训练， CPU负责参数的更新，而GPU来进行网络的训练，得到最终的山火预测模型。
进一步的是，在B步骤中，所述时间分辨率融合方法具体如下所述：
将第d天气象指标m在每小时的观察数据md,i(i∈0,…,23)按天进行聚合生成相应统计指标，包括：当日最大值max_md、最小值min_md、极差值range_md、当日总量total_md；
其中，max_md＝max(md,i)(i∈0,…,23)
min_md＝min(md,i)(i∈0,…,23)
range_md＝max(md,i)-min(md,i)(i∈0,…,23)
total_md＝sum(md,i)(i∈0,…,23)
最大值max_md、最小值min_md用于温度、湿度、降雨、风速，极差值range_md统用于温度、湿度，当日总量total_md用于降雨水平。
进一步的是，在C步骤中，所述空间数据融合方法采用紧邻匹配法或krige插值方法。
本发明的有益效果：该基于深度网络学习的山火预测方法通过构建时间和空间维度上的自动特征提取网络，并对海量历史数据进行学习，达到山火预测预警分析。克服了传统学习方式在海量数据上的瓶颈，能有效利用GPU和分布式来进行快速训练；摒弃了传统人工特征的方式，实现特征自动化；使用了深度网络来灵活的对不同维度特征进行有效融合，从而提升了山火风险预测的预测效率和预测准确性。
具体实施方式
该基于深度网络学习的山火预测方法，包括以下步骤：
1)、利用深度网络学习方法建立山火风险预测模型；
所述山火风险预测模型包括卷积层、融合层、LSTM层、全连接层；
2)、针对山火风险预测任务的需要，采集从当前时间开始往前一段历史时间内的遥感数据和气象数据；所述遥感数据包括：可燃物含水率FMC、可燃物载荷FL、可燃物类型FT；高程、坡度、坡向；所述气象数据包括温度、湿度、降雨、风速、风向；
3)、对2)步骤采集的气象数据通过时间分辨率融合方法处理得到以天为单位的气象数据；所述时间分辨率融合方法具体如下所述：
将第d天气象指标m在每小时的观察数据md,i(i∈0,…,23)按天进行聚合生成相应统计指标，包括：当日最大值max_md、最小值min_md、极差值range_md、当日总量total_md；
其中，max_md＝max(md,i)(i∈0,…,23)
min_md＝min(md,i)(i∈0,…,23)
range_md＝max(md,i)-min(md,i)(i∈0,…,23)
total_md＝sum(md,i)(i∈0,…,23)
最大值max_md、最小值min_md用于温度、湿度、降雨、风速，极差值range_md统用于温度、湿度，当日总量total_md用于降雨水平；
4)、将遥感数据以及3)步骤得到的以天为单位的气象数据通过空间数据融合方法实现空间数据的融合匹配；所述空间数据融合方法采用紧邻匹配法或krige插值方法；
5)、将经过4)步骤处理得到的遥感数据、气象数据全部转换为空间分别率为500m*500m；时间分辨率为1天，格式为tiff格式的数据；
6)、将步骤5)得到的数据经过如下处理得到batch数据，具体处理过程如下所述：
a、tiff数据的解析，将tiff数据解析为矩阵形式；再对数据进行缺失值填充，填充的方式是通过相邻的点来填充：具体如下所示：
x′i，j＝xi-1，j|xi，j-1；
b、将矩阵形式的遥感数据分割成多个遥感数据矩阵，并记录下各个点中的经纬度位置；
c、根据经纬度位置将气象数据进行对应，生成与b步骤中遥感数据矩阵大小相同的气象数据矩阵；
d、将气象数据矩阵和遥感数据矩阵进行合并最终生成大型矩阵，矩阵的格式为：[时间步数，矩阵行数，矩阵列数，特征数]；
e、通过历史火点数据生成目标样本矩阵，目标样本矩阵的大小和步骤d中生成的大型矩阵保持一致；
f、将目标样本矩阵的数据和步骤d中生成的大型矩阵的数据进行映射，并将整个数据分成不同大小的数据集，即可形成batch数据；batch数据组装过程中，正例数据较少，为了解决比例失衡，在每次使用时都会将正例数据进行组装到每个batch中；
7)、将batch数据输入山火风险预测模型的卷积层，并从batch数据中提取当日的气象数据输入山火风险预测模型的全连接层，即可得到最终的山火发生预测概率。
该基于深度网络学习的山火预测方法通过构建时间和空间维度上的自动特征提取网络，并对海量历史数据进行学习，达到山火预测预警分析。克服了传统学习方式在海量数据上的瓶颈，能有效利用GPU和分布式来进行快速训练；摒弃了传统人工特征的方式，实现特征自动化；使用了深度网络来灵活的对不同维度特征进行有效融合，从而提升了山火风险预测的预测效率和预测准确性。
在上述实施方式中，在1)步骤中，利用深度网络学习方法建立山火风险预测模型包括以下步骤：
A、针对山火风险预测任务的需要，采集从当前时间开始往前一段历史时间内的遥感数据和气象数据；所述遥感数据包括：可燃物含水率FMC、可燃物载荷FL、可燃物类型FT；高程、坡度、坡向；所述气象数据包括温度、湿度、降雨、风速、风向；
B、对A步骤采集的气象数据通过时间分辨率融合方法处理得到以天为单位的气象数据；所述时间分辨率融合方法具体如下所述：
将第d天气象指标m在每小时的观察数据md,i(i∈0,…,23)按天进行聚合生成相应统计指标，包括：当日最大值max_md、最小值min_md、极差值range_md、当日总量total_md；
其中，max_md＝max(md,i)(i∈0,…,23)
min_md＝min(md,i)(i∈0,…,23)
range_md＝max(md,i)-min(md,i)(i∈0,…,23)
total_md＝sum(md,i)(i∈0,…,23)
最大值max_md、最小值min_md用于温度、湿度、降雨、风速，极差值range_md统用于温度、湿度，当日总量total_md用于降雨水平；
C、将遥感数据以及B步骤得到的以天为单位的气象数据通过空间数据融合方法实现空间数据的融合匹配；所述空间数据融合方法采用紧邻匹配法或krige插值方法；
D、将经过C步骤处理得到的遥感数据、气象数据全部转换为空间分别率为500m*500m；时间分辨率为1天，格式为tiff格式的数据；
E、将步骤D得到的数据经过如下处理得到batch数据，具体处理过程如下所述：
a、tiff数据的解析，将tiff数据解析为矩阵形式；再对数据进行缺失值填充，填充的方式是通过相邻的点来填充：具体如下所示：
x′i，j＝xi-1，j|xi，j-1；
b、将矩阵形式的遥感数据分割成多个遥感数据矩阵，并记录下各个点中的经纬度位置；
c、根据经纬度位置将气象数据进行对应，生成与b步骤中遥感数据矩阵大小相同的气象数据矩阵；
d、将气象数据矩阵和遥感数据矩阵进行合并最终生成大型矩阵，矩阵的格式为：[时间步数，矩阵行数，矩阵列数，特征数]；
e、通过历史火点数据生成目标样本矩阵，目标样本矩阵的大小和步骤d中生成的大型矩阵保持一致；
f、将目标样本矩阵的数据和步骤d中生成的大型矩阵的数据进行映射，并将整个数据分成不同大小的数据集，即可形成batch数据；batch数据组装过程中，正例数据较少，为了解决比例失衡，在每次使用时都会将正例数据进行组装到每个batch中；
F、基于batch数据构建深度网络模型，所述深度网络模型包括卷积层、融合层、LSTM 层、全连接层；
所述卷积层是由多个卷积单元堆叠而成，每个卷积单元采用如下方法得到：首先将batch 数据作为输入矩阵进行卷积计算得到卷积结果，所述卷积计算公式为：C＝A*B，其中*表示卷积运算，A表示输入矩阵和一个B卷积核矩阵，所述卷积运算采用如下的离散计算公式：其中m,n为卷积核的大小值。wm,n为卷积核中m,n位置的值， b为偏执项；然后将得到的卷积结果进行最大池化得到卷积单元
所述融合层对得到的卷积单元采用ADD方法进行融合，具体的，将卷积层得到的卷积单元进行flatten展开，并加入新的特征，所述新的特征的shape和输入的矩阵大小一致，再按照时间维度进行stack，得到融合矩阵[batch_size,time_steps,depth]，其中depth＝w*h；
所述LSTM层包括LSTMCell层、dropper层和full-connect层，将融合矩阵[batch_size, time_steps,depth]输入LSTMCell层后再依次经过dropper层和full-connect层处理并使用结果函数进行输出得到LSTM数据，所述结果函数采用维tanh函数输出，所述维tanh函数如下所述：
所述全连接层将得到LSTM数据以及从batch数据中提取的当日气象数据进行融合处理；
G、采用多epoch对深度网络模型进行训练，并采用多GPU来进行深度网络模型的训练， CPU负责参数的更新，而GPU来进行网络的训练，得到最终的山火预测模型。
该基于深度网络学习的山火预测模型建立方法通过构建时间和空间维度上的自动特征提取网络，并对海量历史数据进行学习，达到山火预测预警分析，克服了传统学习方式在海量数据上的瓶颈，能有效利用GPU和分布式来进行快速训练；摒弃了传统人工特征的方式，实现特征自动化；使用了深度网络来灵活的对不同维度特征进行有效融合，从而提升了山火风险预测模型的预测效率和预测准确性。
Claims (6)
1.基于深度网络学习的山火预测方法，其特征在于包括以下步骤：
1)、利用深度网络学习方法建立山火风险预测模型；
所述山火风险预测模型包括卷积层、融合层、LSTM层、全连接层；
2)、针对山火风险预测任务的需要，采集从当前时间开始往前一段历史时间内的遥感数据和气象数据；
3)、对2)步骤采集的气象数据通过时间分辨率融合方法处理得到以天为单位的气象数据；
4)、将遥感数据以及3)步骤得到的以天为单位的气象数据通过空间数据融合方法实现空间数据的融合匹配；
5)、将经过4)步骤处理得到的遥感数据、气象数据全部转换为空间分别率为500m*500m；时间分辨率为1天，格式为tiff格式的数据；
6)、将步骤5)得到的数据经过如下处理得到batch数据，具体处理过程如下所述：
a、tiff数据的解析，将tiff数据解析为矩阵形式；再对数据进行缺失值填充，填充的方式是通过相邻的点来填充：具体如下所示：
x′i，j＝xi-1，j|xi，j-1；
b、将矩阵形式的遥感数据分割成多个遥感数据矩阵，并记录下各个点中的经纬度位置；
c、根据经纬度位置将气象数据进行对应，生成与b步骤中遥感数据矩阵大小相同的气象数据矩阵；
d、将气象数据矩阵和遥感数据矩阵进行合并最终生成大型矩阵，矩阵的格式为：[时间步数，矩阵行数，矩阵列数，特征数]；
e、通过历史火点数据生成目标样本矩阵，目标样本矩阵的大小和步骤d中生成的大型矩阵保持一致；
f、将目标样本矩阵的数据和步骤d中生成的大型矩阵的数据进行映射，并将整个数据分成不同大小的数据集，即可形成batch数据；
7)、将batch数据输入山火风险预测模型的卷积层，并从batch数据中提取当日的气象数据输入山火风险预测模型的全连接层，即可得到最终的山火发生预测概率。
2.如权利要求1所述的基于深度网络学习的山火预测方法，其特征在于：在3)步骤中，所述时间分辨率融合方法具体如下所述：
将第d天气象指标m在每小时的观察数据md,i(i∈0,…,23)按天进行聚合生成相应统计指标，包括：当日最大值max_md、最小值min_md、极差值range_md、当日总量total_md；
其中，max_md＝max(md,i)(i∈0,…,23)
min_md＝min(md,i)(i∈0,…,23)
range_md＝max(md,i)-min(md,i)(i∈0,…,23)
total_md＝sum(md,i)(i∈0,…,23)
最大值max_md、最小值min_md用于温度、湿度、降雨、风速，极差值range_md统用于温度、湿度，当日总量total_md用于降雨水平。
3.如权利要求2所述的基于深度网络学习的山火预测方法，其特征在于：在4)步骤中，所述空间数据融合方法采用紧邻匹配法或krige插值方法。
4.如权利要求1所述的基于深度网络学习的山火预测方法，其特征在于：在1)步骤中，利用深度网络学习方法建立山火风险预测模型包括以下步骤：
A、针对山火风险预测任务的需要，采集从当前时间开始往前一段历史时间内的遥感数据和气象数据；
B、对A步骤采集的气象数据通过时间分辨率融合方法处理得到以天为单位的气象数据；
C、将遥感数据以及B步骤得到的以天为单位的气象数据通过空间数据融合方法实现空间数据的融合匹配；
D、将经过C步骤处理得到的遥感数据、气象数据全部转换为空间分别率为500m*500m；时间分辨率为1天，格式为tiff格式的数据；
E、将步骤D得到的数据经过如下处理得到batch数据，具体处理过程如下所述：
a、tiff数据的解析，将tiff数据解析为矩阵形式；再对数据进行缺失值填充，填充的方式是通过相邻的点来填充：具体如下所示：
x′i，j＝xi-1，j|xi，j-1；
b、将矩阵形式的遥感数据分割成多个遥感数据矩阵，并记录下各个点中的经纬度位置；
c、根据经纬度位置将气象数据进行对应，生成与b步骤中遥感数据矩阵大小相同的气象数据矩阵；
d、将气象数据矩阵和遥感数据矩阵进行合并最终生成大型矩阵，矩阵的格式为：[时间步数，矩阵行数，矩阵列数，特征数]；
e、通过历史火点数据生成目标样本矩阵，目标样本矩阵的大小和步骤d中生成的大型矩阵保持一致；
f、将目标样本矩阵的数据和步骤d中生成的大型矩阵的数据进行映射，并将整个数据分成不同大小的数据集，即可形成batch数据；
F、基于batch数据构建深度网络模型，所述深度网络模型包括卷积层、融合层、LSTM层、全连接层；
所述卷积层是由多个卷积单元堆叠而成，每个卷积单元采用如下方法得到：首先将batch数据作为输入矩阵进行卷积计算得到卷积结果，所述卷积计算公式为：C＝A*B，其中*表示卷积运算，A表示输入矩阵和一个B卷积核矩阵，所述卷积运算采用如下的离散计算公式：其中m,n为卷积核的大小值。wm,n为卷积核中m,n位置的值，b为偏执项；然后将得到的卷积结果进行最大池化得到卷积单元
所述融合层对得到的卷积单元采用ADD方法进行融合，具体的，将卷积层得到的卷积单元进行flatten展开，并加入新的特征，所述新的特征的shape和输入的矩阵大小一致，再按照时间维度进行stack，得到融合矩阵[batch_size,time_steps,depth]，其中depth＝w*h；
所述LSTM层包括LSTMCell层、dropper层和full-connect层，将融合矩阵[batch_size,time_steps,depth]输入LSTMCell层后再依次经过dropper层和full-connect层处理并使用结果函数进行输出得到LSTM数据，所述结果函数采用维tanh函数输出，所述维tanh函数如下所述：
所述全连接层将得到LSTM数据以及从batch数据中提取的当日气象数据进行融合处理；
G、采用多epoch对深度网络模型进行训练，并采用多GPU来进行深度网络模型的训练，CPU负责参数的更新，而GPU来进行网络的训练，得到最终的山火预测模型。
5.如权利要求4所述的基于深度网络学习的山火预测方法，其特征在于：在B步骤中，所述时间分辨率融合方法具体如下所述：
将第d天气象指标m在每小时的观察数据md,i(i∈0,…,23)按天进行聚合生成相应统计指标，包括：当日最大值max_md、最小值min_md、极差值range_md、当日总量total_md；
其中，max_md＝max(md,i)(i∈0,…,23)
min_md＝min(md,i)(i∈0,…,23)
range_md＝max(md,i)-min(md,i)(i∈0,…,23)
total_md＝sum(md,i)(i∈0,…,23)
最大值max_md、最小值min_md用于温度、湿度、降雨、风速，极差值range_md统用于温度、湿度，当日总量total_md用于降雨水平。
6.如权利要求5所述的基于深度网络学习的山火预测方法，其特征在于：在C步骤中，所述空间数据融合方法采用紧邻匹配法或krige插值方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811209832.9A CN109472396B (zh) | 2018-10-17 | 2018-10-17 | 基于深度网络学习的山火预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811209832.9A CN109472396B (zh) | 2018-10-17 | 2018-10-17 | 基于深度网络学习的山火预测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109472396A true CN109472396A (zh) | 2019-03-15 |
| CN109472396B CN109472396B (zh) | 2023-06-20 |
Family
ID=65665116
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811209832.9A Active CN109472396B (zh) | 2018-10-17 | 2018-10-17 | 基于深度网络学习的山火预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109472396B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110210676A (zh) * | 2019-06-06 | 2019-09-06 | 国网湖南省电力有限公司 | 输电线路山火长期形势预测方法及*** |
| CN111445011A (zh) * | 2020-04-01 | 2020-07-24 | 成都思晗科技股份有限公司 | 一种基于气象和遥感数据的山火预警方法 |
| CN111460733A (zh) * | 2020-04-01 | 2020-07-28 | 成都卡普数据服务有限责任公司 | 一种基于深度学习的山火预警方法 |
| CN111882128A (zh) * | 2020-07-28 | 2020-11-03 | 中原工学院 | 基于tcn的汛期气候趋势预测方法 |
| CN111931645A (zh) * | 2020-08-10 | 2020-11-13 | 成都思晗科技股份有限公司 | 一种基于遥感数据的实时山火风险监测方法 |
| CN112395924A (zh) * | 2019-08-16 | 2021-02-23 | 阿里巴巴集团控股有限公司 | 一种遥感监测方法及装置 |
| CN113486286A (zh) * | 2021-06-08 | 2021-10-08 | 电子科技大学 | 一种融合深度学习和物理模型的估测10-h死可燃物含水率的方法 |
| CN113553764A (zh) * | 2021-07-13 | 2021-10-26 | 广东工业大学 | 一种基于深度学习网络的山火预测方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105678419A (zh) * | 2016-01-05 | 2016-06-15 | 天津大学 | 细粒度的森林火灾概率预报*** |
| CN107104978A (zh) * | 2017-05-24 | 2017-08-29 | 赖洪昌 | 一种基于深度学习的网络风险预警方法 |
| US20180096253A1 (en) * | 2016-10-04 | 2018-04-05 | Civicscape, LLC | Rare event forecasting system and method |
| CN108009674A (zh) * | 2017-11-27 | 2018-05-08 | 上海师范大学 | 基于cnn和lstm融合神经网络的空气pm2.5浓度预测方法 |
| CN108510132A (zh) * | 2018-07-03 | 2018-09-07 | 华际科工（北京）卫星通信科技有限公司 | 一种基于lstm的海表面温度预测方法 |
| CN108520363A (zh) * | 2018-04-18 | 2018-09-11 | 电子科技大学 | 一种用于预测未来时相森林火灾发生风险的评估方法 |
-
2018
- 2018-10-17 CN CN201811209832.9A patent/CN109472396B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105678419A (zh) * | 2016-01-05 | 2016-06-15 | 天津大学 | 细粒度的森林火灾概率预报*** |
| US20180096253A1 (en) * | 2016-10-04 | 2018-04-05 | Civicscape, LLC | Rare event forecasting system and method |
| CN107104978A (zh) * | 2017-05-24 | 2017-08-29 | 赖洪昌 | 一种基于深度学习的网络风险预警方法 |
| CN108009674A (zh) * | 2017-11-27 | 2018-05-08 | 上海师范大学 | 基于cnn和lstm融合神经网络的空气pm2.5浓度预测方法 |
| CN108520363A (zh) * | 2018-04-18 | 2018-09-11 | 电子科技大学 | 一种用于预测未来时相森林火灾发生风险的评估方法 |
| CN108510132A (zh) * | 2018-07-03 | 2018-09-07 | 华际科工（北京）卫星通信科技有限公司 | 一种基于lstm的海表面温度预测方法 |
Non-Patent Citations (2)
| Title |
|---|
| 孔亚奇: "基于弱监督深度网络的火灾检测技术研究与实现", 《工程科技Ⅰ辑》 * |
| 林作永等: "基于深度卷积神经网络的火灾预警算法研究", 《信息通信》 * |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110210676A (zh) * | 2019-06-06 | 2019-09-06 | 国网湖南省电力有限公司 | 输电线路山火长期形势预测方法及*** |
| CN112395924B (zh) * | 2019-08-16 | 2024-02-20 | 阿里巴巴集团控股有限公司 | 一种遥感监测方法及装置 |
| CN112395924A (zh) * | 2019-08-16 | 2021-02-23 | 阿里巴巴集团控股有限公司 | 一种遥感监测方法及装置 |
| CN111445011B (zh) * | 2020-04-01 | 2023-07-28 | 成都思晗科技股份有限公司 | 一种基于气象和遥感数据的山火预警方法 |
| CN111445011A (zh) * | 2020-04-01 | 2020-07-24 | 成都思晗科技股份有限公司 | 一种基于气象和遥感数据的山火预警方法 |
| CN111460733A (zh) * | 2020-04-01 | 2020-07-28 | 成都卡普数据服务有限责任公司 | 一种基于深度学习的山火预警方法 |
| CN111460733B (zh) * | 2020-04-01 | 2023-10-03 | 成都卡普数据服务有限责任公司 | 一种基于深度学习的山火预警方法 |
| CN111882128B (zh) * | 2020-07-28 | 2021-09-28 | 中原工学院 | 基于tcn的汛期气候趋势预测方法 |
| CN111882128A (zh) * | 2020-07-28 | 2020-11-03 | 中原工学院 | 基于tcn的汛期气候趋势预测方法 |
| CN111931645B (zh) * | 2020-08-10 | 2023-05-23 | 成都思晗科技股份有限公司 | 一种基于遥感数据的实时山火风险监测方法 |
| CN111931645A (zh) * | 2020-08-10 | 2020-11-13 | 成都思晗科技股份有限公司 | 一种基于遥感数据的实时山火风险监测方法 |
| CN113486286B (zh) * | 2021-06-08 | 2023-04-07 | 电子科技大学 | 一种融合深度学习和物理模型的估测10-h死可燃物含水率的方法 |
| CN113486286A (zh) * | 2021-06-08 | 2021-10-08 | 电子科技大学 | 一种融合深度学习和物理模型的估测10-h死可燃物含水率的方法 |
| CN113553764A (zh) * | 2021-07-13 | 2021-10-26 | 广东工业大学 | 一种基于深度学习网络的山火预测方法 |
| CN113553764B (zh) * | 2021-07-13 | 2023-08-04 | 广东工业大学 | 一种基于深度学习网络的山火预测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109472396B (zh) | 2023-06-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109472396A (zh) | 基于深度网络学习的山火预测方法 | |
| CN109508476A (zh) | 基于深度网络学习的山火预测建模方法 | |
| CN114493050B (zh) | 多维度融合的新能源功率并联预测方法和装置 | |
| CN104217384A (zh) | 一种核事故应急处理及辅助决策支持*** | |
| CN116882211B (zh) | 一种基于数字孪生的水库水情预报仿真方法和*** | |
| CN114493052B (zh) | 多模型融合自适应新能源功率预测方法和*** | |
| CN110175375A (zh) | 一种基于深度学习的地表太阳辐射计算方法 | |
| CN115391474A (zh) | 一种基于数字孪生的流域管理方法及*** | |
| CN108491649A (zh) | 一种风电场数字化平台的设计方法以及处理设备 | |
| CN111968019A (zh) | 一种基于cnn与rnn集成的滑坡灾害易发性预测方法 | |
| CN117351521B (zh) | 基于数字孪生的输电线鸟类检测方法、***、介质及设备 | |
| CN115733244A (zh) | 一种区域电网数字孪生方法、***及存储介质 | |
| CN114463616A (zh) | 一种基于Stacking与EMOS-CSG的多源卫星降水融合方法 | |
| CN106446546A (zh) | 基于卷积自动编解码算法的气象数据填补方法 | |
| TWI587222B (zh) | 基於類神經網路之水庫水位預測系統及方法 | |
| CN106771847B (zh) | 一种35kV配电网输电线路雷击风险预测方法 | |
| CN112381332A (zh) | 一种基于聚落对象的人口空间分布预测方法 | |
| CN114418243B (zh) | 分布式新能源云端网格预测方法与*** | |
| CN106202920A (zh) | 一种单站海面气压的数值预报释用方法 | |
| CN113869804B (zh) | 一种洪涝灾害下的电网设备风险预警方法及*** | |
| CN115830807A (zh) | 一种矿山安全预警方法、***、设备及介质 | |
| CN113779892B (zh) | 一种风速和风向的预测方法 | |
| Gao et al. | Research on integrated management platform of smart park based on CIM | |
| Lin et al. | Integrating ANFIS and Qt Framework to Develop a Mobile‐Based Typhoon Rainfall Forecasting System | |
| CN114552570A (zh) | 一种海上风电功率预测管理*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20230112 Address after: 610000 1, 3, 1, 366 north section of lakeside road, Tianfu New District, Chengdu, Sichuan Applicant after: Chengdu Cap Data Service Co.,Ltd. Address before: Room 503, 5th floor, unit 1, building 12, 333 Taihe 2nd Street, high tech Zone, Chengdu, Sichuan 610041 Applicant before: SICHUAN JIALIAN ZHONGHE ENTERPRISE MANAGEMENT CONSULTATION Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |