CN109002917A - 基于lstm神经网络的粮食总产量多维时间序列预测方法 - Google Patents
基于lstm神经网络的粮食总产量多维时间序列预测方法 Download PDFInfo
- Publication number
- CN109002917A CN109002917A CN201810775772.0A CN201810775772A CN109002917A CN 109002917 A CN109002917 A CN 109002917A CN 201810775772 A CN201810775772 A CN 201810775772A CN 109002917 A CN109002917 A CN 109002917A
- Authority
- CN
- China
- Prior art keywords
- lstm
- indicate
- layers
- input
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 51
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000012545 processing Methods 0.000 claims abstract description 7
- 238000012549 training Methods 0.000 claims description 42
- 239000011159 matrix material Substances 0.000 claims description 32
- 230000004913 activation Effects 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 9
- 210000002569 neuron Anatomy 0.000 claims description 4
- 230000001186 cumulative effect Effects 0.000 claims description 3
- 238000013461 design Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 210000004218 nerve net Anatomy 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 7
- 241001269238 Data Species 0.000 abstract description 5
- 230000008034 disappearance Effects 0.000 abstract description 3
- 235000013339 cereals Nutrition 0.000 description 36
- 238000012360 testing method Methods 0.000 description 27
- 238000010586 diagram Methods 0.000 description 9
- 238000002474 experimental method Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 240000008042 Zea mays Species 0.000 description 4
- 235000005824 Zea mays ssp. parviglumis Nutrition 0.000 description 4
- 235000002017 Zea mays subsp mays Nutrition 0.000 description 4
- 235000005822 corn Nutrition 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 244000068988 Glycine max Species 0.000 description 3
- 235000010469 Glycine max Nutrition 0.000 description 3
- 241000209140 Triticum Species 0.000 description 3
- 235000021307 Triticum Nutrition 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006386 memory function Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- YHXISWVBGDMDLQ-UHFFFAOYSA-N moclobemide Chemical compound C1=CC(Cl)=CC=C1C(=O)NCCN1CCOCC1 YHXISWVBGDMDLQ-UHFFFAOYSA-N 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/02—Agriculture; Fishing; Forestry; Mining
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Strategic Management (AREA)
- Human Resources & Organizations (AREA)
- General Physics & Mathematics (AREA)
- Economics (AREA)
- Health & Medical Sciences (AREA)
- Marketing (AREA)
- Life Sciences & Earth Sciences (AREA)
- Tourism & Hospitality (AREA)
- General Health & Medical Sciences (AREA)
- General Business, Economics & Management (AREA)
- Animal Husbandry (AREA)
- Biomedical Technology (AREA)
- Operations Research (AREA)
- Agronomy & Crop Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Marine Sciences & Fisheries (AREA)
- Mining & Mineral Resources (AREA)
- Game Theory and Decision Science (AREA)
- Development Economics (AREA)
- Primary Health Care (AREA)
- Artificial Intelligence (AREA)
- Quality & Reliability (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开一种基于LSTM神经网络的粮食总产量多维时间序列预测方法，基于LSTM神经网络，采用多种农产品的产量数据作为LSTM神经网络输入数据的多个维度变量，建立基于LSTM神经网络的多维时间序列预测模型，因为考虑了多种农产品的产量数据，且采用叠加的LSTM来处理序列数据信息，避免了梯度消失问题，预测效果好，精度高，适用性好。
Description
技术领域
本发明涉及一种粮食总产量预测方法，具体的说，是一种基于LSTM神经网络的粮食总产量多维时间序列预测方法，属于粮食产量预测领域。
背景技术
目前对于粮食产量预测领域的研究，已经形成了多种预测方法，如指数平滑模型、灰色预测法、ARIMA模型、遥感技术预测模型、统计动力学生长模型、气象产量预测模型、神经网络模型等。经调研，这些方法大多只使用粮食产量的历史数据对未来一段时间内的粮食产量进行预测，而粮食的总产量往往受其他农产品的影响，如种植面积一定的情况下种植玉米的农田面积增大时种植其他农作物的农田面积就相对减小，相应的农作物产量就相对减少。因此，将多种农产品作为多个维度对粮食总产量进行预测，其精确度相对较高。
随着深度学习技术的迅速发展，循环神经网络(RNN)已经在多个领域得到了广泛的应用，并取得了良好的效果。而在处理时间序列问题上循环神经网络是最常用的工具，因为它具有记忆功能，可以记住前几次的结果。但是它的记忆功能有限，不能够记住很久很久之前的结果，进而无法解决长距离依赖问题。
发明内容
本发明要解决的技术问题是提供一种基于LSTM神经网络的粮食总产量多维时间序列预测方法，建立基于LSTM神经网络的多维时间序列预测模型，采用多种农产品的产量数据作为输入数据的多个维度变量，预测效果好，精度高。
为了解决所述技术问题，本发明采用的技术方案是：基于LSTM神经网络的粮食总产量多维时间序列预测方法，包括以下步骤：S01)、对输入数据进行预处理，取过去特定时间段内的多种农产品产量数据作为LSTM神经网络的训练集，对LSTM神经网络进行训练前，首先对训练集的数据进行归一化的预处理，设训练集为矩阵X，
经过归一化处理之后变为矩阵：
其中i＝1,2,...,n，j＝1,2,...,24,这里为矩阵XR第j列变量的最小值，为矩阵XR第j列变量的最大值，为矩阵XR第j列变量的极差，经过变换后，所得农产品产量数值均在0-1之间，完成了归一化处理；
S02)、设计LSTM神经网络架构，LSTM神经网络架构包括输入层、LSTM层、Dropout层、LSTM层、Dropout层、Dense层和输出层，输入层输入经过预处理的数据，然后依次经过LSTM层、Dropout层、LSTM层、Dropout层、Dense层的迭代运算，最后输出预测结果；其中LSTM层使用LSTM函数对输入数据进行计算；Dropout层为了防止训练出来的模型过拟合，它在模型训练过程中更新参数时暂时随机断开指定数量的神经元；Dense层是全连接层，其运算为output＝activation(dot(input,weight)+bias)，其中activation是激活函数，dot为矩阵相乘运算，input是Dense层的输入，也是输入层的数据依次经过LSTM层、Dropout层、LSTM层、Dropout层的运算得到的输出值，weight是权重矩阵，bias为偏置值，output就是最后输出的预测结果。
进一步的，LSTM层采用累加的线性形式来处理序列数据信息，LSTM层内部的计算过程为；
ft＝σ(Wf·[ht-1,Xt]+bf) (1)，
it＝σ(Wi·[ht-1,Xt]+bi) (2)，
ot＝σ(Wo·[ht-1,Xt]+bo) (5)，
ht＝ot·tanh(ct) (6)，
其中，ft表示遗忘门，σ表示sigmoid函数，Wf表示遗忘门的权重矩阵，ht-1表示上一时刻的输出，Xt表示当前时刻的输入数据，[ht-1,Xt]表示将ht-1、Xt在水平方向拼接为一个长向量，bf表示遗忘门的偏置值，it表示输入门，Wi表示输入门的权重矩阵，bi表示输入门的偏置值，表示当前输入的单元状态，Wc表示当前输入的单元状态的权重矩阵，bc表示当前输入的单元状态的偏置值，ct表示当前时刻的单元状态，它是由遗忘门ft乘以上一时刻的单元状态ct-1，再加上输入门it乘以当前输入的单元状态ot表示输出门，Wo表示输出门的权重矩阵，bo表示输出门的偏置值，ht表示最终的输出，它由输出门ot乘以当前时刻单元状态ct的tanh函数值。
进一步的，激活函数为ReLU函数。
进一步的，LSTM层的输入数据是形状为(samples，timesteps，input_dim)的3D张量，samples表示样本数量，timesteps表示时间窗口的长度，input_dim表示输入数据的维度。
进一步的，取训练集时，以年份为单元，取过去M年的多种农产品产量数据作为LSTM神经网络的训练集，M为正整数。
本发明的有益效果：本发明基于LSTM神经网络，采用多种农产品的产量数据作为LSTM神经网络输入数据的多个维度变量，建立基于LSTM神经网络的多维时间序列预测模型，因为考虑了多种农产品的产量数据，且采用叠加的LSTM来处理序列数据信息，避免了梯度消失问题，预测效果好，精度高，适用性好。
附图说明
图1为LSTM门结构的示意图；
图2为LSTM神经网络架构的示意图；
图3为实验1中测试损失值和训练损失值的示意图，其中曲线A表示训练损失值，曲线B表示测试损失值；
图4为实验1中粮食产量真实数据与预测数据对比结果的示意图；
图5为实验2中测试损失值和训练损失值的示意图，其中曲线C表示训练损失值，曲线D表示测试损失值；
图6为实验2中粮食产量真实数据与预测数据对比结果的示意图；
图7为实验3中测试损失值和训练损失值的示意图，其中曲线E表示训练损失值，曲线F表示测试损失值；
图8为实验3中粮食产量真实数据与预测数据对比结果的示意图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步的说明。
本实施例公开一种基于LSTM神经网络的粮食总产量多维时间序列预测方法，包括以下步骤：
S01)、输入数据的预处理
在工程实践中，我们得到的数据往往是不完整、含噪声、不一致、重复的，而在众多的深度学习算法中输入数据的质量又决定了训练过程中模型的好坏，因此我们在使用数据对模型进行训练前，需对数据进行预处理。数据预处理的过程通常不是固定的，它通常因任务和数据集属性的不同而不同。
在深度学习领域，使用训练集对模型进行训练前，通常需要对数据进行归一化预处理操作，主要是为了将数据限制在[0,1]范围内，加快模型训练时的收敛速度，便于数据的处理。本实施例中根据训练集的特征同样对训练集进行了归一化处理操作。归一化处理有多种方式，本实施例中我们采用的归一化处理计算公式如下所示。
设数据集为矩阵X，则
经过归一化处理之后变为矩阵：
其中i＝1,2,...,n，j＝1,2,...,24,这里为矩阵XR第j列变量的最小值，为矩阵XR第j列变量的最大值，为矩阵XR第j列变量的极差，经过变换后，所得农产品产量数值均在0-1之间，完成了归一化处理；
S02)、设计LSTM神经网络架构
在深度学习模型的训练过程中，网络架构的设计起着至关重要的作用，它决定了模型的好坏，直接影响数据的预测结果。本实施例中使用keras框架来实现深度学习的快速原型，因为keras提供了多种网络框架以供用户选择，用户可以以现有的框架为基础，根据自己的需求设计新的网络原型；同时，构建各种网络时所需的代码比较少、设计速度快。
本实施例中选用堆叠的LSTM网络架构对粮食总产量进行预测，LSTM神经网络架构如图2所示，包括输入层、LSTM层、Dropout层、LSTM层、Dropout层、Dense层和输出层，输入层输入经过预处理的数据，然后依次经过LSTM层、Dropout层、LSTM层、Dropout层、Dense层的迭代运算，最后输出预测结果；其中LSTM层使用LSTM函数对输入数据进行计算；Dropout层为了防止训练出来的模型过拟合，它在模型训练过程中更新参数时暂时随机断开指定数量的神经元；Dense层是全连接层，其运算为output＝activation(dot(input,weight)+bias)，其中activation是激活函数，dot为矩阵相乘运算，input是Dense层的输入，也是输入数据依次经过LSTM层、Dropout层、LSTM层、Dropout层的运算得到的输出值，weight是权重矩阵，bias为偏置值，output就是最后输出的预测结果。dot(input,weight)表示输入数据与权重矩阵相乘。
本实施例中，LSTM层的输入数据是形状为(samples，timesteps，input_dim)的3D张量，samples表示样本数量，timesteps表示时间窗口的长度，input_dim表示输入数据的维度。激活函数为ReLU函数。
本实施例中，LSTM网络架构采用了两个LSTM进行叠加，包括两个LSTM层，每个LSTM层后面跟随一个Dropout层，每个Dropout层分别对其前面的LSTM层在模型训练过程中更新参数时暂时随机断开指定数量的神经元，用于防止训练出来的模型过拟合。
如图1所示，为LSTM门结构的示意图，X表示输入数据，h表示输出数据，C表示单元状态的值。单元状态C的内容主要是通过遗忘门和输入门来控制。当前时刻的单元状态内容是由部分上一时刻单元状态内容Ct-1和部分当前的输入Xt组成，包含上一时刻单元状态内容的多少由忘记门来控制，包含当前输入的多少由输入门来控制。ht表示当前的输出值，它是单元状态内容的一部分，它的值由输出门来控制。LSTM层的计算过程为：
ft＝σ(Wf·[ht-1,Xt]+bf) (1)，
it＝σ(Wi·[ht-1,Xt]+bi) (2)，
ot＝σ(Wo·[ht-1,Xt]+bo) (5)，
ht＝ot·tanh(ct) (6)，
其中，ft表示遗忘门，σ表示sigmoid函数，Wf表示遗忘门的权重矩阵，ht-1表示上一时刻的输出，Xt表示当前时刻的输入数据，[ht-1,Xt]表示将ht-1、Xt在水平方向拼接为一个长向量，bf表示遗忘门的偏置值，it表示输入门，Wi表示输入门的权重矩阵，bi表示输入门的偏置值，表示当前输入的单元状态，Wc表示当前输入的单元状态的权重矩阵，bc表示当前输入的单元状态的偏置值，ct表示当前时刻的单元状态，它是由遗忘门ft乘以上一时刻的单元状态ct-1，再加上输入门it乘以当前输入的单元状态ot表示输出门，Wo表示输出门的权重矩阵，bo表示表示输出门的偏置值，ht表示最终的输出，它由输出门ot乘以当前时刻单元状态ct的tanh函数值。
由LSTM的训练计算过程可知，LSTM层采用累加的线性形式来处理序列数据信息，避免了梯度消失问题，也能够学到距离较长的上下文信息。
本实施例中，取训练集时，以年份为单元，取过去M年的多种粮食产量数据作为LSTM神经网络的训练集，M为正整数。
下面结合具体的实验对本预测方法的预测效果、精确度进行分析。
实验1，基于LSTM神经网络进行多维时间序列预测
本实验中，基于LSTM神经网络使用多维变量对粮食总产量进行预测，使用大豆、小麦、玉米、稻谷、粮食的产量数据作为输入数据的多个维度变量，根据过去的历史数据对未来的粮食总产量进行预测。本实验中选取1949年-1999年的农产品(大豆、小麦、玉米、稻谷、粮食)产量数据作为训练数据集，选取2000年至2005年的农产品产量数据作为测试数据集。部分数据格式如表1所示。
表1大豆、小麦、玉米、稻谷、粮食产量部分数据表
本实验中采用均方差(MSE)作为损失函数对模型进行性能度量。图3显示了多维时间序列LSTM模型训练过程中的测试和训练损失曲线图。
图3显示了模型在每次迭代结束时测试数据与训练数据的输出损失值。在模型训练结束后，该模型对测试数据集的最终均方差(MSE)值为0.00914，取得了较高的精确度。
使用训练好的模型对2000年至2005年的测试数据进行预测，并对预测值进行反归一化，还原后的预测数据与真实数据对比结果如下图4所示。
由图4可知，基于LSTM神经网络的多维时间序列预测模型对测试数据有着较好的拟合效果，预测数据与真实数据及其预测误差如表2所示。
表2 2000年-2005年粮食产量真实数据与预测数据对比
| 年份 | 真实值 | 预测值 | 误差率 |
| 2000 | 3837.7 | 3908.106 | 1.835％ |
| 2001 | 3720.6 | 3657.555 | 1.694％ |
| 2002 | 3292.7 | 3378.649 | 2.610％ |
| 2003 | 3435.5 | 3402.470 | 0.961％ |
| 2004 | 3516.7 | 3463.012 | 1.527％ |
| 2005 | 3917.4 | 3985.137 | 1.729％ |
从表2中可以看出基于LSTM神经网络的多维时间序列预测模型误差很小，大部分数据的误差小于2％，具有很高的预测准确率。
实验2，基于LSTM神经网络的一维时间序列预测
基于LSTM神经网络的一维时间序列预测指基于LSTM神经网络利用粮食产量历史数据对下一年的粮食产量进行预测。它与多维时间序列预测最大的不同是只使用粮食总产量数据(一维数据)作为训练与测试数据。实验中选取1949年-1999年的粮食总产量数据作为训练数据集，选取2000年至2005年的粮食总产量数据作为测试数据集。采用均方差(MSE)作为损失函数对模型进行性能度量。LSTM一维时间序列模型训练过程中的测试、训练损失值图如图5所示。
图5显示了100次迭代过程中训练数据和测试数据的损失值。模型训练完成后，使用训练好的模型对2000年至2005年的测试数据进行预测，并对预测值进行反归一化，还原后的预测数据与真实数据对比结果如图6所示。预测数据与真实数据及其预测误差如表3所示。
表3 2000年-2005年粮食产量真实数据与预测数据对比
实验3、基于BP神经网络的粮食产量预测
BP神经网络是一种根据反向传播算法计算误差进行模型训练的网络。它主要是对人类的大脑进行模拟，模型训练时只需给定输入数据和输出数据，不用描述变量的映射关系，它会自动存储和学习输入输出数据，具有很强的非线性***模拟能力。本文中采用包含一个输入层、三个隐含层、一个输出层的BP神经网络结构对粮食总产量进行预测。实验中选取1949年-1999年的粮食产量数据作为训练数据集，选取2000年至2005年的粮食产量数据作为测试数据集。采用均方差(MSE)作为损失函数对模型进行性能度量。图7显示了BP神经网络模型训练过程中的测试和训练损失值曲线图。
使用训练好的模型对2000年至2005年的测试数据进行预测，真实数据与预测数据对比结果如图8所示。
预测数据与真实数据及其预测误差如表4所示。
表4 2000年-2005年粮食产量真实数据与预测数据对比
| 年份 | 真实值 | 预测值 | 误差率 |
| 2000 | 3837.7 | 4060.180 | 5.797％ |
| 2001 | 3720.6 | 3905.564 | 4.971％ |
| 2002 | 3292.7 | 3445.498 | 4.641％ |
| 2003 | 3435.5 | 3556.124 | 3.511％ |
| 2004 | 3516.7 | 3476.882 | 1.132％ |
| 2005 | 3917.4 | 4112.364 | 4.977％ |
上文中分别使用了基于LSTM神经网络的多维时间序列预测模型、基于LSTM神经网络的一维时间序列预测模型、BP神经网络模型对2000年-2005年的粮食总产量进行了预测。实验中可以看出基于LSTM神经网络的多维时间序列预测模型的预测误差最小，BP神经网络模型的预测误差最大。
为了更直观的对三种方法进行比较，表5使用平均百分误差(MAPE)来计算三种方法的预测误差。平均百分误差如下表所示。
表5三种预测方法MAPE值对比
| 方法 | 平均百分误差 |
| 基于LSTM神经网络的多维时间序列预测 | 1.726％ |
| 基于LSTM神经网络的一维时间序列预测 | 3.973％ |
| 基于BP神经网络的粮食产量预测 | 4.172％ |
上述结果表明，基于LSTM神经网络的多维时间序列预测方法的平均百分误差远小于一维时间序列预测方法以及多层BP神经网络预测方法，达到了良好的预测效果。
以上描述的仅是本发明的基本原理和优选实施例，本领域技术人员根据本发明做出的改进和替换，属于本发明的保护范围。
Claims (5)
1.基于LSTM神经网络的粮食总产量多维时间序列预测方法，其特征在于：包括以下步骤：S01)、对输入数据进行预处理，取过去特定时间段内的多种农产品产量数据作为LSTM神经网络的训练集，对LSTM神经网络进行训练前，首先对训练集的数据进行归一化的预处理，设训练集为矩阵X，
经过归一化处理之后变为矩阵：
其中i＝1,2,...,n，j＝1,2,...,24,这里
为矩阵XR第j列变量的最小值，为矩阵XR第j列变量的最大值，为矩阵XR第j列变量的极差，经过变换后，所得农产品产量数值均在0-1之间，完成了归一化处理；
S02)、设计LSTM神经网络架构，LSTM神经网络架构包括输入层、LSTM层、Dropout层、LSTM层、Dropout层、Dense层和输出层，输入层输入经过预处理的数据，然后依次经过LSTM层、Dropout层、LSTM层、Dropout层、Dense层的迭代运算，最后输出预测结果；其中LSTM层使用LSTM函数对输入数据进行计算；Dropout层为了防止训练出来的模型过拟合，它在模型训练过程中更新参数时暂时随机断开指定数量的神经元；Dense层是全连接层，其运算为output＝activation(dot(input,weight)+bias)，其中activation是激活函数，dot为矩阵相乘运算函数，input是Dense层的输入，也是输入层的数据依次经过LSTM层、Dropout层、LSTM层、Dropout层的运算得到的输出值，weight是权重矩阵，bias为偏置值，output就是最后输出的预测结果。
2.根据权利要求1所述的基于LSTM神经网络的粮食总产量多维时间序列预测方法，其特征在于：LSTM层采用累加的线性形式来处理序列数据信息，LSTM层内部的计算过程为；
ft＝σ(Wf·[ht-1,Xt]+bf) (1)，
it＝σ(Wi·[ht-1,Xt]+bi) (2)，
ot＝σ(Wo·[ht-1,Xt]+bo) (5)，
ht＝ot·tanh(ct) (6)，
其中，ft表示遗忘门，σ表示sigmoid函数，Wf表示遗忘门的权重矩阵，ht-1表示上一时刻的输出，Xt表示当前时刻的输入数据，[ht-1,Xt]表示将ht-1、Xt在水平方向拼接为一个长向量，bf表示遗忘门的偏置值，it表示输入门，Wi表示输入门的权重矩阵，bi表示输入门的偏置值，表示当前输入的单元状态，Wc表示当前输入的单元状态的权重矩阵，bc表示当前输入的单元状态的偏置值，ct表示当前时刻的单元状态，它是由遗忘门ft乘以上一时刻的单元状态ct-1，再加上输入门it乘以当前输入的单元状态ot表示输出门，Wo表示输出门的权重矩阵，bo表示输出门的偏置值，ht表示最终的输出，它由输出门ot乘以当前时刻单元状态ct的tanh函数值。
3.根据权利要求1所述的基于LSTM神经网络的粮食总产量多维时间序列预测方法，其特征在于：激活函数为ReLU函数。
4.根据权利要求1所述的基于LSTM神经网络的粮食总产量多维时间序列预测方法，其特征在于：LSTM层的输入数据是形状为(samples，timesteps，input_dim)的3D张量，samples表示样本数量，timesteps表示时间窗口的长度，input_dim表示输入数据的维度。
5.根据权利要求1所述的基于LSTM神经网络的粮食总产量多维时间序列预测方法，其特征在于：取训练集时，以年份为单元，取过去M年的多种农产品产量数据作为LSTM神经网络的训练集，M为正整数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810775772.0A CN109002917A (zh) | 2018-07-13 | 2018-07-13 | 基于lstm神经网络的粮食总产量多维时间序列预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810775772.0A CN109002917A (zh) | 2018-07-13 | 2018-07-13 | 基于lstm神经网络的粮食总产量多维时间序列预测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109002917A true CN109002917A (zh) | 2018-12-14 |
Family
ID=64599316
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810775772.0A Pending CN109002917A (zh) | 2018-07-13 | 2018-07-13 | 基于lstm神经网络的粮食总产量多维时间序列预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109002917A (zh) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109756632A (zh) * | 2018-12-19 | 2019-05-14 | 国家计算机网络与信息安全管理中心 | 一种基于多维时间序列的诈骗电话分析方法 |
| CN109816267A (zh) * | 2019-01-31 | 2019-05-28 | 中国农业科学院农业信息研究所 | 一种智能大豆生产管理方法及*** |
| CN109815959A (zh) * | 2018-12-27 | 2019-05-28 | 中国农业科学院农业环境与可持续发展研究所 | 一种冬小麦产量预测方法及装置 |
| CN109816095A (zh) * | 2019-01-14 | 2019-05-28 | 湖南大学 | 基于改进门控循环神经网络的网络流量预测方法 |
| CN110458361A (zh) * | 2019-08-14 | 2019-11-15 | 中储粮成都储藏研究院有限公司 | 基于bp神经网络的粮食品质指标预测方法 |
| CN110516846A (zh) * | 2019-07-26 | 2019-11-29 | 浙江工业大学 | 基于lstm神经网络的道路交叉口转向比预测方法 |
| CN110619418A (zh) * | 2019-07-26 | 2019-12-27 | 重庆大学 | 一种基于混合模型组合算法的多特征水质预测方法 |
| CN110751094A (zh) * | 2019-10-21 | 2020-02-04 | 北京师范大学 | 一种基于gee综合遥感影像和深度学习方法的作物估产技术 |
| CN111144552A (zh) * | 2019-12-27 | 2020-05-12 | 河南工业大学 | 一种粮食品质多指标预测方法及装置 |
| CN111582560A (zh) * | 2020-04-22 | 2020-08-25 | 空间信息产业发展股份有限公司 | 一种基于循环神经网络的水稻产量预测方法 |
| CN111932016A (zh) * | 2020-08-13 | 2020-11-13 | 河北农业大学 | 一种基于arima-grnn模型的粮食产量预测方法 |
| CN112232549A (zh) * | 2020-09-21 | 2021-01-15 | 中国农业科学院农业信息研究所 | 一种智能农产品数据预测方法及*** |
| CN112329524A (zh) * | 2020-09-25 | 2021-02-05 | 泰山学院 | 基于深度时序神经网络的信号分类识别方法、***及设备 |
| CN114418071A (zh) * | 2022-01-24 | 2022-04-29 | 中国光大银行股份有限公司 | 循环神经网络训练方法 |
| CN116976956A (zh) * | 2023-09-22 | 2023-10-31 | 通用技术集团机床工程研究院有限公司 | Crm***商机成交预测方法、装置、设备及存储介质 |
-
2018
- 2018-07-13 CN CN201810775772.0A patent/CN109002917A/zh active Pending
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109756632A (zh) * | 2018-12-19 | 2019-05-14 | 国家计算机网络与信息安全管理中心 | 一种基于多维时间序列的诈骗电话分析方法 |
| CN109815959A (zh) * | 2018-12-27 | 2019-05-28 | 中国农业科学院农业环境与可持续发展研究所 | 一种冬小麦产量预测方法及装置 |
| CN109816095B (zh) * | 2019-01-14 | 2023-04-07 | 湖南大学 | 基于改进门控循环神经网络的网络流量预测方法 |
| CN109816095A (zh) * | 2019-01-14 | 2019-05-28 | 湖南大学 | 基于改进门控循环神经网络的网络流量预测方法 |
| CN109816267A (zh) * | 2019-01-31 | 2019-05-28 | 中国农业科学院农业信息研究所 | 一种智能大豆生产管理方法及*** |
| CN110516846A (zh) * | 2019-07-26 | 2019-11-29 | 浙江工业大学 | 基于lstm神经网络的道路交叉口转向比预测方法 |
| CN110619418A (zh) * | 2019-07-26 | 2019-12-27 | 重庆大学 | 一种基于混合模型组合算法的多特征水质预测方法 |
| CN110458361A (zh) * | 2019-08-14 | 2019-11-15 | 中储粮成都储藏研究院有限公司 | 基于bp神经网络的粮食品质指标预测方法 |
| CN110751094A (zh) * | 2019-10-21 | 2020-02-04 | 北京师范大学 | 一种基于gee综合遥感影像和深度学习方法的作物估产技术 |
| CN111144552A (zh) * | 2019-12-27 | 2020-05-12 | 河南工业大学 | 一种粮食品质多指标预测方法及装置 |
| CN111144552B (zh) * | 2019-12-27 | 2023-04-07 | 河南工业大学 | 一种粮食品质多指标预测方法及装置 |
| CN111582560A (zh) * | 2020-04-22 | 2020-08-25 | 空间信息产业发展股份有限公司 | 一种基于循环神经网络的水稻产量预测方法 |
| CN111582560B (zh) * | 2020-04-22 | 2023-05-23 | 空间信息产业发展股份有限公司 | 一种基于循环神经网络的水稻产量预测方法 |
| CN111932016A (zh) * | 2020-08-13 | 2020-11-13 | 河北农业大学 | 一种基于arima-grnn模型的粮食产量预测方法 |
| CN112232549A (zh) * | 2020-09-21 | 2021-01-15 | 中国农业科学院农业信息研究所 | 一种智能农产品数据预测方法及*** |
| CN112329524A (zh) * | 2020-09-25 | 2021-02-05 | 泰山学院 | 基于深度时序神经网络的信号分类识别方法、***及设备 |
| CN114418071A (zh) * | 2022-01-24 | 2022-04-29 | 中国光大银行股份有限公司 | 循环神经网络训练方法 |
| CN116976956A (zh) * | 2023-09-22 | 2023-10-31 | 通用技术集团机床工程研究院有限公司 | Crm***商机成交预测方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109002917A (zh) | 基于lstm神经网络的粮食总产量多维时间序列预测方法 | |
| CN110378435B (zh) | 一种基于卷积神经网络的苹果叶片病害识别的方法 | |
| Murray-Smith | A local model network approach to nonlinear modelling | |
| CN106022954B (zh) | 基于灰色关联度的多重bp神经网络负荷预测方法 | |
| CN102622515B (zh) | 一种天气预测方法 | |
| CN102622418B (zh) | 一种基于bp神经网络的预测装置及设备 | |
| CN106778014A (zh) | 一种基于循环神经网络的患病风险预测方法 | |
| CN114492191A (zh) | 基于dbn-svr的热力站设备剩余寿命评估方法 | |
| Jiménez et al. | Evaluation of two recurrent neural network methods for prediction of irrigation rate and timing | |
| CN113553437A (zh) | 基于多尺度空洞卷积的时间知识图谱补全方法 | |
| CN107909202B (zh) | 一种基于时间序列的油井产液量集成预测方法 | |
| CN110533109A (zh) | 一种喷涂生产监测数据的存储及特征分析方法及其装置 | |
| CN114266387A (zh) | 一种输变电工程工期预测方法、***、设备及存储介质 | |
| CN109886405A (zh) | 一种抑制噪声的基于人工神经网络结构优化方法 | |
| CN115905848A (zh) | 基于多模型融合的化工过程故障诊断方法及*** | |
| Sara et al. | New learning approach for unsupervised neural networks model with application to agriculture field | |
| CN105675807A (zh) | 一种基于bp神经网络的莠去津残留评价方法 | |
| CN111353525A (zh) | 一种不均衡不完整数据集的建模及缺失值填补方法 | |
| CN110993121A (zh) | 一种基于双协同线性流形的药物关联预测方法 | |
| CN115392964A (zh) | 基于信号分解和深度学习的农产品价格预测方法及*** | |
| Manjula et al. | Efficient prediction of recommended crop variety through soil nutrients using deep learning algorithm | |
| CN114611804A (zh) | 基于tso-grnn组合模型的玉米产量预测方法 | |
| Hamdianah et al. | Comparison of neural network and recurrent neural network to predict Rice productivity in east Java | |
| Syarovy et al. | Utilization of Big Data in Oil Palm Plantation to Predict Production Using Artificial Neural Network Model | |
| CN112749807A (zh) | 一种基于生成模型的量子态层析方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20191225 Address after: 250101 4, B block, Yinhe building, 2008 Xinjie street, Ji'nan new and high tech Zone, Shandong. Applicant after: Shandong Yi Yun Information Technology Co., Ltd Address before: 250014 No. 7, East Street, Shimu Garden, Lixia District, Jinan City, Shandong Province Applicant before: Shandong Agricultural Information Center Applicant before: Shandong Yi Yun Information Technology Co., Ltd |
|
| TA01 | Transfer of patent application right | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181214 |
|
| RJ01 | Rejection of invention patent application after publication |