CN111950698A - 基于卷积-门控循环神经网络的水泥回转窑电耗预测方法 - Google Patents
基于卷积-门控循环神经网络的水泥回转窑电耗预测方法 Download PDFInfo
- Publication number
- CN111950698A CN111950698A CN202010630341.2A CN202010630341A CN111950698A CN 111950698 A CN111950698 A CN 111950698A CN 202010630341 A CN202010630341 A CN 202010630341A CN 111950698 A CN111950698 A CN 111950698A
- Authority
- CN
- China
- Prior art keywords
- time
- input
- output
- power consumption
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000004568 cement Substances 0.000 title claims abstract description 61
- 238000000034 method Methods 0.000 title claims abstract description 46
- 125000004122 cyclic group Chemical group 0.000 title claims abstract description 28
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 20
- 230000008569 process Effects 0.000 claims abstract description 24
- 230000008878 coupling Effects 0.000 claims abstract description 20
- 238000010168 coupling process Methods 0.000 claims abstract description 20
- 238000005859 coupling reaction Methods 0.000 claims abstract description 20
- 238000004519 manufacturing process Methods 0.000 claims abstract description 16
- 238000010304 firing Methods 0.000 claims abstract description 10
- 238000004364 calculation method Methods 0.000 claims description 32
- 239000011159 matrix material Substances 0.000 claims description 32
- 210000004027 cell Anatomy 0.000 claims description 24
- 230000006870 function Effects 0.000 claims description 23
- 238000011176 pooling Methods 0.000 claims description 21
- 230000004913 activation Effects 0.000 claims description 19
- 238000003062 neural network model Methods 0.000 claims description 18
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 9
- 239000003245 coal Substances 0.000 claims description 8
- 230000000306 recurrent effect Effects 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 claims description 4
- 210000002569 neuron Anatomy 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 239000000126 substance Substances 0.000 claims description 4
- 238000013519 translation Methods 0.000 claims description 4
- 230000014759 maintenance of location Effects 0.000 claims description 3
- 230000000717 retained effect Effects 0.000 claims description 3
- 238000005265 energy consumption Methods 0.000 abstract description 4
- 230000007246 mechanism Effects 0.000 abstract description 4
- 238000007726 management method Methods 0.000 abstract description 2
- 238000000605 extraction Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 125000004432 carbon atom Chemical group C* 0.000 description 2
- 238000012067 mathematical method Methods 0.000 description 2
- 238000005245 sintering Methods 0.000 description 2
- 241001149231 Arachnis x Vanda Species 0.000 description 1
- 241000196324 Embryophyta Species 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/04—Manufacturing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Economics (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Strategic Management (AREA)
- Data Mining & Analysis (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Game Theory and Decision Science (AREA)
- Development Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Manufacturing & Machinery (AREA)
- Primary Health Care (AREA)
- Feedback Control In General (AREA)
Abstract
本发明公开了一种基于门控循环神经网络的水泥回转窑电耗的预测方法，属于水泥回转窑电耗预测技术领域，包括（1）根据水泥烧成过程经验和机理选取与水泥回转窑电耗相关的10个变量，充分考虑水泥生产过程的各变量之间的耦合及时延；（2）先用卷积提取相关输入的耦合特征；（3）再使用门控循环单元网络提取电耗序列的时序特征；（4）计算得到电耗的预测结果。本发明既解决了水泥回转窑复杂工况多变量、强耦合，难以建立机理模型的特点，又解决了变量数据存在的时变实延问题，并且为指导水泥烧成过程的调度和综合能耗的降低提供依据,可以为水泥烧成过程的管理提供规划调度依据。
Description
技术领域
本发明涉及水泥回转窑电耗预测技术领域，尤其是基于卷积-门控循环神经网络的水泥回转窑电耗预测方法。
背景技术
水泥工业是我国经济发展、生产建设和人民生活不可或缺的原材料工业，水泥烧成过程是水泥生产的重要过程，而电耗量是衡量水泥烧成过程能耗的重要参数，对电耗量进行精准预测，可以为水泥烧成过程调度的优化和综合能耗的降低提供依据，所以水泥烧成过程中电耗量预测具有重要的意义。
水泥烧成过程具有复杂性、随机性和动态时滞性等特点，难以使用传统数学方法建立一个精确的水泥能耗预测模型。针对上述问题，一些学者采用了不同的算法来研究用电量预测模型：
Aranda等人采用多元非线性回归算法对电耗进行预测，此方法用于研究水泥生产过程中的非线性问题，难以解决时滞问题；Zhao等使用卷积和长短时记忆网络建立风电功率预测；Cui等基于支持向量机建立水泥工厂电耗预测模型，但没有解决变量之间的耦合问题。
上述研究由于自身局限性难以解决时变时延和变量间的耦合问题，因此本专利申请提出了一种基于CNN-GRU的水泥回转窑电耗预测方法。
发明内容
本发明需要解决的技术问题是提供一种基于卷积-门控循环神经网络的水泥回转窑电耗预测方法，解决了水泥烧成复杂工况多变量、强耦合、难以建立机理模型的特点，又解决了变量数据与电耗之间存在的时变时延问题。
为解决上述技术问题，本发明所采用的技术方案是：
一种基于门控循环神经网络的水泥回转窑电耗预测方法，包括以下步骤：
步骤1：分析整个水泥烧成的生产工艺，选取与电耗相关的10个输入变量，将变量数据进行归一化处理，考虑水泥生产过程的时延和变量之间的耦合，将归一化后的变量数据以横向为变量，竖向为时间顺序的方式排列；每一段时间的数据设置为一组作为二维卷积的输入；
步骤2：对步骤1中整理后的数据进行二维卷积及最大池化运算，将经过二维卷积和最大池化运算后的数据按照时间顺序将其重构为时序序列；
步骤3：将步骤2中得到的部分组时序序列作为门控循环神经网络模型的输入，数据在门控循环神经网络模型的内部门控单元中进行数据信息传播，门控循环神经网络模型通过更新门和重置门来控制信息的保留和丢失，前一时刻的留存信息和当前时刻的信息共同决定当前的输出；使用反向传播算法计算误差，更新权值和偏置，得到训练好的门控循环神经网络模型；
步骤4：将步骤2中得到的其他组时序序列输入到训练好的门控循环神经网络模型，进行水泥回转窑电耗的预测。
本发明技术方案的进一步改进在于：步骤1中，所述10个输入变量分别为：喂料量反馈、窑电流平均值、EP风机转速、高温风机转速、分解炉喂煤量、窑头煤、二次风温、窑尾温度、分解炉出口温度、一级筒出口温度。
本发明技术方案的进一步改进在于：步骤2中，所述二维卷积及最大池化运算包括：
(1)二维卷积运算时使用3X3大小的卷积核以平移方式对输入数据进行卷积运算，得到特征矩阵，将卷积核设定为若干个，从而提取输入数据的不同特征信息，得到多个特征矩阵；
(2)对得到的多个特征矩阵进行池化，使用最大池化方式对数据进行处理。
本发明技术方案的进一步改进在于：由于水泥生产过程的复杂性，各输入变量之间存在耦合关系，使用二维卷积可以提取输入变量间的耦合特征，将输入变量数据以横向为变量，竖向为时间顺序的方式排列，每一段时间的数据设置为一组，使用3X3大小的卷积核对输入数据进行卷积运算，得到特征矩阵，表达公式如下所示：
其中，
为第t组数据得到的特征矩阵，wm为卷积核权重，
为第t组输入数据矩阵，bm为卷积核的偏置项，f为激活函数。
本发明技术方案的进一步改进在于：步骤3中，门控循环神经网络模型具体的计算过程如下：
S1：更新门的计算
更新门决定前一时刻和当前时间的信息有多少需要继续进行传递，更新门的输出由前一时刻隐藏状态输出和当前时刻输入共同决定，计算公式如下：
zt＝σ(Wz·[ht-1,xt]+bz) (2)
上式(2)中，Wz是更新门的权重矩阵，[ht-1,xt]表示将前一时刻隐含层状态ht-1和当前时刻输入xt连接成一个更长的向量，σ是sigmoid激活函数，bz为更新门偏置项；
S2：重置门的计算
重置门决定有多少之前时刻的信息需要进行遗忘，重置门的输出同样由前一时刻隐藏状态输出和当前时刻输入共同决定，计算公式如下：
rt＝σ(Wr·[ht-1,xt]+br) (3)
上式(3)中，Wr是重置门的权重矩阵，[ht-1,Xt]表示将前一时刻隐含层状态ht-1和当前时刻输入Xt连接成一个更长的向量，σ是sigmoid激活函数，br为重置门偏置项；
S3：当前输入的单元状态计算
上式(4)中，Wh是单元状态的权重矩阵，rt是重置门的输出，ht-1为前一时刻隐含层状态，xt为当前时刻的输入，tanh是双曲正切激活函数，bh为单元状态偏置项；
隐含层最终输出由上一时刻的单元状态、当前时刻候选单元状态和更新门输出共同决定：
上式(5)中，h为当前时刻隐含层输出，ht-1为前一时刻隐含层状态，zt为更新门的输出，
为候选单元状态；
序列预测输出：
上式(6)中，
为当前时刻t的预测输出，W为预测输出层权重矩阵，h为当前时刻隐含层输出，σ是sigmoid激活函数，b为预测输出层偏置项；
S4：采用反向传播反向计算每个神经元的误差和每个权重的梯度，更新权值
为了计算方便，权重矩阵Wr、Wz、Wh拆分成Wrh、Wrx、Wzh、Wzx、Whh、Whx；定义损失函数：
上式(7)中，
和yt分别为t时刻的预测输出和期望输出；
S5：权重梯度的计算
Wrh、Wzh、Whh各时刻的权重梯度为：
Wrx、Wzx、Whx的权重梯度：
与权重对应的偏置br,bz,bh梯度为：
S6：进行权重的更新
η为模型的学习率，为了增加公式的适用性，对公式进行泛化，W表示网络中四个节点的权重，L代表四个节点的偏置项；
S7：至此，完成一次前向和反向传播，重复上述过程，每经过一个时间步，求得误差项，若误差项小于阈值，则进行权重矩阵W和偏置项b的更新，直到误差小于设定阈值完成训练。
由于采用了上述技术方案，本发明取得的技术进步是：
1、本发明根据水泥烧成过程经验选取与水泥电耗相关的10个变量，充分考虑输入数据的结构特征，使用二维卷积提取变量间的耦合特征，为了描述电耗序列的时序依从关系,将卷积提取特征后的数据作为门控循环神经网络的输入信息,计算得到电耗的预测结果；在模型的反向传播中，采用随机梯度下降算法，通过误差项的反向传播求得权重梯度，达到权重更新的目的，模型预测精度提升的同时，训练效率得到提高。
2、本发明建立的水泥回转窑烧成过程电耗预测模型，使用二维卷积提取数据信息特征，充分考虑到了各变量之间的耦合关系。
2、本发明建立的预测模型，充分考虑了变量数据的时序特性，而且解决了长短时记忆网络参数较多，内部计算复杂的问题，使用更新门和重置门控制时时序信息的传递状态，解决时延问题。
附图说明
图1是本发明模型的结构图；
图2是本发明中二维卷积的特征提取图；
图3是本发明模型流程图。
具体实施方式
本发明是针对水泥烧成工艺流程的复杂性、随机性和动态时滞性等特点，难以用传统的数学方法建立精确的电耗预测模型，目前本技术领域现有的研究方法的自身局限性难以解决时变时延和变量间的耦合问题而研发的一种基于门控循环神经网络的水泥回转窑电耗预测方法。
下面结合附图及实施例对本发明做进一步详细说明：
如图1所示，一种基于门控循环神经网络的水泥回转窑电耗预测方法，包括以下步骤：
步骤1：分析整个水泥烧成的生产工艺，选取与电耗相关的10个输入变量，将变量数据进行归一化处理，考虑水泥生产过程的时延和变量之间的耦合，将归一化后的变量数据以横向为变量，竖向为时间顺序的方式排列；每一段时间的数据设置为一组作为二维卷积的输入；所述10个输入变量分别为：喂料量反馈、窑电流平均值、EP风机转速、高温风机转速、分解炉喂煤量、窑头煤、二次风温、窑尾温度、分解炉出口温度、一级筒出口温度。
步骤2：对步骤1中整理后的数据进行二维卷积及最大池化运算，将经过二维卷积和最大池化运算后的数据按照时间顺序将其重构为时序序列；所述二维卷积及最大池化运算包括：
(1)二维卷积运算时使用3X3大小的卷积核以平移方式对输入数据进行卷积运算，得到特征矩阵，将卷积核设定为若干个，从而提取输入数据的不同特征信息，得到多个特征矩阵；由于水泥生产过程的复杂性，各输入变量之间存在耦合关系，使用二维卷积可以提取输入变量间的耦合特征，将输入变量数据以横向为变量，竖向为时间顺序的方式排列，每一段时间的数据设置为一组，使用3X3大小的卷积核对输入数据进行卷积运算，得到特征矩阵，表达公式如下所示：
其中，
为第t组数据得到的特征矩阵，wm为卷积核权重，
为第t组输入数据矩阵，bm为卷积核的偏置项，f为激活函数。
(2)对得到的多个特征矩阵进行池化，使用最大池化方式对数据进行处理。
步骤3：将步骤2中得到的部分组时序序列作为门控循环神经网络模型的输入，数据在门控循环神经网络模型的内部门控单元中进行数据信息传播，门控循环神经网络模型通过更新门和重置门来控制信息的保留和丢失，前一时刻的留存信息和当前时刻的信息共同决定当前的输出；使用反向传播算法计算误差，更新权值和偏置，得到训练好的门控循环神经网络模型；
门控循环神经网络模型具体的计算过程如下：
S1：更新门的计算
更新门决定前一时刻和当前时间的信息有多少需要继续进行传递，更新门的输出由前一时刻隐藏状态输出和当前时刻输入共同决定，计算公式如下：
zt＝σ(Wz·[ht-1,xt]+bz) (2)
上式(2)中，Wz是更新门的权重矩阵，[ht-1,xt]表示将前一时刻隐含层状态ht-1和当前时刻输入xt连接成一个更长的向量，σ是sigmoid激活函数，bz为更新门偏置项；
S2：重置门的计算
重置门决定有多少之前时刻的信息需要进行遗忘，重置门的输出同样由前一时刻隐藏状态输出和当前时刻输入共同决定，计算公式如下：
rt＝σ(Wr·[ht-1,xt]+br) (3)
上式(3)中，Wr是重置门的权重矩阵，[ht-1,Xt]表示将前一时刻隐含层状态ht-1和当前时刻输入Xt连接成一个更长的向量，σ是sigmoid激活函数，br为重置门偏置项；
S3：当前输入的单元状态计算
上式(4)中，Wh是单元状态的权重矩阵，rt是重置门的输出，ht-1为前一时刻隐含层状态，xt为当前时刻的输入，tanh是双曲正切激活函数，bh为单元状态偏置项；
隐含层最终输出由上一时刻的单元状态、当前时刻候选单元状态和更新门输出共同决定：
上式(5)中，h为当前时刻隐含层输出，zt为更新门的输出，ht-1为前一时刻隐含层状态，
为候选单元状态；
序列预测输出：
上式(6)中，
为当前时刻t的预测输出，σ是sigmoid激活函数，W为预测输出层权重矩阵，h为当前时刻隐含层输出，b为预测输出层偏置项；
S4：采用反向传播反向计算每个神经元的误差和每个权重的梯度，更新权值
为了计算方便，权重矩阵Wr、Wz、Wh拆分成Wrh、Wrx、Wzh、Wzx、Whh、Whx；定义损失函数：
上式(7)中，
和yt分别为t时刻的预测输出和期望输出；
S5：权重梯度的计算
Wrh、Wzh、Whh各时刻的权重梯度为：
Wrx、Wzx、Whx的权重梯度：
与权重对应的偏置br,bz,bh梯度为：
S6：进行权重的更新
η为模型的学习率，为了增加公式的适用性，对公式进行泛化，W表示网络中四个节点的权重，L代表四个节点的偏置项；
S7：至此，完成一次前向和反向传播，重复上述过程，每经过一个时间步，求得误差项，若误差项小于阈值，则进行权重矩阵W和偏置项b的更新，直到误差小于设定阈值完成训练。
步骤4：将步骤2中得到的其他组时序序列输入到训练好的门控循环神经网络模型，进行水泥回转窑电耗的预测。
具体的：
“卷积”英文缩写为CNN，门控循环神经网络英文缩写为GRU。
一种基于门控循环神经网络的水泥回转窑电耗预测方法，首先从水泥烧成***的数据库中选取与电耗相关的10个输入变量，使用二维卷积和最大池化对输入数据进行特征提取，将提取的特征数据分解重构后作为GRU模型的输入，采用反向传播算法求取神经网络各节点的误差项，反复训练，获得训练好的模型。整体结构如图1所示，二维卷积的特征提取如图2所示，基于门控循环神经网络的水泥回转窑电耗预测模型流程如图3所示。
步骤1：分析整个水泥烧成的生产工艺，结合现场工程师的经验知识，选取了10种与电耗相关的过程参量作为输入变量，如图1中输入层所示，10输入变量分别为喂料量反馈X1、窑电流平均值X2、EP风机转速X3、高温风机转速X4、分解炉喂煤量X5、窑头煤X6、二次风温X7、窑尾温度X8、分解炉出口温度X9、一级筒出口温度X10。先对数据进行归一化处理，充分考虑水泥生产过程的时延和变量之间的耦合，将归一化后的变量数据以横向为变量，竖向为时间顺序的方式排列，每一段时间的数据设置为一组作为二维卷积的输入。
步骤2：对步骤1中整理后的数据进行二维卷积及最大池化运算，将经过卷积池化后的数据进行分解并重塑为顺序时间分量作为GRU模型的输入。二维卷积的特征提取如图2所示，卷积层通过设定卷积核的大小和移动步长，以平移方式，对输入数据进行卷积运算，得到特征矩阵，公式如下所示:
其中，
为第t组数据得到的特征矩阵，wm为卷积核权重，
为第t组输入数据矩阵，bm为卷积核的偏置项，f为激活函数。将卷积核设定为若干个，从而提取输入数据的不同特征信息，得到多个特征矩阵。池化层是非线性采样的一种方法，通过最大池方式对数据进行处理，即在邻域中选取特征点的最大值代替整个邻域的值，从而减少运算参数。经过二维卷积和最大池化运算后的数据不能直接输入到GRU模型中，要将其重构为时序序列。
步骤3：将步骤2中得到的其中一组时序序列作为GRU模型的输入，数据在GRU模型的内部门控单元中进行数据信息传播，使用反向传播算法计算误差梯度，更新权值和偏置，得到训练好的GRU模型。GRU模型具体的计算过程如下：
S1：更新门的计算
更新门来决定前一时刻和当前时间的信息有多少需要继续进行传递，更新门的输出由前一时刻隐藏状态输出和当前时刻输入共同决定，更新门的计算：
zt＝σ(Wz·[ht-1,xt]+bz) (2)
上式中，Wz是更新门的权重矩阵，[ht-1,xt]表示将前一时刻隐含层状态ht-1和当前时刻输入xt连接成一个更长的向量，σ是sigmoid激活函数，bz为更新门偏置项。
S2：重置门的计算
重置门来决定有多少之前时刻的信息需要进行遗忘，重置门的输出同样由前一时刻隐藏状态输出和当前时刻输入共同决定，重置门的计算：
rt＝σ(Wr·[ht-1,xt]+br) (3)
上式中，Wr是重置门的权重矩阵，[ht-1,Xt]表示将前一时刻隐含层状态ht-1和当前时刻输入Xt连接成一个更长的向量，σ是sigmoid激活函数，br为重置门偏置项。
S4：当前输入的单元状态计算
上式中，Wh是单元状态的权重矩阵，rt是重置门的输出，ht-1为前一时刻隐含层状态，xt为当前时刻的输入，tanh是双曲正切激活函数，bh为单元状态偏置项。隐含层最终输出由上一时刻的单元状态、当前时刻候选单元状态和更新门输出共同决定：
上式中，h为当前时刻隐含层输出，zt为更新门的输出，
为候选单元状态。序列预测输出：
上式中，
为当前时刻t的预测输出，W为预测输出层权重矩阵，b为预测输出层偏置项。
S4：采用反向传播反向计算每个神经元的误差和每个权重的梯度，更新权值。
为了计算方便，权重矩阵Wr、Wz、Wh拆分成Wrh、Wrx、Wzh、Wzx、Whh、Whx。定义损失函数：
上式中，
和yt分别为t时刻的预测输出和期望输出。
S5：权重梯度的计算
权重梯度的计算Wrh、Wzh、Whh各时刻的权重梯度为：
Wrx、Wzx、Whx的权重梯度：
与权重对应的偏置br,bz,bh梯度为：
S6：权重的更新
我们求出了各参数的梯度，下面进行权重的更新，η为模型的学习率，为了增加公式的适用性，对公式进行泛化，W表示网络中四个节点的权重，L代表四个节点的偏置项。
S7：至此，完成一次前向和反向传播，重复上述过程，每经过一个时间步，求得误差项，若误差项小于阈值，则进行权重矩阵W和偏置项b的更新，直到误差小于设定阈值完成训练。
步骤4：将处理后的水泥回转窑的过程变量数据输入到训练好的门控循环神经网络(GRU)模型，实现水泥回转窑电耗的预测。
在本方法中，从水泥企业生产数据库中提取2000组数据，并按所述方法进行数据处理和模型训练。选取其中1600组作为训练数据，其余400组作为预测数据以验证模型有效性。
综上所述，本发明根据水泥烧成过程经验选取与水泥电耗相关的10个变量，充分考虑输入数据的结构特征，使用二维卷积提取变量间的耦合特征，为了描述电耗序列的时序依从关系,将卷积提取特征后的数据作为门控循环神经网络的输入信息,计算得到电耗的预测结果；在模型的反向传播中，采用随机梯度下降算法，通过误差项的反向传播求得权重梯度，达到权重更新的目的，模型预测精度提升的同时，训练效率得到提高。本发明既解决了水泥回转窑复杂工况多变量、强耦合，难以建立机理模型的特点，又解决了变量数据存在的时变实延问题，可以为水泥烧成过程的管理提供规划调度依据。
Claims (5)
1.一种基于门控循环神经网络的水泥回转窑电耗预测方法，其特征在于：包括以下步骤：
步骤1：分析整个水泥烧成的生产工艺，选取与电耗相关的10个输入变量，将变量数据进行归一化处理，考虑水泥生产过程的时延和变量之间的耦合，将归一化后的变量数据以横向为变量，竖向为时间顺序的方式排列；每一段时间的数据设置为一组作为二维卷积的输入；
步骤2：对步骤1中整理后的数据进行二维卷积及最大池化运算，将经过二维卷积和最大池化运算后的数据按照时间顺序将其重构为时序序列；
步骤3：将步骤2中得到的部分组时序序列作为门控循环神经网络模型的输入，数据在门控循环神经网络模型的内部门控单元中进行数据信息传播，门控循环神经网络模型通过更新门和重置门来控制信息的保留和丢失，前一时刻的留存信息和当前时刻的信息共同决定当前的输出；使用反向传播算法计算误差，更新权值和偏置，得到训练好的门控循环神经网络模型；
步骤4：将步骤2中得到的其他组时序序列输入到训练好的门控循环神经网络模型，进行水泥回转窑电耗的预测。
2.根据权利要求1所述的一种基于门控循环神经网络的水泥回转窑电耗预测方法，其特征在于：步骤1中，所述10个输入变量分别为：喂料量反馈、窑电流平均值、EP风机转速、高温风机转速、分解炉喂煤量、窑头煤、二次风温、窑尾温度、分解炉出口温度、一级筒出口温度。
3.根据权利要求1所述的一种基于门控循环神经网络的水泥回转窑电耗预测方法，其特征在于：步骤2中，所述二维卷积及最大池化运算包括：
(1)二维卷积运算时使用3X3大小的卷积核以平移方式对输入数据进行卷积运算，得到特征矩阵，将卷积核设定为若干个，从而提取输入数据的不同特征信息，得到多个特征矩阵；
(2)对得到的多个特征矩阵进行池化，使用最大池化方式对数据进行处理。
4.根据权利要求3所述的一种基于门控循环神经网络的水泥回转窑电耗预测方法，其特征在于：由于水泥生产过程的复杂性，各输入变量之间存在耦合关系，使用二维卷积可以提取输入变量间的耦合特征，将输入变量数据以横向为变量，竖向为时间顺序的方式排列，每一段时间的数据设置为一组，使用3X3大小的卷积核对输入数据进行卷积运算，得到特征矩阵，表达公式如下所示：
其中，
为第t组数据得到的特征矩阵，wm为卷积核权重，
为第t组输入数据矩阵，bm为卷积核的偏置项，f为激活函数。
5.根据权利要求1所述的一种基于门控循环神经网络的水泥回转窑电耗预测方法，其特征在于：步骤3中，门控循环神经网络模型具体的计算过程如下：
S1：更新门的计算
更新门决定前一时刻和当前时间的信息有多少需要继续进行传递，更新门的输出由前一时刻隐藏状态输出和当前时刻输入共同决定，计算公式如下：
zt＝σ(Wz·[ht-1,xt]+bz) (2)
上式(2)中，Wz是更新门的权重矩阵，[ht-1,xt]表示将前一时刻隐含层状态ht-1和当前时刻输入xt连接成一个更长的向量，σ是sigmoid激活函数，bz为更新门偏置项；
S2：重置门的计算
重置门决定有多少之前时刻的信息需要进行遗忘，重置门的输出同样由前一时刻隐藏状态输出和当前时刻输入共同决定，计算公式如下：
rt＝σ(Wr·[ht-1,xt]+br) (3)
上式(3)中，Wr是重置门的权重矩阵，[ht-1,Xt]表示将前一时刻隐含层状态ht-1和当前时刻输入Xt连接成一个更长的向量，σ是sigmoid激活函数，br为重置门偏置项；
S3：当前输入的单元状态计算
上式(4)中，Wh是单元状态的权重矩阵，rt是重置门的输出，ht-1为前一时刻隐含层状态，xt为当前时刻的输入，tanh是双曲正切激活函数，bh为单元状态偏置项；
隐含层最终输出由上一时刻的单元状态、当前时刻候选单元状态和更新门输出共同决定：
上式(5)中，h为当前时刻隐含层输出，ht-1为前一时刻隐含层状态，zt为更新门的输出，
为候选单元状态；
序列预测输出：
上式(6)中，
为当前时刻t的预测输出，W为预测输出层权重矩阵，h为当前时刻隐含层输出，σ是sigmoid激活函数，b为预测输出层偏置项；
S4：采用反向传播反向计算每个神经元的误差和每个权重的梯度，更新权值
为了计算方便，权重矩阵Wr、Wz、Wh拆分成Wrh、Wrx、Wzh、Wzx、Whh、Whx；定义损失函数：
上式(7)中，
和yt分别为t时刻的预测输出和期望输出；
S5：权重梯度的计算
Wrh、Wzh、Whh各时刻的权重梯度为：
Wrx、Wzx、Whx的权重梯度：
与权重对应的偏置br,bz,bh梯度为：
S6：进行权重的更新
η为模型的学习率，为了增加公式的适用性，对公式进行泛化，W表示网络中四个节点的权重，L代表四个节点的偏置项；
S7：至此，完成一次前向和反向传播，重复上述过程，每经过一个时间步，求得误差项，若误差项小于阈值，则进行权重矩阵W和偏置项b的更新，直到误差小于设定阈值完成训练。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010630341.2A CN111950698A (zh) | 2020-07-01 | 2020-07-01 | 基于卷积-门控循环神经网络的水泥回转窑电耗预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010630341.2A CN111950698A (zh) | 2020-07-01 | 2020-07-01 | 基于卷积-门控循环神经网络的水泥回转窑电耗预测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111950698A true CN111950698A (zh) | 2020-11-17 |
Family
ID=73337411
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010630341.2A Pending CN111950698A (zh) | 2020-07-01 | 2020-07-01 | 基于卷积-门控循环神经网络的水泥回转窑电耗预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111950698A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115392125A (zh) * | 2022-08-29 | 2022-11-25 | 广东工业大学 | 水泥回转窑的温度预测方法 |
| CN115440317A (zh) * | 2022-07-20 | 2022-12-06 | 中南大学 | 一种浸出铀浓度的预测方法及装置、电子设备、存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108448610A (zh) * | 2018-03-12 | 2018-08-24 | 华南理工大学 | 一种基于深度学习的短期风功率预测方法 |
| CN108932567A (zh) * | 2018-08-10 | 2018-12-04 | 燕山大学 | 一种基于卷积神经网络的水泥烧成过程多能耗指标预测方法 |
| CN109389244A (zh) * | 2018-09-06 | 2019-02-26 | 浙江鸿程计算机***有限公司 | 一种基于gru的多因素感知短期景区内游客人数预测方法 |
| CN110458337A (zh) * | 2019-07-23 | 2019-11-15 | 内蒙古工业大学 | 一种基于c-gru的网约车供需预测方法 |
| CN111275168A (zh) * | 2020-01-17 | 2020-06-12 | 南京信息工程大学 | 基于卷积全连接的双向门控循环单元的空气质量预测方法 |
| CN111338002A (zh) * | 2020-03-19 | 2020-06-26 | 长江大学 | 基于门控循环神经网络模型的孔隙度预测方法 |
-
2020
- 2020-07-01 CN CN202010630341.2A patent/CN111950698A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108448610A (zh) * | 2018-03-12 | 2018-08-24 | 华南理工大学 | 一种基于深度学习的短期风功率预测方法 |
| CN108932567A (zh) * | 2018-08-10 | 2018-12-04 | 燕山大学 | 一种基于卷积神经网络的水泥烧成过程多能耗指标预测方法 |
| CN109389244A (zh) * | 2018-09-06 | 2019-02-26 | 浙江鸿程计算机***有限公司 | 一种基于gru的多因素感知短期景区内游客人数预测方法 |
| CN110458337A (zh) * | 2019-07-23 | 2019-11-15 | 内蒙古工业大学 | 一种基于c-gru的网约车供需预测方法 |
| CN111275168A (zh) * | 2020-01-17 | 2020-06-12 | 南京信息工程大学 | 基于卷积全连接的双向门控循环单元的空气质量预测方法 |
| CN111338002A (zh) * | 2020-03-19 | 2020-06-26 | 长江大学 | 基于门控循环神经网络模型的孔隙度预测方法 |
Non-Patent Citations (4)
| Title |
|---|
| VINICIER: "《梯度下降法与反向传播》", 《HTTPS://BLOG.CSDN.NET/U010976453/ARTICLE/DETAILS/78493563》 * |
| 李云兵等: "《基于门控循环神经网络的线损电量预测方法》", 《科技前沿》 * |
| 牛哲文等: "《基于深度门控循环单元神经网络的短期风功率预测模型》", 《电力自动化设备》 * |
| 郝晓辰等: "《基于时间序列卷积神经网络的水泥烧成过程能耗预测模型》", 《2018中国自动化大会(CAC2018)论文集》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115440317A (zh) * | 2022-07-20 | 2022-12-06 | 中南大学 | 一种浸出铀浓度的预测方法及装置、电子设备、存储介质 |
| CN115392125A (zh) * | 2022-08-29 | 2022-11-25 | 广东工业大学 | 水泥回转窑的温度预测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108932567B (zh) | 一种基于卷积神经网络的水泥烧成过程多能耗指标预测方法 | |
| CN108448610B (zh) | 一种基于深度学习的短期风功率预测方法 | |
| CN113777496B (zh) | 基于时间卷积神经网络的锂离子电池剩余寿命预测方法 | |
| CN108170529A (zh) | 一种基于长短期记忆网络的云数据中心负载预测方法 | |
| CN110909926A (zh) | 基于tcn-lstm的太阳能光伏发电预测方法 | |
| CN109342703B (zh) | 一种水泥熟料游离钙含量测量方法及*** | |
| CN112232577B (zh) | 用于多芯智能表的电力负荷概率预测***与方法 | |
| CN111950698A (zh) | 基于卷积-门控循环神经网络的水泥回转窑电耗预测方法 | |
| Tian et al. | TS fuzzy neural network predictive control for burning zone temperature in rotary kiln with improved hierarchical genetic algorithm | |
| CN104539601B (zh) | 动态网络攻击过程可靠性分析方法及*** | |
| CN114462718A (zh) | 基于时间滑动窗口的cnn-gru风电功率预测方法 | |
| CN104615856B (zh) | 基于热风炉组的煤气消耗量预测模型建立方法及装置 | |
| CN113591374B (zh) | 基于卷积简单循环单元网络的水泥成品比表面积预测方法 | |
| CN113052214A (zh) | 基于长短期时间序列网络的换热站超短期热负荷预测方法 | |
| CN116345555A (zh) | 一种基于cnn-isca-lstm模型的短期光伏发电功率预测方法 | |
| CN114548591A (zh) | 一种基于混合深度学习模型和Stacking的时序数据预测方法及*** | |
| Chang et al. | Flexible Clockwork Recurrent Neural Network for multirate industrial soft sensor | |
| CN114066069A (zh) | 一种组合权重的副产煤气发生量预测方法 | |
| CN117748495A (zh) | 一种基于残差神经网络的光伏电站短期发电功率预测方法 | |
| CN110348623A (zh) | 基于设计结构矩阵的复杂产品开发时间预测及优化方法 | |
| CN113111577B (zh) | 基于多目标布谷鸟搜索的水泥磨运行指标决策方法 | |
| CN108876038B (zh) | 大数据、人工智能、超算协同的材料性能预测方法 | |
| Wen et al. | MapReduce-based BP neural network classification of aquaculture water quality | |
| CN114219126A (zh) | 基于残差修正的小水电渗透地区网供负荷预测方法 | |
| CN113762591A (zh) | 一种基于gru和多核svm对抗学习的短期电量预测方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201117 |