CN109063903A - 一种基于深度强化学习的建筑能耗预测方法及*** - Google Patents
一种基于深度强化学习的建筑能耗预测方法及*** Download PDFInfo
- Publication number
- CN109063903A CN109063903A CN201810796307.5A CN201810796307A CN109063903A CN 109063903 A CN109063903 A CN 109063903A CN 201810796307 A CN201810796307 A CN 201810796307A CN 109063903 A CN109063903 A CN 109063903A
- Authority
- CN
- China
- Prior art keywords
- data
- energy consumption
- input
- building
- deeply
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000005265 energy consumption Methods 0.000 title claims abstract description 64
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000012549 training Methods 0.000 claims abstract description 50
- 230000006870 function Effects 0.000 claims abstract description 42
- 230000009471 action Effects 0.000 claims abstract description 35
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 22
- 238000010276 construction Methods 0.000 claims abstract description 13
- 238000013528 artificial neural network Methods 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000011478 gradient descent method Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 11
- 238000009795 derivation Methods 0.000 claims description 9
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 4
- 238000005303 weighing Methods 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims 2
- 238000013135 deep learning Methods 0.000 abstract description 10
- 238000012545 processing Methods 0.000 abstract description 8
- 238000004422 calculation algorithm Methods 0.000 abstract description 5
- 230000005284 excitation Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000004134 energy conservation Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 239000000843 powder Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002459 sustained effect Effects 0.000 description 1
- 230000002087 whitening effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/08—Construction
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- Human Resources & Organizations (AREA)
- General Physics & Mathematics (AREA)
- Marketing (AREA)
- Tourism & Hospitality (AREA)
- General Health & Medical Sciences (AREA)
- General Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Primary Health Care (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Development Economics (AREA)
- Game Theory and Decision Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于深度强化学***、建筑所在地天气状况数据。将采集到的数据样本分组,根据所得到的训练样本输入到深度强化学习网络模型中进行训练并保存使状态动作值函数最优的网络模型。最后将预测样本输入到深度强化学习网络模型,进行建筑能耗预测。本发明采用深度学习中的卷积神经网络与强化学习中的Q学习相结合的方法实现了建筑的能耗预测,相对于传统的预测方法,用卷积神经网络结合Q学习算法的深度强化学习网络可以减少数据量,降低数据的存储要求,提高数据的使用效率,加快数据处理的效率。
Description
技术领域
本发明涉及建筑能耗预测技术领域,尤其涉及一种基于深度强化学习的建筑能耗预测方法及***。
背景技术
随着人类对能源需求的不断增长,能源问题日益突出。在建筑这一行业,减少建筑的综合耗能,提高建筑能源的使用效率已经成为了当今社会发展的研究热点。对建筑***能耗进行宏观的评估与分析,进而建立可预测建筑能耗的模型被视为实现建筑节能的重要手段。
强化学习是一种从环境映射到动作的学习,目的是使agent在与环境的交互过程中获得最大的累计奖赏,但是在大状态空间下用迭代贝尔曼方程求解状态动作值函数是不可取的。在强化学习算法中可以用深度学习神经网络去近似表示值函数或策略。
深度学习神经网络具有高效率性,用训练好的深度学习神经网络去预测数据具有很高的准确度与速度;深度学习具有可塑性,深度学习模型可以根据具体情况持续改进,这使得它具有很强的灵活性和成长性;深度学习具有普适性,它可以根据问题调整参数修改模型,理论上能够适用于不同种类的问题。特别是深度学习中的卷积神经网络(CNN)有着很优秀的处理大量数据的能力,它具有很强的容错能力与并行处理数据的能力。卷积神经网络(CNN)可以提取出大量数据样本的本质特征,而且它可以利用卷积层与池化层减少数据量,降低数据的存储要求。
目前未见将深度学习神经网络应用于建筑能耗预测方面的相关文献。
综上所述,本发明利用强化学习中的Q学习算法与深度学习中的卷积神经网络相结合的方式提出了一种基于深度强化学习的建筑能耗预测方法。
发明内容
为解决现有技术存在的不足,本发明提供一种基于深度强化学习的建筑能耗预测方法及***,将强化学习中的Q学习算法与深度学习中的卷积神经网络相结合,通过分析建筑能耗的影响因素,将建筑能耗的影响因素与建筑能耗历史数据同时作为输入数据,提高了建筑能耗预测的准确度。利用卷积神经网络结合Q学习算法实现的深度强化学习减少了数据量,降低了数据的存储要求,提高了数据的使用效率,加快了数据处理的效率。
为了实现上述目的,本发明采用如下技术方案:
在一个或者多个实施例公开的一种基于深度强化学习的建筑能耗预测方法,包括:
采集建筑能耗历史数据,同时采集建筑面积、建筑常住人口数量、建筑常住人口消费水平、建筑所在地天气状况数据;
采集得到的数据划分为训练样本集和预测样本集,对样本集数据进行预处理;
将训练样本集数据输入到深度强化学习模型中进行训练,直到得到最优的状态动作值函数后停止,并保存训练后的深度强化学习模型;
深度强化学习模型采用训练样本的输入向量为xi,每一个输入向量中包含n个元素,输入向量经过卷积神经网络与全连接神经网络运算后,输出状态动作值,通过状态动作值获取迭代后的损失函数,进而获得权值更新的梯度,使用梯度下降法更新权值;
将预测样本输入到训练后的深度强化学习网络模型,进行建筑能耗预测。
进一步地,将进行过预处理的待预测日的前一天的能耗数据、建筑面积、建筑常住人口数量、建筑常住人口消费水平、建筑所在地天气状况数据按类别分组作为输入向量xi,将进行过预处理的待预测日的能耗数据添加数值标签后作为ai;利用最优状态动作值函数计算出输入样本xi的期望最大回报值,从而得到最优策略。
进一步地,所述最优状态动作值函数具体为:
其中,Ri为输入样本xi的未来回报,I是输入样本总量,γ为折扣系数,用来权衡未来奖赏对累计奖赏的影响;π是输入样本xi与数据标签ai的映射函数;ωi为权值,x为输入样本;a为添加数值标签后的待预测日的能耗数据;ω为权值;i'为Ri中的一个参数,代表Ri中的连加运算对i至I起作用;Ri为输入样本xi的未来回报。
进一步地,将训练样本集数据输入到深度强化学习模型中进行训练,具体为:
输入数据进入卷积计算层进行卷积计算;
池化层采用Max pooling方法对数据与参数进行压缩;
输入数据经过卷积神经网络与全连接神经网络后输出状态动作值;
利用输出的状态动作值计算输入数据的目标输出;
利用当前输出的状态动作值与目标输出得到均方误差函数;
用均方误差函数对权值求导,得到权值更新的梯度;
用梯度下降法更新权值。
进一步地,利用输出的状态动作值计算输入数据的目标输出,具体为:
其中,xi为输入样本数据,Ri为输入数据xi的未来回报,γ为折扣系数,ω-随着网络训练的过程不断更新,E为数学期望;Qi'为输出的状态动作值;x为输入样本;a为添加数值标签后的待预测日的能耗数据;xi'与ai'为区别于xi与ai的值。
进一步地,利用当前输出的状态动作值与目标输出得到均方误差函数,具体为:
其中,为数学期望。
进一步地,用均方误差函数对权值求导,得到权值更新的梯度,具体为:
其中,代表对ωi求导。
进一步地,用梯度下降法更新权值,具体为:
其中,ωi为权值;ωi+1为更新后的权值;代表均方误差函数对权值求导;η为学习速率;gi是根据权值更新的梯度选择的函数。
在一个或者多个实施例公开的一种基于深度强化学习的建筑能耗预测***,包括服务器,所述服务器包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现以下步骤:
采集建筑能耗历史数据,同时采集建筑面积、建筑常住人口数量、建筑常住人口消费水平、建筑所在地天气状况数据;
采集得到的数据划分为训练样本集和预测样本集,对样本集数据进行预处理;
将训练样本集数据输入到深度强化学习模型中进行训练,直到得到最优的状态动作值函数后停止,并保存训练后的深度强化学习模型;
深度强化学习模型采用训练样本的输入向量为xi,每一个输入向量中包含n个元素,输入向量经过卷积神经网络与全连接神经网络运算后,输出状态动作值,通过状态动作值获取迭代后的损失函数,进而获得权值更新的梯度,使用梯度下降法更新权值;
将预测样本输入到训练后的深度强化学习网络模型,进行建筑能耗预测。
在一个或者多个实施例公开的一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时执行以下步骤:
采集建筑能耗历史数据,同时采集建筑面积、建筑常住人口数量、建筑常住人口消费水平、建筑所在地天气状况数据;
采集得到的数据划分为训练样本集和预测样本集,对样本集数据进行预处理;
将训练样本集数据输入到深度强化学习模型中进行训练,直到得到最优的状态动作值函数后停止,并保存训练后的深度强化学习模型;
深度强化学习模型采用训练样本的输入向量为xi,每一个输入向量中包含n个元素,输入向量经过卷积神经网络与全连接神经网络运算后,输出状态动作值,通过状态动作值获取迭代后的损失函数,进而获得权值更新的梯度,使用梯度下降法更新权值;
将预测样本输入到训练后的深度强化学习网络模型,进行建筑能耗预测。
与现有技术相比,本发明的有益效果是:
本方案基于深度强化学***、建筑所在地天气状况数据作为输入数据;用卷积神经网络结合Q学习算法并集成经验回放技术的深度强化学习网络可以减少数据量,降低数据的存储要求,提高数据的使用效率,加快数据处理的效率,在同等条件下可以处理更多的输入数据。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。
图1为基于深度强化学习的建筑能耗预测方法流程图。
图2为深度强化学习网络模型结构图。
具体实施方式
应该指出,以下详细说明都是例示性的,旨在对本申请提供进一步的说明。除非另有指明,本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本申请的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
为了解决背景技术中指出的问题,本申请公开了一种基于深度强化学习的建筑能耗预测方法,如图1所示,包括以下步骤:
(1)分析建筑能耗的影响因素,用建筑物联网云生态***平台采集建筑能耗历史数据,同时采集建筑面积、建筑常住人口数量、建筑常住人口消费水平、建筑所在地天气状况数据。然后将数据划分为训练样本集和预测样本集,并将样本进行预处理。
(2)根据步骤(1)中所得到的训练样本输入到深度强化学习网络模型中,训练直到可以得到最优的状态动作值函数后停止,并保存训练后的模型。
(3)将预测样本输入到利用步骤(2)所得到的深度强化学习网络模型,进行建筑能耗预测。
(4)相关工作人员可以通过建筑物联网云生态***平台查询步骤(3)所预测的建筑能耗数据,并根据预测数据调整建筑负荷,降低建筑能耗。
在对深度强化学***、建筑所在地天气状况数据作为输入向量,为待预测日能耗数据添加数值标签,训练深度强化学习网络。
深度强化学习网络的目标是在某一个输入向量为xi的条件下,通过更新权值ωi使状态动作值函数最终收敛,即利用最优状态动作值函数计算出输入样本xi的期望最大回报值,从而得到最优策略π*=argmaxQ*(xi,ai;ωi)。最优状态动作值函数如下:
其中Ri为输入样本xi的未来回报,π是输入样本xi与数据标签ai的映射函数。
其中I是输入样本总量,γ为折扣系数,用来权衡未来奖赏对累计奖赏的影响。
如图2所示,深度强化学习网络采用训练样本的输入向量为xi,每一个输入向量中包含n个元素,输入向量经过卷积神经网络与全连接神经网络运算后,输出状态动作值Qπ(x,a;ω),通过状态动作值Qπ(x,a;ω)获取迭代后的损失函数Li(ωi),进而获得权值ω更新的梯度,然后使用梯度下降法更新权值。具体过程如下:
首先要获得训练样本。在获得训练样本时要对数据进行预处理,主要是进行归一化处理与白化处理,对特征轴上的数据幅度归一化,减少由数据取值范围差异带来的干扰。然后将进行过预处理的待预测日的前一天的能耗数据、建筑面积、建筑常住人口数量、建筑常住人口消费水平、建筑所在地天气状况数据按类别分为I组作为输入向量xi,将进行过预处理的待预测日的能耗数据添加数值标签后作为ai。将数据输入深度强化学习网络进行训练,训练的目标就是更新权值ω使状态动作值函数最终收敛。
获得训练样本后进行深度强化学习网络训练。如图2所示,卷积神经网络分为数据输入层、卷积计算层、激励层、池化层、全连接层,其中卷积神经网络的特点是卷积计算层、激励层与池化层交替出现。从计算的角度来看,一般的神经网络把输入层与隐含层进行全连接设计,这样在训练时会带来大量的计算,耗费大量的时间。卷积神经网络的每个隐含单元仅仅只能连接输入单元的一部分,从而使计算量大幅降低。基于深度强化学习的建筑能耗预测方法的详细训练步骤如下:
1)数据进入卷积计算层后进行卷积计算。卷积计算层的两个特征是局部关联与窗口滑动。局部关联将一般神经网络中的神经元看作是filter,filter与局部数据进行矩阵内积计算即是窗口滑动。在进行卷积计算时,卷积计算层中每个filter连接数据窗的权重是固定的,每个filter只关注一个特性。卷积计算层的公式为:
其中xij为数据输入层的局部数据,ω(n-i)(n-j)为filter中的数据,bL为偏置量。
2)为了使计算得到简化,本发明采用的激励函数为Relu。因为Relu会使一部分filter的输出为0,这样会使网络稀疏,减少参数的相互依存关系,防止发生过拟合。
3)池化层用于对数据与参数进行压缩。为了保证在特征尺度不变的情况下进行降维,本发明的池化层采用Max pooling方法。Max pooling对每个深度切片独立,规模为2*2,取值为4点的最大值。至此,输入向量xi经过卷积神经网络与全连接神经网络后输出状态动作值Qπ(xi,ai;ωi)。
4)利用输出的状态动作值Qπ(xi,ai;ωi)计算输入样本xi的目标输出yi,公式如下:
其中Ri为输入样本xi的未来回报,γ为折扣系数,ω-随着网络训练的过程不断更新。
5)利用当前输出的状态动作值Qπ(xi,ai;ωi)与目标输出yi得到均方误差函数Li(ωi),公式如下:
E为中括号中式子的数学期望,下标里的参数代表中括号里的式子存在这些参数。
6)用均方误差函数Li(ωi)对ωi求导,得到权值更新的梯度。公式如下:
7)用梯度下降法更新权值ωi,梯度下降法的公式如下:
其中gi与有关。
以上步骤即可完成深度强化学***台查询预测的建筑能耗数据,并根据预测数据调整建筑负荷,降低建筑能耗。
上述虽然结合附图对本发明的具体实施方式进行了描述,但并非对本发明保护范围的限制,所属领域技术人员应该明白,在本发明的技术方案的基础上,本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (10)
1.一种基于深度强化学习的建筑能耗预测方法,其特征在于,包括:
采集建筑能耗历史数据,同时采集建筑面积、建筑常住人口数量、建筑常住人口消费水平、建筑所在地天气状况数据;
采集得到的数据划分为训练样本集和预测样本集,对样本集数据进行预处理;
将训练样本集数据输入到深度强化学习模型中进行训练,直到得到最优的状态动作值函数后停止,并保存训练后的深度强化学习模型;
深度强化学习模型采用训练样本的输入向量为xi,每一个输入向量中包含n个元素,输入向量经过卷积神经网络与全连接神经网络运算后,输出状态动作值,通过状态动作值获取迭代后的损失函数,进而获得权值更新的梯度,使用梯度下降法更新权值;
将预测样本输入到训练后的深度强化学习网络模型,进行建筑能耗预测。
2.如权利要求1所述的一种基于深度强化学***、建筑所在地天气状况数据按类别分组作为输入向量xi,将进行过预处理的待预测日的能耗数据添加数值标签后作为ai;利用最优状态动作值函数计算出输入样本xi的期望最大回报值,从而得到最优策略。
3.如权利要求2所述的一种基于深度强化学习的建筑能耗预测方法,其特征在于,所述最优状态动作值函数具体为:
Q*(xi,ai;|ωi)=maxπE[Ri|xi=x,ai=a,ωi=ω,π]
其中,Ri为输入样本xi的未来回报,I是输入样本总量,γ为折扣系数,用来权衡未来奖赏对累计奖赏的影响;π是输入样本xi与数据标签ai的映射函数;ωi为权值,Ri为输入样本xi的未来回报,I是输入样本总量,γ为折扣系数,用来权衡未来奖赏对累计奖赏的影响;π是输入样本xi与数据标签ai的映射函数;ωi为权值,x为输入样本;a为添加数值标签后的待预测日的能耗数据;ω为权值;i'为Ri中的一个参数,代表Ri中的连加运算对i至I起作用;Ri为输入样本xi的未来回报。
4.如权利要求1所述的一种基于深度强化学习的建筑能耗预测方法,其特征在于,将训练样本集数据输入到深度强化学习模型中进行训练,具体为:
输入数据进入卷积计算层进行卷积计算;
池化层采用Max pooling方法对数据与参数进行压缩;
输入数据经过卷积神经网络与全连接神经网络后输出状态动作值;
利用输出的状态动作值计算输入数据的目标输出;
利用当前输出的状态动作值与目标输出得到均方误差函数;
用均方误差函数对权值求导,得到权值更新的梯度;
用梯度下降法更新权值。
5.如权利要求4所述的一种基于深度强化学习的建筑能耗预测方法,其特征在于,利用输出的状态动作值计算输入数据的目标输出,具体为:
其中,xi为输入样本数据,Ri为输入数据xi的未来回报,γ为折扣系数,ω-随着网络训练的过程不断更新,E为数学期望;Qi'为输出的状态动作值;x为输入样本;a为添加数值标签后的待预测日的能耗数据;xi'与ai'为区别于xi与ai的值。
6.如权利要求4所述的一种基于深度强化学习的建筑能耗预测方法,其特征在于,利用当前输出的状态动作值与目标输出得到均方误差函数,具体为:
其中,为数学期望。
7.如权利要求4所述的一种基于深度强化学习的建筑能耗预测方法,其特征在于,用均方误差函数对权值求导,得到权值更新的梯度,具体为:
其中,代表对ωi求导。
8.如权利要求4所述的一种基于深度强化学习的建筑能耗预测方法,其特征在于,用梯度下降法更新权值,具体为:
其中,ωi为权值;ωi+1为更新后的权值;代表均方误差函数对权值求导;η为学习速率;gi是根据权值更新的梯度选择的函数。
9.一种基于深度强化学习的建筑能耗预测***,其特征在于,包括服务器,所述服务器包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现以下步骤:
采集建筑能耗历史数据,同时采集建筑面积、建筑常住人口数量、建筑常住人口消费水平、建筑所在地天气状况数据;
采集得到的数据划分为训练样本集和预测样本集,对样本集数据进行预处理;
将训练样本集数据输入到深度强化学习模型中进行训练,直到得到最优的状态动作值函数后停止,并保存训练后的深度强化学习模型;
深度强化学习模型采用训练样本的输入向量为xi,每一个输入向量中包含n个元素,输入向量经过卷积神经网络与全连接神经网络运算后,输出状态动作值,通过状态动作值获取迭代后的损失函数,进而获得权值更新的梯度,使用梯度下降法更新权值;
将预测样本输入到训练后的深度强化学习网络模型,进行建筑能耗预测。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时执行以下步骤:
采集建筑能耗历史数据,同时采集建筑面积、建筑常住人口数量、建筑常住人口消费水平、建筑所在地天气状况数据;
采集得到的数据划分为训练样本集和预测样本集,对样本集数据进行预处理;
将训练样本集数据输入到深度强化学习模型中进行训练,直到得到最优的状态动作值函数后停止,并保存训练后的深度强化学习模型;
深度强化学习模型采用训练样本的输入向量为xi,每一个输入向量中包含n个元素,输入向量经过卷积神经网络与全连接神经网络运算后,输出状态动作值,通过状态动作值获取迭代后的损失函数,进而获得权值更新的梯度,使用梯度下降法更新权值;
将预测样本输入到训练后的深度强化学习网络模型,进行建筑能耗预测。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810796307.5A CN109063903B (zh) | 2018-07-19 | 2018-07-19 | 一种基于深度强化学习的建筑能耗预测方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810796307.5A CN109063903B (zh) | 2018-07-19 | 2018-07-19 | 一种基于深度强化学习的建筑能耗预测方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109063903A true CN109063903A (zh) | 2018-12-21 |
CN109063903B CN109063903B (zh) | 2021-04-09 |
Family
ID=64817370
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810796307.5A Active CN109063903B (zh) | 2018-07-19 | 2018-07-19 | 一种基于深度强化学习的建筑能耗预测方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109063903B (zh) |
Cited By (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109754075A (zh) * | 2019-01-16 | 2019-05-14 | 中南民族大学 | 无线传感器网络节点的调度方法、设备、存储介质及装置 |
CN109946968A (zh) * | 2019-03-27 | 2019-06-28 | 北京快电科技有限公司 | 一种楼宇内分布式能源匹配***和方法 |
CN110065855A (zh) * | 2019-04-21 | 2019-07-30 | 苏州科技大学 | 多轿厢电梯控制方法及控制*** |
CN110188963A (zh) * | 2019-06-05 | 2019-08-30 | 中国矿业大学(北京) | 基于最小角回归和梯度提升模型的建筑能耗预测方法 |
CN110263433A (zh) * | 2019-06-19 | 2019-09-20 | 苏州科技大学 | 一种熔断器故障报警方法和*** |
CN110299008A (zh) * | 2019-07-19 | 2019-10-01 | 浙江工业大学 | 一种基于强化学习的交通流多步预测方法 |
CN110531681A (zh) * | 2019-09-17 | 2019-12-03 | 山东建筑大学 | 基于深度强化学习的室内照明数据采集控制***及方法 |
CN110598906A (zh) * | 2019-08-15 | 2019-12-20 | 珠海米枣智能科技有限公司 | 一种基于深度强化学习的大型商场能耗实时控制方法和*** |
CN110796673A (zh) * | 2019-10-31 | 2020-02-14 | Oppo广东移动通信有限公司 | 图像分割方法及相关产品 |
CN110942228A (zh) * | 2019-10-25 | 2020-03-31 | 万翼科技有限公司 | 能耗控制方法、装置、计算机设备与存储介质 |
CN111290922A (zh) * | 2020-03-03 | 2020-06-16 | 中国工商银行股份有限公司 | 服务运行健康度监测方法及装置 |
CN111382475A (zh) * | 2020-03-11 | 2020-07-07 | 郑州工程技术学院 | 基于分布式传感器的建筑采光设计智能*** |
CN111488980A (zh) * | 2019-01-29 | 2020-08-04 | 斯特拉德视觉公司 | 优化采样的神经网络的设备上持续学习方法及装置 |
CN111738529A (zh) * | 2020-07-28 | 2020-10-02 | 南方电网科学研究院有限责任公司 | 基于强化学习的综合能源***需求响应方法、***及设备 |
CN111753468A (zh) * | 2020-06-28 | 2020-10-09 | 中国科学院自动化研究所 | 基于深度强化学习的电梯***自学习最优控制方法及*** |
CN111753470A (zh) * | 2020-06-30 | 2020-10-09 | 桂林电子科技大学 | 一种基于粗糙集和深度置信神经网络的建筑能耗预测方法 |
CN112183826A (zh) * | 2020-09-15 | 2021-01-05 | 湖北大学 | 基于深度级联生成对抗网络的建筑能耗预测方法及相关产品 |
CN112232479A (zh) * | 2020-09-11 | 2021-01-15 | 湖北大学 | 基于深度级联神经网络的建筑能耗时空因子表征方法及相关产品 |
CN112380761A (zh) * | 2020-10-20 | 2021-02-19 | 珠海米枣智能科技有限公司 | 一种基于强化学习的建筑环境控制器和控制方法 |
CN112712213A (zh) * | 2021-01-15 | 2021-04-27 | 上海交通大学 | 一种集中空调住宅深度迁移学习能耗预测方法及*** |
CN112766596A (zh) * | 2021-01-29 | 2021-05-07 | 苏州思萃融合基建技术研究所有限公司 | 建筑能耗预测模型的构建方法、能耗预测方法及装置 |
CN112926256A (zh) * | 2021-01-28 | 2021-06-08 | 武汉轻工大学 | 基于深度强化学习的土壤重金属含量预测方法及*** |
CN112948125A (zh) * | 2021-03-29 | 2021-06-11 | 北京深睿科技有限责任公司 | 基于gpu并行强化学习的建筑节能方法 |
CN113313236A (zh) * | 2021-06-10 | 2021-08-27 | 浙江工业大学 | 基于时序神经通路的深度强化学习模型中毒检测方法及其装置 |
CN113704071A (zh) * | 2021-07-30 | 2021-11-26 | 济南浪潮数据技术有限公司 | 一种服务器健康状况预测的方法、装置、设备及可读介质 |
CN113705031A (zh) * | 2021-06-15 | 2021-11-26 | 西安电子科技大学 | 基于深度学习的纳米天线阵列电磁性能预测方法 |
CN115034812A (zh) * | 2022-05-31 | 2022-09-09 | 湖南华菱电子商务有限公司 | 基于大数据的钢铁行业销售量预测方法及装置 |
CN116362418A (zh) * | 2023-05-29 | 2023-06-30 | 天能电池集团股份有限公司 | 一种高端电池智能工厂应用级制造能力在线预测方法 |
CN115456168B (zh) * | 2022-09-05 | 2023-08-25 | 北京百度网讯科技有限公司 | 强化学习模型的训练方法、能耗确定方法和装置 |
CN116663412A (zh) * | 2023-06-01 | 2023-08-29 | 上海嘉仕迈科技有限公司 | 一种基于深度学习技术的零碳建筑布局优化方法及*** |
CN117540938A (zh) * | 2024-01-10 | 2024-02-09 | 杭州经纬信息技术股份有限公司 | 基于td3强化学习优化的集成式建筑能耗预测方法及*** |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7502768B2 (en) * | 2004-02-27 | 2009-03-10 | Siemens Building Technologies, Inc. | System and method for predicting building thermal loads |
CN102938092A (zh) * | 2012-10-08 | 2013-02-20 | 珠海派诺科技股份有限公司 | 一种基于神经网络的建筑节假日能耗预测方法 |
CN106991504A (zh) * | 2017-05-09 | 2017-07-28 | 南京工业大学 | 基于分项计量时间序列的建筑能耗预测方法、***及建筑物 |
CN107590565A (zh) * | 2017-09-08 | 2018-01-16 | 北京首钢自动化信息技术有限公司 | 一种构建建筑能耗预测模型的方法及装置 |
-
2018
- 2018-07-19 CN CN201810796307.5A patent/CN109063903B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7502768B2 (en) * | 2004-02-27 | 2009-03-10 | Siemens Building Technologies, Inc. | System and method for predicting building thermal loads |
CN102938092A (zh) * | 2012-10-08 | 2013-02-20 | 珠海派诺科技股份有限公司 | 一种基于神经网络的建筑节假日能耗预测方法 |
CN106991504A (zh) * | 2017-05-09 | 2017-07-28 | 南京工业大学 | 基于分项计量时间序列的建筑能耗预测方法、***及建筑物 |
CN107590565A (zh) * | 2017-09-08 | 2018-01-16 | 北京首钢自动化信息技术有限公司 | 一种构建建筑能耗预测模型的方法及装置 |
Non-Patent Citations (2)
Title |
---|
ELENA MOCANU ETC: "On-Line Building Energy Optimization Using Deep Reinforcement Learning", 《IEEE XPLORE DIGITAL LIBRARY》 * |
VOLODYMYR MNIH ETC: "Human-level control through deep reinforcement learning", 《NATURE》 * |
Cited By (49)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109754075A (zh) * | 2019-01-16 | 2019-05-14 | 中南民族大学 | 无线传感器网络节点的调度方法、设备、存储介质及装置 |
CN111488980A (zh) * | 2019-01-29 | 2020-08-04 | 斯特拉德视觉公司 | 优化采样的神经网络的设备上持续学习方法及装置 |
CN111488980B (zh) * | 2019-01-29 | 2023-10-03 | 斯特拉德视觉公司 | 优化采样的神经网络的设备上持续学习方法及装置 |
CN109946968A (zh) * | 2019-03-27 | 2019-06-28 | 北京快电科技有限公司 | 一种楼宇内分布式能源匹配***和方法 |
CN109946968B (zh) * | 2019-03-27 | 2022-03-25 | 北京快电科技有限公司 | 一种楼宇内分布式能源匹配***和方法 |
CN110065855A (zh) * | 2019-04-21 | 2019-07-30 | 苏州科技大学 | 多轿厢电梯控制方法及控制*** |
CN110065855B (zh) * | 2019-04-21 | 2024-01-23 | 苏州科技大学 | 多轿厢电梯控制方法及控制*** |
CN110188963A (zh) * | 2019-06-05 | 2019-08-30 | 中国矿业大学(北京) | 基于最小角回归和梯度提升模型的建筑能耗预测方法 |
CN110263433A (zh) * | 2019-06-19 | 2019-09-20 | 苏州科技大学 | 一种熔断器故障报警方法和*** |
CN110263433B (zh) * | 2019-06-19 | 2024-03-05 | 苏州科技大学 | 一种熔断器故障报警方法和*** |
CN110299008A (zh) * | 2019-07-19 | 2019-10-01 | 浙江工业大学 | 一种基于强化学习的交通流多步预测方法 |
CN110299008B (zh) * | 2019-07-19 | 2020-11-13 | 浙江工业大学 | 一种基于强化学习的交通流多步预测方法 |
CN110598906B (zh) * | 2019-08-15 | 2024-02-13 | 珠海米枣智能科技有限公司 | 一种基于深度强化学习的大型商场能耗实时控制方法和*** |
CN110598906A (zh) * | 2019-08-15 | 2019-12-20 | 珠海米枣智能科技有限公司 | 一种基于深度强化学习的大型商场能耗实时控制方法和*** |
CN110531681A (zh) * | 2019-09-17 | 2019-12-03 | 山东建筑大学 | 基于深度强化学习的室内照明数据采集控制***及方法 |
CN110942228A (zh) * | 2019-10-25 | 2020-03-31 | 万翼科技有限公司 | 能耗控制方法、装置、计算机设备与存储介质 |
CN110796673A (zh) * | 2019-10-31 | 2020-02-14 | Oppo广东移动通信有限公司 | 图像分割方法及相关产品 |
CN110796673B (zh) * | 2019-10-31 | 2023-02-24 | Oppo广东移动通信有限公司 | 图像分割方法及相关产品 |
CN111290922B (zh) * | 2020-03-03 | 2023-08-22 | 中国工商银行股份有限公司 | 服务运行健康度监测方法及装置 |
CN111290922A (zh) * | 2020-03-03 | 2020-06-16 | 中国工商银行股份有限公司 | 服务运行健康度监测方法及装置 |
CN111382475A (zh) * | 2020-03-11 | 2020-07-07 | 郑州工程技术学院 | 基于分布式传感器的建筑采光设计智能*** |
CN111753468A (zh) * | 2020-06-28 | 2020-10-09 | 中国科学院自动化研究所 | 基于深度强化学习的电梯***自学习最优控制方法及*** |
CN111753470A (zh) * | 2020-06-30 | 2020-10-09 | 桂林电子科技大学 | 一种基于粗糙集和深度置信神经网络的建筑能耗预测方法 |
CN111753470B (zh) * | 2020-06-30 | 2022-09-16 | 桂林电子科技大学 | 一种基于粗糙集和深度置信神经网络的建筑能耗预测方法 |
CN111738529A (zh) * | 2020-07-28 | 2020-10-02 | 南方电网科学研究院有限责任公司 | 基于强化学习的综合能源***需求响应方法、***及设备 |
CN112232479A (zh) * | 2020-09-11 | 2021-01-15 | 湖北大学 | 基于深度级联神经网络的建筑能耗时空因子表征方法及相关产品 |
CN112183826A (zh) * | 2020-09-15 | 2021-01-05 | 湖北大学 | 基于深度级联生成对抗网络的建筑能耗预测方法及相关产品 |
CN112380761A (zh) * | 2020-10-20 | 2021-02-19 | 珠海米枣智能科技有限公司 | 一种基于强化学习的建筑环境控制器和控制方法 |
CN112380761B (zh) * | 2020-10-20 | 2024-01-26 | 珠海米枣智能科技有限公司 | 一种基于强化学习的建筑环境控制器和控制方法 |
CN112712213B (zh) * | 2021-01-15 | 2023-07-04 | 上海交通大学 | 一种集中空调住宅深度迁移学习能耗预测方法及*** |
CN112712213A (zh) * | 2021-01-15 | 2021-04-27 | 上海交通大学 | 一种集中空调住宅深度迁移学习能耗预测方法及*** |
CN112926256B (zh) * | 2021-01-28 | 2022-06-14 | 武汉轻工大学 | 基于深度强化学习的土壤重金属含量预测方法及*** |
CN112926256A (zh) * | 2021-01-28 | 2021-06-08 | 武汉轻工大学 | 基于深度强化学习的土壤重金属含量预测方法及*** |
CN112766596B (zh) * | 2021-01-29 | 2024-04-16 | 苏州思萃融合基建技术研究所有限公司 | 建筑能耗预测模型的构建方法、能耗预测方法及装置 |
CN112766596A (zh) * | 2021-01-29 | 2021-05-07 | 苏州思萃融合基建技术研究所有限公司 | 建筑能耗预测模型的构建方法、能耗预测方法及装置 |
CN112948125A (zh) * | 2021-03-29 | 2021-06-11 | 北京深睿科技有限责任公司 | 基于gpu并行强化学习的建筑节能方法 |
CN113313236B (zh) * | 2021-06-10 | 2024-03-15 | 浙江工业大学 | 基于时序神经通路的深度强化学习模型中毒检测方法及其装置 |
CN113313236A (zh) * | 2021-06-10 | 2021-08-27 | 浙江工业大学 | 基于时序神经通路的深度强化学习模型中毒检测方法及其装置 |
CN113705031A (zh) * | 2021-06-15 | 2021-11-26 | 西安电子科技大学 | 基于深度学习的纳米天线阵列电磁性能预测方法 |
CN113704071A (zh) * | 2021-07-30 | 2021-11-26 | 济南浪潮数据技术有限公司 | 一种服务器健康状况预测的方法、装置、设备及可读介质 |
CN115034812B (zh) * | 2022-05-31 | 2023-04-21 | 湖南华菱电子商务有限公司 | 基于大数据的钢铁行业销售量预测方法及装置 |
CN115034812A (zh) * | 2022-05-31 | 2022-09-09 | 湖南华菱电子商务有限公司 | 基于大数据的钢铁行业销售量预测方法及装置 |
CN115456168B (zh) * | 2022-09-05 | 2023-08-25 | 北京百度网讯科技有限公司 | 强化学习模型的训练方法、能耗确定方法和装置 |
CN116362418B (zh) * | 2023-05-29 | 2023-08-22 | 天能电池集团股份有限公司 | 一种高端电池智能工厂应用级制造能力在线预测方法 |
CN116362418A (zh) * | 2023-05-29 | 2023-06-30 | 天能电池集团股份有限公司 | 一种高端电池智能工厂应用级制造能力在线预测方法 |
CN116663412A (zh) * | 2023-06-01 | 2023-08-29 | 上海嘉仕迈科技有限公司 | 一种基于深度学习技术的零碳建筑布局优化方法及*** |
CN116663412B (zh) * | 2023-06-01 | 2024-03-29 | 上海嘉仕迈科技有限公司 | 一种基于深度学习技术的零碳建筑布局优化方法及*** |
CN117540938A (zh) * | 2024-01-10 | 2024-02-09 | 杭州经纬信息技术股份有限公司 | 基于td3强化学习优化的集成式建筑能耗预测方法及*** |
CN117540938B (zh) * | 2024-01-10 | 2024-05-03 | 杭州经纬信息技术股份有限公司 | 基于td3强化学习优化的集成式建筑能耗预测方法及*** |
Also Published As
Publication number | Publication date |
---|---|
CN109063903B (zh) | 2021-04-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109063903A (zh) | 一种基于深度强化学习的建筑能耗预测方法及*** | |
CN103164742B (zh) | 一种基于粒子群优化神经网络的服务器性能预测方法 | |
CN107703564A (zh) | 一种降雨预测方法、***及电子设备 | |
CN103390116B (zh) | 采用分步方式的光伏电站发电功率预测方法 | |
CN113361777B (zh) | 基于vmd分解和ihho优化lstm的径流预测方法及*** | |
CN106651012A (zh) | 一种基于改进极限学习机的作物蒸腾量预测方法 | |
CN103971160B (zh) | 基于复杂网络的粒子群优化方法 | |
WO2019118460A1 (en) | Irrigation system control with predictive water balance capabilities | |
CN103778482B (zh) | 基于多尺度分析的水产养殖溶解氧短期预测方法 | |
CN107705556A (zh) | 一种基于支持向量机和bp神经网络结合的交通流预测方法 | |
CN109215344B (zh) | 用于城市道路短时交通流量预测的方法和*** | |
CN113255206B (zh) | 一种基于深度强化学习的水文预报模型参数率定方法 | |
CN109064748A (zh) | 基于时间聚类分析和可变卷积神经网络的交通平均速度预测方法 | |
CN105512832A (zh) | 基于时变权最小方差的城市需水量组合预测方法 | |
Xue et al. | Self-adaptive particle swarm optimization-based echo state network for time series prediction | |
CN110070228A (zh) | 一种神经元分支进化的bp神经网络风速预测方法 | |
CN108805346A (zh) | 一种基于多隐层极限学习机的热连轧轧制力预报方法 | |
CN115530054A (zh) | 灌溉控制方法、装置、电子设备及存储介质 | |
CN113016450A (zh) | 一种温室作物灌溉方法及*** | |
Tian et al. | A network traffic hybrid prediction model optimized by improved harmony search algorithm | |
CN109426901A (zh) | 一种中长期用电预测方法及装置 | |
Wang et al. | Adaptive chimp optimization algorithm with chaotic map for global numerical optimization problems | |
CN110490319A (zh) | 基于融合神经网络参数的分布式深度强化学习 | |
CN106503793B (zh) | 一种基于改进差分算法的神经网络短期风速预测方法 | |
CN112101612A (zh) | 一种城镇燃气用量的预测方法、存储介质及终端设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20231023 Address after: Room 303, West, 3rd Floor, Building 1, No. 1, Gaoxin 3rd Street, Changping District, Beijing 102200 (Changping Demonstration Park) Patentee after: BEIJING HYSINE YUNDA TECHNOLOGY CO.,LTD. Address before: 250101 1000, Feng Ming Road, Lingang Development Zone, Licheng District, Ji'nan, Shandong Patentee before: SHANDONG JIANZHU University |