CN110516889A - 一种基于Q-learning的负荷综合预测方法和相关设备 - Google Patents
一种基于Q-learning的负荷综合预测方法和相关设备 Download PDFInfo
- Publication number
- CN110516889A CN110516889A CN201910829313.0A CN201910829313A CN110516889A CN 110516889 A CN110516889 A CN 110516889A CN 201910829313 A CN201910829313 A CN 201910829313A CN 110516889 A CN110516889 A CN 110516889A
- Authority
- CN
- China
- Prior art keywords
- load
- learning
- prediction
- basic forecast
- forecast parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 79
- 230000033001 locomotion Effects 0.000 claims abstract description 29
- 230000008859 change Effects 0.000 claims abstract description 27
- 238000013277 forecasting method Methods 0.000 claims abstract description 26
- 238000012545 processing Methods 0.000 claims abstract description 18
- 230000006870 function Effects 0.000 claims description 10
- 238000012549 training Methods 0.000 claims description 8
- 238000001556 precipitation Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 description 9
- 230000007774 longterm Effects 0.000 description 4
- 241000208340 Araliaceae Species 0.000 description 3
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 3
- 235000003140 Panax quinquefolius Nutrition 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 235000008434 ginseng Nutrition 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 240000002853 Nelumbo nucifera Species 0.000 description 1
- 235000006508 Nelumbo nucifera Nutrition 0.000 description 1
- 235000006510 Nelumbo pentapetala Nutrition 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000010238 partial least squares regression Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000005086 pumping Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Economics (AREA)
- General Physics & Mathematics (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- Software Systems (AREA)
- Marketing (AREA)
- Health & Medical Sciences (AREA)
- Tourism & Hospitality (AREA)
- Game Theory and Decision Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Primary Health Care (AREA)
- Development Economics (AREA)
- Water Supply & Treatment (AREA)
- Entrepreneurship & Innovation (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Artificial Intelligence (AREA)
- Public Health (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请实施例公开了一种基于Q‑learning的负荷综合预测方法和相关设备,方法包括:获取影响负荷的若干组基础预测参数集,并对其进行标幺化处理和离散化处理,作为环境状态;获取若干种负荷预测方法,并对其权重进行离散化处理,作为动作空间;将负荷预测值和负荷实际值的平方根偏差作为回报函数;根据环境状态、动作空间和回报函数构建预测智能体;基于Q‑learning对预测智能体进行训练;将进行标幺化处理和离散化处理后基础参数集的输入到已训练收敛的预测智能体中,进行负荷预测。通过将Q强化学习应用于负荷综合预测中,设计了环境状态、动作空间和回报函数,使得所选择预测方法和权重值均可以随基础预测参数而改变,解决了现有的单个预测方法适应性差问题。
Description
技术领域
本申请涉及电力负荷预测技术领域,尤其涉及一种基于Q-learning的负荷综合预测方法和相关设备。
背景技术
中长期负荷预测是电力***调度运行中重要的基础数据信息,其预测准确率直接影响到中长期电力电量平衡分析、检修计划安排等运行方式安排内容。为提升中长期负荷预测的准确率,当前学术界与工业界开展了大量研究与实践,其基本思路是采用不同预测方法研究负荷与气象、经济等基础信息之间的相互关系,在此基础上根据不同预测方法的预测效果构建综合预测模型,以实现对中长期负荷的准确预测。
在预测方法研究层面,当前中长期负荷预测中所采用的方法种类众多,不同预测方法所反映的负荷与预测基础信息的特性规律不同,预测方法的精度受预测基础信息影响显著,当预测基础信息变化时,所适用的预测方法不同。
因此,需要提出一种负荷综合预测方法,解决现有的单个预测方法的适应性差问题。
发明内容
本申请实施例提供了一种基于Q-learning的负荷综合预测方法和相关设备,解决现有的单个预测方法适应性差问题
有鉴于此,本申请第一方面提供了一种基于Q-learning的负荷综合预测方法,包括:
获取影响负荷的若干组基础预测参数集,并对所述基础预测参数集进行标幺化处理和离散化处理,作为环境状态;
获取若干种负荷预测方法,并对其权重进行离散化处理,作为动作空间;
将负荷预测值和负荷实际值的平方根偏差作为回报函数;
根据所述环境状态、所述动作空间和所述回报函数构建预测智能体;
基于Q-learning对所述预测智能体进行训练;
将进行标幺化处理和离散化处理后基础参数集的输入到已训练收敛的预测智能体中,进行负荷预测。
优选的,所述对所述基础预测参数集进行标幺化处理的标幺化公式为:
其中,基础预测参数集表示为 分别为第i项基础预测参数在时段t的标幺值和实际值,分别为基础预测参数的最大、最小取值。
优选的,所述回报函数的公式为:
其中,Pt F、Pt R分别为时段t的负荷预测值和负荷实际值;为负荷预测方法i的权重离散值,NI为负荷预测方法的数量;为正负偏差,λ为正负偏差系数。
优选的,基础预测参数集和/或所述基础参数包括:温度、风力、降水等气象信息,GDP、居民可支配收入、PPI。
本申请第二方面提供一种基于Q-learning的负荷综合预测装置,包括:
环境状态获取单元,用于获取影响负荷的若干组基础预测参数集,并对其进行标幺化和离散化处理,作为环境状态;
动作空间获取单元,用于获取若干种负荷预测方法,并对其权重进行离散化处理,作为动作空间;
回报函数制定单元,用于将负荷预测值和负荷实际值的平方根偏差作为回报函数;
构建单元,用于根据所述环境状态、所述动作空间和所述回报函数构建预测智能体;
训练单元,用于基于Q-learning对所述预测智能体进行训练;
预测单元,用于将进行标幺化处理和离散化处理后基础参数的输入到已训练收敛的预测智能体中,进行负荷预测。
优选的,所述对所述基础预测参数集进行标幺化处理的标幺化公式为:
其中,基础预测参数集表示为 分别为第i项基础预测参数在时段t的标幺值和实际值,分别为基础预测参数的最大、最小取值。
优选的,所述回报函数的公式为:
其中,Pt F、Pt R分别为时段t的负荷预测值和负荷实际值;为负荷预测方法i的权重离散值,NI为负荷预测方法的数量;为正负偏差,λ为正负偏差系数。
优选的,基础预测参数集和/或所述基础参数包括:温度、风力、降水等气象信息,GDP、居民可支配收入、PPI。
本申请第三方面提供一种基于Q-learning的负荷综合预测设备,所述设备包括处理器以及存储器:
所述存储器用于存储程序代码,并将所述程序代码传输给所述处理器;
所述处理器用于根据所述程序代码中的指令,执行如上述第一方面所述的基于Q-learning的负荷综合预测方法的步骤。
本申请第四方面提供一种计算机可读存储介质,所述计算机可读存储介质用于存储程序代码,所述程序代码用于执行上述第一方面所述的方法。
从以上技术方案可以看出,本申请实施例具有以下优点:
本申请实施例中,提供了一种基于Q-learning的负荷综合预测方法,包括:获取影响负荷的若干组基础预测参数集,并对基础预测参数集进行标幺化处理和离散化处理,作为环境状态;获取若干种负荷预测方法,并对其权重进行离散化处理,作为动作空间;将负荷预测值和负荷实际值的平方根偏差作为回报函数;根据环境状态、动作空间和回报函数构建预测智能体;基于Q-learning对预测智能体进行训练;将进行标幺化处理和离散化处理后基础参数集的输入到已训练收敛的预测智能体中,进行负荷预测。通过将Q强化学习应用于负荷综合预测中,根据负荷预测问题的需要,结合Q-learning实际要求,提出了模型抽象方法,设计了环境状态、动作空间和回报函数,提出了一种动态综合负荷预测方法,其动态体现在所选择预测方法和权重值均可以随基础预测参数而改变。因此,上述负荷综合预测方法实现了综合预测模型中预测方法选用与各预测方法权重的动态调整,提升了综合预测模型与预测基础信息之间的适应性,有效解决了现有的单个预测方法适应性差问题,具有广泛的应用前景。
附图说明
图1为本申请实施例中基于Q-learning的负荷综合预测方法的方法流程图;
图2为本申请实施例中基于Q-learning的负荷综合预测装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请设计了一种基于Q-learning的负荷综合预测方法和相关设备,考虑到现有技术中采用的负荷预测方法种类众多,例如:利用灰色神经网络与灰色关联度技术,实现中长期日负荷曲线的预测;基于Verhulst-SVM的中长期负荷预测模型;构建偏最小二乘回归模型解决中长期负荷预测问题;基于改进BP神经网络的中长期负荷预测方法;基于改进残差GM(1,1)模型的中长期负荷预测方法。然而不同预测方法所反映的负荷与预测基础信息的特性规律不同,预测方法的精度受预测基础信息影响显著,当预测基础信息变化时,所适用的预测方法不同。因此,本申请所提供的基于Q-learning的负荷综合预测方法旨在解决现有的单个的预测方法适应性差问题。
为了便于理解,请参阅图1,图1为本申请实施例中基于Q-learning的负荷综合预测方法的方法流程图,如图1所示,具体为:
步骤101,获取影响负荷的若干组基础预测参数集,并对基础预测参数集进行标幺化处理和离散化处理,作为环境状态。
所谓环境状态是指智能体决策分析所依据的基础预测参数。在中长期综合负荷预测问题中包括温度、风力、降水等气象信息,GDP、居民可支配收入、PPI等经济指标。根据不同地区中长期负荷预测的实际需要和上述基础预测参数的实际可获取性,取得若干组基础预测参数集,并需要对其进行标幺化和离散化处理。
规定所选取的基础预测参数集可表示为标幺化公式可表示为:
式中,分别为第i项基础预测参数在时段t的标幺值和实际值,分别为该参数的最大、最小取值。各基础预测参数的标幺值取值范围为0至1,在此基础上可对其离散化处理,一般规定离散取值范围为0至9整数,离散值与标幺值对应关系如表1所示。
表1离散值与标幺值对应表
步骤102,获取若干种负荷预测方法,并对其权重进行离散化处理,作为动作空间。
所谓动作空间是指智能体所执行的动作,在中长期综合负荷预测模型中是指所选取的预测方法及其权重。需要说明的是,本申请所提供的预测方法是一种综合预测方法,因此此处选取的预测方法即为现有技术中已存在的多种预测方法。考虑到对上述预测方法及其权重选定均最终需要转化为离散取值,故直接将其按照表2所示的对应关系确定离散值。
表2权重值与其离散值对照表
权重值 | 离散值 |
[0,0.1) | 0 |
[0.1,0.2) | 1 |
[0.2,0.3) | 2 |
[0.3,0.4) | 3 |
[0.4,0.5) | 4 |
[0.5,0.6) | 5 |
[0.6,0.7) | 6 |
[0.7,0.8) | 7 |
[0.8,0.9) | 8 |
[0.9,1] | 9 |
按照上述权重值离散化方法,权重离散值取值为0时,表明该预测方法不被选取。
步骤103,将负荷预测值和负荷实际值的平方根偏差作为回报函数。
回报函数设计为综合负荷预测模型的预测准确率,将负荷预测值和负荷实际值的平方根偏差作为回报函数。
进一步的,由于所有预测方法的权重值之和应等于1,考虑到离散化后权重值之和会有所改变,因此在约束条件中引入了正负偏差因此,可表示为:
式中,Pt F、Pt R分别为时段t的负荷预测值和负荷实际值,则为其平方根偏差;为负荷预测方法i的权重离散值,NI为负荷预测方法的数量;为正负偏差,λ为正负偏差系数。
通过在目标函数中引入其最小化目标确保权重值之和趋近于1。λ为正负偏差的系数,由人工给定,应满足λ>>1。
步骤104,根据环境状态、动作空间和回报函数构建预测智能体。
智能体训练是指根据待预测对象的历史数据对Q-learning预测智能体进行训练。根据Q-learning的实施要点,需要将实际待研究问题抽象,确定环境状态、动作空间和回报函数三方面内容。因此,根据环境状态、动作空间和回报函数可以构建预测智能体。
步骤105,基于Q-learning对预测智能体进行训练。
Q-learning算法一种免模型强化学习算法,并以时序差分马尔科夫决策过程为基础。在训练过程中,通过对动作-状态值函数的迭代更新,获得最优策略。动作-状态值函数为给定策略下选择动作所获得回报的期望值,可表示为:
式中,Q(x,a)为环境状态x下采取动作a的动作-状态值函数,R(x,x',a)为由环境状态x经过动作a作用转移到环境状态x'所获得的回报,P(x'|x,a)为转移概率,为在环境状态x'下所有动作可获得的最大动作-状态值函数。γ为人工给定的折扣因子。Q-learning算法的执行流程包括四个主要步骤,分别为:①构造ε-贪心策略πε,并执行;②更新状态-动作值函数;③策略改进;④收敛判定。考虑到Q-learning属于较为成熟的强化学习方法,这里不再赘述上述四个步骤的智能体训练过程。
步骤106,将进行标幺化处理和离散化处理后基础参数集的输入到已训练收敛的预测智能体中,进行负荷预测。
对于训练成熟,满足收敛条件的智能体,可以用于预测。在预测过程中由于Q-learning采用的是时序差分马尔科夫决策过程,因此需要经过两个步骤。
①对基础参数集实施标幺-离散化处理,具体处理方法与步骤101中环境状态的标幺-离散化一致,这里不再赘述。
②将标幺-离散化后的基础参数集输入已训练收敛的智能体,进行预测。这一步骤也属于Q强化学习的基本操作,即可以得到负荷预测结果。
需要说明的是,此处的基础参数集和上文的基础预测参数集中的数据类型是一样的,基础预测参数集的数据用于训练,基础参数集为实际数据,用于预测。
本申请实施例所提供的基于Q-learning的负荷综合预测方法,通过将Q强化学习应用于负荷综合预测中,根据负荷预测问题的需要,结合Q-learning实际要求,提出了模型抽象方法,设计了环境状态、动作空间和回报函数,提出了一种动态综合负荷预测方法,其动态体现在所选择预测方法和权重值均可以随基础预测参数而改变。因此,上述负荷综合预测方法实现了综合预测模型中预测方法选用与各预测方法权重的动态调整,提升了综合预测模型与预测基础信息之间的适应性,有效解决了现有的单个预测方法适应性差问题,具有广泛的应用前景。
本申请第二方面提供了一种基于Q-learning的负荷综合预测装置,包括:
环境状态获取单元201,用于获取影响负荷的若干组基础预测参数集,并对其进行标幺化和离散化处理,作为环境状态;
动作空间获取单元202,用于获取若干种负荷预测方法,并对其权重进行离散化处理,作为动作空间;
回报函数制定单元203,用于将负荷预测值和负荷实际值的平方根偏差作为回报函数;
构建单元204,用于根据环境状态、动作空间和回报函数构建预测智能体;
训练单元205,用于基于Q-learning对预测智能体进行训练;
预测单元206,用于将进行标幺化处理和离散化处理后基础参数的输入到已训练收敛的预测智能体中,进行负荷预测。
优选的,对基础预测参数集进行标幺化处理的标幺化公式为:
其中,基础预测参数集表示为 分别为第i项基础预测参数在时段t的标幺值和实际值,分别为基础预测参数的最大、最小取值。
优选的,回报函数的公式为:
其中,Pt F、Pt R分别为时段t的负荷预测值和负荷实际值;为负荷预测方法i的权重离散值,NI为负荷预测方法的数量;为正负偏差,λ为正负偏差系数。
优选的,基础预测参数集和/或基础参数包括:温度、风力、降水等气象信息,GDP、居民可支配收入、PPI。
本申请第三方面提供了一种基于Q-learning的负荷综合预测设备,设备包括处理器以及存储器:
存储器用于存储程序代码,并将程序代码传输给处理器;
处理器用于根据程序代码中的指令执行上述第一方面的基于Q-learning的负荷综合预测方法。
本申请第四方面提供了一种计算机可读存储介质,其特征在于,计算机可读存储介质用于存储程序代码,程序代码用于执行上述第一方面的基于Q-learning的负荷综合预测方法。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的***,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解,在本申请中,“至少一个(项)”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,用于描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:只存在A,只存在B以及同时存在A和B三种情况,其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达,是指这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b或c中的至少一项(个),可以表示:a,b,c,“a和b”,“a和c”,“b和c”,或“a和b和c”,其中a,b,c可以是单个,也可以是多个。
在本申请所提供的几个实施例中,应该理解到,所揭露的***,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(英文全称:Read-OnlyMemory,英文缩写:ROM)、随机存取存储器(英文全称:Random Access Memory,英文缩写:RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (10)
1.一种基于Q-learning的负荷综合预测方法,其特征在于,包括:
获取影响负荷的若干组基础预测参数集,并对所述基础预测参数集进行标幺化处理和离散化处理,作为环境状态;
获取若干种负荷预测方法,并对其权重进行离散化处理,作为动作空间;
将负荷预测值和负荷实际值的平方根偏差作为回报函数;
根据所述环境状态、所述动作空间和所述回报函数构建预测智能体;
基于Q-learning对所述预测智能体进行训练;
将进行标幺化处理和离散化处理后基础参数集的输入到已训练收敛的预测智能体中,进行负荷预测。
2.根据权利要求1所述的基于Q-learning的负荷综合预测方法,其特征在于,所述对所述基础预测参数集进行标幺化处理的标幺化公式为:
其中,基础预测参数集表示为 分别为第i项基础预测参数在时段t的标幺值和实际值,分别为基础预测参数的最大、最小取值。
3.根据权利要求1所述的基于Q-learning的负荷综合预测方法,其特征在于,所述回报函数的公式为:
其中,Pt F、Pt R分别为时段t的负荷预测值和负荷实际值;为负荷预测方法i的权重离散值,NI为负荷预测方法的数量;为正负偏差,λ为正负偏差系数。
4.根据权利要求1所述的基于Q-learning的负荷综合预测方法,其特征在于,基础预测参数集和/或所述基础参数包括:温度、风力、降水信息,GDP、居民可支配收入、PPI。
5.一种基于Q-learning的负荷综合预测装置,其特征在于,包括:
环境状态获取单元,用于获取影响负荷的若干组基础预测参数集,并对其进行标幺化和离散化处理,作为环境状态;
动作空间获取单元,用于获取若干种负荷预测方法,并对其权重进行离散化处理,作为动作空间;
回报函数制定单元,用于将负荷预测值和负荷实际值的平方根偏差作为回报函数;
构建单元,用于根据所述环境状态、所述动作空间和所述回报函数构建预测智能体;
训练单元,用于基于Q-learning对所述预测智能体进行训练;
预测单元,用于将进行标幺化处理和离散化处理后基础参数的输入到已训练收敛的预测智能体中,进行负荷预测。
6.根据权利要求5所述的基于Q-learning的负荷综合预测装置,其特征在于,所述对所述基础预测参数集进行标幺化处理的标幺化公式为:
其中,基础预测参数集表示为 分别为第i项基础预测参数在时段t的标幺值和实际值,分别为基础预测参数的最大、最小取值。
7.根据权利要求5所述的基于Q-learning的负荷综合预测装置,其特征在于,所述回报函数的公式为:
其中,Pt F、Pt R分别为时段t的负荷预测值和负荷实际值;为负荷预测方法i的权重离散值,NI为负荷预测方法的数量;为正负偏差,λ为正负偏差系数。
8.根据权利要求5所述的基于Q-learning的负荷综合预测装置,其特征在于,基础预测参数集和/或所述基础参数包括:温度、风力、降水信息,GDP、居民可支配收入、PPI。
9.一种基于Q-learning的负荷综合预测设备,其特征在于,所述设备包括处理器以及存储器:
所述存储器用于存储程序代码,并将所述程序代码传输给所述处理器;
所述处理器用于根据所述程序代码中的指令执行权利要求1-4任一项所述的基于Q-learning的负荷综合预测方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质用于存储程序代码,所述程序代码用于执行权利要求1-4任一项所述的基于Q-learning的负荷综合预测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910829313.0A CN110516889B (zh) | 2019-09-03 | 2019-09-03 | 一种基于Q-learning的负荷综合预测方法和相关设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910829313.0A CN110516889B (zh) | 2019-09-03 | 2019-09-03 | 一种基于Q-learning的负荷综合预测方法和相关设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110516889A true CN110516889A (zh) | 2019-11-29 |
CN110516889B CN110516889B (zh) | 2023-07-07 |
Family
ID=68630642
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910829313.0A Active CN110516889B (zh) | 2019-09-03 | 2019-09-03 | 一种基于Q-learning的负荷综合预测方法和相关设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110516889B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111523715A (zh) * | 2020-04-15 | 2020-08-11 | 广东电网有限责任公司 | 一种负荷综合预测方法 |
CN111738529A (zh) * | 2020-07-28 | 2020-10-02 | 南方电网科学研究院有限责任公司 | 基于强化学习的综合能源***需求响应方法、***及设备 |
CN112651770A (zh) * | 2020-12-07 | 2021-04-13 | 山东大学 | 电力现货市场售电商负荷申报优化方法及*** |
CN114444862A (zh) * | 2021-12-24 | 2022-05-06 | 国网浙江省电力有限公司温州供电公司 | 一种综合多类指标阈值的配电网灾害预警分级方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103617564A (zh) * | 2013-12-04 | 2014-03-05 | 国家电网公司 | 基于区域负荷预测值综合评价的全网负荷预测方法 |
US20170091615A1 (en) * | 2015-09-28 | 2017-03-30 | Siemens Aktiengesellschaft | System and method for predicting power plant operational parameters utilizing artificial neural network deep learning methodologies |
CN108520472A (zh) * | 2018-02-28 | 2018-09-11 | 北京邮电大学 | 一种处理电力***数据的方法、装置及电子设备 |
CN108932671A (zh) * | 2018-06-06 | 2018-12-04 | 上海电力学院 | 一种采用深度q神经网络调参的lstm风电负荷预测方法 |
CN109214605A (zh) * | 2018-11-12 | 2019-01-15 | 国网山东省电力公司电力科学研究院 | 电力***短期负荷概率预测方法、装置及*** |
CN109978268A (zh) * | 2019-03-29 | 2019-07-05 | 广东电网有限责任公司 | 一种短期负荷预测方法、***及相关装置 |
-
2019
- 2019-09-03 CN CN201910829313.0A patent/CN110516889B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103617564A (zh) * | 2013-12-04 | 2014-03-05 | 国家电网公司 | 基于区域负荷预测值综合评价的全网负荷预测方法 |
US20170091615A1 (en) * | 2015-09-28 | 2017-03-30 | Siemens Aktiengesellschaft | System and method for predicting power plant operational parameters utilizing artificial neural network deep learning methodologies |
CN108520472A (zh) * | 2018-02-28 | 2018-09-11 | 北京邮电大学 | 一种处理电力***数据的方法、装置及电子设备 |
CN108932671A (zh) * | 2018-06-06 | 2018-12-04 | 上海电力学院 | 一种采用深度q神经网络调参的lstm风电负荷预测方法 |
CN109214605A (zh) * | 2018-11-12 | 2019-01-15 | 国网山东省电力公司电力科学研究院 | 电力***短期负荷概率预测方法、装置及*** |
CN109978268A (zh) * | 2019-03-29 | 2019-07-05 | 广东电网有限责任公司 | 一种短期负荷预测方法、***及相关装置 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111523715A (zh) * | 2020-04-15 | 2020-08-11 | 广东电网有限责任公司 | 一种负荷综合预测方法 |
CN111523715B (zh) * | 2020-04-15 | 2022-04-05 | 广东电网有限责任公司 | 一种负荷综合预测方法 |
CN111738529A (zh) * | 2020-07-28 | 2020-10-02 | 南方电网科学研究院有限责任公司 | 基于强化学习的综合能源***需求响应方法、***及设备 |
CN112651770A (zh) * | 2020-12-07 | 2021-04-13 | 山东大学 | 电力现货市场售电商负荷申报优化方法及*** |
CN112651770B (zh) * | 2020-12-07 | 2022-05-17 | 山东大学 | 电力现货市场售电商负荷申报优化方法及*** |
CN114444862A (zh) * | 2021-12-24 | 2022-05-06 | 国网浙江省电力有限公司温州供电公司 | 一种综合多类指标阈值的配电网灾害预警分级方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110516889B (zh) | 2023-07-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110516889A (zh) | 一种基于Q-learning的负荷综合预测方法和相关设备 | |
Wu et al. | Evolving RBF neural networks for rainfall prediction using hybrid particle swarm optimization and genetic algorithm | |
Xiao et al. | A combined model based on multiple seasonal patterns and modified firefly algorithm for electrical load forecasting | |
Pousinho et al. | A hybrid PSO–ANFIS approach for short-term wind power prediction in Portugal | |
CN109063911A (zh) | 一种基于门控循环单元网络的负荷聚合体分组预测方法 | |
CN108491969A (zh) | 基于大数据的空间负荷预测模型构建方法 | |
CN109754113A (zh) | 基于动态时间规整与长短时间记忆的负荷预测方法 | |
CN107665230A (zh) | 用于智能家居控制的用户行为预测模型的训练方法及装置 | |
CN107103394A (zh) | 一种基于神经网络的轨道交通实时客流预测方法 | |
Ismail et al. | Enrollment forecasting based on modified weight fuzzy time series | |
CN108549960A (zh) | 一种24小时电力负荷预测方法 | |
He et al. | Research on a novel combination system on the basis of deep learning and swarm intelligence optimization algorithm for wind speed forecasting | |
CN109242139A (zh) | 一种电力日峰值负荷预测方法 | |
CN109583565A (zh) | 基于注意力模型长短时记忆网络的洪水预测方法 | |
CN104636801A (zh) | 一种基于优化bp神经网络的预测输电线路可听噪声方法 | |
CN107067076A (zh) | 一种基于时滞narx神经网络的客流预测方法 | |
Zhaoyu et al. | The application of the PSO based BP network in short-term load forecasting | |
Rizwan et al. | Artificial intelligence based approach for short term load forecasting for selected feeders at madina saudi arabia | |
Xing et al. | Research of a novel short-term wind forecasting system based on multi-objective Aquila optimizer for point and interval forecast | |
CN109978253A (zh) | 一种基于增量学习的短期负荷预测方法 | |
CN109376911A (zh) | 一种基于EMD-KELMs-SDPSO的微电网短期负荷预测方法 | |
CN111008790A (zh) | 一种水电站群发电调度规则提取方法 | |
CN112906956A (zh) | 一种联合bim与cim的城市能耗预测方法 | |
CN107506937B (zh) | 一种基于关联规则的水电站发电能力评估方法 | |
Massel et al. | The use of machine learning in situational management in relation to the tasks of the power industry |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |