CN113270937B - 一种备用电池调度方法、计算机可读存储介质及*** - Google Patents

一种备用电池调度方法、计算机可读存储介质及*** Download PDF

Info

Publication number
CN113270937B
CN113270937B CN202110342213.2A CN202110342213A CN113270937B CN 113270937 B CN113270937 B CN 113270937B CN 202110342213 A CN202110342213 A CN 202110342213A CN 113270937 B CN113270937 B CN 113270937B
Authority
CN
China
Prior art keywords
battery
base station
data
patch
scheduler
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110342213.2A
Other languages
English (en)
Other versions
CN113270937A (zh
Inventor
唐国明
袁昊
郭得科
汪漪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peng Cheng Laboratory
Original Assignee
Peng Cheng Laboratory
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peng Cheng Laboratory filed Critical Peng Cheng Laboratory
Priority to CN202110342213.2A priority Critical patent/CN113270937B/zh
Publication of CN113270937A publication Critical patent/CN113270937A/zh
Application granted granted Critical
Publication of CN113270937B publication Critical patent/CN113270937B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J13/00—Circuit arrangements for providing remote indication of network conditions, e.g. an instantaneous record of the open or closed condition of each circuitbreaker in the network; Circuit arrangements for providing remote control of switching means in a power distribution network, e.g. switching in and out of current consumers by using a pulse code signal carried by the network
    • H02J13/00001—Circuit arrangements for providing remote indication of network conditions, e.g. an instantaneous record of the open or closed condition of each circuitbreaker in the network; Circuit arrangements for providing remote control of switching means in a power distribution network, e.g. switching in and out of current consumers by using a pulse code signal carried by the network characterised by the display of information or by user interaction, e.g. supervisory control and data acquisition systems [SCADA] or graphical user interfaces [GUI]
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J13/00—Circuit arrangements for providing remote indication of network conditions, e.g. an instantaneous record of the open or closed condition of each circuitbreaker in the network; Circuit arrangements for providing remote control of switching means in a power distribution network, e.g. switching in and out of current consumers by using a pulse code signal carried by the network
    • H02J13/00002—Circuit arrangements for providing remote indication of network conditions, e.g. an instantaneous record of the open or closed condition of each circuitbreaker in the network; Circuit arrangements for providing remote control of switching means in a power distribution network, e.g. switching in and out of current consumers by using a pulse code signal carried by the network characterised by monitoring
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J13/00—Circuit arrangements for providing remote indication of network conditions, e.g. an instantaneous record of the open or closed condition of each circuitbreaker in the network; Circuit arrangements for providing remote control of switching means in a power distribution network, e.g. switching in and out of current consumers by using a pulse code signal carried by the network
    • H02J13/00006—Circuit arrangements for providing remote indication of network conditions, e.g. an instantaneous record of the open or closed condition of each circuitbreaker in the network; Circuit arrangements for providing remote control of switching means in a power distribution network, e.g. switching in and out of current consumers by using a pulse code signal carried by the network characterised by information or instructions transport means between the monitoring, controlling or managing units and monitored, controlled or operated power network element or electrical equipment
    • H02J13/00016—Circuit arrangements for providing remote indication of network conditions, e.g. an instantaneous record of the open or closed condition of each circuitbreaker in the network; Circuit arrangements for providing remote control of switching means in a power distribution network, e.g. switching in and out of current consumers by using a pulse code signal carried by the network characterised by information or instructions transport means between the monitoring, controlling or managing units and monitored, controlled or operated power network element or electrical equipment using a wired telecommunication network or a data transmission bus
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • H02J3/007—Arrangements for selectively connecting the load or loads to one or several among a plurality of power lines or power sources
    • H02J3/0073—Arrangements for selectively connecting the load or loads to one or several among a plurality of power lines or power sources for providing alternative feeding paths between load and source when the main path fails, e.g. transformers, busbars
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J2203/00—Indexing scheme relating to details of circuit arrangements for AC mains or AC distribution networks
    • H02J2203/20—Simulating, e g planning, reliability check, modelling or computer assisted design [CAD]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E60/00—Enabling technologies; Technologies with a potential or indirect contribution to GHG emissions mitigation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S40/00—Systems for electrical power generation, transmission, distribution or end-user application management characterised by the use of communication or information technologies, or communication or information technology specific aspects supporting them
    • Y04S40/12—Systems for electrical power generation, transmission, distribution or end-user application management characterised by the use of communication or information technologies, or communication or information technology specific aspects supporting them characterised by data transport means between the monitoring, controlling or managing units and monitored, controlled or operated electrical equipment
    • Y04S40/124—Systems for electrical power generation, transmission, distribution or end-user application management characterised by the use of communication or information technologies, or communication or information technology specific aspects supporting them characterised by data transport means between the monitoring, controlling or managing units and monitored, controlled or operated electrical equipment using wired telecommunication networks or data transmission busses

Landscapes

  • Engineering & Computer Science (AREA)
  • Power Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Charge And Discharge Circuits For Batteries Or The Like (AREA)

Abstract

本发明公开了一种备用电池调度方法、计算机可读存储介质及***，所述方法包括获取第一监测时间对应的基站用电数据以及电池用电数据；根据所述基站用电数据和所述电池用电数据，确定所述第一监测时间对应的环境状态；针对每一个所述片区，根据所述环境状态，确定该片区在第二监测时间内对应的调度策略；根据所述调度策略，生成该片区对应的控制信号，并将所述控制信号发送至该片区中的第一调度器和/或第二调度器，以使所述第一调度器和所述第二调度器对该片区中的备用电池组进行充电或放电。本发明通过对对每一个片区的基站用电和备用电池组用电的监测，对备用电池组进行充电和放电的调控，能够有效地提高片区内备用电池组的利用率。

Description

一种备用电池调度方法、计算机可读存储介质及***
技术领域
本发明涉及通信技术，特别涉及一种备用电池调度方法、计算机可读存储介质及***。
背景技术
为了应对物联网设备高带宽、低延迟的要求，运营商们都在将现有网络更新升级到第五代网络即5G。与上一代网络4G/LTE不同的是，由于5G基站使用的频段更高，会造成其覆盖范围较小。为了解决此问题，运营商往往会布置大量的基站。此外，由于单个5G基站的功耗比单个4G基站的功耗高两到三倍，这会导致在超大密度的布置基站的基础上产生更大的总功耗，电压承担过大的压力。
因此，为了保障基站能够稳定的运行，防止突发的断电影响基站的正常运行，运营商会为5G基站安装备用电池，从而保证其在断电期间也可以正常工作。然而，由于电网都较为稳定，事实上备用电池往往都处于闲置的状态，导致其利用率较低，且对基站的供电仍主要是电网供电，无法有效地降低基站的功耗。
发明内容
本发明要解决的技术问题在于目前欠缺对备用电池的有效调度，针对现有技术的不足，提供一种备用电池调度方法。
为了解决上述技术问题，本发明所采用的技术方案如下：
一种备用电池调度方法，所述方法包括：
获取第一监测时间对应的基站用电数据以及电池用电数据，其中，所述基站用电数据包括每一个片区内每一个基站对应的用电数据，所述电池用电数据包括每一个所述片区内每一个备用电池组的用电数据；
根据所述基站用电数据和所述电池用电数据，确定所述第一监测时间对应的环境状态；
针对每一个所述片区，根据所述环境状态，确定该片区在第二监测时间内对应的调度策略；
根据所述调度策略，生成该片区对应的控制信号，并将所述控制信号发送至该片区中的第一调度器和/或第二调度器，以使所述第一调度器和所述第二调度器对该片区中的备用电池组进行充电或放电。
所述备用电池调度方法，其中，具体包括：所述环境状态包括区域用电峰值和各个所述片区对应的片区供电状态。
所述备用电池调度方法，其中，具体包括：所述片区供电状态包括片区电力需求以及片区电池状态。
所述备用电池调度方法，其中，具体包括：针对每一个所述片区，该片区对应的片区电力需求包括该片区内各个基站在所述第一监测时间内的用电需求；
所述片区电池状态包括健康状态、电量状态和放电深度；
其中，所述健康状态为所述电池用电数据中的当前容量与所述备用电池对应的电池初始容量之比；
所述电量状态为所述电池用电数据中的当前电量；
所述放电深度为所述第一监测时间内所述备用电池组释放的电量。
所述备用电池调度方法，其中，具体包括：所述针对每一个所述片区，根据所述环境状态，确定该片区在第二监测时间内对应的调度策略，具体包括：
针对每一个所述片区，将所述环境状态输入已训练的决策模型中，并通过所述决策模型根据所述环境状态，确定该片区对应的调度策略。
所述备用电池调度方法，其中，所述控制信号包括充电信号和放电信号；所述充电信号包括充电时长；所述放电信号包括放电时长。
所述备用电池调度方法，其中，具体包括：所述决策模型包括DQN模型。
所述备用电池调度方法，其中，具体包括：所述DQN模型包括主网络和目标网络；所述针对每一个所述片区，根据所述环境状态，确定该片区在第二监测时间内对应的调度策略之后，还包括：
基于预设的奖励函数，计算所述基站用电数据和所述电池用电数据对应的奖励值；
将所述奖励值、所述环境状态和预设的前状态数据和前策略数据作为经验数据，并基于所述经验数据，对所述主网络进行更新，得到调整网络，其中，所述前状态数据为前监测时段获取的环境状态，所述前策略数据为所述前监测时段确定的调度策略，所述前监测时段为所述第一监测时段之前的监测时段；
根据预设的更新步数和所述调整网络，对所述目标网络的参数进行更新，以对所述决策模型的更新。
一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上任一所述的备用电池调度方法中的步骤。
一种终端设备，其包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；
所述通信总线实现处理器和存储器之间的连接通信；
所述处理器执行所述计算机可读程序时实现如上任一所述的备用电池调度方法中的步骤。
一种备用电池调度***，所述备用电池调度***包括：
电网和与所述电网电力连接的若干个片区；
针对每一个所述片区，该片区包括备用电池组、与所述备用电池组对应的第二调度器、基站、与所述基站对应的第一调度器，以及如权利要求11所述的终端设备；
其中，所述第一调度器分别与所述电网、所述基站以及所述备用电池组电力连接，且该第一调度器与所述终端设备通信连接；
所述第一调度器用于对所述基站进行能耗测量，得到所述第一监测时间对应的基站用电数据并将所述基站用电数据发送至所述终端设备；以及，
根据所述控制信号，对所述基站与所述备用电池组之间的电力连接进行开启或关闭；
所述第二调度器分别与所述电网和所述备用电池组电力连接，且所述第二调度器与所述终端设备通信连接连接；
所述第二调度器用于对所述备用电池组进行能耗测量，得到所述第一监测时间对应的电池用电数据并将所述电池用电数据发送至所述终端设备；以及，
根据所述控制信号，对所述电网与所述备用电池组之间的电力连接进行开启或关闭。
有益效果：与现有技术相比，本发明提供了一种备用电池调度方法、计算机可读存储介质及***，终端设备先获取第一监测时间内的基站用电数据和电池用电数据，而基站用电数据包括与终端设备所连接的每一个片区中每一个基站对应的用电数据，以及每一个片区中的备用电池组的用电数据。根据所获得的基站用电数据和电池用电数据，确定第一监测时间对应的环境状态。根据环境状态，终端设备会确定每一个片区中备用电池组是充电还是放电，即确定每一个片区中备用电池组的调度策略。最后终端设备根据调度策略，生成控制信号发送至各个片区。在每一个片区中都存在调控基站与备用电池组电力连接和断开的第一调度器，以及调控备用电池组与电网电力连接的联通与关闭的第二调度器，基于第一调度器和第二调度器的调度功能，实现对备用电池组的充电以及放电。通过对对每一个片区的基站用电和备用电池组用电的监测，对备用电池组进行充电和放电的调控，能够有效地提高片区内备用电池组的利用率。
附图说明
图1为本发明提供的备用电池调度方法的应用场景示意图。
图2为本发明提供的备用电池调度方法的场景流程图。
图3为本发明提供的备用电池调度方法中流程示意图。
图4为本发明提供的备用电池调度方法中决策模型的结构示意图。
图5为本发明提供的备用电池调度方法中对决策模型进行更新的伪代码示意图。
图6为本发明提供的备用电池调度方法中对片区为居民区进行备用电池调度前后的能耗示意图。
图7为本发明提供的备用电池调度方法中对片区为办公区进行备用电池调度前后的能耗示意图。
图8为本发明提供的备用电池调度方法中对片区为综合区进行备用电池调度前后的能耗示意图。
图9为本发明提供的备用电池调度方法中居民区、办公区和综合区作为一个区域集成并进行备用电池调度前后的能耗示意图。
图10为本发明提供的终端设备的结构原理图。
具体实施方式
本发明提供一种备用电池调度方法、计算机可读存储介质及终端设备，为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
发明人经过研究发现，目前欠缺对备用电池的有效调度。为了解决上述问题，在本发明实施例中，所述方法包括获取第一监测时间对应的基站用电数据以及电池用电数据；根据所述基站用电数据和所述电池用电数据，确定所述第一监测时间对应的环境状态；针对每一个所述片区，根据所述环境状态，确定该片区在第二监测时间内对应的调度策略；根据所述调度策略，生成该片区对应的控制信号，并将所述控制信号发送至该片区中的第一调度器和/或第二调度器，以使所述第一调度器和所述第二调度器对该片区中的备用电池组进行充电或放电。
举例说明，本发明实施例可以应用到如图1或图2所示的备用电池调度***中。在备用电池调度***中，包括电网和与所述电网电力连接的若干个片区，为简化方法的说明，本实施例以与电网电力连接的一个片区为例进行后续的说明。一个电网能够为多个基站进行供电。先将区域内的基站记为U＝{1,2,…,M}。具体地，备用电池组可以为一个基站进行供电，也可以为多个基站进行供电，因此将由同一备用电池组所供应的多个基站记为同一个片区(VC，VirtualCell)。同时，将这一区域内的备用电池组记为E＝{1,2,…n}，即存在n个备用电池组，其中备用电池组的容量记为c＝[c1,c2,…,cN]。
该片区包括备用电池组、与所述备用电池组对应的第二调度器、基站、与所述基站对应的第一调度器以及用于实现备用电池调度方法的终端设备。在本实施例中，终端设备为计算处理单元。片区的划分的标准为一个备用电池组所功能的若干个基站为一个片区，即片区中基站的数量可以为1，为图2中的3亦或者更多数量。第一调度器与所述电网、所述基站以及所述备用电池组电力连接，且该第一调度器与所述终端设备，即计算处理单元，通信连接。而第二调度器与所述电网和所述备用电池组电力连接，且所述第二调度器与所述终端设备，即计算处理单元，通信连接。
可以理解的是，在上述应用场景中，电网用于对片区内的基站供电以及对备用电池组充电，电网对该片区进行供电通过逆变器实现，电网和逆变器之间通过电力线连接，逆变器能够进行直流电和交流电的转换，逆变器和调度器之间也通过电力线连接，从逆变器转换来的电力可通过调度器传输至供电单元(Power Supply Unit，PSU)并为基站或备用电池组提供电能。
需要注意的是，上述应用场景仅是为了便于理解本发明而示出，本发明的实施方式在此方面不受任何限制。相反，本发明的实施方式可以应用于适用的任何场景。
下面结合附图，通过对实施例的描述，对发明内容作进一步说明。
如图3所示，本实施提供了一种备用电池调度方法，所述方法可以包括以下步骤：
S10、获取第一监测时间对应的基站用电数据以及电池用电数据。
具体地，在本实施例中，第一调度器和第二调度器内部包含有能耗测量组件以及开关控制组件。开关控制组件和能耗测量组件通过控制信号线与计算处理单元连接。其中，第一调度器中的能耗测量组件用于对所述基站进行能耗测量以及获取在下一个监测时段基站需要的电量，从而得到第一监测时间对应基站用电数据，并通过控制信号线将这些基站用电数据传输至计算处理单元，所述基站用电数据即包括基站耗电数据和基站需电数据。第二调度器中的能耗测量组件用于对所述备用电池组进行能耗测量，得到所述第一监测时间对应的电池用电数据，并通过控制信号线将电池用电数据发送至计算处理单元。计算处理单元从而获取第一检测时间内每一个基站的基站用电数据以及每一个备用电池组的电池用电数据。
本实施例中的监测时间可为预设的计费时间或根据用电规律确定的时间间隔。例如根据历史用电状态，某一个时间段用电量会存在骤升或骤降，则这一个时间段的监测时间更短，监测次数更为密集；某一个时间段用电量较为稳定，则这一个时间段的监测时间更长，监测次数较少。
S20、根据所述基站用电数据和所述电池用电数据，确定所述第一监测时间对应的环境状态。
具体地，计算处理单元在得到基站用电数据和电池用电数据后，可根据基站用电数据预估在下一个监测时间内每一个基站所需要的电量，以及根据电池用电数据判断备用电池组能否在下一个监测时间内为基站提供有效的电量支持。将这些数据作为环境数据，用以评价当前各个片区的用电环境的状态。为将下一个监测时间与第一监测时间进行区分，将下一个监测时间命名为第二监测时间。
例如根据基站用电数据，预测其在第二监测时间的用电量为100，而根据备用电池组的电池用电数据，例如电池用电数据中包含了该备用电池组的剩余电量，得到其剩余电量为50，而按照第一监测时间的消耗电量，备用电池组无法再对基站进行有效供电。
S30、针对每一个所述片区，根据所述环境状态，确定该片区在第二监测时间内对应的调度策略。
具体地，由于每一个片区都是由备用电池组对基站进行供电，因此，所确定的环境状态也是根据每一个片区确定的。本实施例中的调度策略包括充电策略和放电策略。针对每一个片区，若确定当前该片区的备用电池组无法对基站进行有效供应，则确定该片区对应的调度策略为充电策略，即对备用电池组进行充电；若确定当前该片区的备用电池组能对基站进行有效供应，则确定该片区对应的调度策略为放电策略，即对该备用电池组进行放电。
上述确定环境状态的方式是较为简单和粗略的，虽然能够实现对备用电池组的充电或放电进行调整，但充电和放电的确认都较为简单粗暴，无法做到精细调控，也就无法有效地实现降低电网所需要应对的供电需求。因此，本实施例中，为实现基站能耗的“削峰填谷”，减少基站的能耗开销，降低电网的供电压力，本实施例通过决策模型来判断。其过程为：
针对每一个所述片区，将所述环境状态输入已训练的决策模型中，并通过所述决策模型根据所述环境状态，确定该片区对应的调度策略。
具体地，本实施例中的决策模型可以是基于随机森林算法等机械学习算法实现的模型，也可以是基于深度学习实现的模型。
以随机森林算法为例，预先获得多组训练用电数据，每一组训练状态数据中包括基站用电数据和电池用电数据。同时为每一组训练状态数据设定对应的训练策略。然后将训练状态数据输入到预先设定的多棵决策树中，通过输入的训练状态数据和训练策略，调整每一棵决策树中的参数，直至训练结束，得到已训练的决策模型。因此，当获得了每一个片区对应的环境状态数据时，基于已训练的决策模型，可得到较佳的调度策略。本实施例中，为实现“削峰填谷”效果，训练策略根据训练状态数据进行调整，因此基于已训练的决策模型，输入环境状态，可得到第二监测时段对应的调度策略。
由于不同片区的用电模式不同，例如片区A，用电较少，一直处于较低水平的用电，而片区B，从下午到晚上都存在用电高峰。而不同的用电模式导致了预先需要生成大量的训练状态数据，才可能实现“削峰填谷”的效果。而深度Q网络(Deep Q-Learning Network，DQN)模型在使用过程中能够自发地进行决策的迭代更新以进行强化学习，能够根据不同的用电模式进行调整。本实施例所优选采用的决策模型为DQN模型。DQN的结构如图4所示。它可以应对动态变化和不确定的用电需求所带来的挑战，并通过与环境不断交互提升自己的决策能力。通常来说，深度强化学习主要包含五个部分：智能体，状态，动作，奖励和策略。具体地，智能体通过与环境进行交互来获取当前环境的状态，并通过策略来决定输出的动作，执行完动作后，环境会给智能体反馈一个奖励值，来表示动作的好坏并通过奖励值来对策略进行更新。深度强化学习通过最大化累计奖励值来提升自己的决策能力。
具体地，以第一次得到环境状态为例，此时，决策模型为刚刚初始化的DQN模型。本实施例中的计算处理单元就相当于智能体，计算处理单元得到了第一监测时段对应的环境状态时，基于初始化的DQN模型，确定第二监测时段对应的调度策略，也就是DQN模型中的动作a(t)。本实施例中的动作a(t)包括备用电池组是应当充电还是放电，以及充电或放电的电量。由于充电和放电的功率是可计算得到的，因此充电或放电的电量也可转换为充电或放电的时长。在DQN模型中，通过将环境状态输入到神经网络中，得到当前状态下Q值最大的动作，可表示为 其中/>为期望，γ为累计折扣因子，R为奖励函数，当t＝0时，即初始状态，s(t)、a(t)、R(t)为初始值；s(t+1)为第一监测时段对应的环境状态数据。将所得到的最大的Q值对应的a(t+1)作为第二监测时段对应的动作，也就是调度策略。
在确定第二调度时段对应的调度策略后，计算处理单元会生成控制信号至第一调度器和/或第二调度器进行充放电。再获取第二监测时段对应的基站用电数据和电池用电数据。基于第二监测时段对应的基站用电数据和电池用电数据，可对调度策略进行评价，从而得到根据第一调度时段生成的调度策略的奖励值。若根据第二监测时段对应的基站用电数据和电池用电数据，确定之前生成的调度策略，也就是a(t)，取得了较好的效果，则奖励值R(t)较高；若a(t)取得较差的效果，则奖励值R(t)较低。
通常而言，5G基站的电费开销由两部分组成，第一部分称为能耗开销，它指的是在计费周期内所产生的总电量开销，第二部分称为峰值功耗开销，它指的是在计费周期内基站产生的最大功耗的开销即峰值开销。本实施例中所采用的奖励函数的公式为R(t)＝Ve(t)+Vd(t)+Vb(t)。 表示第二监测时段内备用电池组充放电动作对能耗开销产生的奖励值，/>为能耗开销，/>λe为能耗开销的价格(单位为$/kWh)，A1:N(t)为第二监测时段内区域内所有基站消耗的总电量。/>表示第二监测时段内备用电池组充放电动作对峰值功耗开销产生的奖励值，/>为峰值功耗开销，/> 为峰值功耗开销的价格(单位为$/kW)，为t时段之前用电需求的峰值，如果当前用电需求大于之前的峰值，则会对峰值进行更新。/>表示第二监测时段内备用电池组充放电动作对电池损耗值产生的奖励值，可先根据获得的第二监测时段内备用电池组的电池用电信息，确定备用电池组的用电信息确定的健康状态等电池状态，然后基于这些电池状态确定第二监测时段内奖励值Vb(t)。由于深度强化学习的目标是最大化累计奖励，即最大化/>因此智能体，也就是计算处理单元会选择最优的动作，使得总奖励最大。
本实施例中环境状态包括区域用电峰值和各个片区对应的片区供电状态，将环境状态记为s(t)，区域用电峰值是指区域内所有的片区用电的峰值，记为各个片区对应的片区供电状态为基于每一个片区对应基站用电数据和电池用电数据生成的数据集，记为vn(t)，因此，/>其中，N为片区的数量，n为片区的编号，即第n个片区的片区供电状态为vn(t)。进一步地，本实施例中，片区供电状态包括片区电力需求以及片区电池状态，片区电力需求即该片区内每一个基站对电力的需求量，可通过每一个基站对应的基站用电数据确定，记为pn(t)，其中，pn(t)＝[pn(1),pn(2),…,on(T)]，T为计费周期。而片区用电状态为该片区对应的备用电池组对应的电池状态，这一数据可根据该片区内备用电池组在第一监测时段内的电池用电数据、电池本身的容量等参数确定，记为πn(t)。因此vn(t)＝＜pn(t),πn(t)>。
本实施例中，πn(t)包括健康状态SoHn(t)、电量状态SoCn(t)和放电深度DoDn(t)，即πn(t)＝＜SoHn(t),SoCn(t),DoDn(t)>，其中，所述健康状态表示当前备用电池组的状态，它由备用电池组当前容量与初始容量之间的比例确定，可等于所述电池用电数据中的当前容量与所述备用电池对应的电池初始容量之比。所述电量状态SoCn(t)表示所述电池用电数据中的当前电量。由于放电会影响电池寿命和容量，因此考虑电池当前的健康状态是必要的，所述放电深度DoDn(t)表示此时段内电池放电的多少，它由放电量比电池容量确定，不同的放电程度对电池寿命会有不同的影响，为所述第一监测时间内所述备用电池组释放的电量。
进一步地，如图5所示，所述DQN模型包括主网络和目标网络，采用经验回放(Replay Buffer，RB)来进行DQN模型的训练，以提高训练过程的稳定性。此过程具体为：
A10、基于预设的奖励函数，计算所述基站用电数据和所述电池用电数据对应的奖励值。
具体地，本实施例基于上述奖励函数，根据每一个监测时段对应的基站用电数据和电池用电数据，确定上一个监测时段的调度策略对应的奖励值。
A20、将所述奖励值、所述环境状态和预设的前状态数据和前策略数据作为经验数据，并基于所述经验数据，对所述主网络进行更新，得到调整网络，其中，所述前状态数据为前监测时段获取的环境状态，所述前策略数据为所述前监测时段确定的调度策略，所述前监测时段为所述第一监测时段之前的监测时段。
具体地，在每轮交互完后，智能体会将交互得到的包括奖励值、所述环境状态和预设的前状态数据和前策略数据等交互数据保存为经验数据，经验数据的格式可以是<s(t),a(t),R(t),s(t+1)>，s(t+1)即图4中的s′。
深度强化学习的策略网络是由神经网络构成的。如图4所示，在DQN中，有两个结构相同但参数不同的神经网络，一个是主网络(main net)，一个是目标网络(target net)。每隔一段时间，智能体会从RB中随机选取一些经验数据，并通过预设的经验损失函数(LossFunction)来进行更新。本实施例中的经验损失函数为θ为主网络的网络参数，经验损失函数中的/>是目标网络输出的Q值，它可以通过计算得出。主网络在每次交互后都会通过经验损失函数进行更新，得到调整网络。
A30、根据预设的更新步数和所述调整网络，对所述目标网络的参数进行更新，以对所述决策模型的更新。
具体地，目标网络则会在经过步后复制调整网络的参数，这样做的目的是为了保持算法的稳定性。在获取到环境反馈的奖励值后，智能体需要根据反馈对策略网络进行更新，使得在下一次选择动作时能够选择最优的动作。
S40、根据所述调度策略，生成该片区对应的控制信号，并将所述控制信号发送至该片区中的第一调度器和第二调度器，以使所述第一调度器和所述第二调度器对该片区中的备用电池组进行充电或放电。
具体地，确定调度策略后，计算处理单元根据调度策略生成控制信号并发送至第一调度器和第二调度器中的开关控制组件。第一调度器和第二调度器根据所接收到的控制信号，对备用电池组进行充电或放电。
在本实施例的第一种是实现方式中，控制信号包括充电信号以及放电信号。当该片区对应的调度策略为充电策略时，计算处理单元发送充电信号至该片区内的第一调度器和第二电池调度器，以使所述第一调度器建立电网与所述备用电池组的连接，以及所述第二调度器断开所述备用电池组与所述基站的连接；当该片区对应的调度策略为放电策略时，发送放电信号至该片区内的第一调度器和第二调度器，以使所述第一调度器断开所述电网与所述备用电池组的连接，以及所述第二调度器建立所述备用电池组与所述基站的连接。
在本实施例的第二种实现方式中，控制信号中的充电信号或放电信号指针对第一调度器或第二调度器发送。例如针对第二调度器，当该片区对应的调度策略为充电策略时，计算处理单元发送充电信号至该片区内的第二调度器中的开关控制组件，第二调度器接收到充电信号后通过开关控制组件建立备用电池组与电网之间的电力连接，实现对备用电池组的充电。相对的，当调度策略为放电策略时，计算处理单元发送放电信号至第二调度器中的开关控制组件，基于放电信号，该开关控制组件断开备用电池组与电网之间的电力连接。
通过对备用电池组以及基站设立调度器的方式，一方面能够对基站和备用电池组的用电数据进行有效监测，一方面通过设置开关控制组件，实现备用电池组与电网，以及备用电池组与基站之间的电力连接的建立以及断开，从而有效且便捷地实现对备用电池组的充放电。
进一步地，本实施例中，充电信号中还包括充电时长，以及放电信号中包括放电时长。以避免当第二监测时间过长时，充电过量或者放电过量。通过对充电时长以及放电时长的限制，可以实现对备用电池组充电以及放电的电量的调控，以零活调整充电量以及放电量。
如图6～图9所示，基于本实施例的方法，进行了大量的实验，以验证本实施例中调度方法的有效性。采用2282个基站上的真实数据，这2282个基站分别处于居民区(480个)、办公区(1135个)和综合区(667个)，其电力需求不同，因此削峰填谷的效果也会有差异。实验表明本实施例提出的方法可以有效的将峰值功耗开销减少26.59％，对于2282个基站而言，每年可以节省185000$。
基于上述备用电池调度方法，本实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上述实施例所述的备用电池调度方法中的步骤。
基于上述备用电池调度方法，本发明还提供了一种终端设备，如图10所示，其包括至少一个处理器(processor)20；显示屏21；以及存储器(memory)22，还可以包括通信接口(Communications Interface)23和总线24。其中，处理器20、显示屏21、存储器22和通信接口23可以通过总线24完成相互间的通信。显示屏21设置为显示初始设置模式中预设的用户引导界面。通信接口23可以传输信息。处理器20可以调用存储器22中的逻辑指令，以执行上述实施例中的方法。
此外，上述的存储器22中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取计算机可读存储介质中。
存储器22作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令或模块。处理器20通过运行存储在存储器22中的软件程序、指令或模块，从而执行功能应用以及数据处理，即实现上述实施例中的方法。
存储器22可包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器。例如，U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态计算机可读存储介质。
此外，上述计算机可读存储介质以及终端设备中的多条指令处理器加载并执行的具体过程在上述方法中已经详细说明，在这里就不再一一陈述。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种备用电池调度方法，其特征在于，所述方法包括：
获取第一监测时间对应的基站用电数据以及电池用电数据，其中，所述基站用电数据包括每一个片区内每一个基站对应的用电数据，所述电池用电数据包括每一个所述片区内每一个备用电池组的用电数据；
根据所述基站用电数据和所述电池用电数据，确定所述第一监测时间对应的环境状态，所述环境状态包括区域用电峰值和各个所述片区对应的片区供电状态，所述区域用电峰值是指区域内所有的片区用电的峰值，所述片区供电状态是基于每一个片区对应的所述基站用电数据以及所述电池用电数据生成的数据集；
针对每一个所述片区，根据所述环境状态，确定该片区在第二监测时间内对应的调度策略；
根据所述调度策略，生成该片区对应的控制信号，并将所述控制信号发送至该片区中的第一调度器和/或第二调度器，以使所述第一调度器和所述第二调度器对该片区中的备用电池组进行充电或放电。
2.根据权利要求1所述备用电池调度方法，其特征在于，所述片区供电状态包括片区电力需求以及片区电池状态。
3.根据权利要求2所述备用电池调度方法，其特征在于，针对每一个所述片区，该片区对应的片区电力需求包括该片区内各个基站在所述第一监测时间内的用电需求；
所述片区电池状态包括健康状态、电量状态和放电深度；
其中，所述健康状态为所述电池用电数据中的当前容量与所述备用电池对应的电池初始容量之比；
所述电量状态为所述电池用电数据中的当前电量；
所述放电深度为所述第一监测时间内所述备用电池组释放的电量。
4.根据权利要求1～3中任意一项所述备用电池调度方法，其特征在于，所述针对每一个所述片区，根据所述环境状态，确定该片区在第二监测时间内对应的调度策略，具体包括：
针对每一个所述片区，将所述环境状态输入已训练的决策模型中，并通过所述决策模型根据所述环境状态，确定该片区对应的调度策略。
5.根据权利要求4所述备用电池调度方法，其特征在于，所述控制信号包括充电信号和放电信号；所述充电信号包括充电时长；所述放电信号包括放电时长。
6.根据权利要求4所述备用电池调度方法，其特征在于，所述决策模型包括DQN模型。
7.根据权利要求6所述备用电池调度方法，其特征在于，所述DQN模型包括主网络和目标网络；所述针对每一个所述片区，根据所述环境状态，确定该片区在第二监测时间内对应的调度策略之后，还包括：
基于预设的奖励函数，计算所述基站用电数据和所述电池用电数据对应的奖励值；
将所述奖励值、所述环境状态和预设的前状态数据和前策略数据作为经验数据，并基于所述经验数据，对所述主网络进行更新，得到调整网络，其中，所述前状态数据为前监测时段获取的环境状态，所述前策略数据为所述前监测时段确定的调度策略，所述前监测时段为所述第一监测时段之前的监测时段；
根据预设的更新步数和所述调整网络，对所述目标网络的参数进行更新，以对所述决策模型的更新。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1～7任意一项所述的备用电池调度方法中的步骤。
9.一种终端设备，其特征在于，包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；
所述通信总线实现处理器和存储器之间的连接通信；
所述处理器执行所述计算机可读程序时实现如权利要求1～7任意一项所述的备用电池调度方法中的步骤。
10.一种备用电池调度***，所述备用电池调度***包括：
电网和与所述电网电力连接的若干个片区；
针对每一个所述片区，该片区包括备用电池组、与所述备用电池组对应的第二调度器、基站、与所述基站对应的第一调度器，以及如权利要求9所述的终端设备；
其中，所述第一调度器分别与所述电网、所述基站以及所述备用电池组电力连接，且该第一调度器与所述终端设备通信连接；
所述第一调度器用于对所述基站进行能耗测量，得到所述第一监测时间对应的基站用电数据并将所述基站用电数据发送至所述终端设备；以及，
根据所述控制信号，对所述基站与所述备用电池组之间的电力连接进行开启或关闭；
所述第二调度器分别与所述电网和所述备用电池组电力连接，且所述第二调度器与所述终端设备通信连接；
所述第二调度器用于对所述备用电池组进行能耗测量，得到所述第一监测时间对应的电池用电数据并将所述电池用电数据发送至所述终端设备；以及，
根据所述控制信号，对所述电网与所述备用电池组之间的电力连接进行开启或关闭。
CN202110342213.2A 2021-03-30 2021-03-30 一种备用电池调度方法、计算机可读存储介质及*** Active CN113270937B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110342213.2A CN113270937B (zh) 2021-03-30 2021-03-30 一种备用电池调度方法、计算机可读存储介质及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110342213.2A CN113270937B (zh) 2021-03-30 2021-03-30 一种备用电池调度方法、计算机可读存储介质及***

Publications (2)

Publication Number Publication Date
CN113270937A CN113270937A (zh) 2021-08-17
CN113270937B true CN113270937B (zh) 2024-06-21

Family

ID=77228275

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110342213.2A Active CN113270937B (zh) 2021-03-30 2021-03-30 一种备用电池调度方法、计算机可读存储介质及***

Country Status (1)

Country Link
CN (1) CN113270937B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023085983A1 (en) * 2021-11-09 2023-05-19 Telefonaktiebolaget Lm Ericsson (Publ) Management of delivery of power to a radio head
CN114362238B (zh) * 2021-11-30 2022-07-19 合肥中南光电有限公司 光伏控制***及方法
CN114900371A (zh) * 2022-06-27 2022-08-12 镇江港务集团有限公司 一种具有提示功能的网络安全检测装置及提示方法
CN117863948B (zh) * 2024-01-17 2024-06-11 广东工业大学 一种辅助调频的分散电动汽车充电控制方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112529727A (zh) * 2020-11-06 2021-03-19 台州宏远电力设计院有限公司 基于深度强化学习的微电网储能调度方法及装置及设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101899123B1 (ko) * 2018-02-26 2018-10-31 주식회사 에코전력 국가 전력의 효율적 운용을 위한 국가 전력 통합 운용 시스템
CN109347149B (zh) * 2018-09-20 2022-04-22 国网河南省电力公司电力科学研究院 基于深度q值网络强化学习的微电网储能调度方法及装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112529727A (zh) * 2020-11-06 2021-03-19 台州宏远电力设计院有限公司 基于深度强化学习的微电网储能调度方法及装置及设备

Also Published As

Publication number Publication date
CN113270937A (zh) 2021-08-17

Similar Documents

Publication Publication Date Title
CN113270937B (zh) 一种备用电池调度方法、计算机可读存储介质及***
JP5271329B2 (ja) 蓄電池管理システム
US12002893B2 (en) Clustered power generator architecture
US12040611B2 (en) Data center energy management system using an energy flow configuration
US10389165B2 (en) Energy management apparatus, energy management method and program recording medium
US9209629B2 (en) Charge-discharge control device, charge-discharge control system, and computer program product
CN103078389A (zh) 综合电力***控制方法以及具有能量存储元件的相关设备
CN106026151B (zh) 一种电动车储换电站的调度方法及装置
US20230148201A1 (en) Method and system for supplying power to device, and related device
Xu et al. Multi-objective chance-constrained optimal day-ahead scheduling considering BESS degradation
CN115953011B (zh) 通信基站储能资源调度方法及设备
Tan et al. Enabling reliability-differentiated service in residential distribution networks with PHEVs: A hierarchical game approach
KR20150115063A (ko) 기준 전력을 조절하기 위한 에너지 운영 장치 및 그 방법
CN112865114B (zh) 一种基于分时电价的负荷用电管理控制方法
JP7327111B2 (ja) 管理装置、電力調整可能量推定方法、コンピュータプログラム、及びシステム
CN109327035B (zh) 一种电动汽车充电功率调节方法和***
CN113224813B (zh) 离网光伏储能***控制方法、装置、计算机及存储介质
CN115833087A (zh) 储能设备控制方法、装置、存储介质及储能设备
CN116826814B (zh) 基于电池簇的电能管理方法、能源管理器及相关介质
CA3110001A1 (en) Battery energy storage system
CN115940166B (zh) 基站调度方法、装置、电子设备及可读存储介质
US20140297055A1 (en) Power leveling control device and power leveling control method
EP3567691B1 (en) Composite power storage system and power storage method
AU2013377025A1 (en) Battery maintenance system
CN112467774A (zh) 基于全局能效寻优和soc自适应的储能***管控方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant