CN109831229B - 一种基于强化学习恢复电力通信网络中业务的方法及*** - Google Patents
一种基于强化学习恢复电力通信网络中业务的方法及*** Download PDFInfo
- Publication number
- CN109831229B CN109831229B CN201910152088.1A CN201910152088A CN109831229B CN 109831229 B CN109831229 B CN 109831229B CN 201910152088 A CN201910152088 A CN 201910152088A CN 109831229 B CN109831229 B CN 109831229B
- Authority
- CN
- China
- Prior art keywords
- service
- network
- learning
- power communication
- communication network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种基于强化学习恢复电力通信网络中业务的方法及***，属于通信技术领域。本发明方法包括：获取电力通信网络原始网络状态，读取网络故障信息，根据所述网络故障信息，获取网络业务故障信息；根据故障后的网络状态，初始化学习环境；根据当前拟恢复的受损业务的参数，初始化强化学习中与学习环境交互的智能体；确定当前网络状态下拟恢复的受损业务的有效动作，根据贪心法则和行为准则表在有效动作中选取一个动作实施后，更新学习环境；确定是否存在未受损业务被抢占；判断是否达到预设学习次数。本发明可以在短时间内完成电力通信网络中的故障恢复路径的选择以及业务切换方案。
Description
技术领域
本发明涉及通信技术领域，并且更具体地，涉及一种基于强化学习恢复电力通信网络中业务的方法及***。
背景技术
随着科学技术的不断进步，更高数据速率的数据通信已经成为当前和未来技术的需要。任何网络故障都可能导致数据的丢失，进而导致各方面的巨大损失，甚至是全网瘫痪。许多网络组件的故障可能导致网络的单点故障，如交换机，光纤链路的断开等。网络生存性是网络克服失败的能力，在网络从这些故障恢复中起着非常关键的作用。在网络中一个或多个网络元件发生故障的情况下，期望当前网络能够实现近瞬时的恢复，从而提供高可靠性。这就需要建立网络恢复计划，以便在一个或多个网络元件(例如链路或节点)发生故障时，网络可以进行调整，立即寻求新的路由，实行重组或者切换到新的备用安排，从而避免对网络流量的破坏以继续进行完成给定的通信任务。因此，开发网络恢复模型以解决突发故障，从而提高网络的效率和可靠性是必不可少的。
当前很多的网络重组技术是将重组问题描述成一个整数规划问题，然后采用整数规划的优化算法寻找最优替代路径。这种方法着眼于寻找全局最优结果，但是耗时很长，且优化计算的中间过程中无法输出可行路径配置方案，极大地影响了实际工程中的算法可用性。本方法将强化学习算法用于重构路径的选择中，通过利用强化学习的渐进式优化特性以及一定的自学习能力，实现短时间内近优结果的输出；从而使得在总计算时间大幅缩减的同时，也能够在中间过程输出经过一定优化的可行路径配置方案。
发明内容
本发明的目的在于通过利用强化学习的渐进式优化特性以及一定的自学习能力，克服传统整数规划方法的缺陷，以实现短时间内近优结果的输出，并保证在中间过程也能够输出经过一定优化的可行路径配置方案，提出了一种基于强化学习恢复电力通信网络中业务的方法，本发明方法包括：
获取电力通信网络原始网络状态，读取网络故障信息，根据所述网络故障信息，获取网络业务故障信息；
在电力通信网络实际物理约束及业务约束条件下，根据故障后的网络状态，初始化学习环境，同时初始化行为准则表、折扣因子、贪心法则参数；
1.1根据当前拟恢复的受损业务的参数，初始化强化学习中与学习环境交互的智能体；
1.2确定当前网络状态下拟恢复的受损业务的有效动作，所述的有效动作包括直接停止学习、在电力通信网络的空闲资源直接分配业务路径、抢占未受损业务资源，根据贪心法则和行为准则表在有效动作中选取一个动作实施后，更新学习环境；
1.3当确定存在未受损业务被抢占时，被抢占的业务作为特殊的“拟恢复的受损业务”，更新智能体，返回到1.2，当确定不存在未受损业务被抢占时，根据决策收益计算奖励值，更新行为准则表；其中，决策收益的影响因素和计算方式由网络管理者确定，体现业务恢复优化的目标；
1.4判断是否达到预设学习次数，若达到，则结束并将预设学习次数业务恢复方案作为最终方案输出，否则返回1.1。
可选的，网络状态包括：电力通信网络拓扑结构和电力通信网络业务分布。
可选的，网络业务故障信息包括：故障节点信息、故障链路信息和受损业务信息。
可选的，初始化学习环境中确定每条链路上的剩余带宽。
可选的，未受损业务在当前学习循环中最多只能被抢占一次。
可选的，空闲资源直接分配业务路径和抢占未受损业务资源动作后，获取受损业务的新业务路径，所述的新业务路径在受损业务路径预设范围内。
本发明还提出一种基于强化学习恢复电力通信网络中业务的***，所述的***包括：
采集模块，获取电力通信网络原始网络状态，读取网络故障信息，根据所述网络故障信息，获取网络业务故障信息；
初始化模块，在电力通信网络实际物理约束及业务约束条件下，根据故障后的网络状态，初始化学习环境，同时初始化行为准则表、折扣因子、贪心法则参数；
学习模块，根据当前拟恢复的受损业务的参数，初始化强化学习中与学习环境交互的智能体；
更新模块，确定当前网络状态下拟恢复的受损业务的有效动作，所述的有效动作包括直接停止学习、在电力通信网络的空闲资源直接分配业务路径、抢占未受损业务资源，根据贪心法则和行为准则表在有效动作中选取一个动作实施后，更新学习环境；
第一判断模块，当确定存在未受损业务被抢占时，被抢占的业务作为特殊的“拟恢复的受损业务”，更新智能体，当确定不存在未受损业务被抢占时，根据决策收益计算奖励值，更新行为准则表；其中，决策收益的影响因素和计算方式由网络管理者确定，体现业务恢复优化的目标；
第二判断模块，判断是否达到预设学习次数，若达到，则结束并将预设学习次数业务恢复方案作为最终方案输出。
可选的，所述网络状态包括：电力通信网络拓扑结构和电力通信网络业务分布。
可选的，网络业务故障信息包括：故障节点信息、故障链路信息和受损业务信息。
可选的，初始化学习环境中确定每条链路上的剩余带宽。
可选的，未受损业务在当前学习循环中最多只能被抢占一次。
可选的，空闲资源直接分配业务路径和抢占未受损业务资源动作后，获取受损业务的新业务路径，所述的新业务路径在受损业务路径预设范围内。
本发明可以在短时间内完成电力通信网络中的故障恢复路径的选择以及业务切换方案，并保证在中间过程也能够输出经过一定优化的可行路径配置方案。
附图说明
图1为本发明一种基于强化学习恢复电力通信网络中业务的方法流程图；
图2为本发明一种基于强化学习恢复电力通信网络中业务的***结构图。
具体实施方式
现在参考附图介绍本发明的示例性实施方式，然而，本发明可以用许多不同的形式来实施，并且不局限于此处描述的实施例，提供这些实施例是为了详尽地且完全地公开本发明，并且向所属技术领域的技术人员充分传达本发明的范围。对于表示在附图中的示例性实施方式中的术语并不是对本发明的限定。在附图中，相同的单元/元件使用相同的附图标记。
除非另有说明，此处使用的术语(包括科技术语)对所属技术领域的技术人员具有通常的理解含义。另外，可以理解的是，以通常使用的词典限定的术语，应当被理解为与其相关领域的语境具有一致的含义，而不应该被理解为理想化的或过于正式的意义。
本发明提出了一种基于强化学习恢复电力通信网络中业务的方法，如图1所示，包括：
获取电力通信网络原始网络状态，其中，网络状态包括：电力通信网络拓扑结构和电力通信网络业务分布。
读取网络故障信息，网络业务故障信息包括：故障节点信息、故障链路信息和受损业务信息，根据所述网络故障信息，获取网络业务故障信息；
在电力通信网络实际物理约束及业务约束条件下，根据故障后的网络状态，初始化学习环境，同时初始化行为准则表、折扣因子、贪心法则参数，在初始化学习环境中确定每条链路上的剩余带宽。
1.1根据当前拟恢复的受损业务的参数，初始化强化学习中与学习环境交互的智能体；
1.2确定当前网络状态下拟恢复的受损业务的有效动作，所述的有效动作包括直接停止学习、在电力通信网络的空闲资源直接分配业务路径、抢占未受损业务资源，其中，未受损业务在当前学习循环中最多只能被抢占一次，空闲资源直接分配业务路径和抢占未受损业务资源动作后，获取受损业务的新业务路径，所述的新业务路径在受损业务路径预设范围内，根据贪心法则和行为准则表在有效动作中选取一个动作实施后，更新学习环境；
1.3当确定存在未受损业务被抢占时，被抢占的业务作为特殊的“拟恢复的受损业务”，更新智能体，返回到1.2，当确定不存在未受损业务被抢占时，根据决策收益计算奖励值，更新行为准则表；其中，决策收益的影响因素和计算方式由网络管理者确定，体现业务恢复优化的目标；
1.4判断是否达到预设学习次数，若达到，则结束并将预设学习次数业务恢复方案作为最终方案输出，否则返回1.1。
可选的，可选的，本发明还提出一种基于强化学习恢复电力通信网络中业务的***200，如图2所示，***200包括：
采集模块201，获取电力通信网络原始网络状态，其中，网络状态包括：电力通信网络拓扑结构和电力通信网络业务分布，读取网络故障信息，网络业务故障信息包括：故障节点信息、故障链路信息和受损业务信息，根据所述网络故障信息，获取网络业务故障信息；
初始化模块202，在电力通信网络实际物理约束及业务约束条件下，根据故障后的网络状态，初始化学习环境，同时初始化行为准则表、折扣因子、贪心法则参数，初始化学习环境中确定每条链路上的剩余带宽；
学习模块203，根据当前拟恢复的受损业务的参数，初始化强化学习中与学习环境交互的智能体；
更新模块204，确定当前网络状态下拟恢复的受损业务的有效动作，所述的有效动作包括直接停止学习、在电力通信网络的空闲资源直接分配业务路径、抢占未受损业务资源，其中，未受损业务在当前学习循环中最多只能被抢占一次，空闲资源直接分配业务路径和抢占未受损业务资源动作后，获取受损业务的新业务路径，所述的新业务路径在受损业务路径预设范围内，根据贪心法则和行为准则表在有效动作中选取一个动作实施后，更新学习环境；
第一判断模块205，当确定存在未受损业务被抢占时，被抢占的业务作为特殊的“拟恢复的受损业务”，更新智能体，当确定不存在未受损业务被抢占时，根据决策收益计算奖励值，更新行为准则表；其中，决策收益的影响因素和计算方式由网络管理者确定，体现业务恢复优化的目标；
第二判断模块206，判断是否达到预设学习次数，若达到，则结束并将预设学习次数业务恢复方案作为最终方案输出。
本发明可以在短时间内完成电力通信网络中的故障恢复路径的选择以及业务切换方案，并保证在中间过程也能够输出经过一定优化的可行路径配置方案。
Claims (12)
1.一种基于强化学习恢复电力通信网络中业务的方法，所述的方法包括：
获取电力通信网络原始网络状态，读取网络故障信息，根据所述网络故障信息，获取网络业务故障信息；
在电力通信网络实际物理约束及业务约束条件下，根据故障后的网络状态，初始化学习环境，同时初始化行为准则表、折扣因子、贪心法则参数；
1.1根据当前拟恢复的受损业务的参数，初始化强化学习中与学习环境交互的智能体；
1.2确定当前网络状态下拟恢复的受损业务的有效动作，所述的有效动作包括直接停止学习、在电力通信网络的空闲资源直接分配业务路径、抢占未受损业务资源，根据贪心法则和行为准则表在有效动作中选取一个动作实施后，更新学习环境；
1.3当确定存在未受损业务被抢占时，被抢占的业务作为特殊的“拟恢复的受损业务”，更新智能体，返回到1.2，当确定不存在未受损业务被抢占时，根据决策收益计算奖励值，更新行为准则表；
1.4判断是否达到预设学习次数，若达到，则结束并将预设学习次数业务恢复方案作为最终方案输出，否则返回1.1。
2.根据权利要求1所述的方法，所述的网络状态包括：电力通信网络拓扑结构和电力通信网络业务分布。
3.根据权利要求1所述的方法，所述的网络业务故障信息包括：故障节点信息、故障链路信息和受损业务信息。
4.根据权利要求1所述的方法，所述的初始化学习环境中确定每条链路上的剩余带宽。
5.根据权利要求1所述的方法，所述的未受损业务在当前学习循环中最多只能被抢占一次。
6.根据权利要求1所述的方法，所述的空闲资源直接分配业务路径和抢占未受损业务资源动作后，获取受损业务的新业务路径，所述的新业务路径在受损业务路径预设范围内。
7.一种基于强化学习恢复电力通信网络中业务的***，所述的***包括：
采集模块，获取电力通信网络原始网络状态，读取网络故障信息，根据所述网络故障信息，获取网络业务故障信息；
初始化模块，在电力通信网络实际物理约束及业务约束条件下，根据故障后的网络状态，初始化学习环境，同时初始化行为准则表、折扣因子、贪心法则参数；
学习模块，根据当前拟恢复的受损业务的参数，初始化强化学习中与学习环境交互的智能体；
更新模块，确定当前网络状态下拟恢复的受损业务的有效动作，所述的有效动作包括直接停止学习、在电力通信网络的空闲资源直接分配业务路径、抢占未受损业务资源，根据贪心法则和行为准则表在有效动作中选取一个动作实施后，更新学习环境；
第一判断模块，当确定存在未受损业务被抢占时，被抢占的业务作为特殊的“拟恢复的受损业务”，更新智能体，当确定不存在未受损业务被抢占时，根据决策收益计算奖励值，更新行为准则表；其中，决策收益的影响因素和计算方式由网络管理者确定，体现业务恢复优化的目标；
第二判断模块，判断是否达到预设学习次数，若达到，则结束并将预设学习次数业务恢复方案作为最终方案输出。
8.根据权利要求7所述的***，所述的网络状态包括：电力通信网络拓扑结构和电力通信网络业务分布。
9.根据权利要求7所述的***，所述的网络业务故障信息包括：故障节点信息、故障链路信息和受损业务信息。
10.根据权利要求7所述的***，所述的初始化学习环境中确定每条链路上的剩余带宽。
11.根据权利要求7所述的***，所述的未受损业务在当前学习循环中最多只能被抢占一次。
12.根据权利要求7所述的***，所述的空闲资源直接分配业务路径和抢占未受损业务资源动作后，获取受损业务的新业务路径，所述的新业务路径在受损业务路径预设范围内。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910152088.1A CN109831229B (zh) | 2019-02-28 | 2019-02-28 | 一种基于强化学习恢复电力通信网络中业务的方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910152088.1A CN109831229B (zh) | 2019-02-28 | 2019-02-28 | 一种基于强化学习恢复电力通信网络中业务的方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109831229A CN109831229A (zh) | 2019-05-31 |
| CN109831229B true CN109831229B (zh) | 2021-07-06 |
Family
ID=66864940
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910152088.1A Active CN109831229B (zh) | 2019-02-28 | 2019-02-28 | 一种基于强化学习恢复电力通信网络中业务的方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109831229B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110971471B (zh) * | 2019-12-30 | 2022-03-29 | 国网江苏省电力有限公司信息通信分公司 | 基于状态感知的电力通信主干网故障恢复方法和装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011022902A (ja) * | 2009-07-17 | 2011-02-03 | Ritsumeikan | 電力取引管理システム、管理装置、電力取引方法、及び電力取引用コンピュータプログラム |
| CN102231647A (zh) * | 2011-06-21 | 2011-11-02 | 中国电力科学研究院 | 一种电力专用光纤通信网络业务路由配置方法 |
| CN103745120A (zh) * | 2014-01-22 | 2014-04-23 | 上海海事大学 | 一种基于bdi多智能体的船舶电力***重构方法 |
| CN105072028A (zh) * | 2015-07-25 | 2015-11-18 | 华北电力大学（保定） | 一种电力广域保护通信网传输故障容错方法 |
| CN106506357A (zh) * | 2016-12-06 | 2017-03-15 | 国网河南省电力公司信息通信公司 | 一种电力通信网的双路由配置方法及装置 |
| CN107147534A (zh) * | 2017-05-31 | 2017-09-08 | 国家电网公司 | 一种用于电力通信网故障检测的数量优化的探针部署方法 |
| CN108092822A (zh) * | 2018-01-02 | 2018-05-29 | 华北电力大学（保定） | 一种电力通信网故障链路的恢复方法及*** |
-
2019
- 2019-02-28 CN CN201910152088.1A patent/CN109831229B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011022902A (ja) * | 2009-07-17 | 2011-02-03 | Ritsumeikan | 電力取引管理システム、管理装置、電力取引方法、及び電力取引用コンピュータプログラム |
| CN102231647A (zh) * | 2011-06-21 | 2011-11-02 | 中国电力科学研究院 | 一种电力专用光纤通信网络业务路由配置方法 |
| CN103745120A (zh) * | 2014-01-22 | 2014-04-23 | 上海海事大学 | 一种基于bdi多智能体的船舶电力***重构方法 |
| CN105072028A (zh) * | 2015-07-25 | 2015-11-18 | 华北电力大学（保定） | 一种电力广域保护通信网传输故障容错方法 |
| CN106506357A (zh) * | 2016-12-06 | 2017-03-15 | 国网河南省电力公司信息通信公司 | 一种电力通信网的双路由配置方法及装置 |
| CN107147534A (zh) * | 2017-05-31 | 2017-09-08 | 国家电网公司 | 一种用于电力通信网故障检测的数量优化的探针部署方法 |
| CN108092822A (zh) * | 2018-01-02 | 2018-05-29 | 华北电力大学（保定） | 一种电力通信网故障链路的恢复方法及*** |
Non-Patent Citations (1)
| Title |
|---|
| 基于深度学习的电力骨干通信网故障诊断研究;张书林;《软件》;20180331;194-198 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109831229A (zh) | 2019-05-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Tarhuni et al. | Autonomous control strategy for fault management in distribution networks | |
| Cárcamo-Gallardo et al. | Greedy reconfiguration algorithms for medium-voltage distribution networks | |
| CN102213735B (zh) | 一种配电自动化典型试验网络 | |
| US20120163163A1 (en) | Apparatus and method for protection switching of multiple protection group | |
| CN111683008A (zh) | 基于sdn的传输网业务路径调度、保护方法及*** | |
| US9820021B2 (en) | Methods and apparatus for determining a path in a communications network | |
| CN114095075B (zh) | 一种基于业务定制需求感知的光网络故障恢复方法 | |
| CN112887207B (zh) | 用于电力ip-光通信网络的业务路由分配方法及装置 | |
| US9252915B1 (en) | Systematic adaptation of data delivery | |
| Liu et al. | DL-assisted cross-layer orchestration in software-defined IP-over-EONs: From algorithm design to system prototype | |
| Paliwal et al. | Effective resource management in SDN enabled data center network based on traffic demand | |
| Zhao et al. | A routing optimization method based on risk prediction for communication services in smart grid | |
| EP2326046A1 (en) | Method for realizing permanent ring network protection in mesh network | |
| Saito et al. | Disaster avoidance control against heavy rainfall | |
| CN109831229B (zh) | 一种基于强化学习恢复电力通信网络中业务的方法及*** | |
| CN103581006A (zh) | 用于灵活栅格光网络全局优化的***架构及其全局优化方法 | |
| Gu et al. | Flexible optical network enabled proactive cross-layer restructuring for 5G/B5G backhaul network with machine learning engine | |
| Ghorbani et al. | A MAS learning framework for power distribution system restoration | |
| CN109242242B (zh) | 一种用于确定***保护专网业务风险建模的方法和*** | |
| Li et al. | P-cycle based protection scheme with cycle multiplexing and capacity balance for multicast service in substation communication network | |
| Lv et al. | Service awareness recovery under N-1 failure in power grid optical communication networks | |
| Malek et al. | Resilience based decision metrics for dispatching mobile emergency truck generators in distribution system | |
| CN102457433B (zh) | 一种多层网络中转发邻接属性的更新方法及*** | |
| Kim et al. | Enhanced linear protection switching methods supporting dual node interconnection in packet transport networks | |
| Hirata et al. | Traveling maintenance system design for wide-area telecommunication networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |