CN114943430B - 一种基于深度强化学习的智能电网关键节点识别方法 - Google Patents
一种基于深度强化学习的智能电网关键节点识别方法 Download PDFInfo
- Publication number
- CN114943430B CN114943430B CN202210518642.5A CN202210518642A CN114943430B CN 114943430 B CN114943430 B CN 114943430B CN 202210518642 A CN202210518642 A CN 202210518642A CN 114943430 B CN114943430 B CN 114943430B
- Authority
- CN
- China
- Prior art keywords
- network
- nodes
- power network
- model
- power
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000002787 reinforcement Effects 0.000 title claims abstract description 31
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000013145 classification model Methods 0.000 claims abstract description 13
- 230000009471 action Effects 0.000 claims abstract description 12
- 238000013135 deep learning Methods 0.000 claims abstract description 7
- 238000004891 communication Methods 0.000 claims abstract description 4
- 238000012549 training Methods 0.000 claims description 15
- 239000011159 matrix material Substances 0.000 claims description 10
- 230000000704 physical effect Effects 0.000 claims description 5
- 238000009792 diffusion process Methods 0.000 claims description 3
- 238000013508 migration Methods 0.000 claims description 3
- 230000005012 migration Effects 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 2
- 238000013210 evaluation model Methods 0.000 claims description 2
- 238000011158 quantitative evaluation Methods 0.000 claims description 2
- 238000001514 detection method Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000013432 robust analysis Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010523 cascade reaction Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000035699 permeability Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0635—Risk analysis of enterprise or organisation activities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Physics & Mathematics (AREA)
- Economics (AREA)
- General Physics & Mathematics (AREA)
- Strategic Management (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Entrepreneurship & Innovation (AREA)
- Tourism & Hospitality (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Primary Health Care (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Water Supply & Treatment (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Development Economics (AREA)
- Educational Administration (AREA)
- Public Health (AREA)
- Game Theory and Decision Science (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供一种基于深度强化学习的智能电网关键节点识别方法，包括：根据电网数据建立电网、通信网的拓扑结构，结合电力网络的业务属性和物理特性构建真实电力网络，并构建生成网络模型；根据真实电力网络与生成网络的网络特征，构建基于深度学习的全阶子图特征分类模型；根据全阶子图特征分类模型，通过深度的全连接学习输出各动作对应的奖励值；利用获得的动作和对应的奖励值，构建电力网络深度强化学习模型；输入待识别的电力网络至训练好的电力网络深度强化学习模型，输出各节点指标值，根据指标值确定关键节点。本发明构建一种基于深度强化学习的电力网络关键节点识别模型，通过该模型可以准确识别不同类型电力网络的关键节点。
Description
技术领域
本发明涉及智能电网技术领域，具体涉及一种基于深度强化学习的智能电网关键节点识别方法。
背景技术
目前，学术界对电网关键节点的识别进行了大量研究，主要的方法包括：基于图论及复杂网络理论分析方法，该类方法主要从电网结构上进行分析，查找关键节点；基于电网业务属性的检测方法，该类方法从电网的运行参数出发，如电网潮流分布、电抗、功率变化，来分析检测关键节点；另外，也有的文献将两种方法相结合进行研究。
尽管这些方法在某些网络上获得了较好的关键节点检测效果，也取得了一定研究成果。但随着电网大规模广泛互联的逐渐展开，随机性、波动性新能源渗透率的逐渐提高，导致电力***日臻复杂，故障风险也不断增加。这给电网关键节点识别带来了新的挑战：(1)现代电网规模越来越大，结构越来越复杂，对现有方法的运行速度和准确率提出了更高的要求；(2)各种随机性和不确定性因素的影响更加错综复杂，如多样化、智能化、即插即用的负荷随机变化，导致网络结构动态变化，关键节点也随之改变。现有方法大多针对某一类型静态网络，并没有考虑网络结构的动态变化。(3)现有方法缺乏对事故造成的级联反应进行预警，电网中某个脆弱节点发生故障，如不加以控制，电网间的联系将故障影响不断放大，产生级联失效，导致区域电网大面积停电。上述问题，必然会影响到电网关键节点检测的准确性和效率，是电网关键节点检测的共性问题，也是其应用实施的瓶颈。
为此，本发明提出一种基于深度强化学习的智能电网关键节点识别方法。
发明内容
为解决上述问题，本发明提供一种基于深度强化学习的智能电网关键节点识别方法。
本发明提供了如下的技术方案。
一种基于深度强化学习的智能电网关键节点识别方法，包括以下步骤：
根据电网数据建立电网、通信网的拓扑结构，结合电力网络的业务属性和物理特性构建真实电力网络，并构建生成网络模型；
根据真实电力网络与生成网络的网络特征，构建基于深度学习的全阶子图特征分类模型；
根据全阶子图特征分类模型，通过深度的全连接学习输出各动作对应的奖励值；
利用获得的动作和对应的奖励值，构建电力网络深度强化学习模型；
输入待识别的电力网络至训练好的电力网络深度强化学习模型，输出各节点指标值，根据指标值确定关键节点。
优选地，所述基于深度学习的全阶子图特征分类模型的构建，包括以下步骤：
根据网络的拓扑结构，采用node2vec方法将网络映射到低维向量空间；
根据扩散的规则选取目标节点对应的子图节点，根据节点间的游走距离获得具有特定序列的节点集合；
由子图邻接矩阵、node2vec学习的节点向量矩阵以基于全局路径相似度的katz矩阵构成全阶子图特征，分别代表子图中节点的低阶、中阶和高阶结构特性。
优选地，还包括：通过真实电力网络与生成网络，并采取线上线下相结合的方式，根据节点的多个指标值对电力网络深度强化学习模型进行训练。
优选地，所述线上学习输入为真实的电力网络，其指标值包括网络的拓扑结构特征、物理属性、业务属性的特征信息。
优选地，所述线下学习，包括以下步骤：
输入数据集中的训练用网络，对各节点采用移除策略，得到当前的状态，利用全阶子图特征分类模型计算所采取的动作和奖励；数据集采用所建立的生成网络模型，生成大量与真实网络有相似的拓扑结构特征和物理属性的电力网络；
训练用网络经过深度强化学习模型的学习，输出的是各节点指标值，根据指标值判断关键节点。
优选地，还包括：
通过对电力网络的结构特征属性进行攻击，包括关键节点、中介节点、大度节点和随机节点；
构建电力网络健壮性评估模型，通过该模型来衡量电力网络的鲁棒性，并通过量化评估值给出不同等级的预警提示。
本发明的有益效果：
(1)电力网络关键节点识别方法创新
首次将深度强化学习技术应用于大规模互联网络的关键节点识别，解决传统方法不适用于大规模互联电网和关键节点识别效率低的问题。
(2)电网鲁棒性分析方法创新
拟采用键节点、中介节点、大度节点、随机节点等多种攻击手段，从拓扑结构、物理属性和业物属性等不同维度评价电力网络的鲁棒性，并根据量化评估值给出不同等级的预警信息。
附图说明
图1是本发明实施例的基于深度强化学习的智能电网关键节点识别方法的方案流程图；
图2是本发明实施例的基于深度学习的全阶子图特征分类模型示意图；
图3是本发明实施例的线下电力网络深度强化学习模型示意图；
图4是本发明实施例的线上电力网络深度强化学习模型示意图；
图5是本发明实施例的电力网络鲁棒性分析图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
实施例1
本发明的一种基于深度强化学习的智能电网关键节点识别方法，如图1所示，本发明以智能电网为研究对象，针对真实电力网络中关键节点识别问题进行分析，结合复杂网络理论，基于深度强化学习方法，提出一种全新的智能网络关键节点识别框架；通过模型的线下和线上训练，准确的识别电力网络中的关键节点；采用不同的攻击方法，对关键节点进行攻击，并分析电力网络的鲁棒性，根据分析结果给出电力网络预警。主要包括以下几点：
(1)构建一种基于深度强化学习的电力网络关键节点识别模型，通过该模型可以准确识别不同类型电力网络的关键节点。
(2)基于所识别的关键节点，从多维度分析电力网络的鲁棒性，并给出预警信息。
具体的：
S1：根据电网数据建立电网、通信网的拓扑结构，结合电力网络的业务属性和物理特性构建真实电力网络，并构建生成网络模型。
S2：根据真实电力网络与生成网络的网络特征，构建基于深度学习的全阶子图特征分类模型。具体的：
如图2所示，该模型的主要思想也是将子图模式和电网的物理及业务属性特征有机地结合起来。首先根据网络的拓扑结构，采用node2vec方法将网络映射到低维向量空间；根据扩散的规则选取目标节点对应的子图节点，根据节点间的游走距离获得具有特定序列的节点集合；由子图邻接矩阵、node2vec学习的节点向量矩阵以基于全局路径相似度的katz矩阵构成全阶子图特征，分别代表子图中节点的低阶、中阶和高阶结构特性。针对物理属性采用的处理方法是将节点的属性矩阵作为重要的特征进行表示学习。通过深度的全连接学习，将输出强化学习中各动作对应的奖励值，如图2所示。
S3：根据全阶子图特征分类模型，通过深度的全连接学习输出各动作对应的奖励值；利用获得的动作和对应的奖励值，构建电力网络深度强化学习模型。
深度强化学习模型拟采用线下学习，线上补充的方式。主要的训练放在线下进行，如图3所示，开始输入整个网络，对节点采用移除策略，得到当前的状态，利用所提出的深度模型计算所采取的动作和奖励。数据集采用所建立的生成模型，生成大量的电力网络，这些网络与真实网络有相似的拓扑结构特征和物理属性。由于真实电网数据较少，因此，在训练时间大部分采用生成网络训练，同时也使用已获知电网数据集80％数据作为训练数据。训练的输入是一个个单独的网络，经过深度强化学习模型的学习，输出的是各节点指标值，指标值越高，说明节点越重要。训练中的评价指标对关键节点的识别有重要的影响，因此，本发明拟选择多个指标进行综合的比较。线上学习模型如图4所示，线上学习输入为真实的电力网络，包括网络的拓扑结构特征、物理属性、业务属性等特征信息。由于真实大规模互联电网节点数量较多，因此，线上学习模型需要考虑对网络的处理做相应的优化处理。
S4：输入待识别的电力网络至训练好的电力网络深度强化学习模型，输出各节点指标值，根据指标值确定关键节点。
S5：电力网络的鲁棒性不仅与网络的拓扑结构和物理属性有关，还与攻击方式的精确程度有关，因此本发明拟采取多种攻击策略来评价电力网络的鲁棒性。电力网络鲁棒性分析研究如图5所示。首先，通过对电力网络的结构特征属性进行攻击(如关键节点、中介节点、大度节点、随机节点等)，构建电力网络健壮性评估模型；然后，通过该模型来衡量电力网络的鲁棒性；最后，量化评估值给出不同等级的预警提示。
以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (2)
1.一种基于深度强化学习的智能电网关键节点识别方法，其特征在于，包括：
根据电网数据建立电网、通信网的拓扑结构，结合电力网络的业务属性和物理特性构建真实电力网络，并构建生成网络模型；
根据真实电力网络与生成网络的网络特征，构建基于深度学习的全阶子图特征分类模型；
根据全阶子图特征分类模型，通过深度的全连接学习输出各动作对应的奖励值；
利用获得的动作和对应的奖励值，构建电力网络深度强化学习模型；
输入待识别的电力网络至训练好的电力网络深度强化学习模型，输出各节点指标值，根据指标值确定关键节点；
所述基于深度学习的全阶子图特征分类模型的构建，包括以下步骤：
根据网络的拓扑结构，采用node2vec方法将网络映射到低维向量空间；
根据扩散的规则选取目标节点对应的子图节点，根据节点间的游走距离获得具有特定序列的节点集合；
由子图邻接矩阵、node2vec学习的节点向量矩阵以基于全局路径相似度的katz矩阵构成全阶子图特征，分别代表子图中节点的低阶、中阶和高阶结构特性；
还包括：通过真实电力网络与生成网络，并采取线上线下相结合的方式，根据节点的多个指标值对电力网络深度强化学习模型进行训练；
所述线上学习输入为真实的电力网络，其指标值包括网络的拓扑结构特征、物理属性、业务属性的特征信息；
所述线下学习，包括以下步骤：
输入数据集中的训练用网络，对各节点采用移除策略，得到当前的状态，利用全阶子图特征分类模型计算所采取的动作和奖励；数据集采用所建立的生成网络模型，生成大量与真实网络有相似的拓扑结构特征和物理属性的电力网络；
训练用网络经过深度强化学习模型的学习，输出的是各节点指标值，根据指标值判断关键节点。
2.根据权利要求1所述的基于深度强化学习的智能电网关键节点识别方法，其特征在于，还包括：
通过对电力网络的结构特征属性进行攻击，包括关键节点、中介节点、大度节点和随机节点；
构建电力网络健壮性评估模型，通过该模型来衡量电力网络的鲁棒性，并通过量化评估值给出不同等级的预警提示。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210518642.5A CN114943430B (zh) | 2022-05-13 | 2022-05-13 | 一种基于深度强化学习的智能电网关键节点识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210518642.5A CN114943430B (zh) | 2022-05-13 | 2022-05-13 | 一种基于深度强化学习的智能电网关键节点识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114943430A CN114943430A (zh) | 2022-08-26 |
| CN114943430B true CN114943430B (zh) | 2023-04-28 |
Family
ID=82907219
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210518642.5A Active CN114943430B (zh) | 2022-05-13 | 2022-05-13 | 一种基于深度强化学习的智能电网关键节点识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114943430B (zh) |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105303460A (zh) * | 2015-10-30 | 2016-02-03 | 国家电网公司 | 一种电网关键节点和关键支路的辨识方法 |
| CN112487658B (zh) * | 2020-12-14 | 2022-09-16 | 重庆邮电大学 | 一种电网关键节点的识别方法、装置及*** |
| CN113285828B (zh) * | 2021-05-19 | 2022-04-29 | 湖南经研电力设计有限公司 | 复杂网络关键节点辨识方法及其电网关键节点辨识方法 |
| CN114266475A (zh) * | 2021-12-22 | 2022-04-01 | 深圳供电局有限公司 | 一种基于多属性决策的电力网络关键节点识别方法 |
-
2022
- 2022-05-13 CN CN202210518642.5A patent/CN114943430B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN114943430A (zh) | 2022-08-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Liu et al. | Boosting slime mould algorithm for parameter identification of photovoltaic models | |
| CN107169628B (zh) | 一种基于大数据互信息属性约简的配电网可靠性评估方法 | |
| CN111628494B (zh) | 一种基于逻辑回归法的低压配电网拓扑识别方法及*** | |
| CN111900731A (zh) | 一种基于pmu的电力***状态估计性能评价方法 | |
| CN116448419A (zh) | 基于深度模型高维参数多目标高效寻优的零样本轴承故障诊断方法 | |
| CN114021433B (zh) | 一种电力***的主导失稳模式识别模型的构建方法及应用 | |
| CN117556369B (zh) | 一种动态生成的残差图卷积神经网络的窃电检测方法及*** | |
| CN108764541B (zh) | 一种结合时空特征和误差处理的风能预测方法 | |
| CN116432123A (zh) | 一种基于cart决策树算法的电能表故障预警方法 | |
| CN115654381A (zh) | 一种基于图神经网络的供水管道漏损检测方法 | |
| CN115603320A (zh) | 一种基于广域量测数据的实时感知与在线评估方法及*** | |
| CN115728463A (zh) | 一种基于半嵌入式特征选择的可解释性水质预测方法 | |
| CN114897085A (zh) | 一种基于封闭子图链路预测的聚类方法及计算机设备 | |
| CN114781688A (zh) | 业扩项目的异常数据的识别方法、装置、设备及存储介质 | |
| CN110287237A (zh) | 一种基于社会网络结构分析高效社团数据挖掘方法 | |
| CN113762591A (zh) | 一种基于gru和多核svm对抗学习的短期电量预测方法及*** | |
| CN114943430B (zh) | 一种基于深度强化学习的智能电网关键节点识别方法 | |
| CN106816871B (zh) | 一种电力***状态相似性分析方法 | |
| CN113128130B (zh) | 一种判断直流配电***稳定性的实时监测方法及装置 | |
| CN116011564A (zh) | 一种面向电力设备的实体关系补全方法、***及应用 | |
| CN114676887A (zh) | 一种基于图卷积stg-lstm的河流水质预测方法 | |
| CN112651183A (zh) | 一种量子分布式对抗统一深度哈希网络的可靠性评估方法 | |
| CN113111588A (zh) | 一种燃气轮机nox排放浓度预测方法及装置 | |
| Chai et al. | Production Forecast of Coalbed Methane Based on GA Optimized BP Neural Network | |
| Yang | Research on power system performance evaluation based on machine learning technology |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |