CN108152676A - 一种基于智能体的配电网故障定位方法及*** - Google Patents

Abstract

本发明公开了一种基于智能体的配电网故障定位方法，该方法包括：当发生配电网故障时，首先初始化智能体在配电网中的起始位置；令智能体在配电网中移动，智能体每移动到一个新的位置时，获取该位置的特征向量；根据当前位置的特征向量和智能体内部存储的特征向量利用智能体内的决策表来决定智能体如何处理当前位置的特征向量和智能体内存储部的特征向量；使智能体遍历配电网内的每一个位置，当智能体遍历全部位置后，智能体内部存储的特征向量所对应的位置即为故障点位置。

Description

一种基于智能体的配电网故障定位方法及***

技术领域

本发明涉及电力技术领域，尤其涉及一种基于智能体的配电网故障定位方法及***。

背景技术

配电网是电力***中的重要组成部分，随着智能电网的快速发展，分布式电源的大量的不确定接入，使得配电网故障信息越发复杂，故障的准确快速分析变得越发困难。为保障配电网高度智能化运行，需要对馈线运行数据进行实时监控、异常情况及时预警及故障快速定位及处理。因此配电网络通常会加装线路故障指示器和馈线终端等装置，利用这些装置对配电网运行情况进行录波。目前现有技术中，针对配电故障定位的方法方一般均需要依靠人为设定提取录波特征，再利用神经网络等机器学习模型进行故障的识别及定位。如CN104101812公开了一种小电流接地配电网的故障检测定位方法与***，***主站从配电网络多个点的录波中提取零序电压和零序电流的暂态信号，计算作为特征值和各个位置波形的相似性，根据单点特征值及相关性特征值利用机器学习模型判断故障疑似区域。CN103454559中一种基于BP神经网络的多判据融合算法的小电流接地故障的在线定位方法及定位装置，通过安装在线路上不同位置的终端准确捕捉到零序电流超过启动值前1个周期和超过启动值后4个周期的零序电流暂态信号，运用Prony算法、小波包算法、HHT算法和分形算法提取故障暂态信号的信号特征，运用BP神经网络对多种算法提取出的特征进行分析，确定故障点所在的区段。

在使用各种机器学习模型进行故障定位判断时，首先必须对所使用的机器学习模型进行训练，训练机器训练模型需要大量数据，如果仅适用一个配电网的监测终端产生的数据会导致训练数据量不足，而不同配电网络其监测终端输出的数据是具有不同特性的，如果属于不同配电网监测终端的数据混合用于对同一模型进行训练时，很容导致训练结果偏差。另一方面，现有技术中均是将故障定位点与监测终端位置相对应，当机器学习模型出现错误产生多个故障点结果时，则需要新的机器学习模型进行进一步的筛选。

发明内容

本发明所的技术目的在于，利用智能体(Agent)在配电网巡检，该智能体的机器训练数据以所在配电网中的每一故障事件位单位，从而避免了由于不同配电网数据混合造成的机器训练偏差。

为了解决上述技术问题，本发明提供了一种基于智能体的配电网故障定位方法，该方法包括：当发生配电网故障时，首先初始化智能体在配电网中的起始位置；令智能体在配电网中移动，智能体每移动到一个新的位置时，获取该位置的特征向量；根据当前位置的特征向量和智能体内部存储的特征向量利用智能体内的决策表来决定智能体如何处理当前位置的特征向量和智能体内存储部的特征向量；使智能体遍历配电网内的每一个位置，当智能体遍历全部位置后，智能体内部存储的特征向量所对应的位置即为故障点位置。

在一个实施例中，智能体在配电网中移动所处的位置是指配电网中相邻两个监测终端之间的间隔位置。

在一个实施例中，所述当前位置的特征向量是指当前位置在配电方向上，由前后两个监测终端所采集的特征值构成的特征向量。

在一个实施例中，所述监测终端所采集的特征包括但不限于零序电流最大幅值、功率最大幅值、故障区域平均功率和故障区域电流小波能量熵。

在一个实施例中，所述监测终端所采集的特征有深度神经网络确定。

在一个实施例中，所述初始化智能***置可将智能体的起始位置设置配电线路起点。

在一个实施例中，所述智能体在遍历配电网位置时，如果移动到配电线路的末端，则随机跳转到其他未被遍历的位置。

在一个实施例中，所述智能体的决策表决定了将现处位置的位置特征向量写入存储部以替换原来的特征向量，或者保留存储部的原数据，丢弃现处位置的位置特征向量，或者不采用上述两种特征向量的任一种，随机选取两种特征向量之一写入存储部。

根据本发明的另一方面，还提供了一种用于配电网故障定位的智能体决策表的训练方法，该方法包括：

初始化决策表中全部权重值Q(S，A)；

针对每组故障事件数据重复如下过程：

a.初始化智能体的位置特征向量S。

b.根据位置特征向量S和权重值Q(S，.)，采用ε-Greedy策略选取动作A；

c.根据所选择的动作A更新位置特征向量存储器中的数据，并给予智能体奖励r，并使智能体进入下一个位置，同时获得位置状态向量S'。

d.根据位置特征向量S'和权重值Q(S'，.)，采用ε-Greedy策略选取动作A'，将Q(S，A)更新为(1-α)Q(S，A)+α[r+γQ(S'，A')]；其中α代表学习速率，γ代表衰减系数，且有0≤α≤1，0≤γ≤1。将位置特征向量S更新为为位置特征向量S'，将动作A更新为动作A'。

e.重复执行步骤b至d，直到配电网内的全部位置均被遍历。

以下对本发明内容做进一步的解释。

如图1所示的本发明的配电网故障定位流程示意图，当配电网中出现故障触发信号时，则启动本发明的配电网故障定位***，首先对智能体进行位置初始化，该初始化位置选择为配电网拓扑结构中的配电起始位置，如变电站配电起始位置。所述智能体中包含决策表和位置特征向量存储部，当智能***置初始化完成时，初始位置的位置特征向量被存入智能体的位置特征向量存储部。

所述位置特征是指智能体所处位置在配电方向上前后两个监测终端所采集到的录波的多种特征，如零序电流最大幅值、功率最大幅值、故障区域平均功率、故障区域电流小波能量熵等，例如选定零序电流最大幅值、功率最大幅值、故障区域平均功率、故障区域电流小波能量熵四种特征，则位置特征向量可以表示成【(50，50)；(60，70)；(20，30)；(40，50)】，其中(50，50)即代表智能体所处位置的前后监测终端所采集的零序电流最大幅值的特征值，而(60，70)；(20，30)；(40，50)则分别代表智能体所处位置的前后监测终端的功率最大幅值、故障区域平均功率、故障区域电流小波能量熵的特征值。在本发明中对于多个特征的原始数值需要进行数据离散化处理，先将原始数值在0～100范围内缩放，然后以10位单位对其进行离散化。

初始化完成后，智能体即开始在配电网拓扑结构中按配电方向进巡检，所述巡检需沿着一条配电线路依次经过每个监测终端之间的间隔位置，当智能体移动到一条配电线路的末端时，则随机选择其他未巡检的线路的起点继续巡检。

每当智能体移动到一个新的位置时，智能体首先获取该位置处的位置特征向量。随后，智能体根据现处位置的位置特征向量和位置特征向量存储部中所存储的特征向量，在决策表中进行查表操作。并根据决策表中两种特征向量所对应的动作类型中，选权重值最大的的动作进行操作。本发明中所述动作类型是指：动作a1，将现处位置的位置特征向量写入位置特征向量存储部以替换原来的数据；动作a2，保留位置特征向量存储部的原数据，丢弃现处位置的位置特征向量；动作a3，不采用两种数据的任一种，随机选取两种数据之一写入位置特征向量存储部。当智能体遍历配电网所有监测终端之间的间隔位置后，其位置特征向量存储部内所存储的特征向量所对应的位置即为故障点位置。

<智能体的机器训练>

从上述对本发明的故障定位流程可以看出，智能体内的决策表是控制智能体核心部分，因此智能体的机器学习的目的在于训练出有效的决策表控制智能体在配电网内巡检过程中精确的寻找出故障的位置。

本发明中采用Q-Learning的强化学习的方式对智能体的决策表进行机器学习训练，如图2所示的流程图，决策表的训练过程如下：

首先初始化决策表中全部权重值Q(S，A)，其中S为智能体现处位置的位置特征向量，动作A即为动作a1、动作a2和动作a3。在初始化权重值Q(S，A)时，所有的权重值均是随机生成的。

针对每组故障事件数据重复如下过程：

a.初始化智能体的位置特征向量S，该位置特征向量S包括智能体现处位置特征向量s1和位置特征向量存储部中的特征向量s2。

b.根据位置特征向量S和权重值Q(S，.)，采用ε-Greedy策略选取动作A，这里的ε-Greedy策略是指在状态S下，智能体以ε概率选取权重值Q中最大的所对应的动作A执行，而以1-ε的概率在动作作a1、动作a2和动作a3中随机选择一个进行执行。

c.根据所选择的动作A更新位置特征向量存储器中的数据，并给予智能体奖励r，并使智能体进入下一个位置，同时获得位置状态向量S'。

d.根据位置特征向量S'和权重值Q(S'，.)，采用ε-Greedy策略选取动作A'，将Q(S，A)更新为(1-α)Q(S，A)+α[r+γQ(S'，A')]；其中α代表学习速率，γ代表衰减系数，且有0≤α≤1，0≤γ≤1。将位置特征向量S更新为为位置特征向量S'，将动作A更新为动作A'。

e.重复执行步骤c至d，直到配电网内的全部位置均被遍历。

在上述过程中当智能体寻找到故障点时r为1，若未找到则r为-1，其他状态时r为0。

与现有技术相比，本发明的一个或多个实施例可以具有如下优点：利用智能体(Agent)在配电网巡检，该智能体的机器训练数据以所在配电网中的每一故障事件位单位，从而避免了由于不同配电网数据混合造成的机器训练偏差。。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例共同用于解释本发明，并不构成对本发明的限制。在附图中：

图1是本发明的配电网故障定位流程示意图；

图2是本发明的对智能体进行强化学习的流程示意图；

图3是本发明一实施例的配电网拓扑结构的示意图；

图4是本发明一实施例的智能体决策表示意图；

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，以下结合附图对本发明作进一步地详细说明。

图3是根据本发明一实施例的配电网拓扑结构的示意图，图4是本发明一实施例的智能体决策表示意图；下面结合图3，4对本方法进行说明。

本实施例中仅取前后检测点的零序电流最大幅值作为特征。

根据图3所示的配电网拓扑结构，利用本发明中的智能体机器训练方法选取5000组故障事件数据对智能体的决策表进行Q-Learning的强化学习训练，得到如图4所示的针对该配电网拓扑结构的智能体决策表。

当该配电网内出现故障时，触发本实施例的配电网故障定位***。

首先，智能体被配置在位置s1，智能体根据s1位置处的位置特征向量S1和存储器中的位置特征向量S'查找决策表得到结果执行动作a1。智能体将位置特征向量S1存储入存储器，并进入下一位置s2。

智能体根据s2位置处的位置特征向量S2和存储器中的位置特征向量S'查找决策表得到结果执行动作a1。智能体将位置特征向量S2存储入存储器，并进入下一位置s3。

智能体根据s3位置处的位置特征向量S3和存储器中的位置特征向量S'查找决策表得到结果执行动作a1。智能体将位置特征向量S3存储入存储器，并进入下一位置s4。

智能体根据s4位置处的位置特征向量S4和存储器中的位置特征向量S'查找决策表得到结果执行动作a3。智能体任选位置特征向量S3和位置特征向量S4之一存储器，并进入下一位置s5。

智能体根据s5位置处的位置特征向量S5和存储器中的位置特征向量S'查找决策表得到结果执行动作a1。智能体将位置特征向量S5存储入存储器，并进入下一位置s6。

智能体根据s6位置处的位置特征向量S6和存储器中的位置特征向量S'查找决策表得到结果执行动作a1。智能体将位置特征向量S6存储入存储器，并进入下一位置s7。

智能体根据s7位置处的位置特征向量S7和存储器中的位置特征向量S'查找决策表得到结果执行动作a2。智能体保持存储器数据不更新，并进入下一位置s8。

智能体根据s8位置处的位置特征向量S8和存储器中的位置特征向量S'查找决策表得到结果执行动作a2。智能体保持存储器数据不更新，并退出定位判定，同时输出存储器中的位置特征向量S'所对应的物理位置。

由上述判定过程可知该智能体经过遍历整个配电网拓扑，准确的判断出故障位置处于位置s6处。

以上所述，仅为本发明的具体实施案例，本发明的保护范围并不局限于此，任何熟悉本技术的技术人员在本发明所述的技术规范内，对本发明的修改或替换，都应在本发明的保护范围之内。

Claims (9)

1.一种基于智能体的配电网故障定位方法，其特征在于，该方法包括：

当发生配电网故障时，首先初始化智能体在配电网中的起始位置；

令智能体在配电网中移动，智能体每移动到一个新的位置时，获取该位置的特征向量；

根据当前位置的特征向量和智能体内部存储的特征向量利用智能体内的决策表来决定智能体如何处理当前位置的特征向量和智能体内存储部的特征向量；

使智能体遍历配电网内的每一个位置，当智能体遍历全部位置后，智能体内部存储的特征向量所对应的位置即为故障点位置。

2.根据权利要求1所示的配电网故障定位方法，其特征在于，智能体在配电网中移动所处的位置是指配电网中相邻两个监测终端之间的间隔位置。

3.根据权利要求2所示的配电网故障定位方法，其特征在于，所述当前位置的特征向量是指当前位置在配电方向上，由前后两个监测终端所采集的特征值构成的特征向量。

4.根据权利要求3所示的配电网故障定位方法，其特征在于，所述监测终端所采集的特征包括但不限于零序电流最大幅值、功率最大幅值、故障区域平均功率和故障区域电流小波能量熵。

5.根据权利要求1所示的配电网故障定位方法，其特征在于，所述初始化智能***置是指将智能体的起始位置设置配电线路起点。

6.根据权利要求1所示的配电网故障定位方法，其特征在于，所述智能体在遍历配电网位置时，如果移动到配电线路的末端，则随机跳转到其他未被遍历的配电线路的起点位置。

7.根据权利要求1所示的配电网故障定位方法，其特征在于，所述智能体的决策表决定了将现处位置的位置特征向量写入存储部以替换原来的特征向量，或者保留存储部的原数据，丢弃现处位置的位置特征向量，或者不采用上述两种特征向量的任一种，随机选取两种特征向量之一写入存储部。

8.一种用于配电网故障定位的智能体决策表的训练方法，其特征在于，该方法包括：

初始化决策表中全部权重值Q(S，A)；

针对每组故障事件数据重复如下过程：

a.初始化智能体的位置特征向量S。

b.根据位置特征向量S和权重值Q(S，.)，采用ε-Greedy策略选取动作A；

c.根据所选择的动作A更新位置特征向量存储器中的数据，并给予智能体奖励r，并使智能体进入下一个位置，同时获得位置状态向量S'。

d.根据位置特征向量S'和权重值Q(S'，.)，采用ε-Greedy策略选取动作A'，将Q(S，A)更新为(1-α)Q(S，A)+α[r+γQ(S'，A')]；其中α代表学习速率，γ代表衰减系数，且有0≤α≤1，0≤γ≤1。将位置特征向量S更新为为位置特征向量S'，将动作A更新为动作A'。

e.重复执行步骤c至d，直到配电网内的全部位置均被遍历。

9.一种基于智能体的配电网故障定位***，其特征在于，该***中使用了如权利要求1-7之一所述的定位方法对故障发生点进行定位。