CN113595242A - 一种基于深度cnn-hmm的非侵入式负荷辨识方法 - Google Patents

Abstract

本发明提出一种基于深度CNN‑HMM的非侵入式负荷辨识方法，包括：采用互信息算法对电力入口处采集的总负荷数据进行特征选择，并采用差分处理的方式强化特征表达能力；根据待辨识负荷的电流有效值确定其运行状态，生成设备的标签数据集；将负荷特征数据与标签数据合成模型的训练数据集；训练深度卷积神经网络(CNN)；根据深度CNN网络得到的初辨识结果训练隐马尔可夫模型(HMM)的参数；得到完整的深度CNN‑HMM模型的结构与参数，实现对电力负荷的辨识。本发明能够有效地提取用电负荷的主要数据特征，弱化无关特征和冗余特征的影响，能够优化CNN算法辨识结果中存在的非连续性问题，实现对工商业用电负荷的高精度辨识。

Description

一种基于深度CNN-HMM的非侵入式负荷辨识方法

技术领域

本发明属于非侵入式负荷辨识技术领域，具体涉及一种基于深度CNN-HMM的非侵入式负荷辨识方法。

背景技术

先进且有效的需求侧管理技术能够为智能电网发展提供安全性和可靠性的保障，为了提高用户终端负荷的能源利用效率，减少电量消耗和电力需求，促进用户参与需求侧管理或实现远程优化控制，电力负荷的在线监测是必不可少的。电力负荷的监测方法主要有侵入式负荷监测和非侵入式负荷监测两种，由于传统的侵入式负荷监测存在投入成本高、维护难度大、居民接受程度低等问题，因此硬件结构简单、便于安装和维护的非侵入式负荷监测具有明显的优势。

负荷辨识是负荷监测的核心内容，负荷辨识的方法可分为三大类，即优化方法、监督学习方法和无监督学习方法。优化方法是负荷辨识最直接的方法，将提取的负荷特征数据与模板库中的特征数据进行对比，采用优化算法最小化误差，找到匹配度最高的电气设备状态组合，常用的优化算法包括动态时间弯曲(DTW)算法、遗传算法、粒子群优化算法等，但优化方法进行负荷辨识普遍需要根据历史信息提前建立负荷特征模板库。监督学习方法需要已知电气设备的特定运行信息，进行模型的初始训练，且算法的性能很大程度取决于模型学习的数据标签，基本上是将负荷辨识问题转换为分类学习问题进行解决，主要方法有贝叶斯分类器、支持向量机(SVM)和人工神经网络(ANN)。无监督学习方法可以在没有任何先验信息的情况下运行，相较于监督学习方法减少了训练步骤的干扰性，主要算法有隐马尔可夫模型(HMM)及其扩展，如因子隐马尔可夫模型(FHMM)和隐式半马尔可夫模型(HSMM)均被应用到负荷辨识中。卷积神经网络(CNN)具有很强的特征提取能力，常被应用于负荷辨识，但由于CNN本身不具有时序建模能力，所以其对时序数据的感知范围仅能停留在所选取的时间窗长度之内，导致CNN的辨识结果中经常存在非连续性问题，如图1所示。

发明内容

针对CNN算法辨识结果中存在的非连续性问题，本发明提出一种基于深度CNN-HMM的非侵入式负荷辨识方法。首先通过深度CNN提取负荷的多维特征，进行负荷的初辨识；然后根据负荷状态的时间依赖性，利用HMM模型解决负荷的二分类状态再辨识，减少CNN辨识结果中出现的状态断点现象，提高辨识准确率。

本发明通过以下技术手段解决上述问题：

一种基于深度CNN-HMM的非侵入式负荷辨识方法，包括以下步骤：

步骤1：采用互信息算法对总负荷数据进行特征选择，削弱无关特征和冗余特征对负荷辨识模型精度的影响，并进行差分处理以强化特征的表达能力；

步骤2：根据待辨识负荷的电流有效值的大小确定其运行状态，生成设备的标签数据；

步骤3：将步骤1所得的负荷特征数据与步骤2所得的标签数据合成模型的训练数据集，为了解决深度网络中存在的梯度消失和退化问题，选择残差神经网络ResNet-50作为深度卷积神经网络(CNN)的基础架构，并训练深度CNN模型；

步骤4：将深度CNN网络的初辨识结果作为观测序列，训练隐马尔可夫模型(HMM)的参数，从而优化CNN算法辨识结果中的非连续性问题；

步骤5：得到完整的深度CNN-HMM非侵入式负荷辨识模型，实现对工商业电力负荷的有效辨识。

进一步地，步骤1中利用互信息算法进行特征选择的方法如下：

互信息计算相关性的公式如下：

其中，I(x,y)是随机变量x和y的互信息值大小，随机变量x＝{x₁,x₂,…,x_T}表示总负荷数据中任意一种特征的差值时间序列，随机变量y＝{y₁,y₂,…,y_T}表示待辨识负荷的运行状态序列，p(x)和p(y)分别是随机变量x和y的边缘概率密度函数，p(x,y)则是x和y的联合概率密度函数。互信息值越大，表明随机变量之间的相关性越强。

互信息进行特征选择的具体步骤包括：

(1)计算每个负荷特征与待辨识负荷运行状态之间的互信息值；

(2)按照互信息的大小对所有特征按从大到小进行排序；

(3)选择前n个互信息最大的特征，构成负荷辨识的初始特征集合{f₁,f₂,…,f_n}；

(4)计算f_i与f_j，(i<j)之间的互信息大小，若f_i与某个特征f_j的互信息值大于阈值μ_th，则将f_j移除特征子集，并按照顺序添加新的特征；

(5)重新计算新的特征子集中特征之间的互信息值，重复筛选直到两两特征之间的互信息值皆小于阈值，并构建新的特征集合。

进一步地，步骤1中采集的任一负荷特征数据，可用时间序列R＝{R₀,R₁,R₂…,R_T}表示，其中T是负荷数据的时间长度，进行差分处理可得到负荷的差值特征序列x＝{x₁,x₂,…,x_T}，其中x_t＝R_t-R_t-1(1≤t≤T)。给定时间窗口长度w，负荷特征个数n，可生成模型的输入负荷数据input＝{Η₁,H₂,…,H_L}，其中

代表第j种负荷特征的第i个窗口的差值时间序列，

其中1≤i≤T-w+1，1≤j≤n。

进一步地，步骤2中采集的待辨识负荷数据，以其电流有效值Irms的大小为标准，生成设备的标签状态集target＝{y₁,y₂,…,y_L}，其中y_i表示第i个时间窗口内的i+w/2时刻点的负荷的运行状态，

进一步地，步骤4中HMM模型的参数λ＝{U,V,A,B,π}定义如下：

隐含状态集合U＝{u₁,u₂,…,u_N}，其中N为隐含状态数目，***在t时刻的隐含状态Q_t∈U；

观测状态集合V＝{v₁,v₂,…,v_M}，其中M是每一个隐含状态可能输出的不同的观测值的数目，***在t时刻的观测状态S_t∈V；

状态转移概率矩阵A＝{a_ij}，a_ij表示在t时刻状态为u_i的条件下，在t+1时刻状态为u_j的概率，a_ij＝P(Q_t+1＝u_j|Q_t＝u_i)，其中1≤i,j≤N，

观测状态转移概率矩阵B＝{b_i(k)}，b_i(k)表示在t时刻隐含状态为u_i的条件下，观测状态为v_k的概率，b_i(k)＝P(S_t＝v_k|Q_t＝u_i)，其中1≤i≤N，1≤k≤M，

初始状态概率矩阵π＝{π_i}，是t＝1时刻初始状态的概率分布，π_i＝P(Q₁＝u_i)，其中1≤i≤N，

与现有技术相比，本发明的有益效果至少包括：

本发明公开了一种基于深度CNN-HMM的非侵入式负荷辨识方法，在获取电力***的总负荷数据后，首先采用互信息算法进行特征选择，去除负荷特征数据中的无关特征和冗余特征，提高负荷辨识的准确率，另一方面，特征选择在很大程度上降低数据维度，减少了模型的运算量；然后采用残差神经网络构建深度CNN网络架构，解决深度网络训练过程中出现的梯度消失和退化问题；进一步地，采用HMM模型优化CNN辨识结果中的非连续性问题，深度CNN网络和HMM模型的结合，完成了对负荷深层隐含特征的提取和辨识结果非连续性的优化，能够有效辨识工商业用电负荷，具有较好的准确率和辨识精度。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是CNN辨识结果中存在的非连续性问题示意图。

图2是深度CNN-HMM模型的算法流程图。

图3是时间窗口长度和特征数目对负荷辨识准确率的影响。

图4是电梯负荷的有功功率曲线图。

图5是ResNet-50网络训练过程中的损失函数收敛曲线图。

图6是对比算法的负荷辨识结果。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面将结合附图和具体的实施例对本发明的技术方案进行详细说明。需要指出的是，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供一种基于深度CNN-HMM的非侵入式负荷辨识方法，该负荷辨识方法采用互信息进行特征选择，既可以降低数据维度，减少运算量，又能去除负荷特征数据中的无关特征和冗余特征，提高负荷辨识的准确率；一方面，基于深度卷积神经网络(CNN)的强特征提取能力，提取负荷的隐含特征，拟合总负荷数据与负荷状态之间的非线性映射关系，另一方面，针对深度CNN辨识结果中存在的状态断点问题，考虑隐马尔可夫模型(HMM)对负荷状态的转移概率描述，从而优化深度CNN辨识结果的非连续性，实现对工商业负荷的高精度辨识。

按照本发明发明内容完整方法实施的实施例情况如下：

图2为本发明实施例所提出的基于深度CNN-HMM的非侵入式负荷辨识方法的流程图，该辨识方法包括以下步骤：

步骤1：采用互信息算法对总负荷数据进行特征选择，削弱无关特征和冗余特征对负荷辨识模型精度的影响，并进行差分处理以强化特征的表达能力。

互信息的计算公式如下：

其中，I(x,y)是随机变量x和y的互信息值大小，随机变量x＝{x₁,x₂,…,x_T}表示总负荷数据中任意一种特征的差值时间序列，随机变量y＝{y₁,y₂,…,y_T}表示待辨识负荷的运行状态序列，p(x)和p(y)分别是随机变量x和y的边缘概率密度函数，p(x,y)则是x和y的联合概率密度函数。互信息值越大，表明随机变量之间的相关性越强。

采用互信息算法进行特征选择的具体步骤包括：

(1)计算每个负荷特征与待辨识负荷运行状态之间的互信息值；

(2)按照互信息的大小对所有特征按从大到小进行排序；

(3)选择前n个互信息最大的特征，构成负荷辨识的初始特征集合{f₁,f₂,…,f_n}；

(4)计算f_i与f_j，(i<j)之间的互信息大小，若f_i与某个特征f_j的互信息值大于阈值μ_th，则将f_j移除特征子集，并按照顺序添加新的特征；

(5)重新计算新的特征子集中特征之间的互信息值，重复筛选直到两两特征之间的互信息值皆小于阈值，并构建新的特征集合。

本实施例中，采用互信息算法进行特征选择的目的之一是降低数据维度，减少模型的运算量。表1记录了特征选择的数目与ResNet-50网络每轮训练时间之间的关系，模型的训练时间会随着特征数目的减少而缩短。

表1 ResNet-50网络每轮的训练时间

特征数目	30	40	50	60	70
						训练时间	2′57″	3′12″	3′33″	3′50″	4′24″

本实施例中，采用互信息算法进行特征选择的目的之二是剔除无关特征和冗余特征，提高负荷辨识的准确率。图3是时间窗口长度和负荷特征数目与模型辨识准确率的关系，最终选取的参数取值分别为：时间窗口长度w＝60，负荷特征个数n＝40，此时负荷辨识模型能够获得最佳的辨识效果。

本实施例中，以差分方式处理模型输入数据的目的是增强负荷特征的表达能力。总负荷数据中的任一特征数据，可用时间序列R＝{R₀,R₁,R₂…,R_T}表示，其中T是负荷数据的时间长度，进行差分处理可得到负荷的差值特征序列x＝{x₁,x₂,…,x_T}，其中x_t＝R_t-R_t-1(1≤t≤T)。给定时间窗口长度w，负荷特征个数n，可生成模型的输入负荷数据input＝{Η₁,H₂,…,H_L}，其中

代表第j种负荷特征的第i个窗口的差值时间序列，

其中1≤i≤T-w+1，1≤j≤n。

步骤2：根据待辨识负荷的电流有效值的大小确定其运行状态，生成设备的标签数据。

本实施例中，采用电梯负荷作为待辨识负荷，图4是电梯负荷的有功功率曲线图。以电梯负荷的电流有效值Irms的大小为标准，生成设备的标签状态集target＝{y₁,y₂,…,y_L}，其中y_i表示第i个时间窗口内的i+w/2时刻点的负荷的运行状态，

步骤3：将步骤1所得的负荷特征数据与步骤2所得的标签数据合成模型的训练数据集，为了解决深度网络中存在的梯度消失和退化问题，选择残差神经网络ResNet-50作为深度卷积神经网络(CNN)的基础架构，并训练深度CNN模型，使其学习拟合特征数据与标签之间的非线性映射关系。

本实施例中，采用ResNet-50网络的目的是缓解深度网络训练过程中存在的梯度消失和退化问题，提高负荷辨识算法的准确率。将训练数据集中的80％用于模型训练，其余20％用于模型评估，从而选择出效果最佳的模型。训练过程中，采用Adam优化器加快模型的收敛速度，初始学习率设置为0.001，用交叉熵函数作为损失函数计算误差。图5是损失函数值随迭代次数的收敛曲线图。

步骤4：将深度CNN网络的初辨识结果作为观测序列，训练隐马尔可夫模型(HMM)的参数，从而优化CNN算法辨识结果中的非连续性问题。

HMM模型的五元组参数λ＝{U,V,A,B,π}定义如下：

隐含状态集合U＝{u₁,u₂,…,u_N}，其中N为隐含状态数目，***在t时刻的隐含状态Q_t∈U；对于电梯负荷，其隐含状态数目N＝2，只有工作状态和非工作状态，即U＝{0,1}。

观测状态集合V＝{v₁,v₂,…,v_M}，其中M是每一个隐含状态可能输出的不同的观测值的数目，***在t时刻的观测状态S_t∈V；对于电梯负荷，观测状态数目M＝2，V＝{0,1}。

状态转移概率矩阵A＝{a_ij}，a_ij表示在t时刻状态为u_i的条件下，在t+1时刻状态为u_j的概率，a_ij＝P(Q_t+1＝u_j|Q_t＝u_i)，其中1≤i,j≤N，

观测状态转移概率矩阵B＝{b_i(k)}，b_i(k)表示在t时刻隐含状态为u_i的条件下，观测状态为v_k的概率，b_i(k)＝P(S_t＝v_k|Q_t＝u_i)，其中1≤i≤N，1≤k≤M，

初始状态概率矩阵π＝{π_i}，是t＝1时刻初始状态的概率分布，π_i＝P(Q₁＝u_i)，其中1≤i≤N，

本实施例中，引入HMM模型的目的是提高负荷辨识的准确率，所述HMM算法的具体流程如下：

(1)初始化HMM的模型参数λ₀'＝{A,B,π}；

(2)根据深度CNN的初辨识结果生成观测序列S＝{S₁,S₂,…,S_L}；

(3)迭代更新参数λ'，直到观测序列出现的概率P(S|λ')达最大值；

(4)通过最优参数λ'和观测序列S，采用维特比算法求使得可能性P(Q|S,λ')最大的状态序列Q＝{Q₁,Q₂,…,Q_L}，即为电梯负荷的最终辨识结果。

步骤5：得到完整的深度CNN-HMM非侵入式负荷辨识模型，实现对工商业电力负荷的有效辨识。

本实施例中，将几种常用的非侵入式负荷辨识算法作为对比算法同样进行负荷辨识，包括KNN算法、随机森林(RF)、HMM模型、长短期记忆网络(LSTM)、CNN以及CNN-LSTM模型。表2是负荷辨识的结果，包括负荷辨识的准确率Acc、精确度P、召回率R、调和平均评价指标F_score四种评价指标的值，图6为几种算法在相同一段时间内的辨识结果。表2和图6表明，本发明提出的方法在具有较高精度的同时，有效减少了CNN算法识别误差导致的辨识结果的非连续性。虽然在精确度P和召回率R上，CNN-HMM算法并非是最优的，但是在综合反映辨识结果可靠程度的F_score上取得了0.9879的最高值，并且相较于其它对比算法，具有最高的辨识准确率。

表2对比算法负荷辨识结果

算法	P/％	R/％	F<sub>score</sub>	Acc/％
					KNN	93.41	91.60	0.9249	86.33
RF	91.35	98.36	0.9473	90.75
					HMM	93.73	93.76	0.9375	88.23
LSTM	96.98	96.88	0.9693	94.00
					CNN	100.00	95.43	0.9766	95.60
CNN-LSTM	96.94	99.22	0.9806	96.50
					CNN-HMM	98.50	99.07	0.9879	97.90

本发明采用互信息算法进行特征选择，去除负荷特征数据中的无关特征和冗余特征，提高了负荷辨识的准确率，同时在很大程度上降低数据维度，减少了模型的运算量。该方法采用残差神经网络解决深度网络训练过程中出现的梯度消失和退化问题，并采用HMM模型优化CNN辨识结果中的非连续性问题，融合了深度CNN网络对负荷深层隐含特征的提取能力和HMM模型对辨识结果非连续性的优化能力，能够有效辨识工商业电力负荷，具有较好的准确率和辨识精度。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (5)

1.一种基于深度CNN-HMM的非侵入式负荷辨识方法，其特征在于，包括以下步骤：

步骤1：采用互信息算法对总负荷数据进行特征选择，并进行差分处理以强化特征的表达能力；

步骤2：根据待辨识负荷的电流有效值的大小确定其运行状态，生成设备的标签数据；

步骤3：将步骤1所得的负荷特征数据与步骤2所得的标签数据合成模型的训练数据集，选择残差神经网络ResNet-50作为深度CNN的基础架构，并训练深度CNN模型；

步骤4：将深度CNN网络的初辨识结果作为观测序列，训练HMM模型的参数，从而优化CNN算法辨识结果中的非连续性问题；

步骤5：得到完整的深度CNN-HMM非侵入式负荷辨识模型，实现对工商业电力负荷的有效辨识。

2.根据权利要求1所述的基于深度CNN-HMM的非侵入式负荷辨识方法，其特征在于，步骤1中采用互信息算法进行特征选择的方法如下：

互信息计算相关性的公式如下：

其中，I(x,y)是随机变量x和y的互信息值大小，随机变量x＝{x₁,x₂,…,x_T}表示总负荷数据中任意一种特征的差值时间序列，随机变量y＝{y₁,y₂,…,y_T}表示待辨识负荷的运行状态序列，p(x)和p(y)分别是随机变量x和y的边缘概率密度函数，p(x,y)则是x和y的联合概率密度函数。互信息值越大，表明随机变量之间的相关性越强；

互信息进行特征选择的具体步骤包括：

(1)计算每个负荷特征与待辨识负荷运行状态之间的互信息值；

(2)按照互信息的大小对所有特征按从大到小进行排序；

(3)选择前n个互信息最大的特征，构成负荷辨识的初始特征集合{f₁,f₂,…,f_n}；

(4)计算f_i与f_j，(i<j)之间的互信息大小，若f_i与某个特征f_j的互信息值大于阈值μ_th，则将f_j移除特征子集，并按照顺序添加新的特征；

(5)重新计算新的特征子集中特征之间的互信息值，重复筛选直到两两特征之间的互信息值皆小于阈值，并构建新的特征集合。

3.根据权利要求1所述的基于深度CNN-HMM的非侵入式负荷辨识方法，其特征在于，步骤1中采集的任一负荷特征数据，可用时间序列R＝{R₀,R₁,R₂…,R_T}表示，其中T是负荷数据的时间长度，进行差分处理可得到负荷的差值特征序列x＝{x₁,x₂,…,x_T}，其中x_t＝R_t-R_t-1(1≤t≤T)；给定时间窗口长度w，负荷特征个数n，可生成模型的输入负荷数据input＝{Η₁,H₂,…,H_L}，其中H_i＝{X_i ⁽¹⁾,X_i ⁽²⁾,…,X_i ⁽ⁿ⁾}，X_i ^(j)代表第j种负荷特征的第i个窗口的差值时间序列，X_i ^(j)＝[x_i ^(j),x_i+1 ^(j),…,x_i+w-1 ^(j)]^T，其中1≤i≤T-w+1，1≤j≤n。

4.根据权利要求1所述的基于深度CNN-HMM的非侵入式负荷辨识方法，其特征在于，步骤2中采集的待辨识负荷数据，以其电流有效值Irms的大小为标准，生成设备的标签状态集target＝{y₁,y₂,…,y_L}，其中y_i表示第i个时间窗口内的i+w/2时刻点的负荷的运行状态，

5.根据权利要求1所述的基于深度CNN-HMM的非侵入式负荷辨识方法，其特征在于，步骤4中HMM模型的参数λ＝{U,V,A,B,π}定义如下：

隐含状态集合U＝{u₁,u₂,…,u_N}，其中N为隐含状态数目，***在t时刻的隐含状态Q_t∈U；

观测状态集合V＝{v₁,v₂,…,v_M}，其中M是每一个隐含状态可能输出的不同的观测值的数目，***在t时刻的观测状态S_t∈V；

状态转移概率矩阵A＝{a_ij}，a_ij表示在t时刻状态为u_i的条件下，在t+1时刻状态为u_j的概率，a_ij＝P(Q_t+1＝u_j|Q_t＝u_i)，其中1≤i,j≤N，

观测状态转移概率矩阵B＝{b_i(k)}，b_i(k)表示在t时刻隐含状态为u_i的条件下，观测状态为v_k的概率，b_i(k)＝P(S_t＝v_k|Q_t＝u_i)，其中1≤i≤N，1≤k≤M，

初始状态概率矩阵π＝{π_i}，是t＝1时刻初始状态的概率分布，π_i＝P(Q₁＝u_i)，其中1≤i≤N，

Images