CN108664607A - 一种基于迁移学习的电力通信网数据质量提升方法 - Google Patents

Abstract

本发明涉及到一种基于迁移学习的电力通信网数据质量提升方法。首先对集合L运用核判别分析，找到一种合适的核映射空间，并将L、U和O中的所有样本映射到核空间中，使得源领域和目标领域样本的边缘分布在核空间中非常接近。然后使用二分k均值算法在源领域中挑选和目标领域拥有相似的条件概率分布的样本。并在步骤1得到的核空间中，用步骤2挑选出的样本和目标领域有标记的样本共同训练一个模型，并为目标领域中没有标签的样本进行预测，最后得到对集合U的N种预测结果，运用多数投票法，确定集合U中样本最终的标签。本发明通过迁移学习有效地解决了训练集和测试集样本分布不一致的问题，解决了有标签样本较少而无法训练的问题，极大地节省了人力和财力。

Description

一种基于迁移学习的电力通信网数据质量提升方法

技术领域

本发明属于电力通信网数据质量提升的技术领域，特别涉及到基于迁移学习的电力通信网数据质量提升方法。

背景技术

随着国家电网公司“三集五大”体系的深入发展，坚强智能电网建设迅猛，企业信息化工作全面推进。作为智能电网重要支撑的电力专用通信网络，通过三年的跑步前进迈入了信息化管理阶段，建成了一套总部和省公司“两级部署”，总部、分部、省公司、市县公司“四级应用”的通信管理***“SG—TMS”。通过标准化规范化的项目建设以及对***实用化的大力推进，“SG—TMS”已经深度融入数万电力通信专业人员的日常工作中，并且全面采集了数万台设备几年来的建设、运行、管理数据，积累下来的海量电力通信数据和众多外部***数据、公共数据一同形成了开展大数据分析的基础。

想要从积累下来的海量数据中，高效、准确地寻找到所需的信息，信息分类是必不可少的第一步。通过分类，信息可以得到有效的组织管理，有利于快速、准确地定位信息。分类学习问题，是机器学习中一种重要的学习方法，目前已经得到广泛的研究与发展。

在传统分类学习中,为了保证训练得到的分类模型具有准确性和高可靠性,都有两个基本的假设：(1)用于学习的训练样本与新的测试样本满足独立同分布的条件；(2)必须有足够可利用的训练样本才能学习得到一个好的分类模型。但是，在实际应用中我们发现，这两个条件往往无法满足。首先，随着时间的推移，原先可利用的有标签的样本数据可能变得无法使用，与新来的测试样本的分布产生语义、分布上的区别。另外,有标签的样本数据往往很匮乏,而且很难获得，并且完全放弃过时的数据，过于浪费。

近年来，随着迁移学习的深入研究，上述问题得到解决。迁移学习是运用源领域中的知识来解决目标领域问题的一种新的机器学习方法，研究领域主要包含文本分类、文本聚类、情感分类、图像分类、协同过滤、基于传感器的定位估计、人工智能规划等。

在文本处理领域，Dai等人提出联合聚类方法，同时对文档以及词特征进行聚类，通过不同领域共享相同的词特征进行知识迁移。他们还提出迁移贝叶斯分类器，首先估计源领域数据的数据分布，然后不断修正使其适应于目标领域数据。Zhuang等人在概念层面上对文本进行处理，提出挖掘文档概念与词特征概念的迁移学习方法。在此基础上Long等人提出了双重迁移模型，进一步对概念进行划分，提高算法分类准确率。Gu等人提出共享子空间的多任务聚类方法，并应用于迁移分类中。

在图像处理方面，Dai等人提出一种翻译迁移学习方法，借助文本数据来辅助图像聚类。Raina等人提出一种新的从无标签数据进行自学习的方法，该方法利用系数编码技术从大量的无标签数据上构造高层特征，以提高图像分类性能。Zhu等人研究了一种异构迁移学习方法，利用图像上的Tag标签信息作为文本与图像之间知识迁移的桥梁，从而提高图像数据上的分类效果。

在协同过滤方面，Wang等人提出特征子空间的迁移学习方法来克服协同过滤中的稀疏问题，即从辅助数据中学习得到的用户特征子空间被迁移到目标领域中。Pan等人研究了协同过滤中带有不确定评分的迁移学习算法，即在优化目标矩阵分解中考虑不确定评分的辅助数据作为限制。Cao等人提出基于项目潜在特征共享策略的链接预测模型，性能上比单个任务的学习有所提升。

发明内容

随着电力通信网信息化程度的不断加深，通信管理、设备运行、网络建设等方面的海量数据已经逐步积累下来，其中蕴藏了巨大的价值亟待发掘。但是，随着时间的推移，原先可利用的有标签的样本数据可能变得无法使用，与新来的测试样本的分布产生语义、分布上的区别。另外,有标签的样本数据往往很匮乏,而且很难获得，并且完全放弃过时的数据，过于浪费。由于数据具有时效性强的特点，在挖掘潜藏的信息时，可能会出现偏差。

本发明在提出解决方案之前，定义了如下相关术语：

过时的数据是源领域，新数据是目标领域。本发明用L＝{X_L，Y_L}代表目标领域中有标签的样本，其中X_L＝{x₁，…，x_γ}，Y_L＝{y₁，…，y_γ}，包含γ个样本；用U＝{X_U}代表目标领域中没有标签的样本，其中X_U＝{x_γ+1，…，x_γ+u}，包含u个样本。同样地，用O＝{X_o，Y_o}代表源领域样本，包含o个样本。

本发明利用迁移学习领域知识，迁移源领域中部分样本，和目标领域样本共同进行训练。迁移基本原则：源领域样本拥有和目标领域相同或者类似的边缘分布和条件分布。

为完成以上目标，本发明提出的方案如下：

一种基于迁移学习的电力通信网数据质量提升方法，其特征在于，基于定义：L＝{X_L，Y_L}代表目标领域中有标签的样本，其中X_L＝{x₁，…，x_γ}，Y_L＝{y₁，…，y_γ}，包含γ个样本；U＝{X_U}代表目标领域中没有标签的样本，其中X_U＝{x_γ+1，…，x_γ+u}，包含u个样本；O＝{X_O，Y_O}代表源领域样本，包含o个样本，具体包括：

步骤1，对集合L运用核判别分析，找到一种合适的核映射空间，并将L、U和O中的所有样本映射到核空间中，使得源领域样本在核空间的边缘分布接近目标领域样本在核空间的边缘分布；

步骤2，在步骤1得到的核空间中，使用二分k均值算法(Bisecting k-means)在源领域中挑选和目标领域拥有相似的条件概率分布的样本，并且记录下被挑选样本在原始空间中的原始样本集合S；

步骤3，在步骤1得到的核空间中，用步骤2挑选出的样本和目标领域有标记的样本共同训练一个模型，并为目标领域中没有标签的样本进行预测；

步骤4，步骤1-3执行N次，在步骤1中，除首次寻找核映射空间的样本是在集合L中，后续循环执行均是在L和S的并集中寻找核映射空间的样本；最后得到对集合U的N种预测结果，运用多数投票法，确定集合U中样本最终的标签。

在上述的一种基于迁移学习的电力通信网数据质量提升方法，所述步骤1具体包括：

步骤1.1、计算矩阵W；W＝(W_i)_{i＝1，…，NC}是块对角矩阵，W_i是l_i×l_i的矩阵，W_i中的每个元素均是1/l_i，其中l_i是第i类样本的数量，NC是样本类别总数的，即：

步骤1.2、计算核矩阵K；核函数κ(x_i，x_j)定义了在特征空间F中的点积运算，即κ(x_i，x_j)＝φ(x_i)·φ(x_j)，核矩阵K的每一个元素是κ_ij＝κ(x_i，x_j)；本发明选择高斯核作为核函数，即：σ＞0为高斯核的带宽；

步骤1.3、简化目标函数；对核矩阵K运用特征向量的分解，得到K＝PΛP^T，其中，Λ是由非零特征值组成的对角矩阵，P的列向量是单位特征向量并且互相正交，特征向量和Λ中的特征值相对应；则目标函数简化为：

λβ＝P^TWPβ

其中，β＝ΛP^Tα，求出使λ值最大的β，相应的α便可计算出；

步骤1.4、样本映射到核空间；样本z到v的投影为：

在上述的一种基于迁移学习的电力通信网数据质量提升方法，所述步骤2基于定义：

定义2.1：给定一个簇C及其两个子簇C₁和C₂，C₁∪C₂＝C并且则：

Par(C,C₁,C₂)--[SSE(C)-SSE(C₁)-SSE(C₂)]

其中，SSE(C)代表C中非质心点到质心点的距离和，Par(C，C₁，C₂)代表C是否可以分解为两个子簇C₁和C₂，取值为1：能，0：不能；

定义2.2：给定一个簇C_i,其中的样本均被标记为“+”和“-”，则簇C_i的纯度为：

Purity(C_i)代表C_i的纯度，即正负两类样本中所占比重的最大值；

具体包括：

步骤2.1、从C_i中随机选择2个样本作为初始均值向量μ₁和μ₂，分别作为子簇C_i1和C_i2的质心；

步骤2.2、计算簇C_i中每个样本与μ₁、μ₂的欧氏距离，与μ₁最近，则将该样本划入簇C_i1，否则，划入簇C_i2；

步骤2.3、为簇C_i1计算新的均值向量：若μ₁≠μ′₁，更新μ₁为μ＇₁；对簇C_i2做同样操作；

步骤2.4、若当前均值向量均未更新，则簇C_i最终被划分为两个子簇C_i1和C_i2，否则，重复步骤2.2至步骤2.3。

在上述的一种基于迁移学习的电力通信网数据质量提升方法，所述步骤4具体包括：

步骤4.1、给定L、U和O，i＝1，迭代次数N；

步骤4.2、LearnKDA＝L，如果i＞1，则LearnKDA＝L∪S_i-1；

步骤4.3、对集合LearnKDA中的样本运用核判别分析法，找到核映射空间；

步骤4.4、集合L、U和O分别映射到核空间为NL_i，NU_i和NO_i；

步骤4.5、运用二分k均值算法聚类方法，在NO_i中挑选样本，被挑选的样本集合为SO_i，用集合S_i表示SO_i在原始空间中的样本集合；

步骤4.6、利用SO_i和NL_i训练出一个模型C_i，对集合NU_i中的每一个样本预测标签；

步骤4.7、令i＝i+1，重复步骤4.2至步骤4.5，直到i＝N；

步骤4.8、最后得到对集合U的N种预测结果，运用多数投票法，确定集合U中样本最终的标签。

因此，本发明具有如下优点：

通过迁移学习有效地解决了训练集和测试集样本分布不一致的问题，解决了有标签样本较少而无法训练的问题，极大地节省了人力和财力。

附图说明

图1a是源领域和目标领域在原始空间和核空间样本分布对比图(目标领域样本分布图)。

图1b是源领域和目标领域在原始空间和核空间样本分布对比图(源领域样本分布图)。

图1c是源领域和目标领域在原始空间和核空间样本分布对比图(目标领域在核空间中样本分布图)。

图1d是源领域和目标领域在原始空间和核空间样本分布对比图(源领域在核空间中样本分布图)。

图2是操作流程图。

具体实施方式

步骤1，基于核函数的特征映射

核判别分析(KDA)使用了类似于SVM和核PCA方法的“核技巧”，即首先把数据非线性地映射到某个特征空间F，然后在这个特征空间中进行线性判别分析(LDA),这样就隐含地实现了原输入空间的非线性判别。

设φ是输入空间到某个特征空间F的非线性映射，要找到F中的线性判别需要最大化

其中，v∈F，和是F中相应的矩阵，即：

其中，l是样本的总数量，l_i是第i类样本的数量，NC是样本类别总数。

根据再生核理论，任何v∈F必位于所有训练样本在F的张集，因此可以找到下列形式的v的一个展开式

再利用核函数代替点积，可以得到KDA的目标函数：

1.1 矩阵W

W＝(W_i)_{i＝1，…，NC}是块对角矩阵，W_i是l_i×l_i的矩阵，其中的每个元素均是1/l_i，即：

1.2 核矩阵K

核函数κ(x_i，x_j)定义了在特征空间F中的点积运算，即κ(_xi，x_j)＝φ(x_i)φ(x_j)，核矩阵K的每一个元素是κ_ij＝κ(x_i，x_j)。本发明选择高斯核作为核函数，即：σ＞0为高斯核的带宽。

1.3 简化目标函数

对核矩阵K运用特征向量的分解，得到K＝PΛP^T，其中，Λ是由非零特征值组成的对角矩阵，P的列向量是单位特征向量并且互相正交，特征向量和Λ中的特征值相对应。则目标函数简化为：

λβ＝P^TWPβ

其中，β＝ΛP^Tα，求出使λ值最大的β，相应的α便可计算出。

1.4 样本映射到核空间

样本z到v的投影为：

步骤2，基于聚类的样本选择

Bisecting k-means聚类算法，即二分k均值算法，它是k-means聚类算法的一个变体，主要是为了改进k-means算法随机选择初始质心的随机性造成聚类结果不确定性的问题，而Bisecting k-means算法受随机选择初始质心的影响比较小。

在欧几里德空间中，衡量一个簇C_i的质量通常使用如下度量：误差平方和(Sum ofthe Squared Error，简称SSE)，也就是要计算执行聚类分析后，对每个点都要计算一个误差值，即非质心点到质心点u_i的距离，即：

在进行样本选择操作前，先介绍如下两个定义。

定义2.1：给定一个簇C及其两个子簇C₁和C₂，C₁∪C₂＝C并且则：

Par(C,C₁,C₂)＝[SSE(C)-SSE(C₁)-SSE(C₂)]

定义2.2：给定一个簇C_i,其中的样本均被标记为“+”和“-”，则簇C_i的纯度为：

使用Bisecting k-means聚类算法，执行样本选择的具体执行过程如下所示：

(1)初始时，将源领域和目标领域有标签样本作为待聚类数据集，并初始化为一个簇C₀，即C＝{C₀}

(2)从C中取一个簇C_i进行k-means聚类操作(k＝2)，得到两个子簇C_i1和C_i2

(3)如果Purity(C_i)≤0.9或者Par(C_i，C_i1，C_i2)＝1，在集合C中，用C_i1和C_i2替换C_i。

(4)重复步骤(2)(3)，直到集合C中的元素均被遍历过。

(5)最终得到C＝{C₁，…，C_k}，簇C_i的标签为C_i中目标领域中有标签样本数量最多的标签，即：CL_i＝arg max_j∈[1，NC]nc_ij，其中，nc_ij是簇C_i中第j类目标领域有标签样本数量。在簇C_i中挑选与簇C_i标签一致的源领域样本。

步骤(2)的具体操作如下：

(a)从C_i中随机选择2个样本作为初始均值向量μ₁和μ₂，分别作为子簇C_i1和C_i2的质心。

(b)计算簇C_i中每个样本与μ₁、μ₂的欧氏距离，与μ₁最近，则将该样本划入簇C_i1，否则，划入簇C_i2。

(c)为簇C_i1计算新的均值向量：若μ₁≠μ′₁，更新μ₁为μ′₁；对簇C_i2做同样操作。

(d)当前均值向量均未更新，则簇C_i最终被划分为两个子簇C_i1和C_i2，否则，重复步骤(b)、(c)。

步骤3，训练分类器

用步骤2挑选出的样本和目标领域有标记的样本训练一个分类器，并为目标领域中没有标签的样本进行预测。分类器模型可以从支持向量机(SVM)、逻辑回归、决策树、朴素贝叶斯等模型中进行选择，运用交叉验证去度量模型的好坏。

步骤4，步骤1-3重复执行N次

具体操作如下：

(1)给定L、U和O，i＝1，迭代次数N。

(2)LearnKDA＝L，如果i＞1，则LearnKDA＝L∪S_i-1。

(3)对集合LearnKDA中的样本运用步骤1中的KDA方法，找到核映射空间。

(4)集合L、U和O分别映射到核空间为NL_i，NU_i和NO_i。

(5)运用步骤2中的聚类方法，在NO_i中挑选样本，被挑选的样本集合为SO_i，用集合S_i表示SO_i在原始空间中的样本集合。

(6)利用SO_i和NL_i训练出一个模型C_i，对集合NU_i中的每一个样本预测标签。

(7)i＝i+1，重复步骤(2)-(5)，直到i＝N。

(8)最后得到对集合U的N种预测结果，运用多数投票法，确定集合U中样本最终的标签。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (4)

1.一种基于迁移学习的电力通信网数据质量提升方法，其特征在于，基于定义：L＝{X_L，Y_L}代表目标领域中有标签的样本，其中X_L＝{x₁，…，x_γ}，Y_L＝{y₁，…，y_γ}，包含γ个样本；U＝{X_U}代表目标领域中没有标签的样本，其中X_U{x_γ+1，…，x_γ+u}，包含u个样本；O＝{X_O，Y_O}代表源领域样本，包含o个样本，具体包括：

步骤1，对集合L运用核判别分析，找到一种合适的核映射空间，并将L、U和O中的所有样本映射到核空间中，使得源领域样本在核空间的边缘分布接近目标领域样本在核空间的边缘分布；

步骤2，在步骤1得到的核空间中，使用二分k均值算法(Bisecting k-means)在源领域中挑选和目标领域拥有相似的条件概率分布的样本，并且记录下被挑选样本在原始空间中的原始样本集合S；

步骤3，在步骤1得到的核空间中，用步骤2挑选出的样本和目标领域有标记的样本共同训练一个模型，并为目标领域中没有标签的样本进行预测；

步骤4，步骤1-3执行N次，在步骤1中，除首次寻找核映射空间的样本是在集合L中，后续循环执行均是在L和S的并集中寻找核映射空间的样本；最后得到对集合U的N种预测结果，运用多数投票法，确定集合U中样本最终的标签。

2.根据权利要求1所述的一种基于迁移学习的电力通信网数据质量提升方法，其特征在于，所述步骤1具体包括：

步骤1.1、计算矩阵W；W＝(W_i)_{i＝1，…，NC}是块对角矩阵，W_i是l_i×l_i的矩阵，W_i中的每个元素均是1/l_i，其中l_i是第i类样本的数量，NC是样本类别总数的，即：

步骤1.2、计算核矩阵K；核函数κ(x_i，x_j)定义了在特征空间F中的点积运算，即κ(x_i，x_j)＝φ(x_i)·φ(x_j)，核矩阵K的每一个元素是κ_ij＝κ(x_i，x_j)；本发明选择高斯核作为核函数，即：σ＞0为高斯核的带宽；

步骤1.3、简化目标函数；对核矩阵K运用特征向量的分解，得到K＝PΛP^T，其中，Λ是由非零特征值组成的对角矩阵，P的列向量是单位特征向量并且互相正交，特征向量和Λ中的特征值相对应；则目标函数简化为：

λβ＝P^TWPβ

其中，β＝ΛP^Tα，求出使λ值最大的β，相应的α便可计算出；

步骤1.4、样本映射到核空间；样本z到v的投影为：

3.根据权利要求1所述的一种基于迁移学习的电力通信网数据质量提升方法，其特征在于，所述步骤2基于定义：

定义2.1：给定一个簇C及其两个子簇C₁和C₂，C₁∪C₂＝C并且则：

Par(C，C₁，C₂)＝[SSE(C)-SSE(C₁)-SSE(C₂)]

其中，SSE(C)代表C中非质心点到质心点的距离和，Par(C，C₁，C₂)代表C是否可以分解为两个子簇C₁和C₂，取值为1：能，0：不能；

定义2.2：给定一个簇C_i,其中的样本均被标记为“+”和“-”，则簇C_i的纯度为：

Purity(C_i)代表C_i的纯度，即正负两类样本中所占比重的最大值；

具体包括：

步骤2.1、从C_i中随机选择2个样本作为初始均值向量μ₁和μ₂，分别作为子簇C_i1和C_i2的质心；

步骤2.2、计算簇C_i中每个样本与μ₁、μ₂的欧氏距离，与μ₁最近，则将该样本划入簇C_i1，否则，划入簇C_i2；

步骤2.3、为簇C_i1计算新的均值向量：若μ₁≠μ′₁，更新μ₁为μ′₁；对簇C_i2做同样操作；

步骤2.4、若当前均值向量均未更新，则簇C_i最终被划分为两个子簇C_i1和C_i2，否则，重复步骤2.2至步骤2.3。

4.根据权利要求1所述的一种基于迁移学习的电力通信网数据质量提升方法，其特征在于，所述步骤4具体包括：

步骤4.1、给定L、U和O，i＝1，迭代次数N；

步骤4.2、LearnKDA＝L，如果i＞1，则LearnKDA＝L∪S_i-1；

步骤4.3、对集合LearnKDA中的样本运用核判别分析法，找到核映射空间；

步骤4.4、集合L、U和O分别映射到核空间为NL_i，NU_i和NO_i；

步骤4.5、运用二分k均值算法聚类方法，在NO_i中挑选样本，被挑选的样本集合为SO_i，用集合S_i表示SO_i在原始空间中的样本集合；

步骤4.6、利用SO_i和NL_i训练出一个模型C_i，对集合NU_i中的每一个样本预测标签；

步骤4.7、令i＝i+1，重复步骤4.2至步骤4.5，直到i＝N；

步骤4.8、最后得到对集合U的N种预测结果，运用多数投票法，确定集合U中样本最终的标签。