CN110298434A - 一种基于模糊划分和模糊加权的集成深度信念网络 - Google Patents

Abstract

本发明公开了一种基于模糊划分和模糊加权的集成深度信念网络，依次包括以下步骤：a)利用模糊聚类算法FCM，将训练数据集划分为K个子集；b)每个子集分别采用不同结构的DBN模型进行建模，每个DBN子模型中每层隐节点数不一样，由此构成了K个DBN模型，各模型独立并行训练；c)将各模型所得结果进行模糊加权形成最终输出。该算法能够有效且快速解决大样本数据的分类问题，克服了单个DBN用于数据分类时时间复杂度较高等缺点，而且，FE‑DBN可以避免过拟合问题，具有分类精度高等优点。

Description

一种基于模糊划分和模糊加权的集成深度信念网络

【技术领域】

本发明涉及模糊识别及机器学习的技术领域，特别是一种基于模糊划分和模糊加权的集成深度信念网络。

【背景技术】

近年来，深度学习在图像识别和语音识别领域取得了突破性的进展。深度学习逐渐成为机器学习最热的研究方向之一。RBM(Restricted Boltzmann Machine，RBM)由于表达能力强，易于推理等优点被成功用作深度神经网络的结构单元使用。当前，以RBM为基本构成模块的DBN(深度信念网络)、DBM(深度玻尔兹曼机)等模型被认为是最有效的深度学习算法。其中深度信念网络(DBN)是深度学习的典型代表，通常DBN在进行图像及语音等模式识别上有较高的精度，但是训练一个DBN的复杂度非常高，因为DBN在微调阶段使用了BP算法，这种算法很难做到多机并行，所以在大规模的数据上进行学习会非常困难。综上，DBN主要存在两个问题，1)训练一个DBN的时间复杂度仍然较高；2)达到好的效果通常需要较多的隐节点数,然而当隐节点数较多时又易产生过拟合等。虽然邓力等人通过改进DBN的网络结构来提升其性能，但仍然没有突破以上问题。

分类是深度学习的核心问题，提高分类器的分类性能是分类器研究的主要目标之一。将模糊理论与分类器相结合，用于处理不确定问题。在构建模糊分类模型时，一个重要的任务是将模式输入空间划分成多个模糊区域或模糊子空间，即模糊划分，通常情况下主要有三种划分方法，格状划分，树状划分和散状划分。格状划分是将每一维度的输入空间作划分，求得其模糊集合，再根据模糊***理论，将模糊集映射成模糊区域。格状划分比较容易使用，但是当输入特征数很大时会发生规则***的问题。这种现象和维数灾难比较相似。树状划分，一次产生一个与模糊区域相对应的一个划分，每做一次划分就会产生出划分面。树状划分虽然能够避免规则***的问题，但是不易使用，需要使用启发式规则找到一个合适的树状结构，因此很难设计一个最优的树状划分。散状划分，是将输入输出的数据作分析，将预产生相似结果的输入空间以模糊区域作划分，每一模糊区域可作描述输入输出数据的行为。该划分是一种较为灵活的划分方法，吸收了前两种方法的优点，同时摒弃了他们存在的不足。

为了更好的挖掘深度模型的表达能力，在实际应用中进一步提高DBN的精度并加快DBN的训练时间，从上述思想受到启发，现提出一种基于模糊划分和模糊加权的集成深度信念网络。

【发明内容】

本发明的目的就是解决现有技术中的问题，提出一种基于模糊划分和模糊加权的集成深度信念网络，用于处理数据的分类问题，能够有效且快速解决大样本数据的分类问题，克服了单个DBN用于数据分类时时间复杂度较高的缺点。

为实现上述目的，本发明提出了一种基于模糊划分和模糊加权的集成深度信念网络，依次包括以下步骤：

a)利用模糊聚类算法FCM，将训练数据集划分为K个子集；

b)每个子集分别采用不同结构的DBN模型进行建模，每个DBN子模型中每层隐节点数不一样，由此构成了K个DBN模型，各模型独立并行训练；

c)将各模型所得结果进行模糊加权形成最终输出。

作为优选，所述步骤a)使用模糊聚类算法FCM对训练数据集进行模糊分组；利用FCM算法进行模糊聚类，FCM的目标函数为：

其中，K是划分数，N是样本数，υ_i＝(υ_i1,...,υ_id)为第i类的中心点，μ_ij表示第j个样本属于第i类的隶属度，m是模糊指数，满足m≥2，x_j表示第j个样本点；

引入拉格朗日因子构造新的目标函数，推导得到隶属度和聚类中心的迭代计算公式为：

根据上述两式，当迭代终止后，所获得的隶属矩阵U在去模糊化后便得到空间划分矩阵；

计算宽度：

根据聚类中心和宽度的值，并利用以下公式对训练数据集进行模糊划分：

s＝1,2,…,q,j＝1,2,…,K,

其中为定义的划分子集，q为维数，ξ为重叠因子，ξ越大，子集划分也就越模糊。

作为优选，所述步骤b)调用hinton DBN算法，并行运行。

作为优选，所述步骤c)各子模型训练好之后，给定测试数据x_i，计算得到该数据在每个模型的输出结果，利用三角形隶属度函数计算权值：

划分好样本空间，每一个分类器在样本子空间进行运算，样本在分类器中具有局部分类性能最好的，其所对应的权值就越大；

最后，将各DBN分类器所得结果进行模糊加权

其中，为样本x_i在第k个模型的分类结果，LCM为局部分类模型，为K个模型分类结果模糊加权后所得的最终输出。

本发明的有益效果：本发明提出了一种基于模糊划分和模糊加权的集成深度信念网络，将对应的集成分类算法命名为FE-DBN。首先通过模糊聚类算法FCM将训练数据划分为多个子集，然后利用多个不同结构的DBN分别对各个子集并行进行训练，最后借鉴模糊集合理论的思想，将各个分类器的结果进行模糊加权。该算法能够有效且快速解决大样本数据的分类问题，克服了单个DBN用于数据分类时时间复杂度较高等缺点，而且，FE-DBN可以避免过拟合问题，具有分类精度高等优点。

本发明的特征及优点将通过实施例结合附图进行详细说明。

【附图说明】

图1是RBM模型示意图；

图2是DBN的结构框图；

图3是本发明FE-DBN的结构框图；

图4是模糊划分示意图；

图5是人工数据集的示意图，a)螺旋型，b)高斯型。

【具体实施方式】

受限玻尔兹曼机是由Hinton和Sejnowski于1986年提出的一种生成式随机网络，该网络是一种基于能量的概率图模型，它由一个可见层和一个隐含层组成，如图1所示，v和h分别表示可见层与隐含层，W表示两层之间的连接权值。对于可见层与隐含层，其连接关系为层间全连接，层内无连接。图中h有m个节点，v有n个节点，单个节点用v_i和h_j描述。可见层用于观测数据，隐含层用于提取特征。RBM的隐单元和可见单元可以为任意的指数族单元。本发明只讨论所有的可见层和隐层单元均为伯努利分布，假设所有的可见单元与隐单元均为二值变量，即对

RBM是一种能量模型，如图1所示，能量函数定义如下：

θ∈{b,c,W}

其中，b和c分别为显示层和隐藏层的偏置向量，W表示权值矩阵。基于能量函数，可以得到v和h的联合概率分布：

其中，Z函数为归一项。

多个RBM堆栈式的组合，构成了DBN，前一个RBM的输出作为后一个RBM的输入。如图2所示，最底层是输入层，最顶层是输出层，中间层是隐藏层。DBN的学习包括两个阶段：预训练和微调。预训练是以贪婪的无监督的方式逐层进行训练的，将输入层映射到输出层从而学习到复杂的非线性函数；微调是在监督的方式下实现的，它使用反向传播(BP)算法从最顶层到最底层对整个DBN网络参数进行微调。

尽管DBN具有强大的知识表达能力，但是当处理大规模数据甚至大数据时，DBN在微调阶段需要花费大量的时间去训练模型，这样导致训练时间特别长。

本发明提出一种基于模糊划分和模糊加权的集成深度信念网络，依次包括以下步骤：

a)利用模糊聚类算法FCM，将训练数据集划分为K个子集；

b)每个子集分别采用不同结构的DBN模型进行建模，每个DBN子模型中每层隐节点数不一样，由此构成了K个DBN模型，各模型独立并行训练；

c)将各模型所得结果进行模糊加权形成最终输出。

实现过程如下：

如图3所示，FE-DBN的工作流程如下：首先，使用模糊聚类算法FCM对训练数据集进行模糊分组；利用FCM算法进行模糊聚类，FCM的目标函数为：

其中，K是划分数，N是样本数，υ_i＝(υ_i1,...,υ_id)为第i类的中心点，μ_ij表示第j个样本属于第i类的隶属度，m是模糊指数，满足m≥2，x_j表示第j个样本点；

引入拉格朗日因子构造新的目标函数，推导得到隶属度和聚类中心的迭代计算公式为：

根据上述两式，当迭代终止后，所获得的隶属矩阵U在去模糊化后便得到空间划分矩阵；

计算宽度：

根据聚类中心和宽度的值，并利用以下公式对训练数据集进行模糊划分：

s＝1,2,…,q,j＝1,2,…,K,

其中为定义的划分子集，q为维数，ξ为重叠因子，ξ越大，子集划分也就越模糊，模糊划分示意图如图4所示，在对原数据集模糊划分完成后，在各个子集上并行训练不同结构的DBN。

在提到的公式(2)中，重点在于联合概率分布所确定的边缘概率分布P(v|θ)，由于RBM模型层内无连接，因此当给定可见单元的状态时，各隐单元的激活状态是条件独立的。此时，第j个隐单元的激活概率为：

其中为sigmoid激活函数。第i个可见单元的激活概率为：

RBM采用Hinton提出的CD-k(对比散度)算法进行参数学习，并证明，当使用训练样本初始化v⁽⁰⁾时，仅需较少的抽样步数(一般k＝1)就可以得到很好的近似。采用CD-k算法，各参数的更新准则如下：

其中，ε为预训练的学习率，＜·＞_data为训练数据集所定义的分布之上的数学期望，＜·＞_recon为重构后的模型所定义的分布上的期望。利用公式(18)，通过迭代更新得到DBN各子模型的参数。

各子模型训练好之后，给定测试数据x_i，计算得到该数据在每个模型的输出结果，利用三角形隶属度函数计算权值：

划分好样本空间，每一个分类器在样本子空间进行运算，样本在分类器中具有局部分类性能最好的，其所对应的权值就越大；

最后，将各DBN分类器所得结果进行模糊加权

其中，为样本x_i在第k个模型的分类结果，LCM为局部分类模型，为K个模型分类结果模糊加权后所得的最终输出。

FE-DBN算法实现过程如下：

1)初始化：设定划分子集个数K及重叠因子ξ，各子模型DBN的隐节点数及DBN的迭代周期，初始化W,b,c的值，学习率ε；

2)划分子集：利用模糊聚类算法FCM求得每簇的中心点和宽度，根据公式(15)将源数据集划分为K个子集；

3)并行训练各子模型DBN¹～DBN^K；

对于所有的可见单元，利用公式(16)计算P(h_j＝1|v,θ)，并抽取h_j且h_j∈{0,1}，对于所有的隐单元，利用公式(17)计算P(v_i＝1|h,θ)，并抽取v_i且v_i∈{0,1}，利用公式(18)更新RBM参数W,b,c的值，即：

W＝W+ΔW；b＝b+Δb；c＝c+Δc

重复步骤3)，直到满足迭代周期为止；

4)利用公式(19-20)计算每个测试数据对各个子集的隶属度，将测试数据带入步骤3)所得的K个子模型中并输出K个分类结果，利用公式(21)进行集成得最终输出。

实验与分析

在实验部分将分别利用人工数据和UCI数据对所提的基于模糊划分和模糊加权的快速DBN分类算法(FE-DBN)进行验证和评估。并将该算法的性能同深度信念网络算法进行比较。为了验证本发明所提出的算法FE-DBN的有效性，采用的对比算法有局部分类模型DBN^K和全局分类模型DBN，其中DBN^K表示将原数据集分为K个子集，在每个子集上构建一个局部深度信念网络分类模型。所有的实验结果都采用五折交叉，运行十次取均值。

S.1实验设置

S..1.1数据集

人工数据集生成两种，如图5，a)螺旋型，b)高斯型，均生成4000个样本，螺旋型2类，2维；高斯型4类，2维。构造的螺旋型数据集正负类样本数各2000，高斯型数据集每类样本数1000，高斯型各类的中心分别是：[7 8]，[15 13]，[15 5]，[23 8]，协方差均为：[4 0；04]。真实数据集全部来自于UCI.

表1人工数据集

表2 UCI数据集

S.1.2参数设置及实验运行环境

实验中采用三层的DBN，ξ用于控制子集的伸缩宽度，在实验中发现，当ξ为3时，能够取得较好的结果，也可根据具体的数据集分布进行微调。DBN代码参照http://www.cs.toronto.edu/～hinton/，RBM迭代周期maxepoch＝20，用于控制RBM的预训练迭代次数和模型参数的微调次数。权重的学习率epsilonw＝0.05；显层偏置的学习率epsilonvb＝0.05；隐层偏置的学习率epsilonhb＝0.05；权损失系数weightcost＝0.0002；动量学习率initialmomentum＝0.5，finalmomentum＝0.9，隐节点个数设置如S.2.1节数据集实验对照表所示。

本发明使用平均精度、均方差、运行时间(训练时间+测试时间)进行算法性能度量。

实验环境为intel(R)Core(TM)i3 3.40GHzCPU，8G内存，Windows10操作***，Matlab2016a。

S.2实验结果及分析：

为进一步探索数据集模糊划分个数对提升分类精度及算法运行时间的重要性，本发明将数据集划分为不同的子集个数，及采用不同的隐节点数组合分别进行实验比较。如表3所示，局部分类模型DBN^K分别有3个子集和4和子集，“28+22+19”表示DBN¹中第一层，第二层，第三层的隐节点数分别为28,22,19。

S.2.1人工数据集

该实验部分主要是通过构造模拟数据集来验证本文提出的FE-DBN算法的有效性。从表3到表4的实验结果可以看出：螺旋线数据集不太好分，精度不高，但是FE-DBN仍有所提升；高斯型数据集精度，FE-DBN比各局部模型DBN^K略高，和全局模型DBN基本持平，因为其精度已经很高，故很难再有较大的提升。

表3在Swiss数据集上的分类精度及运行时间

表4在Gauss数据集上的分类精度及运行时间

S.2.1 UCI数据集

本部分实验选的UCI数据集，既有中等规模数据，又有大规模数据，既有二分类，也有多分类，实验结果如下表所示：

表5在Adult数据集上的分类精度及运行时间

表6在Magic_gamma_telescope数据集上的分类精度及运行时间

表7 在pendigits数据集上的分类精度及运行时间

表8在Waveform3数据集上的分类精度及运行时间

表9在shuttle数据集上的分类精度及运行时间

三种算法在各UCI数据集上的对比实验结果如表3-表9所示。从上表的实验结果，可以得出如下结论：

1)在测试精度上，和全局分类模型DBN相比，FE-DBN在数据集Adult，shuttle和Magic_gamma_telescope上增长较多，在数据集pendigits和waveform3上有略微上浮。在样本划分子集确定的情况下，FE-DBN高于任何一个局部分类模型DBN^K。总的来看，FE-DBN算法的分类效果在三者中为最优。从表中还可以看出，在划分的子集数确定时，具有不同隐节点数组合的各局部分类模型DBN^K分类器的精度并无明显差异。随着划分子集数的增加，FE-DBN的精度在不同数据集上基本均有增长的趋势。主要原因主要在于，根据集成原理，对于集成FE-DBN分类模型，增加各子模型的多样性，能够提高集成分类器的性能。

2)和全局模型DBN相比较，FE-DBN中每个局部分类模型需要较少的隐节点数，其就可以达到较高的精度，这主要是因为，对于组成FE-DBN的每个局部分类器，都是弱分类器。

3)对于所有数据集，在运行时间上，当划分子集数逐渐增多时，由于每个子集的样本数在减少，隐节点数也在减少，运行时间相应也会减少。由于要进行模糊划分和模糊集成，FE-DBN的运行时间比各局部分类模型DBN^K要多，但是FE-DBN的运行时间要小于全局模型DBN的运行时间，究其原因，主要是因为在FE-DBN中，各局部分类模型是并行运行的，且每个子模型的隐节点数均小于全局模型DBN的隐节点数。

无论是模拟数据集还是UCI数据集，基于模糊划分和模糊加权的DBN集成分类器(FE-DBN)比单分类器(DBN)的性能好，比最优的局部分类模型DBN^K也要高。

由表中结果，根据统计分析得出，样本划分粒度越细，分类精度会提高，表明细划分能得到更多的样本特征信息。但也不是子集划分的越多，精度就越高，数据集shuttle在划分子集数为4的时候取得最大值。

采用集成的方法解决DBN训练时间复杂度高的问题。根据数据之间的相似性信息对数据进行模糊分组，构造样本空间子集，然后在各样本空间子集中训练具有不同结构的DBN子分类器，最后使用模糊加权的方法，得到最终的集成分类器和分类结果。通过在人工数据集和UCI数据集上的实验，结果显示，FE-DBN算法可以得到比其他分类算法更好的分类结果。

上述实施例是对本发明的说明，不是对本发明的限定，任何对本发明简单变换后的方案均属于本发明的保护范围。

Claims (4)

1.一种基于模糊划分和模糊加权的集成深度信念网络，其特征在于：依次包括以下步骤：

a)利用模糊聚类算法FCM，将训练数据集划分为K个子集；

b)每个子集分别采用不同结构的DBN模型进行建模，每个DBN子模型中每层隐节点数不一样，由此构成了K个DBN模型，各模型独立并行训练；

c)将各模型所得结果进行模糊加权形成最终输出。

2.如权利要求1所述的一种基于模糊划分和模糊加权的集成深度信念网络，其特征在于：所述步骤a)使用模糊聚类算法FCM对训练数据集进行模糊分组；利用FCM算法进行模糊聚类，FCM的目标函数为：

其中，K是划分数，N是样本数，υ_i＝(υ_i1,...,υ_id)为第i类的中心点，μ_ij表示第j个样本属于第i类的隶属度，m是模糊指数，满足m≥2，x_j表示第j个样本点；

引入拉格朗日因子构造新的目标函数，推导得到隶属度和聚类中心的迭代计算公式为：

根据上述两式，当迭代终止后，所获得的隶属矩阵U在去模糊化后便得到空间划分矩阵；

计算宽度：

根据聚类中心和宽度的值，并利用以下公式对训练数据集进行模糊划分：

s＝1,2,…,q,j＝1,2,…,K,

其中θ_j为定义的划分子集，q为维数，ξ为重叠因子，ξ越大，子集划分也就越模糊。

3.如权利要求1所述的一种基于模糊划分和模糊加权的集成深度信念网络，其特征在于：所述步骤b)调用DBN算法，并行运行。

4.如权利要求1所述的一种基于模糊划分和模糊加权的集成深度信念网络，其特征在于：所述步骤c)各子模型训练好之后，给定测试数据x_i，计算得到该数据在每个模型的输出结果，利用三角形隶属度函数计算权值：

for k＝1,2,...,K,i＝1,2,...,N,s＝1,2,...,q

划分好样本空间，每一个分类器在样本子空间进行运算，样本在分类器中具有局部分类性能最好的，其所对应的权值就越大；

最后，将各DBN分类器所得结果进行模糊加权

其中，为样本x_i在第k个模型的分类结果，LCM为局部分类模型，为K个模型分类结果模糊加权后所得的最终输出。