CN111709523A - 一种基于内部集成的宽度学习方法 - Google Patents

一种基于内部集成的宽度学习方法 Download PDF

Info

Publication number
CN111709523A
CN111709523A CN202010566164.6A CN202010566164A CN111709523A CN 111709523 A CN111709523 A CN 111709523A CN 202010566164 A CN202010566164 A CN 202010566164A CN 111709523 A CN111709523 A CN 111709523A
Authority
CN
China
Prior art keywords
training
matrix
data
groups
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010566164.6A
Other languages
English (en)
Inventor
褚菲
李帅
苏嘉铭
梁涛
陈俊龙
王雪松
程玉虎
马小平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Mining and Technology CUMT
Original Assignee
China University of Mining and Technology CUMT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Mining and Technology CUMT filed Critical China University of Mining and Technology CUMT
Priority to CN202010566164.6A priority Critical patent/CN111709523A/zh
Publication of CN111709523A publication Critical patent/CN111709523A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

一种基于内部集成的宽度学习方法，通过获取训练数据，包括训练输入数据和训练输出数据，并对其进行预处理；再对训练输入数据进行特征提取，形成n组特征节点并构造特征节点矩阵Zn，将特征节点进行非线性增强共得到m组增强节点；将特征节点矩阵分别与不同组增强节点组合得到各个模型的隐藏层输出矩阵，共得到k组宽度学习***模型；通过一次训练实现多个模型的集成学习，使其在基本不增加额外训练时间的情况下，将宽度学习与集成学习融合到了一起，改善了宽度学习中由于随机操作带来的搜索过程不完善和数据具有随机性、波动性的问题，提高了宽度学习***的泛化性和稳定性，与普通集成方法相比，降低了实现集成学习的成本，提高了训练效率。

Description

一种基于内部集成的宽度学习方法
技术领域
本发明涉及一种宽度学习方法，具体是一种基于内部集成的宽度学习方法，属于人工智能宽度学习技术领域。
背景技术
随着人工智能和机器学习的兴起和发展，人们提出了许多学习算法来解决各种回归以及分类的问题。深度学习(Deep learning，DL)是一种流行的机器学习算法，广泛应用于计算机视觉、推荐***、数据挖掘等领域，它允许由多个处理层组成的计算模型学习具有多个抽象级别的数据表示。在深度学习中，有几种流行的网络，如卷积神经网络(CNN)、生成性对抗网络(GAN)和深度强化学习(DRL)，尽管深度学习算法非常有用，但当数据量极大时，因为它们包含许多超参数和层数，导致其训练过程极其耗时，为实际应用带来了很多困难。
为了解决这一问题，陈俊龙等人提出了宽度学习***(BLS)(Broad LearningSystem:An Effective and Efficient Incremental Learning System Without theNeed for Deep Architecture)，是随机向量函数连接神经网络(RVFLNN)的一种结构变异，其具有简单的网络结构，有效地避免了训练过程时间过长的缺点；宽度学习***(BLS)从原始输入数据中提取特征向量，利用随机生成的权值对特征节点进行非线性变换，得到增强节点；最后，将特征层和增强层拼接为一个整体作为***的输入，将***转化为一个线性变换***；因为宽度学习***(BLS)的特征节点权值和增强节点权值都是随机产生的并且保持不变，所以只需要利用岭回归方法求取隐藏层与输出层之间的连接权值即可，而在实际情况下数据采集的过程中会存在各种扰动和偏差，数据中具有随机性、波动性和非线性等一系列不稳定特性，而且宽度学习中涉及随机操作，搜索过程不完善，因此单个的宽度学习网络难以准确获取数据的特征，不能很好地学习出其内在规律，而集成学习可以补偿该搜索过程的不完善，通过对多个神经网络进行集成，即训练多个神经网络，然后将它们的预测结合起来，可以显著提高神经网络***的泛化能力，因此我们可以通过集成学习提高宽度网络的泛化性和稳定性；而目前大部分集成方法是独立训练多个模型，再通过各种结合策略将其进行集成，这种方式是很耗时的。
发明内容
本发明的目的是提供一种基于内部集成的宽度学习方法，能够在不增加额外训练时间的基础上实现宽度网络的集成，有效抑制由数据集的不稳定特性和宽度网络随机操作带来的不利影响，提高宽度学习***的泛化性和稳定性。
为了实现上述目的，本发明提供一种基于内部集成的宽度学习方法，包括以下步骤：
步骤1、获取训练数据，包括训练输入数据和训练输出数据，并对其进行预处理；
步骤2、对步骤1中的训练输入数据进行特征提取，形成n组特征节点并构造特征节点矩阵Zn，将特征节点进行非线性增强共得到m组增强节点；
步骤3、将特征节点矩阵分别与不同组增强节点组合得到各个模型的隐藏层输出矩阵，共得到k组宽度学习***模型；
步骤4、利用岭回归算法求解每个模型的连接权重矩阵；
步骤5、利用训练好的各模型参数，即随机产生的权值与偏置以及各模型的连接权重，计算对应模型的测试输入对应的输出，并利用普通平均法或者多数投票法对各个模型的输出进行集成，得到最终的计算测试输出矩阵。
本发明步骤1中获取训练数据以及对其进行预处理的具体如下：
获得训练输入数据X＝[x1,x2,...,xN]T∈RN×M，
训练输出数据Y＝[y1,y2,...,yN]T∈RN×C；
其中，N为训练数据的样本个数；
M为训练输入数据的变量个数；
C为训练输出数据的变量个数；
R为实数域；
对训练数据进行线性转换处理，将其映射到[-1,1]，其中转换函数为：
Figure BDA0002547916700000021
Figure BDA0002547916700000022
其中，
Figure BDA0002547916700000023
为转换后的训练输入数据；
Figure BDA0002547916700000024
为转换后的训练输出数据；
X为获得的待转换的训练输入数据；
Y为获得的待转换的训练输出数据；
Xmin为待转换训练输入数据中的最小值；
Ymin为待转换训练输出数据中的最小值；
Xmax为待转换训练输入数据中的最大值；
Ymax为待转换训练输出数据中的最大值。
本发明步骤2中生成特征节点和增强节点的具体如下：
随机生成n组权值Wei∈RM×q和偏置βei∈RN×q，通过随机映射变换得到特征节点Zi＝φi(X0Wei+βei)∈RN×q,i＝1,2,...,n，进一步通过组合特征节点组构造特征节点矩阵Zn＝[Z1,Z2,...,Zn]∈RN×nq；
其中，φi为线性变换函数；
X0为
Figure BDA0002547916700000031
所组成的输入数据矩阵；
n为特征节点组数；
q为每组特征映射对应的特征节点数目；
随机生成m组权值Whj∈Rnq×r和偏置βij∈RN×r，通过增强变换得到增强节点Hi＝ξj(ZnWhj+βhj)∈RN×r,j＝1,2,...,m；
其中，ξj为增强节点上的非线性函数，取为sigmod激活函数，其表达式为
Figure BDA0002547916700000032
m为增强节点组数；
r为每组非线性增强对应的增强节点数目。
本发明步骤3中，生成隐藏层输出矩阵的过程如下：
将特征节点矩阵与前l组增强节点矩阵拼接为一个整体矩阵，得到第一个模型的隐藏层扩展输出矩阵Al＝[Zn|H1,...,Hl]，将特征节点矩阵与前2l组增强节点矩阵拼接为一个整体矩阵，得到第二个模型的隐藏层输出矩阵A2l＝[Zn|H1,...,H2l]，当特征节点矩阵与所有m组增强节点组合后此过程结束，共得到k组宽度学习***模型，
其中，l，2l，…为对应模型增强节点组数。
在本发明的步骤4中，利用岭回归算法对各个模型的连接权重矩阵进行求解，得到
Wa＝(λI+AaTAa)-1AaTY0,a＝l,2l,...,m；
其中，Wa为对应模型连接权重矩阵；
Aa为对应模型隐藏层输出矩阵；
a为对应模型所包含的增强节点组数；
Y0为
Figure BDA0002547916700000041
所组成的输出数据矩阵；
I为单位矩阵；
λ为正则化参数；
上标T表示矩阵的转置。
步骤5中利用普通平均法对各个模型的输出进行集成，具体如下：
Figure BDA0002547916700000042
其中，
Figure BDA0002547916700000043
为最终输出矩阵；
K为分类器模型个数；
Figure BDA0002547916700000044
为对应模型输出矩阵；
利用多数投票法对各个模型的输出进行集成，具体如下：
Figure BDA0002547916700000045
其中，cj为类别标记；
Figure BDA0002547916700000046
为
Figure BDA0002547916700000047
在类别标记cj上的输出；
L为数据类别数；
即有K个分类器对类别j的预测结果大于总投票结果的一半，就预测为类别j，否则拒绝预测。
与现有技术相比，本发明首先获取训练数据，包括训练输入数据和训练输出数据，并对其进行预处理；再对训练输入数据进行特征提取，形成n组特征节点并构造特征节点矩阵Zn，将特征节点进行非线性增强共得到m组增强节点；将特征节点矩阵分别与不同组增强节点组合得到各个模型的隐藏层输出矩阵，共得到k组宽度学习***模型；通过一次训练实现多个模型的集成学习，使其在基本不增加额外训练时间的情况下，将宽度学习与集成学习融合到了一起，改善了宽度学习中由于随机操作带来的搜索过程不完善和数据具有随机性、波动性的问题，提高了宽度学习***的泛化性和稳定性，与普通集成方法相比，降低了实现集成学习的成本的同时，提高了训练效率。
附图说明
图1是本发明基于内部集成的宽度学习方法的基本结构示意图；
图2是本发明基于内部集成的宽度学习方法与普通集成的宽度学习方法的训练时间变化趋势图；
图3是本发明基于内部集成的宽度学习方法与普通集成的宽度学习方法的测试精度变化趋势图。
具体实施方式
下面结合附图对本发明作进一步说明。
如图1所示，一种基于内部集成的宽度学习方法，包括以下步骤：
步骤1、获取训练数据，包括训练输入数据和训练输出数据，并对其进行预处理；具体如下：
获得训练输入数据X＝[x1,x2,...,xN]T∈RN×M，
训练输出数据Y＝[y1,y2,...,yN]T∈RN×C；
其中，N为训练数据的样本个数；
M为训练输入数据的变量个数；
C为训练输出数据的变量个数；
R为实数域；
对训练数据进行线性转换处理，将其映射到[-1,1]，其中转换函数为：
Figure BDA0002547916700000051
Figure BDA0002547916700000052
其中，
Figure BDA0002547916700000053
为转换后的训练输入数据；
Figure BDA0002547916700000054
为转换后的训练输出数据；
X为获得的待转换的训练输入数据；
Y为获得的待转换的训练输出数据；
Xmin为待转换训练输入数据中的最小值；
Ymin为待转换训练输出数据中的最小值；
Xmax为待转换训练输入数据中的最大值；
Ymax为待转换训练输出数据中的最大值。
步骤2、对步骤1中的训练输入数据进行特征提取，形成n组特征节点并构造特征节点矩阵Zn，将特征节点进行非线性增强共得到m组增强节点；其中生成特征节点和增强节点的过程具体如下：
随机生成n组权值Wei∈RM×q和偏置βei∈RN×q，通过随机映射变换得到特征节点Zi＝φi(X0Wei+βei)∈RN×q,i＝1,2,...,n，进一步通过组合特征节点组构造特征节点矩阵Zn＝[Z1,Z2,...,Zn]∈RN×nq；
其中，φi为线性变换函数；
X0为
Figure BDA0002547916700000061
所组成的输入数据矩阵；
n为特征节点组数；
q为每组特征映射对应的特征节点数目；
随机生成m组权值Whj∈Rnq×r和偏置βij∈RN×r，通过增强变换得到增强节点Hi＝ξj(ZnWhj+βhj)∈RN×r,j＝1,2,...,m；
其中，ξj为增强节点上的非线性函数，取为sigmod激活函数，其表达式为
Figure BDA0002547916700000062
m为增强节点组数；
r为每组非线性增强对应的增强节点数目。
步骤3、将特征节点矩阵分别与不同组增强节点组合得到各个模型的隐藏层输出矩阵，共得到k组宽度学习***模型；生成隐藏层输出矩阵的过程如下：
将特征节点矩阵与前l组增强节点矩阵拼接为一个整体矩阵，得到第一个模型的隐藏层扩展输出矩阵Al＝[Zn|H1,...,Hl]，将特征节点矩阵与前2l组增强节点矩阵拼接为一个整体矩阵，得到第二个模型的隐藏层输出矩阵A2l＝[Zn|H1,...,H2l]，当特征节点矩阵与所有m组增强节点组合后此过程结束，共得到k组宽度学习***模型，
其中，l，2l，…为对应模型增强节点组数。
步骤4、利用岭回归算法求解每个模型的连接权重矩阵；利用岭回归算法对各个模型的连接权重矩阵进行求解，得到
Wa＝(λI+AaTAa)-1AaTY0,a＝l,2l,...,m；
其中，Wa为对应模型连接权重矩阵；
Aa为对应模型隐藏层输出矩阵；
a为对应模型所包含的增强节点组数；
Y0为
Figure BDA0002547916700000071
所组成的输出数据矩阵；
I为单位矩阵；
λ为正则化参数；
上标T表示矩阵的转置。
步骤5中利用普通平均法对各个模型的输出进行集成，具体如下：
Figure BDA0002547916700000072
其中，
Figure BDA0002547916700000073
为最终输出矩阵；
K为分类器模型个数；
Figure BDA0002547916700000074
为对应模型输出矩阵；
利用多数投票法对各个模型的输出进行集成，具体如下：
Figure BDA0002547916700000075
其中，cj为类别标记；
Figure BDA0002547916700000076
为
Figure BDA0002547916700000077
在类别标记cj上的输出；
L为数据类别数；
即有K个分类器对类别j的预测结果大于总投票结果的一半，就预测为类别j，否则拒绝预测。
步骤5、利用训练好的各模型参数，即随机产生的权值与偏置以及各模型的连接权重，计算对应模型的测试输入对应的输出，并利用普通平均法或者多数投票法对各个模型的输出进行集成，得到最终的计算测试输出矩阵。
实施例
一种基于内部集成的宽度学习***，利用特征节点矩阵与不同组增强节点拼接得到多个模型实现集成，包括步骤如下：
步骤1：获取训练数据并对其进行预处理：
选取MNIST手写数字数据集，共70000组数据，分为60000组训练数据和10000组测试数据，设训练集中的输入数据矩阵为X∈RN×M，输入数据矩阵为Y∈RN×C，其中，N为训练数据的样本个数，N＝60000；M和C分别为训练输入数据和训练输出数据的变量个数，M＝784，C＝10；R为实数域；
对训练数据进行线性转换处理，将其映射到[-1,1]，其中转换函数为：
Figure BDA0002547916700000081
Figure BDA0002547916700000082
其中，
Figure BDA0002547916700000083
为转换后的数据；
X，Y为待转换的数据；
Xmin，Ymin为待转换数据中的最小值；
Xmax，Ymax为待转换数据中的最大值；
步骤2：对预处理后的输入数据进行特征提取，通过随机产生的权值与偏置得到n组特征节点，每组有q个特征节点，将特征节点通过随机产生的权值与偏置增强为m组增强节点，每组有r个增强节点，具体为：根据公式(1)得到特征节点:
Zi＝φi(X0Wei+βei)∈RN×q,i＝1,2,...,n (1)
其中，Wei和βei分别代表特征节点组权值矩阵和偏置矩阵，均由***随机产生，X0为
Figure BDA0002547916700000084
所组成的输入数据矩阵，φi为线性变换函数；
根据公式(2)得到特征节点矩阵Zn：
Zn＝[Z1,Z2,...,Zn] (2)
其中，Zi为第i组特征节点；
根据公式(3)得到增强节点：
Hi＝ξj(ZnWhj+βhj)∈RN×r,j＝1,2,...,m (3)
其中Whj和βhj分别代表增强节点组权值矩阵和偏置矩阵，均由***随机产生，ξ(·)为增强节点上的非线性函数，通过该激活函数将增强节点的输入映射到输出端，取为sigmod函数作为激活函数，其表达式为
Figure BDA0002547916700000091
步骤3：将特征节点矩阵Zn与不同组增强节点结合扩展为各个模型的隐藏层输出矩阵，其过程如下：
将特征节点矩阵与前l组增强节点矩阵拼接为一个整体矩阵，得到第一个模型的隐藏层扩展输出矩阵，如公式(4)，
Al＝[Zn|H1,...,Hl] (4)
将特征节点矩阵与前2l组增强节点矩阵拼接为一个整体矩阵，得到第二个模型的隐藏层输出矩阵，如公式(5)，
A2l＝[Zn|H1,...,H2l] (5)；
当特征节点矩阵与所有m组增强节点组合完成后此过程结束，得到k组宽度学习***模型；
步骤4：根据公式(6)利用岭回归算法计算各个模型的连接权重矩阵；
Wa＝(λI+AaTAa)-1AaTY0,a＝l,2l,...,m (6)；
其中，l＝1，m＝10；
Wa为对应模型连接权重矩阵；
Aa为对应模型隐藏层输出矩阵；
a为对应模型所包含的增强节点组数；
Y0为
Figure BDA0002547916700000092
所组成的输出数据矩阵；
I为单位矩阵；
λ为正则化参数；
上标T表示矩阵的转置；
步骤5：利用训练好的各模型参数，即随机产生的权值与偏置以及连接权重，估计对应模型的测试输入对应的输出，再通过平均法或者投票法对各个模型得到的测试输出进行集成，得到最终的估计测试输出矩阵。
步骤6：利用公式(7)对模型性能进行衡量
Figure BDA0002547916700000101
其中,TP为对的正样本数，TN为对的负样本数，FP为错的正样本数，FN为错的负样本数。
在上述实施例中，验证结果如下：图2是基于内部集成的宽度学习方法(IE-BLS)和普通集成的宽度学习***(EN-BLS)的训练时间变化趋势图，由图2可以看出，IE-BLS的训练时间远远低于EN-BLS的训练时间，与单个宽度神经网络相比，训练时间略有增加，而三种方法的测试时间基本相同，则说明本发明能够满足在基本不增加额外训练时间成本的集成要求下，提高了训练效率；
图3是基于内部集成的宽度学习方法(IE-BLS)和普通集成的宽度学习***(EN-BLS)的测试精度变化趋势图，由图3可以看出，EN-BLS的测试精度略高于单个宽度网络，而IE-BLS的测试精度远高于EN-BLS的测试精度，且其稳定性要好于基于普通集成的EN-BLS，因此本发明提出的基于内部集成的宽度学习方法能够在基本不增加额外训练时间的情况下得到与普通集成性能相同甚至更好的性能，且其稳定性与泛化性均有所提高。
下表1列出了两种模型在两个数据集上的其他指标的值，从表1中的其他指标也可以看出，本发明与普通集成的宽度学习***基本相同或更好，与标准宽度学习***相比其泛化性与稳定性更好，本发明的IE-BLS有效地大幅减少了训练时间，可以减少计算消耗，提高训练效率，说明了基于内部集成的宽度学习***的有效性。
表1
Figure BDA0002547916700000102

Claims (6)

1.一种基于内部集成的宽度学习方法，其特征在于，包括以下步骤：
步骤1、获取训练数据，包括训练输入数据和训练输出数据，并对其进行预处理；
步骤2、对步骤1中的训练输入数据进行特征提取，形成n组特征节点并构造特征节点矩阵Zn，将特征节点进行非线性增强共得到m组增强节点；
步骤3、将特征节点矩阵分别与不同组增强节点组合得到各个模型的隐藏层输出矩阵，共得到k组宽度学习***模型；
步骤4、利用岭回归算法求解每个模型的连接权重矩阵；
步骤5、利用训练好的各模型参数，即随机产生的权值与偏置以及各模型的连接权重，计算对应模型的测试输入对应的输出，并利用普通平均法或者多数投票法对各个模型的输出进行集成，得到最终的计算测试输出矩阵。
2.根据权利要求1所述的一种基于内部集成的宽度学习方法，其特征在于，步骤1中获取训练数据以及对其进行预处理的具体如下：
获得训练输入数据X＝[x1,x2,...,xN]T∈RN×M，
训练输出数据Y＝[y1,y2,...,yN]T∈RN×C；
其中，N为训练数据的样本个数；
M为训练输入数据的变量个数；
C为训练输出数据的变量个数；
R为实数域；
对训练数据进行线性转换处理，将其映射到[-1,1]，其中转换函数为：
Figure FDA0002547916690000011
Figure FDA0002547916690000012
其中，
Figure FDA0002547916690000013
为转换后的训练输入数据；
Figure FDA0002547916690000014
为转换后的训练输出数据；
X为获得的待转换的训练输入数据；
Y为获得的待转换的训练输出数据；
Xmin为待转换训练输入数据中的最小值；
Ymin为待转换训练输出数据中的最小值；
Xmax为待转换训练输入数据中的最大值；
Ymax为待转换训练输出数据中的最大值。
3.根据权利要求1所述的一种基于内部集成的宽度学习方法，其特征在于，步骤2中生成特征节点和增强节点的具体如下：
随机生成n组权值Wei∈RM×q和偏置βei∈RN×q，通过随机映射变换得到特征节点Zi＝φi(X0Wei+βei)∈RN×q,i＝1,2,...,n，进一步通过组合特征节点组构造特征节点矩阵Zn＝[Z1,Z2,...,Zn]∈RN×nq；
其中，φi为线性变换函数；
X0为
Figure FDA0002547916690000021
所组成的输入数据矩阵；
n为特征节点组数；
q为每组特征映射对应的特征节点数目；
随机生成m组权值Whj∈Rnq×r和偏置βij∈RN×r，通过增强变换得到增强节点Hi＝ξj(ZnWhj+βhj)∈RN×r,j＝1,2,...,m；
其中，ξj为增强节点上的非线性函数，取为sigmod激活函数，其表达式为
Figure FDA0002547916690000022
m为增强节点组数；
r为每组非线性增强对应的增强节点数目。
4.根据权利要求1所述的一种基于内部集成的宽度学习方法，其特征在于，生成隐藏层输出矩阵的过程如下：
将特征节点矩阵与前l组增强节点矩阵拼接为一个整体矩阵，得到第一个模型的隐藏层扩展输出矩阵Al＝[Zn|H1,...,Hl]，将特征节点矩阵与前2l组增强节点矩阵拼接为一个整体矩阵，得到第二个模型的隐藏层输出矩阵A2l＝[Zn|H1,...,H2l]，当特征节点矩阵与所有m组增强节点组合后此过程结束，共得到k组宽度学习***模型，
其中，l，2l，…为对应模型增强节点组数。
5.根据权利要求1所述的一种基于内部集成的宽度学习方法，其特征在于，步骤4中，利用岭回归算法对各个模型的连接权重矩阵进行求解，得到
Wa＝(λI+AaTAa)-1AaTY0,a＝l,2l,...,m；
其中，Wa为对应模型连接权重矩阵；
Aa为对应模型隐藏层输出矩阵；
a为对应模型所包含的增强节点组数；
Y0为
Figure FDA0002547916690000031
所组成的输出数据矩阵；
I为单位矩阵；
λ为正则化参数；
上标T表示矩阵的转置。
6.根据权利要求1所述的一种基于内部集成的宽度学***均法对各个模型的输出进行集成，具体如下：
Figure FDA0002547916690000032
其中，
Figure FDA0002547916690000033
为最终输出矩阵；
K为分类器模型个数；
Figure FDA0002547916690000034
为对应模型输出矩阵；
利用多数投票法对各个模型的输出进行集成，具体如下：
Figure FDA0002547916690000035
其中，cj为类别标记；
Figure FDA0002547916690000036
为
Figure FDA0002547916690000037
在类别标记cj上的输出；
L为数据类别数；
即有K个分类器对类别j的预测结果大于总投票结果的一半，就预测为类别j，否则拒绝预测。
CN202010566164.6A 2020-06-19 2020-06-19 一种基于内部集成的宽度学习方法 Pending CN111709523A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010566164.6A CN111709523A (zh) 2020-06-19 2020-06-19 一种基于内部集成的宽度学习方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010566164.6A CN111709523A (zh) 2020-06-19 2020-06-19 一种基于内部集成的宽度学习方法

Publications (1)

Publication Number Publication Date
CN111709523A true CN111709523A (zh) 2020-09-25

Family

ID=72541489

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010566164.6A Pending CN111709523A (zh) 2020-06-19 2020-06-19 一种基于内部集成的宽度学习方法

Country Status (1)

Country Link
CN (1) CN111709523A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112308159A (zh) * 2020-11-05 2021-02-02 湖南科技大学 基于预测增量宽度学习的图像识别分类方法
CN113052306A (zh) * 2021-03-04 2021-06-29 华南理工大学 一种基于堆叠式宽度学习模型的在线学习芯片
CN113098910A (zh) * 2021-05-13 2021-07-09 福州大学 基于时空粒度和三宽度学习的网络入侵检测方法及***
CN113311035A (zh) * 2021-05-17 2021-08-27 北京工业大学 一种基于宽度学习网络的出水总磷预测方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112308159A (zh) * 2020-11-05 2021-02-02 湖南科技大学 基于预测增量宽度学习的图像识别分类方法
CN112308159B (zh) * 2020-11-05 2023-04-07 湖南科技大学 基于预测增量宽度学习的图像识别分类方法
CN113052306A (zh) * 2021-03-04 2021-06-29 华南理工大学 一种基于堆叠式宽度学习模型的在线学习芯片
CN113052306B (zh) * 2021-03-04 2022-04-22 华南理工大学 一种基于堆叠式宽度学习模型的在线学习芯片
CN113098910A (zh) * 2021-05-13 2021-07-09 福州大学 基于时空粒度和三宽度学习的网络入侵检测方法及***
CN113098910B (zh) * 2021-05-13 2022-05-10 福州大学 基于时空粒度和三宽度学习的网络入侵检测方法及***
CN113311035A (zh) * 2021-05-17 2021-08-27 北京工业大学 一种基于宽度学习网络的出水总磷预测方法
CN113311035B (zh) * 2021-05-17 2022-05-03 北京工业大学 一种基于宽度学习网络的出水总磷预测方法

Similar Documents

Publication Publication Date Title
CN111709523A (zh) 一种基于内部集成的宽度学习方法
CN110807154A (zh) 一种基于混合深度学习模型的推荐方法与***
CN111737535B (zh) 一种基于元结构和图神经网络的网络表征学习方法
CN113919441A (zh) 一种基于超图变换网络的分类方法
CN108876044B (zh) 一种基于知识增强神经网络的线上内容流行度预测方法
CN113326377A (zh) 一种基于企业关联关系的人名消歧方法及***
CN112860904B (zh) 一种融入外部知识的生物医疗关系抽取方法
CN113887694A (zh) 一种注意力机制下基于特征表征的点击率预估模型
Cohen et al. Boosting dilated convolutional networks with mixed tensor decompositions
CN112949821A (zh) 基于双重注意力机制的网络安全态势感知方法
Bi et al. Knowledge transfer for out-of-knowledge-base entities: Improving graph-neural-network-based embedding using convolutional layers
CN115221387A (zh) 一种基于深度神经网络的企业信息整合方法
CN114679372A (zh) 一种基于节点相似性的图注意力网络的链路预测方法
Jiang et al. An intelligent recommendation approach for online advertising based on hybrid deep neural network and parallel computing
CN114564594A (zh) 一种基于双塔模型的知识图谱用户偏好实体召回方法
CN112541530B (zh) 针对聚类模型的数据预处理方法及装置
CN117112922A (zh) 基于显式特征和隐式特征交互的深度协同过滤推荐方法
CN113283530B (zh) 基于级联特征块的图像分类***
Hui et al. Analysis of decision tree classification algorithm based on attribute reduction and application in criminal behavior
CN112529637B (zh) 基于情景感知的服务需求动态预测方法及***
Hu et al. Tree species identification based on the fusion of multiple deep learning models transfer learning
CN113205175A (zh) 一种基于互信息最大化的多层属性网络表征学习方法
CN112765148A (zh) 一种基于改进svm多分类的网络入侵检测方法
CN113887591B (zh) 基于双层加权联合分解的多视角聚类方法
CN117633699B (zh) 基于三元互信息图对比学习的网络节点分类算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination