CN112508192A - 一种具有深度结构的增量堆叠式宽度学习*** - Google Patents
一种具有深度结构的增量堆叠式宽度学习*** Download PDFInfo
- Publication number
- CN112508192A CN112508192A CN202011519673.XA CN202011519673A CN112508192A CN 112508192 A CN112508192 A CN 112508192A CN 202011519673 A CN202011519673 A CN 202011519673A CN 112508192 A CN112508192 A CN 112508192A
- Authority
- CN
- China
- Prior art keywords
- learning system
- width learning
- width
- nodes
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000006870 function Effects 0.000 claims description 17
- 239000011159 matrix material Substances 0.000 claims description 17
- 238000012549 training Methods 0.000 claims description 12
- 238000013507 mapping Methods 0.000 claims description 8
- 238000005457 optimization Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 239000002131 composite material Substances 0.000 claims description 3
- 230000008901 benefit Effects 0.000 abstract description 8
- 238000000034 method Methods 0.000 description 11
- 238000013528 artificial neural network Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 238000011478 gradient descent method Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 229960001948 caffeine Drugs 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- RYYVLZVUVIJVGH-UHFFFAOYSA-N trimethylxanthine Natural products CN1C(=O)N(C)C(=O)C2=C1N=CN2C RYYVLZVUVIJVGH-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种具有深度结构的增量堆叠式宽度学习***,其特征在于:包括n个宽度学习***模块;n个宽度学习***模块通过残差连接堆叠起来;第i‑1个宽度学习***模块的输出将作为第i个宽度学习***模块的输入,且第i个宽度学习***模块的期望输出为第1,…,i‑1个宽度学习***模块的残差,i≤n;***的最终输出为n个宽度学习***模块的输出总和。该***保留了宽度学习***高效、快速的优点,同时通过残差连接堆叠多个宽度学习***模块,从而增加网络的深度,使网络具有强大的学习能力。
Description
技术领域
本发明涉及宽度学习技术领域,更具体地说,涉及一种具有深度结构的增量堆叠式宽度学习***。
背景技术
随着人工智能技术的发展,为了满足处理大规模数据的巨大需求,许多的机器学习算法被提出,然而传统的机器学习算法依赖于特征表达,良好的特征对算法的性能起着非常关键的作用,因此采用机器学习算法需要复杂的特征提取工作,具有一定局限性。深度学习的提出解决了这一问题,深度学习网络可以通过叠加网络的深度自动从数据中学习高维抽象特征,因此深度学习在很多领域取得了关键性的突破。
尽管深层的网络结构能够使网络具有强大的学习能力,然而这种结构存在着大量的超参数以及相对应的传播过程,其训练相当耗时。同时,深度结构使得网络的复杂性大大提高,增加了从理论上分析网络结构的难度。
宽度学习***(Broad Learning System,BLS)是一种浅层的神经网络结构,与深度结构相比,宽度学习***减少了层与层之间的耦合,使得网络结构更为简洁。宽度学习***利用输入生成特征节点和增强节点,且特征节点和增强节点与输出层连接,其权重通过计算伪逆来获得。此外,宽度学习***是一种增量学习***,可以以增量的方式更新网络参数,即新增加特征节点、增强节点或输入数据时,网络不需要从头重新训练,只需要计算新增加部分的权重即可,因此,相比于深度结构的网络,宽度学习***具快速、高效的特点。
然而,宽度学习***作为一个浅层的神经网络,宽度学习***的学习能力比较有限,在面对非常复杂的任务时,宽度学习***的准确率不能得到很好的保证。目前的一些方法常采用将大量线性或非线性信息与输出层相连接,来进一步提高宽度学习***的性能。然而,这样的修改可能会增加网络的冗余,这与宽度学习***的效率和有效性的特性是相悖的。
目前宽度学习***已有各种各样的结构变体,其中一些变体是将深度学习算法与宽度学习***相结合。宽度学习***通常通过增加隐藏层节点的数量来提高模型的表现,级联宽度学习***(Cascaded BLS)在此基础上,利用特征映射节点或增强节点的级联作为特征,通过提高网络的级联度来提高特征表征能力,进而提高宽度学习***在大型数据集上的性能。循环宽度学习***和门控宽度学习***(Recurrent and Gated BLS)针对时序数据,将循环神经网络嵌入到宽度学习***中,模型能够学习到序列特征中信息和文本的重要性,提高了处理时序信号的能力。卷积宽度学习***(Convolutional BLS)通过构建卷积核和宽度学习***的映射,为子序列的研究提供先验知识,根据给定的分布随机采样卷积过滤器的权重,使模型学习到更为鲁棒的图像特征。诸如此类的宽度学习***的变体针对不同模态的数据,不同类型的任务,实现了性能和效率上的提高。
尽管宽度学习***已经有多种变体,能够满足不同的任务需求,然而这些变体的模型的泛化能力仍有一定的局限,只能针对特定的任务,在面对复杂度很高的数据集时,表现不是十分良好。
发明内容
为克服现有技术中的缺点与不足,本发明的目的在于提供一种具有深层结构的堆叠式宽度学习***;该***保留了宽度学习***高效、快速的优点,同时通过残差连接堆叠多个宽度学习***模块,从而增加网络的深度,使网络具有强大的学习能力。
为了达到上述目的,本发明通过下述技术方案予以实现:一种具有深度结构的增量堆叠式宽度学习***,其特征在于:包括n个宽度学习***模块;n个宽度学习***模块通过残差连接堆叠起来;第i-1个宽度学习***模块的输出将作为第i个宽度学习***模块的输入,且第i个宽度学习***模块的期望输出为第1,...,i-1个宽度学习***模块的残差,i≤n;***的最终输出为n个宽度学习***模块的输出总和。
优选地,每个宽度学习***模块均为原始宽度学习***单元;所述原始宽度学习***单元包括特征节点、特征节点权重层、增强节点和增强节点权重层。
优选地,设定输入数据为x,输出数据为y,则第i个宽度学习***模块的输出ui为:
其中,和为特征节点与输出层的连接权重;为随机生成的输入与特征节点之间的连接权重;为随机生成的特征节点与增强节点之间的连接权重;是和的复合映射,其中为特征节点的广义函数,为增强节点的广义函数;vi=g(ui-1),g(·)为映射函数;
***的最终输出为:
其中,yi是第i个宽度学习***模块中对于训练数据vi的期望输出。
优选地,所述优化问题通过岭回归近似来求解:
优选地,第i个宽度学习***模块在第i-1个宽度学习***模块的基础上,动态添加特征节点和增强节点来增加网络的宽度,并且新增特征节点和增强节点的权重矩阵通过单独计算得到,无需改变已有节点的权重矩阵。
优选地,设定对于第i个宽度学习***模块,新增加一组含有p个节点的增强节点;第i个宽度学习***模块的输出ui更新为:
新的权重矩阵可以表示为:
另一种优选方案是:每个宽度学习***模块均为宽度学习***的各种变体结构;所述宽度学习***的各种变体结构包括级联宽度学习***、循环宽度学习***和门控宽度学习***和卷积宽度学习***中的任一种或两种以上。
与现有技术相比,本发明具有如下优点与有益效果:
宽度学习***具有快速、高效的优点,然而,作为一个浅层的神经网络,宽度学习***的学习能力比较有限,目前的一些方法常采用将大量线性或非线性信息与输出层相连接,来进一步提高宽度学习***的性能。然而,这样的修改可能会增加网络的冗余,这与宽度学习***的效率和有效性的特性是相悖的。因此,本专利提出了一种新型的具有深层结构的堆叠式宽度学习***,其保留了原始宽度学习***快速、高效的优点,同时用一种合适的方法将多个宽度学习***模块组合起来,加深网络结构,使其具有更强的学习能力。
(1)传统深度网络结构存在大量超参数,使得网络的复杂性提高,增加了从理论上分析网络结构的难度,且传统深度网络通常采用基于反向传播的梯度下降方法来求解网络参数,存在训练消耗时间长、容易陷入局部最优解等问题。本专利提出的具有深度结构的增量堆叠式宽度学习***保留了宽度学习***中通过计算伪逆来学习权重矩阵的训练方式,具有高效、快速优点,同时,模型通过残差连接堆叠多个宽度学习***模块,每个模块的网络结构简单,降低了模型的复杂度。
(2)原始的宽度学习***是一个浅层网络,这限制了模型的学习能力,面对复杂任务时,浅层网络往往无法学习到深层的抽象特征。本专利提出的具有深度结构的增量堆叠式宽度学习***将深度网络中的残差连接完全嵌入到宽度学习***中,提高了网络的特征表达和学习能力。
(3)传统深度网络结构通常采用基于反向传播的梯度下降方法来求解网络参数,当网络结构改变时,需要从头重新训练网络,消耗时间长且耗费资源。本专利提出的具有深度结构的增量堆叠式宽度学习***可以在宽度方向和深度方向上进行增量学习,当新增加特征节点、增强节点或输入数据时,或者新增加宽度学习***模块时,都只需要计算新增加部分的网络参数即可,不需要重新训练网络,具有灵活高效、适应性强、泛化能力强的优点。
(4)本专利提出的模型在多个数据集上展现了优越性,在面对UCI数据集上的回归任务中,展现了超过支持向量机(SVM)、最小二乘支持向量机(LSSVM)以及极限学习机(ELM)等机器学习方法的表现;同时在图像分类任务中,对手写数字数据集MNIST,本模型达到了99.12%的分类准确率,大幅缩短了训练时间,仅为30.1916秒,与原始的宽度学习***的训练时间十分接近;对3D物体图像识别数据集NORB,本模型达到了91.20%的分类准准确率,并且训练时间仅为5.1718秒,大大优于其他方法;对真实物体图像识别数据集CIFAR-10和CIFAR-100,本模型达到了94.78%与78.87%的分类准确率,均优于现有的很多图像分类方法,同时相较于深度神经网络方法,大幅减少了网络计算时所需要的参数数量。
附图说明
图1是本发明堆叠式宽度学习***的***框图;
图2是实施例一具有三层结构的堆叠式宽度学习***的***框图;
图3是本发明堆叠式宽度学习***在宽度上进行增量学习的示意图;
图4是实施例三具有三层结构的堆叠式宽度学习***的***框图。
具体实施方式
下面结合附图与具体实施方式对本发明作进一步详细的描述。
实施例一
本实施例具有深层结构的堆叠式宽度学习***,如图1所示,由多个宽度学习***模块组成,宽度学习***模块可以是原始宽度学习***单元。原始宽度学习***单元包括特征节点、特征节点权重层、增强节点和增强节点权重层。设一个宽度学习***有n组特征节点和m组增强节点,则网络输出的近似结果可以表示为:
Y=[Zn,Hm]Wm
=[Z1,Z2,...,Zn,H1,H2,...,Hm]Wm
=[Z1,Z2,...,Zn]WE+[H1,H2,...,Hm]Wm
其中,Zn表示n组特征节点,Hm表示m组增强节点,为特征节点权重层和增强节点权重层。令为特征节点的广义函数,例如n组特征节点的集合,令为增强节点的广义函数,例如m组增强节点的集合,则宽度学习***模块可以重新写为:
设输入数据为x,输出数据为y,n个宽度学习***模块的输出表示为ui,i=1,...,n,则对于第i个宽度学习***模块,其输出可以表示为:
其中,i=1,...,n,和为随机生成的权重,vi=g(ui-1),即第i层的输入是第i-1层输出的函数映射,函数g可以选择多种函数,这里我们可以选择恒等函数,即vi=ui-1,也就是说,第i个(i>2)宽度学习***模块的输入,来自于第i-1个宽度学习***模块的输出;函数g也可以采用其他函数,如sigmoid函数等。每一个宽度学习***模块的广义函数和都可以根据建模任务的复杂性选择不同的函数,因此相比于原始的宽度学习***,这种具有深层结构的堆叠式宽度学习***具有更强的学习能力。
其中,yi是第i个宽度学习***模块中对于训练数据vi的期望输出。
以上优化问题可以通过岭回归近似来求解:
为了充分利用每一个宽度学习***模块的输出,所有模块的输出ui(i=1,...,n)都被用来近似期望输出y,相邻模块之间用残差来组合,即每一个模块的期望输出可以表示为:
堆叠式宽度学习***实现步骤具体如下:
①定义输入数据x,宽度学习***模块的最大增长数量n,以及临界值∈;
得到预测输出u1;
③在第一个宽度学习***模块的基础上堆叠新的宽度学习模块,对于堆叠的第i个(其中i=2,...,n)宽度学习***模块,输入为g(ui-1),即上一个宽度学习***模块的输出,期望输出同样地随机初始化权重矩阵和使用和g(ui-1)计算得到特征节点和增强节点 便可通过公式:
得到预测输出ui;
下面举例说明多层堆叠式宽度学习***的每层参数与实现细节。设给定的训练数据为{(xi,yi)|xi∈RM,yi∈RC,i=1,...,N},则:
第一个宽度学习***模块的输入为v1=x,期望输出为y1=y,其真实输出为:
第二个宽度学习***模块的输入为v2=g(u1),期望输出为y2=y-u1,其真实输出为:
对于叠加了n个宽度学习***模块的网络,要训练最后一个模块的得到的输出近似于yn,即:
等价地,我们可以得到:
即堆叠式宽度学习***的最终输出近似于所有宽度学习***模块的输出之和。通过以上步骤,我们可以构建一个具有深度结构的堆叠式宽度学习***。一个具有三层结构的堆叠式宽度学习***如图2所示。
实施例二
在实际应用中,我们需要调整堆叠网络的节点数量,使模型获得最佳性能。对于大多数深度结构模型来说,若增加了网络中的节点,则需要从头开始训练网络,网络中所有参数都需要重新更新,耗时耗力。本专利提出的增量堆叠式宽度学习***不仅可以在宽度方向上进行增量学习,而且可以在深度方向上实现增量学习,该模型保留宽度学习***增量学习优点的同时也为深度网络进行增量学习提供了新方法。
(1)宽度方向上的增量学习
在增量堆叠式宽度学习***的每一个宽度学习***模块中,我们可以实现动态地添加特征节点和增强节点来增加网络的宽度,并且新增节点的权重矩阵可以单独计算,并不会影响之前训练好的节点的权重矩阵。
假设对于第i个宽度学习***模块,新增加一组含有p个节点的增强节点,则第i个模块可以通过以下公式更新:
因此,新的权重矩阵可以表示为:
上述公式说明,在堆叠式宽度学习***的每一个宽度学习***模块中,当增加新的增强节点时,新网络的权重矩阵可以分解为原始节点的权重矩阵和新增节点的权重矩阵,因此,我们不需要从头重新训练网络,只需要计算新增加的节点的权重即可,原始节点的权重矩阵保持不变,这种增量学习的方法可以大大提高训练速度,使堆叠式宽度学习***更加灵活和高效。图3为堆叠式宽度学习***的在宽度上进行增量学习的方法示意图。
堆叠宽度学习***的增量学习方式实现步骤为:
①定义输入定义输入数据x,宽度学习***模块的最大增长数量n,每个宽度学习***模块中新增的增强节点每个组的节点数量p,每个宽度学习***中新增的增强节点的组的数量m,以及临界值∈;
得到预测输出u1;
③在第一个宽度学习***模块的基础上堆叠新的宽度学习模块,对于堆叠的第i个(其中i=2,...,n)宽度学习***模块,输入为g(ui-1),即上一个宽度学习***模块的输出,期望输出同样地随机初始化权重矩阵和使用和g(ui-1)计算得到特征节点和增强节点 便可通过公式:
得到预测输出ui;
便可求得新增节点后的权重矩阵:
预测输出ui更新为
(2)深度方向上的增量学习
增量堆叠式宽度学习***通过叠加多个宽度学习***模块,实现加深网络的目的,因此,深度方向上的增量学习体现在宽度学习***模块之间,当叠加第i个宽度学习***模块时,下层的第1...i-1个宽度学习***模块已训练好的参数固定不变,只需要计算新叠加的第i个宽度学习***模块的网络参数即可,这种增量学习方式使模型的计算量降低,避免了重复性计算,使用过程中可以很方便的增加网络深度,并实现快速、高效的训练,提高模型对不同复杂度任务的适应能力和泛化能力。
实施例三
本实施例具有深层结构的堆叠式宽度学习***中,宽度学习模块采用宽度学习***各种变体结构;宽度学习***各种变体结构包括但不限于级联宽度学习***(CascadedBLS)、循环宽度学习***和门控宽度学习***(Recurrent and Gated BLS)、卷积宽度学习***(Convolutional BLS)等,每一个宽度学习模块都可以根据任务复杂度灵活选择模型,一个具有三层结构的采用宽度学习变体结构的堆叠式宽度学习***如图4所示。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。
Claims (9)
1.一种具有深度结构的增量堆叠式宽度学习***,其特征在于:包括n个宽度学习***模块;n个宽度学习***模块通过残差连接堆叠起来;第i-1个宽度学习***模块的输出将作为第i个宽度学习***模块的输入,且第i个宽度学习***模块的期望输出为第1,…,i-1个宽度学习***模块的残差,i≤n;***的最终输出为n个宽度学习***模块的输出总和。
2.根据权利要求1所述的具有深度结构的增量堆叠式宽度学习***,其特征在于:每个宽度学习***模块均为原始宽度学习***单元;所述原始宽度学习***单元包括特征节点、特征节点权重层、增强节点和增强节点权重层。
6.根据权利要求3所述的具有深度结构的增量堆叠式宽度学习***,其特征在于:第i个宽度学习***模块在第i-1个宽度学习***模块的基础上,动态添加特征节点和增强节点来增加网络的宽度,并且新增特征节点和增强节点的权重矩阵通过单独计算得到。
9.根据权利要求1所述的具有深度结构的增量堆叠式宽度学习***,其特征在于:每个宽度学习***模块均为宽度学习***的各种变体结构;所述宽度学习***的各种变体结构包括级联宽度学习***、循环宽度学习***和门控宽度学习***和卷积宽度学习***中的任一种或两种以上。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011519673.XA CN112508192B (zh) | 2020-12-21 | 2020-12-21 | 一种具有深度结构的增量堆叠式宽度学习*** |
PCT/CN2021/074287 WO2022134268A1 (zh) | 2020-12-21 | 2021-01-29 | 一种具有深度结构的增量堆叠式宽度学习*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011519673.XA CN112508192B (zh) | 2020-12-21 | 2020-12-21 | 一种具有深度结构的增量堆叠式宽度学习*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112508192A true CN112508192A (zh) | 2021-03-16 |
CN112508192B CN112508192B (zh) | 2022-04-22 |
Family
ID=74922874
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011519673.XA Active CN112508192B (zh) | 2020-12-21 | 2020-12-21 | 一种具有深度结构的增量堆叠式宽度学习*** |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN112508192B (zh) |
WO (1) | WO2022134268A1 (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113379779A (zh) * | 2021-06-07 | 2021-09-10 | 华南理工大学 | 堆叠宽度学习***的边缘计算方法、装置、介质和设备 |
CN113657479A (zh) * | 2021-08-12 | 2021-11-16 | 广东省人民医院 | 一种新型多尺度深宽结合的病理图片分类方法、***及介质 |
CN113709782A (zh) * | 2021-07-30 | 2021-11-26 | 南昌航空大学 | 一种采用叠层宽度学习的链路质量评估方法 |
CN114115321A (zh) * | 2021-12-13 | 2022-03-01 | 盐城工学院 | 高压输电线路异物自动清除飞行器及其自动清除方法 |
CN115130830A (zh) * | 2022-06-08 | 2022-09-30 | 山东科技大学 | 基于级联宽度学习和麻雀算法的非侵入式负荷分解方法 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117252088B (zh) * | 2023-08-20 | 2024-03-19 | 吕洲 | 一种基于多层宽度学习***的锂电池温度场预测模型的建模方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108921877A (zh) * | 2018-07-25 | 2018-11-30 | 大连海事大学 | 一种基于宽度学习的长期目标跟踪算法 |
CN109271885A (zh) * | 2018-08-29 | 2019-01-25 | 广东工业大学 | 一种基于宽度学习的鸟巢识别方法 |
CN109615008A (zh) * | 2018-12-11 | 2019-04-12 | 华中师范大学 | 基于堆叠宽度学习的高光谱图像分类方法和*** |
CN109635245A (zh) * | 2018-09-29 | 2019-04-16 | 中国矿业大学 | 一种鲁棒宽度学习*** |
US20190180143A1 (en) * | 2017-12-07 | 2019-06-13 | Shenzhen United Imaging Healthcare Co., Ltd. | Systems and methods for image processing |
US20190199593A1 (en) * | 2017-12-21 | 2019-06-27 | Microsoft Technology Licensing, Llc | Network estimation |
CN110209825A (zh) * | 2019-06-17 | 2019-09-06 | 大连海事大学 | 一种基于宽度学习***的快速网络表征学习算法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9904849B2 (en) * | 2015-08-26 | 2018-02-27 | Digitalglobe, Inc. | System for simplified generation of systems for broad area geospatial object detection |
-
2020
- 2020-12-21 CN CN202011519673.XA patent/CN112508192B/zh active Active
-
2021
- 2021-01-29 WO PCT/CN2021/074287 patent/WO2022134268A1/zh active Application Filing
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190180143A1 (en) * | 2017-12-07 | 2019-06-13 | Shenzhen United Imaging Healthcare Co., Ltd. | Systems and methods for image processing |
US20190199593A1 (en) * | 2017-12-21 | 2019-06-27 | Microsoft Technology Licensing, Llc | Network estimation |
CN108921877A (zh) * | 2018-07-25 | 2018-11-30 | 大连海事大学 | 一种基于宽度学习的长期目标跟踪算法 |
CN109271885A (zh) * | 2018-08-29 | 2019-01-25 | 广东工业大学 | 一种基于宽度学习的鸟巢识别方法 |
CN109635245A (zh) * | 2018-09-29 | 2019-04-16 | 中国矿业大学 | 一种鲁棒宽度学习*** |
CN109615008A (zh) * | 2018-12-11 | 2019-04-12 | 华中师范大学 | 基于堆叠宽度学习的高光谱图像分类方法和*** |
CN110209825A (zh) * | 2019-06-17 | 2019-09-06 | 大连海事大学 | 一种基于宽度学习***的快速网络表征学习算法 |
Non-Patent Citations (2)
Title |
---|
CHEN,C. L. PHILIP 等: "Universal Approximation Capability of Broad Learning System and Its Structural Variations", 《IEEE TRANSACTIONS ON NEURAL NETWORKS AND LEARNING SYSTEMS》 * |
XIE,RUNSHAN 等: "Downsizing and enhancing broad learning systems by feature augmentation and residuals boosting", 《COMPLEX & INTELLIGENT SYSTEMS》 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113379779A (zh) * | 2021-06-07 | 2021-09-10 | 华南理工大学 | 堆叠宽度学习***的边缘计算方法、装置、介质和设备 |
CN113709782A (zh) * | 2021-07-30 | 2021-11-26 | 南昌航空大学 | 一种采用叠层宽度学习的链路质量评估方法 |
CN113709782B (zh) * | 2021-07-30 | 2022-05-31 | 南昌航空大学 | 一种采用叠层宽度学习的链路质量评估方法 |
CN113657479A (zh) * | 2021-08-12 | 2021-11-16 | 广东省人民医院 | 一种新型多尺度深宽结合的病理图片分类方法、***及介质 |
CN113657479B (zh) * | 2021-08-12 | 2022-12-06 | 广东省人民医院 | 一种新型多尺度深宽结合的病理图片分类方法、***及介质 |
CN114115321A (zh) * | 2021-12-13 | 2022-03-01 | 盐城工学院 | 高压输电线路异物自动清除飞行器及其自动清除方法 |
CN115130830A (zh) * | 2022-06-08 | 2022-09-30 | 山东科技大学 | 基于级联宽度学习和麻雀算法的非侵入式负荷分解方法 |
CN115130830B (zh) * | 2022-06-08 | 2024-05-14 | 山东科技大学 | 基于级联宽度学习和麻雀算法的非侵入式负荷分解方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2022134268A1 (zh) | 2022-06-30 |
CN112508192B (zh) | 2022-04-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112508192B (zh) | 一种具有深度结构的增量堆叠式宽度学习*** | |
Gu et al. | Projection convolutional neural networks for 1-bit cnns via discrete back propagation | |
Yao et al. | Two-stream federated learning: Reduce the communication costs | |
Fang et al. | Modeling from features: a mean-field framework for over-parameterized deep neural networks | |
Sakar et al. | Growing and pruning neural tree networks | |
Yang et al. | A gradient-guided evolutionary approach to training deep neural networks | |
Ritter et al. | Reconstruction of patterns from noisy inputs using morphological associative memories | |
CN112529166A (zh) | 融合神经元模型、神经网络结构及训练、推理方法、存储介质和设备 | |
US7882052B2 (en) | Evolutionary neural network and method of generating an evolutionary neural network | |
Boozarjomehry et al. | Automatic design of neural network structures | |
Ren et al. | Designing reconfigurable large-scale deep learning systems using stochastic computing | |
Raitoharju et al. | Training radial basis function neural networks for classification via class-specific clustering | |
CN106959937A (zh) | 一种面向gpdsp的反卷积矩阵的向量化实现方法 | |
CN109886389B (zh) | 一种基于Highway和DC的新型双向LSTM神经网络构建方法 | |
CN113627471A (zh) | 一种数据分类方法、***、设备及信息数据处理终端 | |
CN113516133A (zh) | 一种多模态图像分类方法及*** | |
Zhang et al. | Summary of convolutional neural network compression technology | |
CN114692830A (zh) | 晋级网络自强化的图像语音深度学习模型 | |
CN112183721B (zh) | 一种基于自适应差分进化的组合水文预测模型的构建方法 | |
CN114707655B (zh) | 一种量子线路转换方法、***、存储介质和电子设备 | |
JPH06111038A (ja) | ニューラル・ネットワーク及びその操作方法 | |
Xia et al. | Efficient synthesis of compact deep neural networks | |
Verma et al. | A novel evolutionary neural learning algorithm | |
CN112598065A (zh) | 一种基于记忆的门控卷积神经网络语义处理***及方法 | |
Mehran et al. | Particle swarm extension to LOLIMOT |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |