CN111598236A - 一种宽度学习***网络模型压缩方法 - Google Patents
一种宽度学习***网络模型压缩方法 Download PDFInfo
- Publication number
- CN111598236A CN111598236A CN202010430858.7A CN202010430858A CN111598236A CN 111598236 A CN111598236 A CN 111598236A CN 202010430858 A CN202010430858 A CN 202010430858A CN 111598236 A CN111598236 A CN 111598236A
- Authority
- CN
- China
- Prior art keywords
- equation
- network model
- nodes
- output
- learning system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 230000006835 compression Effects 0.000 title claims abstract description 28
- 238000007906 compression Methods 0.000 title claims abstract description 28
- 238000012360 testing method Methods 0.000 claims abstract description 29
- 239000011159 matrix material Substances 0.000 claims abstract description 28
- 230000006870 function Effects 0.000 claims abstract description 23
- 230000003190 augmentative effect Effects 0.000 claims abstract description 11
- 230000000694 effects Effects 0.000 claims abstract description 10
- 238000012549 training Methods 0.000 claims description 34
- 230000008569 process Effects 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 4
- 230000017105 transposition Effects 0.000 claims description 3
- 230000003416 augmentation Effects 0.000 claims description 2
- 230000008859 change Effects 0.000 abstract description 2
- 238000013528 artificial neural network Methods 0.000 description 4
- 210000000577 adipose tissue Anatomy 0.000 description 3
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开一种宽度学***滑,从而被一起选择;求出经上述约束的输出权值,得到一个CBLS网络模型;根据测试集均方根误差的大小和网络结构压缩率来评估模型的预测精度和压缩效果,选择最优的网络模型,作为压缩后的网络模型。本发明能够在保持精度损失不大的同时,呈现出非常好的压缩效果。
Description
技术领域
本发明涉及一种神经网络压缩方法,尤其涉及一种宽度学习***网络模型压缩方法,属于网络模型压缩技术领域。
背景技术
宽度学习***是一种不需要深度结构的高效增量学习***,在人脸识别,时序预测和工业过程建模等实际应用中都有不错的成绩。作为一种学习深层结构的替代方法,宽度神经网络结构没有层与层之间的耦合关系,而是通过原始输入在“特征节点”中转换为随机特征,并且在“增强节点”中广义地扩展结构来拓宽网络。宽度学习***可描述为:输入数据首先通过一些特征映射转化为随机特征,形成“特征节点”,之后这些“特征节点”通过非线性激活函数进一步连接,形成“增强节点”。然后,将“特征节点”和“增强节点”的输出连接到输出层,在输出层中,通过***方程的快速伪逆来确定输出层的权重。相对深度神经网络,给我们的计算带来了极大的方便。
标准宽度学习***(broad learning system,BLS)的高效性和泛化性使得其在许多识别和回归问题上取得了不错的成绩,但是仍然存在一些问题限制了它的进一步发展。比如,标准的宽度学习***网络模型所需要的节点数量是通过多次实验才确定的,这个过程不仅需要消耗很长的时间,而且并非所有节点对整体的网络结构都有着不可或缺的作用,对我们有用的一部分节点对网络预测输出的贡献度很大,而另外一部分节点几乎没有什么贡献,甚至对网络的预测起着负面的影响,这些节点的存在使得标准的宽度网络模型有着严重的冗余,不仅导致建立的模型过于复杂而且可能因为过拟合而降低模型的泛化性。
发明内容
针对上述现有技术存在的问题,本发明提供了一种宽度学习***网络模型压缩方法,能够精简网络,避免网络的节点冗余问题,且在压缩网络模型的同时,减少精度损失。
为达到上述目的,本发明提出一种宽度学习***网络模型压缩方法,包括以下步骤:
步骤1:将从开源数X=[X1,X2...XS]T∈Rs×f据集中获得的数据按照设定的比例分为训练集和测试集,训练集输入数据为,训练集输出数据为Y=[Y1,Y2...YS]T∈Rs×c,测试集输入数据为Xt=[X1,X2...Xq]T∈Rq×f,测试集输出数据为Yt=[Y1,Y2...Yq]T∈Rq×c;
其中s表示训练集数据样本的个数,q表示测试集数据样本的数目,f表示输入数据的维度,c表示输出矢量对应的维度,T表示矩阵的转置,R表示实数域;
步骤2:训练开始,首先求解增广输入矩阵,具体步骤如下:
步骤2.1:利用公式(1)来构造特征节点矩阵Zn=[Z1,Z2...Zn]
步骤2.2:利用公式(2)来构造增强节点矩阵Hm=[H1,H2...Hm]
Hi=ξ(ZnWhj+βhj),j=1,...,m (2)
步骤2.3:将特征节点矩阵和增强节点矩阵合并成一个整体,得Hm=[H1,H2...Hm]到增广输入矩阵A=[Zn|Hm];
步骤3:构建目标函数,求解输出权值,至此训练过程结束,得到精简的宽度学习***网络模型,具体步骤如下:
步骤3.1:构建目标函数:
其中,||Y-AW||1为最小绝对值误差的损失函数项,λ1||W||1为L1正则化项,λ1为L1正则化项惩罚参数,Y为步骤1中获得的训练集的输出数据,A为步骤2中得到的增广输入矩阵,W为要求解的输出权值,为L1-fusion项,λ2为L1-fusion项参数,P是输出权值的维度,i=2,3…P。
步骤3.2:在训练过程中,根据公式(3)中L1正则化项和L1-fusion项的约束,使得宽度网络自动选择出在建立模型的过程中所需的节点,并求解经过约束的输出权值W,具体方法如下:
步骤3.2.1:将公式(3)用公式(4)表示:
s.t.B=Y-AW,C=W,Q=0-DW
步骤3.2.2:利用增广拉格朗日乘子法将公式(4)转换成公式(5):
通过以下方式求解公式(5),获得输出权值W:
其中,K为公式迭代的次数;
Wk+1由公式(7)得到:
WK+1=(ATA+DTD+I)-1(ATF+G-DTP) (8)
Bk+1由公式(9)得到:
Ck+1由公式(11)得到:
Qkt1由公式(13)得到:
当公式(6)的迭代次数达到所给出最大迭代次数时,迭代过程结束同时使得W=Wk+1得到最终的输出权值,同时得到一个精简的宽度学习***(compact broad learningsystem, CBLS)网络模型,否则重复公式(6)的迭代计算。
步骤4:根据测试集均方根误差的大小和网络结构压缩率来评估模型的预测精度和压缩效果,选择出最优的网络模型,作为压缩后的宽度学习***网络模型,测试集均方根误差越小且压缩率越高,说明最终所得到的精简的宽度学习网络模型越好。
与现有技术相比,本发明提出了在训练过程中,通过在目标函数中所加入的L1正则化项的约束实现输出权值稀疏使得不重要的节点对应的输出权值为零,利用L1-fusion项约束相邻输出权值之间的差异,使得具有相关性的节点对应的输出权值变化平滑从而被一起选择,过滤掉不必要的节点,保留贡献度大的节点,得到一个精简的宽度学习***网络模型,并根据测试集均方根误差的大小和网络结构压缩率来评估模型的预测精度和压缩效果,选择出最优的精简的宽度学习***网络模型,作为压缩后的宽度学习***网络模型,有效地避免了节点冗余问题,使得本压缩后的网络模型在精度损失较小、甚至不损失精度的情况下,呈现出非常好的压缩效果。
附图说明
图1为现有的BLS网络模型的输出权值分布图;
图2为本发明提出的CBLS网络模型的输出权值分布图。
具体实施方式
下面结合附图对本发明作进一步说明。
如图所示,本实施例中采用身体脂肪的回归数据集(bodyfat)来说明本发明的可行性,数据集中包含了对252位男性的身体脂肪百分比的估计值,并按照2:1的比例分为训练集和测试集,在具体实施中,标准宽度学习***模型节点数量为多次寻优得到,会花费较长时间,而本发明提出的方法,只需设置好初始节点数量,在训练过程中通过本发明增加的约束项由BLS网络网络来自己选择出贡献度较高且相关性较强的节点,结果表明本发明提出的方法在预测精度损失较小、甚至不损失的前提下,呈现出非常好的压缩效果,具体步骤如下:
步骤1:将从开源数据集中获得的数据按照2:1的比例分为训练集和测试集,训练集输入数据为X=[X1,X2...XS]T∈Rs×f,训练集输出数据为Y=[Y1,Y2...YS]T∈Rs×c,测试集输入数据为Xt=[X1,X2...Xq]T∈Rq×f,测试集输出数据为Yt=[Y1,Y2...Yq]T∈Rq×c,训练集数据用于步骤2和步骤3中训练宽度神经网络的输出权值,从而建立CBLS网络模型;测试集数据用于步骤4中评价模型的预测精度和压缩效果,从而选择出最优的CBLS网络模型,作为压缩后的宽度学习***网络模型;
其中,s表示训练集数据样本的个数,q表示测试集数据样本的数目,f表示输入数据的维度,c表示输出矢量对应的维度,T表示矩阵的转置,R表示实数域。
步骤2:训练开始,首先求解增广输入矩阵,具体步骤如下:
步骤2.1:利用公式(1)来构造特征节点矩阵Zn=[Z1,Z2...Zn];
步骤2.2:利用公式(2)来构造增强节点矩阵Hm=[H1,H2...Hm];
Hi=ξ(ZnWhj+βhj),j=1,...,m (2)
步骤2.3:将特征节点矩阵和增强节点矩阵合并成一个整体,得到增广输入矩阵 A=[Zn|Hm];
步骤3:构建目标函数,求解输出权值,得到精简的宽度学习***(compact broadlearning system,CBLS)网络模型,至此训练过程结束,具体步骤如下:
步骤3.1:构建目标函数:
其中,||Y-AW||1为最小绝对值误差的损失函数项,λ1||W||1为L1正则化项,λ1为L1正则化项惩罚参数,Y为步骤1中获得的训练集的输出数据,A为步骤2中得到的增广输入矩阵,W为要求解的输出权值,为L1-fusion项,λ2为L1-fusion项参数, P是输出权值的维度,i=2,3…P。
步骤3.2:在训练过程中,根据公式(3)中L1正则化项和L1-fusion项的约束,使得宽度网络自动选择出在建立模型的过程中贡献度大且具有相关性的节点;其中,利用L1 正则化项的约束实现输出权值稀疏,使得贡献度不大的节点对应的输出权值为零,从而选择出贡献度大的节点;利用L1-fusion项约束连续输出权值之间的差异,使得具有相关性的节点所对应的输出权值变化平滑,从而实现网络节点的进一步选择;然后求出经过上述约束的输出权值W,同时得到一个精简的宽度学习***网络模型,上述贡献度是指:使得公式(3)的值越小的输出权值W贡献度越大,目标函数的求解过程就是标准宽度学习***网络模型自动选择节点的依据,即求解公式(4)-(15)的过程,具体求解方法如下:
步骤3.2.1:将公式(3)用公式(4)表示:
s.t.B=Y-AW,C=W,Q=0-DW
步骤3.2.2:利用增广拉格朗日乘子法将公式(4)转换成公式(5):
通过以下方式求解公式(5),获得输出权值W:
其中,K为公式迭代的次数;
Wk+1由公式(7)得到:
WK+1=(ATA+DTD+I)-1(ATF+G-DTP) (8)
Bk+1由公式(9)得到:
Ck+1由公式(11)得到:
Qk+1由公式(13)得到:
上述公式中所涉及的B、G、C、P、Q、H、J、D仅仅为了便于求解,并没有特殊含义;
当公式(6)的迭代次数达到所给出最大迭代次数时,迭代过程结束同时使得W=Wk+1得到最终的输出权值,同时得到了精简的宽度学习***网络模型,否则重复公式(6)的迭代计算。
步骤4:根据测试集均方根误差的大小和网络结构压缩率来评估模型的预测精度和压缩效果,选择出最优的CBLS网络模型,作为压缩后的宽度学习***网络模型,测试集均方根误差越小且压缩率越高,说明最终所得到的CBLS网络模型越好。
其中,Yt为实际获得的测试集的输出数据,Xt为实际获得的测试集的输入数据,W是训练时求解的输出权值,XtW为网络模型的预测值,n是样本个数;节点数量BLS为标准BLS 经过搜索得到的最佳节点数量,节点数量CBLS为压缩过后的节点数量,参见表1。
表1给出了本发明提出的CBLS网络模型和BLS网络模型在测试集上的对比结果,以及本发明提出的CBLS网络模型的压缩效果,从表1中可以看出,对比于标准的宽度学***衡,从而证明了本发明方法的有效性。
算法 | BLS | CBLS |
正则化参数 | 0.0313 | (0.5,0.25) |
模型节点数量 | 391 | 23 |
RMSE | 0.0499 | 0.0558 |
训练时间(s) | 0.01 | 0.02 |
网络结构压缩率(%) | 0 | 94.12 |
表1 。
Claims (2)
1.一种宽度学习***网络模型压缩方法,其特征在于,包括以下步骤:
步骤1:将从开源数据集中获得的数据按照设定的比例分为训练集和测试集,训练集输入数据为X=[X1,X2...XS]T∈Rs×f,训练集输出数据为Y=[Y1,Y2...YS]T∈Rs×c,测试集输入数据为Xt=[X1,X2...Xq]T∈Rq×f,测试集输出数据为Yt=[Y1,Y2...Yq]T∈Rq×c;
其中,s表示训练集数据样本的个数,q表示测试集数据样本的数目,f表示输入数据的维度,c表示输出矢量对应的维度,T表示矩阵的转置,R表示实数域;
步骤2:训练开始,首先求解增广输入矩阵,具体步骤如下:
步骤2.1:利用公式(1)来构造特征节点矩阵Zn=[Z1,Z2...Zn]
步骤2.2:利用公式(2)来构造增强节点矩阵Hm=[H1,H2...Hm]
Hi=ξ(ZnWhj+βhj),j=1,...,m (2)
步骤2.3:将特征节点矩阵和增强节点矩阵合并成一个整体,得到增广输入矩阵A=[Zn|Hm];
步骤3:构建目标函数,求解输出权值,至此训练过程结束,得到精简的宽度学习***网络模型,具体步骤如下:
步骤3.1:构建目标函数:
其中,||Y-AW||1为最小绝对值误差的损失函数项,λ1||W||1为L1正则化项,λ1为L1正则化项惩罚参数,Y为步骤1中获得的训练集的输出数据,A为步骤2中得到的增广输入矩阵,W为要求解的输出权值,为L1-fusion项,λ2为L1-fusion项参数,P是输出权值的维度,i=2,3…P。
步骤3.2:在训练过程中,根据公式(3)中L1正则化项和L1-fusion项的约束,使得宽度网络自动选择出在建立模型的过程中所需的节点,并求解经过约束的输出权值W,具体方法如下:
步骤3.2.1:将公式(3)用公式(4)表示:
步骤3.2.2:利用增广拉格朗日乘子法将公式(4)转换成公式(5):
通过以下方式求解公式(5),获得输出权值W:
其中,K为公式迭代的次数;
Wk+1由公式(7)得到:
WK+1=(ATA+DTD+I)-1(ATF+G-DTP) (8)
Bk+1由公式(9)得到:
Ck+1由公式(11)得到:
其中,得到
Qkt1由公式(13)得到:
当公式(6)的迭代次数达到所给出最大迭代次数时,迭代过程结束同时使得W=Wk+1得到最终的输出权值,同时得到了精简的宽度学习***网络模型,否则重复公式(6)的迭代计算;
步骤4:根据测试集均方根误差的大小和网络结构压缩率来评估模型的预测精度和压缩效果,选择出最优的精简的宽度学习***网络模型,作为压缩后的宽度学习***网络模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010430858.7A CN111598236A (zh) | 2020-05-20 | 2020-05-20 | 一种宽度学习***网络模型压缩方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010430858.7A CN111598236A (zh) | 2020-05-20 | 2020-05-20 | 一种宽度学习***网络模型压缩方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111598236A true CN111598236A (zh) | 2020-08-28 |
Family
ID=72185913
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010430858.7A Pending CN111598236A (zh) | 2020-05-20 | 2020-05-20 | 一种宽度学习***网络模型压缩方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111598236A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113098910A (zh) * | 2021-05-13 | 2021-07-09 | 福州大学 | 基于时空粒度和三宽度学习的网络入侵检测方法及*** |
CN113159310A (zh) * | 2020-12-21 | 2021-07-23 | 江西理工大学 | 一种基于残差稀疏宽度学习***的入侵检测方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108734301A (zh) * | 2017-06-29 | 2018-11-02 | 澳门大学 | 一种机器学习方法和机器学习装置 |
CN109635245A (zh) * | 2018-09-29 | 2019-04-16 | 中国矿业大学 | 一种鲁棒宽度学习*** |
CN109920021A (zh) * | 2019-03-07 | 2019-06-21 | 华东理工大学 | 一种基于正则化宽度学习网络的人脸素描合成方法 |
CN110222453A (zh) * | 2019-06-14 | 2019-09-10 | 中国矿业大学 | 一种基于宽度学习***的压缩机出口参数预测建模方法 |
CN110288088A (zh) * | 2019-06-28 | 2019-09-27 | 中国民航大学 | 基于流形正则化和宽度网络的半监督宽度学习分类方法 |
US20200126103A1 (en) * | 2018-10-22 | 2020-04-23 | Oracle International Corporation | System and Method for Customer Behavioral Load Shaping for Adjusting Customer Energy Consumption |
-
2020
- 2020-05-20 CN CN202010430858.7A patent/CN111598236A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108734301A (zh) * | 2017-06-29 | 2018-11-02 | 澳门大学 | 一种机器学习方法和机器学习装置 |
CN109635245A (zh) * | 2018-09-29 | 2019-04-16 | 中国矿业大学 | 一种鲁棒宽度学习*** |
US20200126103A1 (en) * | 2018-10-22 | 2020-04-23 | Oracle International Corporation | System and Method for Customer Behavioral Load Shaping for Adjusting Customer Energy Consumption |
CN109920021A (zh) * | 2019-03-07 | 2019-06-21 | 华东理工大学 | 一种基于正则化宽度学习网络的人脸素描合成方法 |
CN110222453A (zh) * | 2019-06-14 | 2019-09-10 | 中国矿业大学 | 一种基于宽度学习***的压缩机出口参数预测建模方法 |
CN110288088A (zh) * | 2019-06-28 | 2019-09-27 | 中国民航大学 | 基于流形正则化和宽度网络的半监督宽度学习分类方法 |
Non-Patent Citations (1)
Title |
---|
FEI CHU,ET.AL: ""Modeling Method for Performance Prediction of Centrifugal Compressor Based on Broad Learning System"", 《THE 31 ST CHINESE CONTROL AND DECISION CONFERENCE (2019 CCDC)》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113159310A (zh) * | 2020-12-21 | 2021-07-23 | 江西理工大学 | 一种基于残差稀疏宽度学习***的入侵检测方法 |
CN113098910A (zh) * | 2021-05-13 | 2021-07-09 | 福州大学 | 基于时空粒度和三宽度学习的网络入侵检测方法及*** |
CN113098910B (zh) * | 2021-05-13 | 2022-05-10 | 福州大学 | 基于时空粒度和三宽度学习的网络入侵检测方法及*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Liu et al. | Frequency-domain dynamic pruning for convolutional neural networks | |
CN111598236A (zh) | 一种宽度学习***网络模型压缩方法 | |
CN111723914A (zh) | 一种基于卷积核预测的神经网络架构搜索方法 | |
CN113486190A (zh) | 一种融合实体图像信息和实体类别信息的多模态知识表示方法 | |
CN110781912A (zh) | 一种基于通道扩张倒置卷积神经网络的图像分类方法 | |
CN110765582B (zh) | 基于马尔可夫链的自组织中心K-means微电网场景划分方法 | |
CN111325308B (zh) | 一种非线性***辨识方法 | |
CN113610227A (zh) | 一种高效的深度卷积神经网络剪枝方法 | |
CN109921458A (zh) | 新能源接入的电力***小干扰稳定评估方法 | |
CN110619364B (zh) | 一种基于云模型的小波神经网络三维模型分类方法 | |
Lin et al. | Ezcrop: Energy-zoned channels for robust output pruning | |
CN111967528B (zh) | 基于稀疏编码的深度学习网络结构搜索的图像识别方法 | |
CN107391442A (zh) | 一种增广线性模型及其应用方法 | |
Kaveh et al. | Wavefront reduction using graphs, neural networks and genetic algorithm | |
CN115564043A (zh) | 一种图像分类模型剪枝方法、装置、电子设备及存储介质 | |
CN101567838A (zh) | 一种函数链神经网络的自校正方法 | |
Shen et al. | Learning to prune in training via dynamic channel propagation | |
Asghar et al. | A family of binary approximating subdivision schemes based on binomial distribution | |
Zhang | Moving mesh method with conservative interpolation based on L2-projection | |
Doshi et al. | Inferring the structure of graph grammars from data | |
Wang et al. | Reconstruction of complex network from time series data based on graph attention network and Gumbel Softmax | |
Hajimohammadi et al. | Legendre Deep Neural Network (LDNN) and its application for approximation of nonlinear Volterra Fredholm Hammerstein integral equations | |
CN101977120B (zh) | 基于图形处理器的大规模静态网络划分方法 | |
CN116776752B (zh) | 一种基于智能编码的声子晶体带隙设计方法及设计*** | |
Feinsilver et al. | Krawtchouk transforms and convolutions |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200828 |